comparar fechas y validar el resultado JS - PHP

Hola buenas tardes a todos, estoy por terminar un proyecto pero me he dado la vuelta por todas las web que he encontrado y no veo solución especifíca a lo que necesíto.

tengo validar si la fecha ingresada en mi formulario sea igual o menor a 3 dias a la fecha actual del servidor. Para esto estoy pasando por el form lo siguiente :

<input name="clfentrega" type="text" id="dateArrival" nClick="popUpCalendar(this, form1.dateArrival, 'mm-dd-yyyy');" size="10" />
<input type="hidden" id="fecha_actual" name="fecha_actual" value="<? echo "$hoy" ?>" />

paso la variable $hoy por un hidden .. la variable hoy contiene esto $hoy = date("m-d-Y",time());

al rato de validar hago la siguiente comparación:

else if(clfentrega.value<=fecha_actual.value)
{

alert("la fecha de entrega tiene que ser mayor a la fecha actual");
return false;
}

hasta ahi todo bien .. me sale el mensaje de error si es menor o igual pero necesito comparar que sea menor o igual a 3 dias para q me bote error.

Espero que puedan ayudarme ...

Muchas Gracias por todo

Restale tres días a la fecha de "hoy" .
O sea, en PHP en vez de pasar la fecha de hoy directamente, réstale tres días y manda eso en el hidden.