Bots, ¿podrian generar problemas de ancho de banda?

Hola como estan,
bueno hace tiempo comenzamos un post sobre como detectar cuando pasa un robot de un buscador para evitar que se ejecute cierta parte del código cuando sea un robot y no una persona.
(lo que hoy en dia detectar si es un robot o un humano por código es absolutamente imposible ya que sino no habría catcha)

Pero si hay métodos que pueden filtrar un poco algunos robots, por lo menos los mas conocidos.

ahora bien, lo que realmente me preocupa es la cantidad de Bots que entran por dia a la página.. aca les dejo un PrintScreen de mi casilla de correos en el lapso de dos horas.


¿¿No es un poco exagerado la cantidad de Robots que pasan??.. y la pregunta del millon es.. ¿¿esto no come recursos en el servidor??.

Me gustaría saber si Cristalab tiene algun sistema para detectar bots y cual es la estadística de los mismos, si es que se puede saber y en caso positivo si tienen o si alguno sabe alguna técnica para controlar un poco el acceso.

Saludos.

Los bots te indexan, sin bots no habría orden en internet... ¿eso te interesa?

_CONEJO escribió:

Claro que me interesa, pero en ves de pasar 100 bots por dia "de un mismo buscador", debería de pasar uno por dia nada mas.. a eso voy.. en lo que va de dia pasaron 23 bots de google , un par de yahoo y otros que no conozco

Entiendo que quizas cada bots pertenece a un servidor distinto, solamente comentaba el asunto.. no es que me queje de eso.

Entonces si pasan una vez al día, los bots indexan información caducada... ¿te parece bien que pasen solo una vez al día por los sitios de noticias? La cantidad de recursos que gasta un bot son ínfimos (trabajo haciendo bots), cuantos más mejor. Información más actualizada, de hecho el fundador de Google dijo que él quería indexar la web en tiempo real.

_CONEJO escribió:

Esa respuesta buscaba.. yo no se si realmente un Bot genera el mismo "ancho de banda" que un usuario común, por eso fue mi consulta.
entonces ¿un bot no es igual que un usuario aunque ejecute script internamente en el hosting?.
como seria "mas o menos" el ancho de banda que utiliza un bot a comparación de un Usuario común, calculo que solo lee texto plano descartando imágenes y videos verdad?.

Realmente lo pregunto porque no lo se, y testeando otra cosa me crucé con esto nada mas.

Espero que mi jefe no lea esto (aunque tampoco estoy desvelando nada que no se pueda saber si uno se para a pensar dos minutos).

Un usuario normal efectivamente carga las imágenes, los flash e incluso JS. Además de eso "navega". Es decir, por ejemplo va a tu página, puede re-leer varios artículos.

Un bot se para en cuanto encuentra información antigua, además de que ciertamente el contenido multimedia solo lo indexa una única vez, en el resto de casos se limita a comprobar si el HTML es el mismo o no.

Muchas gracias _CONEJO, me quedo un poco mas tranquilo. Saludos.

Creo que la respuesta del conejo es perfectamente valida, pero aplica en el caso de que el spider que te visita sea el de un buscador, eso es en 99.99% de las ocasiones, yo quiero referirme a ese 0.01% fuera de la regla.

En alguna ocasion he trabajado con bots y me consta que pueden consumir mucho, muchisimo ancho de banda. de hecho hay que usar delays para evitar hacer demasiadas peticiones simultaneas al server y hacer un DoS. Por ejemplo un bot que explore todo tu sitio y baje todas tus imagenes de un solo golpe creeme que lo sentiras en especial su repite el trabajo frecuentemente.

Puedes estar tranquilo con esos bots que te visitan porque son indexadores, pero ante tu pregunta,tecnicamente si pueden llegar bots que se coman tu ancho de banda en un santiamen, aunque es muy probable que eso nunca te pase.

Un ataque DoS no tiene sentido hoy en día, un ataque DDoS si. El bot, al igual que el servidor necesita un ancho de banda. Si el bot satura todo su ancho de banda solo podría visitar una web. Si quiere visitar más, tendría que tener un ancho de banda mayor que el servidor de la página que visita (lo cual sería caro).

Por lo tanto es impráctico que un bot sature tu red (siempre hablando de velocidad, no de los estúpidos límites en cuanto a cantidad transferida). Otra cosa es si hubiera tantos bots en el mundo que saturen todas las páginas webs al tiempo, o al menos la tuya. En cuyo caso podrías bloquearles, por lo que ellos mismos tratan de consumir poco (además, cuanto menos se consume, menos recursos gastaría en cuestiones de memoria y procesador).

En general, un bot es improbable que te putee.