Los robots automatizados de los motores de búsqueda, algunas veces llamados “Spiders” o “Crawlers” son buscadores de paginas web. Como trabajan? Que es lo que realmente hacen? Porque son tan importantes?
Usted debe pensar con todo la bulla acerca de la indexación de paginas web para ser adicionado a las bases de datos de los motores de búsqueda, que los robots son grandiosos y muy poderosos. Error = (. Los robots de los motores de búsqueda solo tienen una funcionalidad básica como en un principio era la de los navegadores en términos de lo que pueden entender en una páginas web. Como los primeros navegadores, los robots no pueden hacer ciertas cosas. Los robots no entienden los frames, películas de Flash, imágenes o JavaScript. Estos no pueden entrar password en áreas protegidas ni dar clic sobre los botones que usted tiene sobre su sitio web.
Como trabajan los robots de los motores de búsqueda?
Piense en los robots como programas automatizados de recuperación de información, que viajan en la web para encontrar información y enlaces. Cuando usted presenta una pagina web a un motor de búsqueda en la pagina de “Submit a URL”, el nuevo URL es adicionado en la cola de espera del robot de los sitios web que serán visitados en la próxima incursión. Aún si usted no presenta directamente una pagina, muchos robots encontraran su sitio debido a los enlaces en otros webs que apuntan a su sitio. Esta es una de las razones por las cuales es importante incrementar los enlaces de popularidad.
Cuando llegan a su sitio web, los robots automatizados primero chequean si usted tiene un archivo robots.txt. Este archivo es usado para decirle al robot cuales áreas de su sitio web están fuera del limite de ellos.
Los robots coleccionan enlaces de cada una de las páginas que ellos visitan y luego siguen estos enlaces hacia otras paginas. De esta forma, ellos esencialmente siguen los enlaces desde una pagina hacia otra. Toda la World Wide Web esta conformada de enlaces, la idea original era que usted pudiera seguir enlaces de un lugar a otro. De esta forma es como los robots se desplazan.
Los “dolores de cabeza” acerca de la indexación de paginas online vienen de los diseñadores de los motores de búsqueda quienes inventan métodos diferentes para evaluar la información que los robots recuperan.
Cuando se es agregado a la base de datos del motor de búsqueda, la información esta disponible para consultas del buscador. Cuando un usuario de un motor de búsqueda entre una consulta, se hacen un numero de cálculos rápidos para asegurar que el motor presente solo el conjunto válido de resultados y así darle al visitante la respuesta más relevante a su consulta.
Usted puede ver cuales paginas de su sitio web han sido visitadas por los robots de los buscadores mirando los logs del servidor o los resultados de su programa de estadísticas de log. Una vez identificados los robots, le mostrará cuando visitaron su sitio, cuales paginas visitaron y que tan a menudo lo visitan. Algunos robots son identificados fácilmente por sus nombres de agente de usuario (user agent names) como el de Google “Googlebot”, otros son un poco más oscuros, como el de Inktomi “Slurp”.
Además de identificar cada robot y contar el número de sus visitas, las estadísticas también pueden mostrarle los robots agresivos y los que usted desea que no visiten su sitio web. En la sección de recursos al final de este boletín, encontrará sitios que listan nombres y direcciones IP de robors de motores de búsqueda que puede ayudarlo a identificarlos.
Como leen las paginas de su sitio web?
Cuando un robot visita su pagina, él estudia el texto visible de la pagina, en los contenidos de varias etiquetas del código fuente de su pagina (etiqueta title, meta, etc.) y los hyperenlaces en su pagina. Los robots usan las palabras y los enlaces para encontrar de que se trata su pagina. Hay muchos factores usados para averiguar lo que le interesa. Cada robot utiliza su propio algoritmo para evaluar y procesar la información. Dependiendo de como se preparo el robot en el motor de búsqueda, la información es indexada y luego entregada a la base de datos del motor.
Las bases de datos de los motores se actualizan varias veces. Una vez usted este en la base de datos del motor, lo mantendrán visitando periódicamente, para recoger cualquier cambio de su sitio y asegurasen de que tienen la ultima información. El numero de veces que visiten, depende de como se hayan configurado sus visitas, las cuales pueden variar para cada motor de búsqueda.
Algunas veces los robots no pueden accesar los sitios web que están visitando. Si su sitio no esta en funcionamiento o esta experimentando una enorme cantidad de trafico, el robot tal vez no sea capaz de accesar su sitio. Cuando esto pasa, no es necesario indexarlo nuevamente, esto depende de la frecuencia con que el robot visite su sitio web. En la mayoría de los casos, los robots que no pueden accesar su sitio, luego lo intentarán nuevamente, esperando que para entonces su sitio pueda ser accesado.
Creditos ::: Latin marketin.com
Y pues en la pagina de latin-marketing hay mas... visitenla si gustan...
yo solo puse el tema que importaba...
aunque depende del punto de vista de cada uno...En fin... saludos
Verdad que es interesante... tube que saber mas de los robots de busqueda... para entender un poco mas la indexacion de un flash en la web... y pues me parecio util esta informacion... para toda la comunidad...
