He estado leyendo informacion sobre el archivo robots.txt para evitar que los buscadores indexen contenido de mi sitio.. pero tengo una pequeña duda que por mas que leo no entiendo..
Si quiero bloquear un directorio completo debo escribir el archivo asi?
User-Agent: Googlebot
Disallow: directorio
o asi?
User-Agent: Googlebot
Disallow: /directorio/
o asi?
User-Agent: Googlebot
Disallow: /directorio
podria alguien ayudarme a acalarar mi duda?
Muchas gracias!
