tengo una web (sencilla cuenta con 4 páginas) la cual era indexada por google y todo funcionaba bien!, en un momento por perfeccionista y toqueton decido agregar un "robots.txt" y un "sitemap.xml" (ambos validados por google desde las herramientas del webmaster) a los pocos días como por arte de magia mi web desapareció del buscador (solo de google los demás la indexan perfecto bing,yahoo, etc), al principio imagine que era un baneo del dominio… pero verifique y mi web no esta baneada!!, la única forma de encontrarla en el buscador (google) es poniendo la url completa ej: www.miweb.com.ar y ni siquiera me aparece de forma directa es decir... miren esta imagen y me comprenderán!!.
Trate eliminando los archivos "robots.txt" y "sitemap.xml" pero en las herramientas del webmaster de google aparece que googlebot postergo el rastreo por falta del archivo robots.txt!!, Algún consejo o solución?
PD: así era el primer archivo "robots.txt"
Código :
User-agent: * Allow: / User-agent: Googlebot Allow: / User-agent: Googlebot-Image Allow: /img/imgslide/ Allow: /img/imgfotos/ Allow: / User-agent: Googlebot-Mobile Allow: /movil/ Allow: /
después lo cambie por este:
Código :
User-agent: * Disallow:
y tampoco funciono!, este es el "sitemap.xml"
Código :
<?xml version="1.0" encoding="UTF-8"?> <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> <url> <loc>http://www.miweb.com.ar/index.html</loc> <changefreq>weekly</changefreq> </url> <url> <loc>http://www.miweb.com.ar/movil/index.html</loc> <changefreq>weekly</changefreq> </url> <url> <loc>http://www.miweb.com.ar/guano/index.html</loc> <changefreq>weekly</changefreq> </url> <url> <loc>http://www.miweb.com.ar/contacto/index.html</loc> <changefreq>weekly</changefreq> </url> <url> <loc>http://www.miweb.com.ar/ventas/index.html</loc> <changefreq>weekly</changefreq> </url> </urlset>
PD 2: miren como google (por algún error mío) no indexa la pagina y los otros buscadores si lo hacen!! Ver Imagen