El documento robots.txt es el recurso clave para toda sitio web que busca aparecer bien posicionada por los motores de búsqueda como Bing. Funciona como una mapa para los rastreadores , indicándoles qué páginas de tu web pueden deben crawleadas y cuáles se deben excluir . La óptima configuración de este fichero puede a solucionar problemas d… Read More