Cómo configurar el archivo Perfect Robots.txt - MM 057

Tu archivo robots.txt establece las reglas fundamentales que la mayoría de los motores de búsqueda leerán y seguirán una vez que comienzan a rastrear tu sitio web. Le dicen a los motores de búsqueda qué partes de tu sitio web no deseas (o no necesitas) rastrear.