Comprobador de robots.txt gratis

El archivo robots.txt indica a los rastreadores de los buscadores qué partes de tu sitio pueden visitar, pero no elimina una página ya indexada, y una página bloqueada a veces puede aparecer en los resultados sin su contenido. Pega una URL abajo para ver exactamente qué permite o bloquea el robots.txt de tu sitio para esa ruta.