Бесплатная проверка robots.txt

robots.txt сообщает поисковым роботам, какие разделы сайта им можно посещать, но не удаляет уже проиндексированную страницу, а заблокированная страница иногда всё равно попадает в выдачу без содержимого. Вставьте URL ниже, чтобы увидеть, что robots.txt вашего сайта разрешает или запрещает для этого пути.