Безкоштовна перевірка robots.txt

robots.txt повідомляє пошуковим роботам, які розділи сайту їм можна відвідувати, але не видаляє вже проіндексовану сторінку, а заблокована сторінка іноді все одно потрапляє у видачу без вмісту. Вставте URL нижче, щоб побачити, що robots.txt вашого сайту дозволяє або забороняє для цього шляху.