فاحص robots.txt المجاني

يخبر ملف robots.txt زواحف محركات البحث بالأجزاء التي يُسمح لها بزيارتها في موقعك، لكنه لا يزيل صفحة مفهرسة بالفعل، وقد تظهر الصفحة المحظورة أحيانًا في نتائج البحث بدون محتواها. الصق رابطًا أدناه لترى ما يسمح به robots.txt في موقعك أو يمنعه لهذا المسار.