Kostenloser Robots.txt-Checker

robots.txt teilt Suchmaschinen-Crawlern mit, welche Bereiche Ihrer Website sie besuchen dürfen – entfernt aber keine bereits indexierte Seite, und eine blockierte Seite kann manchmal trotzdem ohne Inhalt in den Suchergebnissen erscheinen. Fügen Sie unten eine URL ein, um genau zu sehen, was die robots.txt Ihrer Website für diesen Pfad erlaubt oder verbietet.