Pemeriksa Robots.txt Gratis

robots.txt memberi tahu crawler mesin pencari bagian mana dari situs Anda yang boleh dikunjungi — tetapi tidak menghapus halaman yang sudah terindeks, dan halaman yang diblokir kadang tetap muncul di hasil pencarian tanpa kontennya. Tempel URL di bawah untuk melihat apa yang diizinkan atau dilarang robots.txt situs Anda untuk path tersebut.