Robots.txt oluşturucu ve kural testçisi

Yöntem

User-agent grupları oluşturun ve belirli bir yol için hangi kuralın kazandığını görün.

Arama motorları nasıl tarar, dizine ekler ve sonuç sunar?

Gizlilik

Metin tarayıcıda işlenir ve saklanmaz.

Sınırlamalar

Robots.txt erişim yetkilendirmesi değildir ve tek başına dizinden kaldırma sağlamaz.