Robots.txt oluşturucu ve kural testçisi
User-agent grupları oluşturun ve belirli bir yol için hangi kuralın kazandığını görün.
Metin tarayıcıda işlenir ve saklanmaz.
Robots.txt erişim yetkilendirmesi değildir ve tek başına dizinden kaldırma sağlamaz.
Yöntem
User-agent grupları oluşturun ve belirli bir yol için hangi kuralın kazandığını görün.
Gizlilik
Metin tarayıcıda işlenir ve saklanmaz.
Sınırlamalar
Robots.txt erişim yetkilendirmesi değildir ve tek başına dizinden kaldırma sağlamaz.
Birincil kaynaklar
- Robots Exclusion Protocol — IETF; 2022-09; 2026-08-14.