…
Yöntem
User-agent grupları oluşturun ve belirli bir yol için hangi kuralın kazandığını görün.
Gizlilik
Metin tarayıcıda işlenir ve saklanmaz.
Sınırlamalar
Robots.txt erişim yetkilendirmesi değildir ve tek başına dizinden kaldırma sağlamaz.
Birincil kaynaklar
- Robots Exclusion Protocol — IETF; 2022-09; 2026-08-14.
- Introduction to robots.txt — Google Search Central; current 2026-08-19; 2026-08-19.
- Robots meta tag, data-nosnippet, and X-Robots-Tag specifications — Google Search Central; current 2026-08-19; 2026-08-19.