…
שיטה
יוצר כללים ובודק איזו הוראה חלה על סוכן משתמש ונתיב לפי התאמה מפורשת.
פרטיות
הנתונים מעובדים בדפדפן בלבד, אינם נשלחים לשרת ואינם נשמרים.
מגבלות
robots.txt מנהל גישת סורקים; הוא אינו הרשאה ואינו מבטיח הסרה מהאינדקס.
מקורות
- Robots Exclusion Protocol — IETF; 2022-09; 2026-08-14.
- Introduction to robots.txt — Google Search Central; current 2026-08-19; 2026-08-19.
- Robots meta tag, data-nosnippet, and X-Robots-Tag specifications — Google Search Central; current 2026-08-19; 2026-08-19.