בונה ובודק robots.txt

יוצר כללים ובודק איזו הוראה חלה על סוכן משתמש ונתיב לפי התאמה מפורשת.

הנתונים מעובדים בדפדפן בלבד, אינם נשלחים לשרת ואינם נשמרים.

robots.txt מנהל גישת סורקים; הוא אינו הרשאה ואינו מבטיח הסרה מהאינדקס.

…

שיטה

יוצר כללים ובודק איזו הוראה חלה על סוכן משתמש ונתיב לפי התאמה מפורשת.

הנתונים מעובדים בדפדפן בלבד, אינם נשלחים לשרת ואינם נשמרים.

robots.txt מנהל גישת סורקים; הוא אינו הרשאה ואינו מבטיח הסרה מהאינדקס.

Robots Exclusion Protocol — IETF; 2022-09; 2026-08-14.
Introduction to robots.txt — Google Search Central; current 2026-08-19; 2026-08-19.
Robots meta tag, data-nosnippet, and X-Robots-Tag specifications — Google Search Central; current 2026-08-19; 2026-08-19.