בונה ובודק robots.txt

הנתונים מעובדים בדפדפן בלבד, אינם נשלחים לשרת ואינם נשמרים.

robots.txt מנהל גישת סורקים; הוא אינו הרשאה ואינו מבטיח הסרה מהאינדקס.