ראשית, חשוב לציין כי העבודה עם הכלי מומלצת לבעלי אתרים שמתמצאים היטב בנושאי קידום.
עבודה מוטעית עם הכלי עלולה לגרום לנזקים קידומיים לאתר לפרקי זמן ארוכים ואף הסרתו ממנועי החיפוש! במידה ולא בטוחים, עדיף לא לבצע – פעולה לא נכונה תהיה קשה לביטול.
מהו קובץ robots.txt?
מדובר בקובץ המיועד ספציפית למנועי החיפוש התקניים (להבדיל ממנועי חיפוש שמטרתם איסוף נתונים לספאם) ותפקידו לתת להם הוראות ספציפיות לסריקה, עוד בטרם מנוע החיפוש ניגש לתכנים עצמם. התחשבות בקובץ זה מחייבת מנועי חיפוש העומדים בתקנים, כך שהקובץ יכול להכיל הוראות ספציפיות למניעת סריקה.
קובץ זה תמיד נמצא ברמה הגבוהה ביותר של הדומיין במיקום קבוע - במידה והדומיין הוא example.com, הקובץ תמיד יימצא בנתיב http://example.com/robots.txt.
דוגמאות נפוצות לשימוש בכלי הן חסימת הפורומים מסריקה, חסימת סריקת תמונות למנועי חיפוש, חסימת טפסים וכדומה...
מה היתרון בשימוש בקובץ robots.txt?
היתרון הברור בשימוש בקובץ זה הוא בכך שאין צורך לחסום את התכנים מהגולשים עצמם, אך ניתן להשפיע על מה שמנוע החיפוש רואה – במידה ועמוד מוסתר, הוא יהיה מוסתר מעיני מנועי החיפוש והגולשים יחדיו, ועמוד שמוסתר בקובץ robots.txt לא יוצג למנועי חיפוש אך כן יהיה זמין לגולש.
במערכת באופן ספציפי יש יתרון בעבודה עם הקובץ – הקובץ כולל באופן מובנה קישור למפת האתר. דבר זה חוסך את הצורך בהכנסת מפת האתר למנועי חיפוש, כי הם לומדים את מפת האתר כבר מ"פגישתם" הראשונה עם האתר.
שימוש בכלי
ניתן לעבוד ישירות מול תיבת הטקסט ולרשום בתוכה פקודות, או להשתמש במחולל הפקודות הנמצא בראש העמוד.
מחולל הפקודות מאפשר לבחור מנוע סריקה (user-agent) ולאחר מכן לתת הוראות ספציפיות לאותו מנוע בצורה של נתיבים להסתרה. המערכת כולל רשימה של מנועי סריקה נפוצים וניתן להוסיף שם של מנוע ספציפי במידה והוא לא מופיע ברשימה. לאחר שנרשום את הנתיב, נלחץ
"הוספת כלל".
בסיום ביצוע כל השינויים נלחץ
"עדכן נתונים" והקובץ יתעדכן בשינויים הרצויים.
דוגמאות לנתיבים לקובץ robots.txt
באופן מעשי, ניתן להוסיף לתיבת
"ספריות וקבצים" כל נתיב שהוא - החל מהדומיין עצמו וכלה בעמוד בודד או שרשור ספציפי בפורום.
לדוגמא, כדי למנוע גישה לעמוד זה, נוכל להעתיק את כתובתו משורת הכתובת בדפדפן ולהדביק בכלי robots.txt, להגדיר לאילו מנועי חיפוש הכלל מיועד ולעדכן.
למען הדגמת הכלי, ריכזנו מספר נתיבים כלליים של רכיבי מערכת, כך שניתן להעתיק את הנתיבים במידה ומעוניינים לחסום כלי שלם מסריקה על ידי מנועי חיפוש.
