כל אחד יכול לקבוע כיצד ואם בכלל לאפשר לגוגל גישה לאתר
לכל מפרסם רשת מטרה שונה שהוא או היא רוצים להשיג באינטרנט. לדוגמה, חלק ממפרסמי העיתונים בחרו לספק גישה חופשית למאמרים האחרונים שלהם, בעוד הגישה לארכיונים היא שרות הטבה בתוספת תשלום. יש הרוצים נראות בכל מאפייני מנוע החיפוש, כגון גוגל מובייל, גוגל תמונות, וכו', בעוד אחרים רוצים להופיע רק בתוצאות החיפוש ברשת.
מנועי חיפוש רוצים לכבד את רצונם של המפרסמים – אחרי הכול, זהו התוכן שלהם. אבל אנחנו לא קוראי מחשבות, כך שחיוני שמנהלי האתרים יאמרו לנו איך הם רוצים לקטלג את התוכן שלהם. ניתן לעשות זאת על ידי שימו בפרוטוקול ההחרגה של Robots, מפרט טכני מבוסס היטב האומר למנועי החיפוש באיזה אתר או באילו חלקים מאתר אין לחפש, ואילו חלקים צריכים להישאר גלויים בתוצאות החיפוש.
Robots.txt - שליטה בכל האתר
לב פרוטוקול ההחרגה של Robots הוא קובץ טקסט פשוט הנקרא Robots.txt שהיה הסטנדרט בתעשייה מזה שנים רבות. באמצעות Robots.txt אתה יכול לשלוט בגישה בכמה וכמה רמות, החל מכל האתר ועד לתיקיות מסוימות, לדפים מסוג מסוים או אפילו לדפים מסוימים.
איך מונעים מדפים באתר להיכלל באינדקס?
כללית, רוב בעלי האתרים רוצים שהגוגלבוט יחדור לאתר שלהם, כדי שדפי הרשת שלהם יוכלו להימצא על ידי משתמשים המחפשים בגוגל. אולם, יתכן ויש לך דפים שאתה לא רוצה לעשות להם אינדקס: למשל, רישומי יומן פנימיים או מאמרי חדשות המצריכים גישה בתשלום.
אתה יכול להחריג דפים מהאינדקס של גוגל על ידי יצירת קובץ Robots.txt והשמתו בתיקיית השורש בשרת הרשת שלך. קובץ ה- Robots.txt מציין את רשימת הדפים שאסור למנועי החיפוש לכלול באינדקס. יצירת קובץ Robots.txt היא פשוטה למדי ונותנת למפרסמים רמה מתוחכמת של שליטה בצורה שבה מנועי חיפוש נכנסים לאתרים שלהם.
לדוגמה, אם מנהל אתר רוצה למנוע קטלוג של יומני הרישום הפנימיים שלו, קובץ ה-Robots.txt שלו צריך להכיל:
User-Agent: googlebot
שורת User - Agent מציינת שהקטע הבא הוא סט של הוראות המיועדות עבור הגוגלבוט בלבד.
Disallow: /logs/
שורת Disallow אומרת לגוגלבוט לא לגשת לקבצים בתת התיקייה של יומני הרישום באתר שלך. כלומר, בעל האתר ציין במפורש שלא צריך להופיע אף דף מהדפים בתיקיית יומן הרישום בתוצאות החיפוש של גוגל.
כל מנועי החיפוש הראשיים יקראו ויצייתו להוראות שרשמת ב- Robots.txt ואתה יכול לציין חוקים אחרים עבור מנועים חיפוש שונים אם אתה רוצה בכך.
תגי מטא – שליטה בדפי אינטרנט ספציפיים
בשונה מקובץ Robots.txt, המאפשר מתן הוראות למספר רב של דפים באתר, אתה יכול להשתמש בתגי המטא של ה - Robots לשם שליטה דקדקנית בדפים בודדים באתר שלך. כדי ליישם זאת, פשוט הוסף תגי מטא לדף HTML ושלוט בצורה שבה דף זה עובר באינדקס. יחד, Robots.txt ותגי מטא נותנים לך את הגמישות להביע מד?יניות גישה מורכבת בקלות יחסית.
אם יש באתרכם עמוד שהגישה אליו מיועדת אך ורק למשתמשים רשומים, תוכלו למנוע ממנו להופיע בתוצאות החיפוש של גוגל. כדי לעשות זאת, פשוט הוסף את תג המטא NOINDEX לחלק <head>, הראשון של המאמר. הוספה זו מונעת מגוגל לעשות אינדקס לעמוד.
אולם, חשוב לזכור כי בחלק מן המקרים אתה עשוי לרצות שגוגל יעשה אינדקס לסוג הדפים הזה – למשל, מאמר ארכיון עיתונאי שצופים יכולים לשלם כדי לקרוא אותו בצורה מקוונת. אף כי סוג זה של תוכן "הטבה" לא יופיע בתוצאות החיפוש של גוגל, שרותי גוגל מסוימים, כגון חיפוש ארכיון חדשות (News Archive Search), יכללו את המאמר באינדקסים שלהם, ומידע לגבי התשלום יופיע למשתמשים בצורה ברורה.
Robots.txt לעומת תגי מטא
ככלל Robots.txt הוא דרך טובה להשיג שליטה בכלל האתר, בעוד תגי מטא נותנים שליטה דקדקנית על קבצים בודדים. תגי מטא שימושיים במיוחד אם יש לך אישור לערוך קבצים בודדים אבל לא את כל האתר. בנוסף, תגי מטא מאפשרים לך לציין מדיניות מורכבת לשליטה בזכות הגישה על בסיס כל דף בפני עצמו.
כיצד לוודא שהטקסט בדף יעבור אינדקס, אבל התמונות לא?
לעיתים כל אחד משני הכלים יכול לפתור את הבעיה: אפשרות אחת עשויה להיות חסימת זכות הגישה לתמונות על ידי סיומת הקובץ בכל רחבי האתר שלך באמצעות השימוש ב - Robots.txt. השורות הבאות בקובץ Robots.txt אומרות לגוגל לא לעשות אינדקס לכל קובץ המסתיים בסיומת jpg, או .jpeg
אפשרות נוספת, אם מערכת ניהול התוכן (ה –CMS ) שלך שומרת תמונות בתיקייה נפרדת, אתה יכול להחריג את התיקייה הזו כולה. אם התמונות שלך נמצאות בתיקייה הנקראת /images אתה יכול להחריג את התיקייה הזו מכל מנועי החיפוש.
אפשרות נוספת תהיה הוספת תג NOINDEX לכל קובץ המכיל תמונה.
כל הגישות הללו ימנעו את אינדקס התמונות שלך. השאלה היחידה היא עד כמה מקיפה אתה רוצה שהחרגה זו תהיה.
שליטה במטמון ובסניפט
תוצאות החיפוש מראות בדרך כלל את קישור הדף מזיכרון המטמון. כאן, למשל, ניתן לראות את אחת התוצאות הראשונות שניתן למצוא כשאנו מחפשים את המונח "ברווז ברכייה" (Mallard):
סניפט – קטע גזור, תקציר של טקסט מתוך דף רשת.
למה שיהיה לך סינפט? יש סיכוי רב יותר שמשתמשים יבקרו באתר ברשת אם בתוצאות החיפוש יופיע סניפט מהאתר. זאת משום שסניפטים מקלים על המשתמשים לראות את הרלבנטיות של התוצאה לשאלתם. אם משתמשים אינם יכולים לעשות קביעה זו במהירות, בדרך כלל הם ממשיכים הלאה לתוצאת החיפוש הבאה.
קישור מטמון – קישור זה לוקח את המשתמשים להעתק של הדף שנשמר בשרתי גוגל.
למה שיהיה לך קישור מטמון? קישור מטמון שימושי מאד במספר מקרים, למשל כאשר אתרים הופכים זמנית ללא זמינים. לדוגמא, כשאתרי חדשות הופכים לעמוסים מדי לאחר אירוע מרכזי או כשאתרים נמחקים בטעות. יתרון נוסף הוא שהעתק המטמון של גוגל מדגיש את המילים שבהן נעזר המשתמש בחיפושו, ובכך מאפשר הערכה מהירה של רלבנטיות הדף.
רוב מפרסמי הרשת רוצים שגוגל יראה הן את הסניפט והן את קישור המטמון. אולם, ישנם מקרים אחדים שבהם עשוי בעל האתר לרצות לנטרל את אחת, או את שתי האפשרויות האלה.
באתרי חדשות לדוגמא, שמתעדכנים מספר פעמים ביום והגוגל בוט אינו עושה אינדקס באותה תדירות, עלול קישור המטמון להצביע על דף שאינו מעודכן. בעל אתר החדשות יכול למנוע מקישור המטמון הזה להופיע בתוצאות החיפוש על ידי הוספת תג NOARCHIVE לדף שלו.
באופן דומה, ניתן לומר לגוגל לא להציג סניפט לדף באמצעות תג NOSNIPPET.
שים לב: הוספת NOSNIPPET מונעת גם הופעת קישור מטמון, כך שאם אתה מציין NOSNIPPET אתה אוטומטית מקבל NOARCHIVE גם כן.
האם לאתר שלך תוכן ייחודי ושימושי?
אולם, עליך לוודא כי הביטויים שאתה כותב כוללים את הביטויים שמבקרים קרוב לוודאי יחפשו. למשל, אם האתר שלך הוא עבור מועדון מעריצי מכוניות MG, וודא כי המילים "MG" ו"מכוניות" אכן מופיעות בתוכן, יותר מאשר מונחים כגון "אוטומובילים בריטיים".
