מניעת אינדוקס של אתרי וורדפרס בגרסה 5.3

מניעת אינדוקס האתר ע״י מנועי החיפוש הינו פיצ׳ר אשר לרוב שמיש כאשר בונים אתר ללקוח.
החל מגרסה 5.3 של וורדפרס, שיטת החסימה הולכת להשתנות.

ב-12 בנובמבר השנה, אמורה להתשחרר גרסת ה-Major הבאה של וורדפרס והאחרונה לשנה זו – גרסה 5.3.
כחלק מהשיפורים, התיקונים והפיצ׳רים החדשים, וורדפרס הולכת סוף סוף לשנות את הצורה בה היא מונעת אינדוקס של האתר ע״י מנועי החיפוש.

סיבות למניעת אינדוקס אתרים

ישנן מספר סיבות אשר יגרמו לנו לרצות למנוע ממנועי החיפוש לסרוק ולאנדקס את האתר.
לרוב כל אתר שנבנה נרצה שיוצג בגוגל, וכמובן במיקומים הכי גבוהים, אך מידי פעם לא נרצה שזה יקרה.

חסימת אתר בשלבי פיתוח

כאשר ניגשים לבניית אתר תדמיתי או מכירתי לעסק, לרוב דברים משתנים, בעיקר התכנים ומבנה האתר.
במקרים כאלו אנו לא נרצה שמנועי החיפוש יסרקו את האתר שלנו וזאת על מנת שהוא בטעות לא יסרוק תכנים שלא רלוונטיים או לא סופיים.

במידה והאתר שנבנה הוא חידוש של אתר קיים, לא נרצה שהתכנים אשר מופיעים באתר החדש יחשדו כתוכן משוכפל ובעקבות זה יפגע בדירוג של האתר הקיים במנועי החיפוש.

מניעת אינדוקס במקרה זה היא הכרחית מכיוון שהאתר בשלב פיתוח והקישורים של העמודים יכולים להשתנות, במקרים כאלו אנחנו לא נרצה להתעסק עם הפניות 301.

חסימת אתר פנימי

ישנן חברות או עסקים אשר להם אתר פנימי לעובדים כמו פורטל עובדים או פורום סגור.
במצב כזה לא נרצה שהוא יוצג במנועי החיפוש על מנת לא לאפשר זליגת מידע חסוי או אפילו נסיונות פריצה

לכן על מנת להתגבר על המקרה הזה נרצה לחסום את הסריקה והאינדוקס של האתר שלנו ע״י מנועי החיפוש.

הבעיה עם שיטת החסימה הקיימת

לצורך הדגמת הבעיה אנו נדבר על גוגל, גם בגלל שהוא מנוע החיפוש הפופולרי, וגם בגלל שרוב הבעיה קשורה אליו.

כאשר אנו בוחרים למנוע את אינדוקס האתר, מבחינת גוגל למילה Indexing יש שתי משמעויות – סריקה ורישום.

מבחינת גוגל כאשר נמנעת ממנו פעולה Indexing, זה אומנם ימנע מגוגל להכנס לאתר, אך זה לא ימנע מהאתר להיות מתועד במסד נתונים של גוגל.
פעולה זאת יכולה לגרום לכך שהאתר כן יוצג בתוצאות החיפוש של גוגל, אך גוגל לא תוכל לעקוב אחרי קישורים ולהציג מידע אודות אותו העמוד.

לדוגמא, אם יהיה אתר אשר יקשר לאתר או עמוד אשר לא נרצה שיהיה מאונדקס, גוגל תעקוב אחרי הקישור ותגיע לאתר הלא מאונדקס.
אומנם היא תתקבל בבקשה לא לאנדקס את האתר, אך היא עדיין תרשום את האתר במסד הנתונים.
דבר זה יכול לגרום שעל אף שביקשנו למנוע את אינדוקס האתר, האתר יופיע בתוצאות החיפוש.

מניעת אינדוקס אתר כיום

בגרסאות הנוכחיות של וורדפרס, כאשר מסמנים את האופציה של ״לבקש ממנועי חיפוש לא לאנדקס את האתר״ תחת עמוד ״הגדרות -> קריאה״ וורדפרס משתמש בקובץ robots.txt.

קובץ זה הוא קובץ אשר מאפשר לנו להנחות את כל הבוטים או בוטים ספציפיים האם לאנדקס את האתר, או למנוע אינדוקס של כל האתר או חלקים ממנו.
חסימה זו מתבצעת לרוב ע״י הקוד הבא:

User-agent: *
Disallow: /

מלבד קובץ זה, וורדפרס גם מוסיפה תגית <meta> אשר נראית לרוב כך:

<meta name='robots' content='noindex,follow' />

הבעיה היא שלפי ההנחיות של גוגל לגבי מניעת אינדוקס שימוש ב-robots.txt למניעת אינדוקס, יכולה להכשיל את הבקשה של תגית ה-<meta>.

Important! For the noindex directive to be effective, the page must not be blocked by a robots.txt file. If the page is blocked by a robots.txt file, the crawler will never see the noindex directive, and the page can still appear in search results, for example if other pages link to it.

מניעת אינדוקס בגרסה 5.3

החל מגרסה 5.3 שתצא בנובמבר, וורדפרס תשנה את השיטה בא היא מונעת ממנועי חיפוש לאנדקס את האתר.
פקודת החסימה דרך קובץ robots.txt תוסר, ותגית ה-<meta> תשתנה ותראה כך:

<meta name='robots' content='noindex,nofollow' />

בשיטה הזו וורדפרס תמנע את ההתנגשות בין הקובץ לתגית ה-<meta> וגם תמנע ממנועי החיפוש להמשיך את סריקת האתר.

חסימת שרתי פיתוח

לדברי צוות הפיתוח של וורדפרס, השיטה האפקטיבית ביותר לחסימה של מנועי החיפוש מלבצע את פעולת האינדוקס היא להגדיר ברמת שרת.

מומלץ להוסיף לרשימת ה-Header-ים שנשלחים עם התשובה של השרת את ה-Header הבא:

X-Robots-Tag: noindex, nofollow

סיכום

אומנם השינויים בדרך בך וורדפרס חוסמת את מנועי החיפוש לא תעניין רבים, אך בעלי אתרים ומקדמי אתרים אשר משתמשים בחסימה זו, מקבלים סוף סוף את הפתרון הראוי.