דילוג לתוכן העיקרי
בן אהרוני - מקדם אתרים

ניווט ראשי

  • מורה פרטי לקידום אתרים
  • קידום אורגני
  • בלוג
  • אודות
  • יצירת קשר

שביל ניווט

  1. דף הבית

עכבת סריקה

עכבת סריקה (באנגלית: Crawling inhibition) אני מגדיר כעכבה חלקית בהקשר סריקת דף ווב אחד או יותר באתר ווב נתון.

סיבתיות

הסיבתיות לרצות להגביל במידת מה (שאיננה מוחלטת) את הסריקה של אתר ווב היא נדירה ואם היא בכלל קיימת, בדרך כלל זה יידרש לאתרים גדולים של מיליוני דפים והמון קישורים חיצוניים (בקלינקס) שמקשרים אליהם; כלומר, יש יותר בקלינקס מדפים כקריטריון מינימלי ובכל מקרה טראפיק לא סביר.

המון סריקה תכביד על סביבת שרתים אשר עליה מאוחסן אתר הווב ולכן בצירוף טראפיק עצום, הדבר יכול לגרום לעומס ולקריסות (השרת מגיע לקצה גבול יכולת ולא יכול לספק |תגובות שרת בהתאם לבקשת שרת ותגובת שרת|בקשות שרת).

דוגמת קוד

קוד עכבת סריקה אלמנטרי בקובץ robots.txt יהיה למשל:

crawl-delay: 10

הנחיה זו ממליצה לתוכנת סריקה של מנוע חיפוש נתון (כגון גוגל או בינג) לסרוק דף, להמתין 10 שניות ואז לסרוק דף נוסף וחוזר חלילה;
מכאן, ככלל, תוכנת סריקה שאכן מתייחסת לכלל זה ומפענחת אותו ככתבו תסרוק לכל היותר 6 דפים ל-60 שניות ← לפי החילוק 60 שניות חלקי 10 ולכן 360 דפים לשעה, 8640 ליום ועל זה הדרך בשל הכפלה ב-60 בכל שלב בחישוב.

ככל שערך משתנה עכבת הסריקה נמוך יותר, כך תוכנת סריקה שמפענחת אותו ככתבו, תוכל לסרוק יותר דפים. כך למשל:
אם ערך משתנה עכבת הסריקה היה 1 ולא 10, אזי תוכנת הסריקה תסרוק דף עם המתנה של שנייה בין כל דף, כלומר 30 דפים ב-60 שניות, בערך.

הסתייגות

יצוין כי לא כל תוכנת סריקה בהכרח תתייחס להנחיית עכבת סריקה או לא בכל מצב ← איזו תוכנת סריקה תפענח איך, אם בכלל, את איזו הנחייה, לגמרי תלוי בצוות הפיתוח של מנוע החיפוש שכולל את תוכנת הסריקה. כאמור, ייתכן ובינה מלאכותית אף תהווה חלופה כפויה להנחייה זו.

מניסיוני נכון לשנת 2020 ירד קרנן של עכבות סריקה; בשל שיפור ביצועי תוכנה הן באתרים והן בתוכנות הסריקה נדיר מאד ואף מסוכן מאד להשתמש בהן והדבר מתרחש רק לעתים נדירות באתרים עם גדלים עצומים נדירים שמכילים מיליוני דפים וחווים כמויות אדירות (מאות מיליונים ואף מליארדים) בהקשר כניסות חודשיות.

היעדר השפעה אפשרי

לדעתי חשוב לסייג לגמרי ולאמר שכל תוכנת סריקה יכולה, דרך בינה מלאכותית להתעלם לגמרי מעכבת סריקה או לפענח אותה בצורה מגוונת ואף דרך ליצור עכבת סריקה משל עצמה אם האתר יעלה איטי מדי שתישאר תקפה ביחס לאותו אתר עד אשר ביצועי הווב של האתר ישתפרו.
לכן, יש לזכור שעכבת סריקה אולי כלל לא תהיה אפקטיבית אך אם רוצים להגביל חלקית סריקת אתר, בתור עיקרון כן טוב להשתמש בכלי זה, אך שימוש בו אמור להיות זהיר ביותר שכן שימוש שגוי יכול להיות מסוכן לקידום אורגני, לפחות לגבי מנועי חיפוש ספציפיים.

מאז שנת 2020 בערך אפשר להניח שעכבות סריקה הפכו די מיותרות בשל שיפור תוכנות סריקה וכן בשל הסבירות שתוכנות שרת יכולות לתקשר טוב יותר עם תוכנות סריקה.

הערות כלליות
  • אין חובה לדבר רק על דפי ווב וניתן לדבר על דפים מאונדקסים בכללי, אם כי טרם נתקלתי בעכבת סריקה במנועי חיפוש שלא קשורים בדפי ווב
  • באם אתר הוא אתר קטן או בינוני (מאות או אלפי או רבבות או כמה מאות אלפי משתמשים בחודש) אין כל טעם בשימוש בעכבת סריקה והשימוש בה, פוטנציאלית, מזיק ומסוכן ביותר לקידום אורגני
תג
מנועי חיפוש ופיתוחם

פוסטים אחרונים מהבלוג

מה לדעתי צריך שיהיה כתוב בחוזה כשבונים אתר חנות
מה זה אתר אינטרנט מת? האם אתר אינטרנט יכול למות?
מה זה שפת CSS
מה צריך כדי לבנות אתר ווב

מקדם אתרים עם אתיקה מקצועית
הלקוח הוא שותף

עבודה מבוססת הכרה, ניתוח והסקה
הכרות ארוכת טווח במספר מפגשים הנותנת לי הבנה רחבה של האתר, מתחרים (אם ישנם), וציפיות הלקוח
עבודה במפגשים נקודתיים או חודשית לפי צורכי הלקוח בשקיפות וכנות לגבי תחום האתר, זמן מינימלי משוער לקידום ויכולתי לסייע


תפריט

  • קטגוריות מאמרים
  • מקדם אתרים
  • יועץ קידום אורגני
  • סוכנות קידום אתרים
  • מורה פרטי לקידום אתרים
  • מורה פרטי לבניית אתרים
  • מורה פרטי למקצועות האינטרנט
  • מורה פרטי לתכנות ווב
  • שיעור פרטי בקידום אורגני
  • שיעור פרטי באחסון אתרים
  • שיעור פרטי בהקמת אתרים
  • עברו שנים והאתר לא מקודם
  • מדריך קידום אורגני

קידום אתרים לפי תחומים

  • קידום אתרים לרופאים מנתחים
  • קידום אתרים לעורכי דין מומחים
  • קידום אתרים למנעולנים מומחים
  • קידום אתרים למעצבים גראפיים
  • קידום אתרים לאינסטלטורים מומחים
  • קידום אתרים לפסיכולוגים ופסיכיאטרים

שירותי מקדם אתרים

שירותי מקדם אתרים והדרכה כללית במקצועות האינטרנט עם שירות פיזי במשרד הלקוח או בבית הלקוח או שירות מרחוק עם Zoom או TeamViewer וטכנולוגיות אחרות.
תכנון ושיפוץ אתרים מוובמאסטר באפשרות לעבודה שעתית וכן ניהול ותחזוקת דפים ואתרים | הדרכה לבניית אתרים ושיפור הדירוג, ומגוון שירותי ייעוץ תוכן ופיתוח תוכן למגזר הפרטי והעסקי. להגברת המכירות והשקט הנפשי, מוטב לקבוע פגישה פרטנית.

שירותי מקדם אתרים מקצועיים

מדריך קידום אתרים אישי

הדרכה צמודה ממדריך מנוסה שמעביר את החומר בקלי קלות.
הסברים קצרים ולעניין בנושא קידום אתרים לכל בעל עסק.
כל אחד יכול ללמוד איך לקדם את אתרו, יש הרבה פעולות לעשות לבד.
אל תישאר מאחור, קדם את העסק שלך בהקדם עם מורה פרטי וליווי צעד צעד.

מאמרים חדשים

שפת התנהגות
עקרונות כלליים לכתיבת מאמרים לאתרי ווב (אתרי אינטרנט)
ללמוד הרבה במעט
מה לדעתי צריך שיהיה כתוב בחוזה כשבונים אתר חנות
יתרונות וחסרונות של תקשורת כתובה והבעיה עם תקשורת כתובה מיידית

מאמרים רנדומליים

ציון איכות ספציפי
קישור חיצוני
טופס Opt-in
מה זה קובץ? איך להגדיר קובץ
תג meta בסיווג name=description

מאמרים פופולריים

איך להתחיל כל עבודה על אתר של לקוח
האם בשביל להצליח בקידום אתרים צריך להיות חזק בעיצוב אתרים?
מה זה אתר אינטרנט מת? האם אתר אינטרנט יכול למות?
מאמר קישור
מורה פרטי למקצועות האינטרנט

קטגוריות מאמרים

לינוקס
JavaScript
עיצוב אתרים
אבחון קידום אורגני
מדיה חברתית
מקור רסס

לעבוד איתי

  • שירות בדיקת אתר
  • כותב תוכן עצמאי
  • מחיר קידום אורגני
  • ניהול מדיה חברתית
  • כתיבת תוכן

ללמוד אצלי

  • לימודי אחסון אתרים
  • לימודי בניית אתרים
  • לימודי הקמת אתרים
  • לימודי קידום אתרים
  • לימודי תכנות אתרים

להיות בקשר

  • מקדם אתרים
  • מורה פרטי לקידום אתרים
  • קידום אורגני
  • מפת אתר
  • יצירת קשר

בן אהרוני - מקדם אתרים
פרילנסר קידום אורגני ומורה פרטי לקידום אתרים

יחד נקדם את אתרך לגבהים חדשים

+972-0584-750-900

כל הזכויות שמורות