מהו עכביש תוכנה?

'עכביש תוכנה' הוא תוכנית בלתי מאוישת המופעלת על ידי מנוע חיפוש הגולש באינטרנט בדיוק כמו שהיית עושה. כאשר הוא מבקר בכל אתר אינטרנט, הוא מתעד (שומר בכונן הקשיח) את כל המילים בכל אתר ומציין כל קישור לאתרים אחרים. לאחר מכן הוא 'לוחץ' על קישור, והוא יוצא לקרוא, להוסיף לאינדקס ולאחסן אתר אחר.

בן כמה tre brooks

עכביש התוכנה קורא לעיתים קרובות את כל הטקסט של כל אתר אינטרנט שהוא מבקר בו ומוסיף אותו לאינדקס למסד הנתונים הראשי של מנוע החיפוש שאליו הוא עובד. לאחרונה מנועים רבים כגון AltaVista החלו להוסיף לאינדקס רק עד מספר מסוים של עמודים באתר, לרוב כ -500 סה'כ, ואז נעצרים. ככל הנראה, הסיבה לכך היא שהאינטרנט הפך לגדול עד כדי כך שלא ניתן יהיה להוסיף עליו אינדקס. לא ניתן לחזות לחלוטין את מספר העמודים שיעביר אינדקס של העכביש. לכן, מומלץ לשלוח באופן ספציפי כל דף חשוב באתר שלך שאליו תרצה להוסיף לאינדקס, כמו אלה המכילים מילות מפתח חשובות.

עכביש תוכנה הוא כמו ספרן אלקטרוני החותך את תוכן העניינים של כל ספר בכל ספרייה בעולם, ממיין אותם לאינדקס מאסטר ענקי, ואז בונה ביבליוגרפיה אלקטרונית המאחסנת מידע על אילו טקסטים מתייחסים לאילו טקסטים אחרים. יש עכבישים תוכנה שיכולים להוסיף לאינדקס יותר ממיליון מסמכים ביום! חשוב להבין שעכבישים של מנועי חיפוש עושים רק שני דברים:

הם מוסיפים טקסט לאינדקס.
הם עוקבים אחר קישורים.

בכנס אסטרטגיות למנועי חיפוש שנערך לאחרונה על ידי SearchEngineWatch.com, אחד הדוברים האורחים, שרי ת'ורו מ- Grantastic Designs, העלה את הנקודה הזו וחזר עליה מספר פעמים כדי להמחיש את משמעותה: 'מנועי החיפוש מוסיפים טקסט ומעקב אחר קישורים. הם מוסיפים טקסט לאינדקס והם עוקבים אחר קישורים. זה כל מה שהם עושים. '

הנקודה שלה חשובה ומרכזית להבנת אופי העכבישים של מנועי החיפוש. אם הטקסט של אתר האינטרנט שלך כלול בגרפיקה, מנועי החיפוש אינם יכולים להוסיף אותו לאינדקס. אם כל מילות המפתח החשובות שלך שעבורן אתה מקווה להשיג דירוגים כלולות בגרפיקה, ולא בטקסט ה- HTML, האתר שלך לא יגיע לדירוג. זכרו, מנועי החיפוש אינם מוסיפים תמונות לאינדקס או קוראים תמונות, הם מוסיפים טקסט ואוחצים קישורים. זה הכל. אם אין לך טקסט בדף הניתן לצפייה, שום כמות מילות מפתח במטא תג המפתח שלך תעזור לך להשיג דירוגים.

מה שהעכביש רואה באתר שלך יקבע כיצד האתר שלך מופיע באינדקס שלו. מנועי חיפוש קובעים את הרלוונטיות של האתר על סמך מערכת ציונים מורכבת שמנועי החיפוש מנסים לשמור בסוד. מערכת זו מוסיפה או מחסרת נקודות בהתבסס על דברים כגון כמה פעמים מילת המפתח הופיעה בדף, היכן בדף היא הופיעה וכמה מילים סך הכל נמצאו. הדפים שמשיגים את מירב הנקודות מוחזרים בראש תוצאות החיפוש; השאר קבורים בתחתית, לעולם לא נמצא.

כשעכביש תוכנה מבקר באתר שלך, הוא מציין כל קישורים בדף שלך לאתרים אחרים. בבסיס הנתונים העצום של מנוע החיפוש מתועדים כל הקישורים בין האתרים. מנוע החיפוש יודע לאילו אתרים קישרת, וחשוב יותר, לאילו אתרים המקושרים אליך. מנועים רבים אף ישתמשו במספר הקישורים לאתר שלך כאינדיקציה לפופולריות, ואז יגבירו את הדירוג שלך על סמך גורם זה.