تُستخدم برامج زحف الويب، التي تُعرف غالبًا باسم العناكب أو الروبوتات، من قِبل محركات البحث، وهي مُكلّفة بتنزيل وفهرسة المحتوى عبر الإنترنت. صُمّم هذا الروبوت خصيصًا للتعرّف على محتوى جميع مواقع الإنترنت تقريبًا لضمان إمكانية استرجاع المعلومات ذات الصلة عند الحاجة.
في أغلب الأحيان، تتولى محركات البحث تشغيل هذه البرامج الآلية وصيانتها. فعندما يبحث المستخدم باستخدام جوجل أو بينج، تظهر قائمة بالمواقع الإلكترونية كنتائج (أو محرك بحث آخر).
يمكن تصور برنامج زحف الويب كشخص مهمته البحث في جميع الكتب الموجودة في مكتبة غير منظمة لإنشاء فهرس بطاقات. يصبح هذا الفهرس متاحًا لأي شخص يزور المكتبة، ويمكنه استخدامه للعثور بسرعة وسهولة على المعلومات التي يحتاجها.
كيف تعمل برامج زحف الويب؟
يكتسب الإنترنت باستمرار قدرات جديدة ويتوسع نطاق عمله. تبدأ برامج زحف الويب عملها من قائمة أولية، وهي ببساطة قائمة عناوين مواقع إلكترونية مألوفة لديها. هذه القائمة هي نقطة انطلاقها، إذ يستحيل عمليًا معرفة العدد الكامل للمواقع الإلكترونية المتاحة على الإنترنت. تبدأ هذه البرامج بزحف المواقع التي يمكن الوصول إليها باستخدام عناوين المواقع المُقدمة، وتستمر في زحف هذه الصفحات حتى تكتشف روابط لعناوين أخرى، وعندها تُضيف تلك الصفحات إلى قائمة النطاقات التي ستزحف إليها لاحقًا.
من الممكن أن تستمر هذه العملية لفترة طويلة جدًا نظرًا لكثرة المواقع الإلكترونية التي تُفهرس لأغراض البحث. كما تأخذ برامج زحف الويب في الاعتبار عوامل أخرى تُشير إلى احتمالية احتواء الصفحة على معلومات مفيدة. معظم برامج زحف الويب ليست مصممة لزحف كامل الجزء العام من الإنترنت، بل تُحدد المواقع التي يجب زحفها أولًا بناءً على عدة خصائص كهذه.
يحتاج محرك البحث إلى فهرسة موقع إلكتروني يُشار إليه في العديد من صفحات الويب الأخرى ويحظى بعدد كبير من الزيارات. وذلك لأن مثل هذه الصفحة الإلكترونية غالباً ما تحتوي على محتوى عالي الجودة وموثوق. يشبه هذا الوضع ما تفعله المكتبة لضمان وجود عدد كافٍ من نسخ كتاب يُستعار بكثرة من قِبل العديد من روادها.
التحقيق في المواقع الإلكترونية التي تمت زيارتها سابقاً
تُحدَّث المعلومات التي يمكن العثور عليها على شبكة الإنترنت العالمية باستمرار، أو تُحذف، أو تُنقل إلى مواقع ويب أخرى. لذا، يتعين على برامج زحف الويب زيارة المواقع التي تفهرسها بشكل دوري لضمان احتواء قواعد بياناتها على أحدث نسخة من المحتوى.
ضمن الخوارزميات المتخصصة التي تستخدمها برامج الزحف الخاصة بمحركات البحث المختلفة، تتفاوت أهمية هذه العوامل. ومع ذلك، يظل الهدف النهائي لجميع برامج الزحف واحدًا: تنزيل المحتوى من مواقع الويب وفهرسته، إلا أن سلوك برامج الزحف المستخدمة من قبل محركات البحث المختلفة يختلف قليلًا.
للمزيد من هذه المقالات، يُرجى مراجعة موقع Seahawkmedia
