يُعدّ تنزيل وفهرسة المواد من مختلف أنحاء الإنترنت مهمة برامج زحف الويب. تُعرف هذه البرامج عادةً باسم "العنكبوت" أو "الروبوت" الذي تستخدمه محركات البحث . يكمن هدف الروبوت في التعرّف على محتوى كل موقع على الإنترنت، بحيث يُمكن الوصول إلى المعلومات ذات الصلة عند الحاجة.
تُسمى هذه البرامج "برامج زحف الويب" لأن الزحف هو المصطلح التقني لزيارة موقع ويب تلقائيًا والحصول على البيانات عبر تطبيق برمجي.
في أغلب الأحيان، تتولى محركات البحث إدارة هذه البرامج الآلية. تستطيع محركات البحث تقديم روابط مناسبة استجابةً لاستفسارات المستخدمين من خلال تطبيق خوارزمية بحث على البيانات التي تجمعها برامج الزحف على الويب. وتُنشئ هذه الخوارزمية قائمة المواقع الإلكترونية التي تظهر عند إجراء المستخدم بحثًا في جوجل أو بينج (أو أي محرك بحث آخر).
سيقوم المنظم بقراءة العنوان والملخص وجزء من المحتوى الداخلي لكل كتاب في المكتبة لتحديد موضوع الكتاب حتى يمكن ترتيب الكتب في الفئات المناسبة وفرزها حسب الموضوع.
كيف يقوم برنامج الزحف بمهامه؟
برنامج الزحف هو برنامج ينتقل عبر سلسلة من المراحل المحددة مسبقًا بترتيب تسلسلي، ولذلك، من الضروري تحديد هذه المراحل قبل بدء عملية الزحف. على سبيل المثال، عادةً ما يزور برنامج الزحف كل عنوان URL لموقع ويب على حدة، ويتم حفظ النتائج في فهرس عند انتهاء عملية الزحف.
تحدد الخوارزمية المستخدمة كيفية عرض هذا الفهرس؛ فعلى سبيل المثال، تحدد خوارزمية جوجل ترتيب ظهور النتائج استجابةً لاستعلام بحث محدد. بالإضافة إلى ذلك، تحدد الخوارزمية تنسيق هذا الفهرس.
ما هي أنواع الزواحف الأخرى المتاحة للاختيار من بينها؟
يستخدم المطورون برامج الزحف لأغراض متعددة، بما في ذلك ما يلي:
محرك البحث
تستخدم محركات البحث مثل جوجل وبينج برامج الزحف، وهي شائعة الاستخدام ومعروفة على نطاق واسع. ولا يمكن لهذه المحركات العمل إلا بمساعدة برامج الزحف، لأنها تُنشئ فهرسًا لتزويد المستخدمين بنتائج بحث مُجهزة.
زاحف مركز
تُعدّ "برامج الزحف المتخصصة" نظيراً لمحركات البحث الشاملة (USM) التي تركز على موضوعات محددة. فهي تقتصر على مناطق معينة من الإنترنت، مثل المواقع الإلكترونية المخصصة لموضوع معين أو المواقع التي تقدم تقارير وأخباراً حديثة. ثم تقوم بتجميع فهرس شامل لهذا المحتوى.
تحليلات الويب
يستخدم مديرو المواقع الإلكترونية أيضًا برامج الزحف لفحص المواقع من حيث البيانات، مثل عدد الزيارات أو الروابط. ويعتمد معظمهم على حلول تحليل المواقع المتخصصة.
مقارنة الأسعار
قد تختلف أسعار العديد من المنتجات، بما في ذلك تذاكر الطيران والسلع التقنية الأخرى، من متجر لآخر. لذا، تستخدم مواقع الويب برامج الزحف لمقارنة الأسعار، لتزويد عملائها بنظرة عامة على السوق الحالية.
الخاتمة
يمكن اعتبار برنامج زحف الويب بمثابة شخص يقوم بفرز الكتب في مكتبة غير منظمة لإنشاء فهرس بطاقات. وهذا يُمكّن أي شخص يزور المكتبة من العثور على المعلومات التي يريدها بسرعة وكفاءة.
هناك العديد من المصطلحات الأخرى، مثل مصطلح "زاحف الويب"، والتي تم تغطيتها في قاموس مصطلحات تحسين محركات البحث Seahawk .
