الروبوتات.txt

الروبوتات txt

Robots.txt هو ملف نصي يستخدمه مسؤولو الويب لإخبار روبوتات الويب (بشكل أساسي روبوتات محركات البحث) بكيفية الزحف إلى صفحات موقع الويب الخاص بهم. يعد ملف .txt جزءا من بروتوكول استبعاد الروبوتات (REP) ، وهو مجموعة من معايير الويب التي تحكم كيفية استكشاف الروبوتات للويب والوصول إلى المواد وفهرستها وتقديمها للناس. يحتوي REP أيضا على توجيهات مثل روبوتات Meta وتعليمات حول كيفية تفسير محركات البحث للروابط الموجودة على صفحة أو دليل فرعي أو على مستوى الموقع.

في الواقع ، تحدد ملفات .txt الروبوتات ما إذا كان يسمح لوكلاء مستخدم محددين (برامج الزحف إلى الويب) بالزحف إلى مناطق معينة من موقع الويب أم لا. سلوك وكلاء المستخدمين المحددين أو جميعهم "غير مسموح به" أو "مسموح به" في تعليمات الزحف هذه.

ما هو الغرض من الروبوتات .txt؟

الوظائف الأساسية لمحركات البحث هي:

الزحف إلى الويب بحثا عن المواد ؛ تصنيف هذا المحتوى بحيث يتم تسليمه إلى الباحثين عن المعلومات.

تقوم محركات البحث بفحص مواقع الويب عن طريق اتباع الروابط من موقع إلى آخر ، مما يؤدي في النهاية إلى الزحف إلى مليارات الاتصالات وصفحات الويب. "العنكبوت" هو مصطلح يستخدم لوصف هذا النشاط الزاحف.

سيبحث زاحف البحث عن ملف روبوت .txt بعد الهبوط على موقع ويب ولكن قبل عنكبوته. سيقوم الزاحف بقراءته قبل العثور عليه ، والانتقال إلى الصفحة التالية. ستوجه المعلومات التي تم الحصول عليها في ملف .txt الروبوت سلوك الزاحف اللاحق على هذا الموقع لأنه يتضمن معلومات حول كيفية زحف محرك البحث. إذا لم تكن هناك توجيهات في ملف .txt الروبوتات ، أو إذا كان وكيل نشاط المستخدم محظورا ، أو إذا كان الموقع يفتقر إلى ملف .txt روبوتات ، فسوف يزحف إلى معلومات أخرى على الموقع.

استخدامات الروبوتات.txt

يتم التحكم في وصول الزاحف إلى بعض مناطق موقعك باستخدام برامج الروبوت.txt الملفات. على الرغم من أن هذا يمكن أن يكون ضارا جدا إذا منعت Googlebot عن طريق الخطأ من استكشاف موقعك بالكامل (!!) ، إلا أن هناك أوقاتا يمكن أن يكون فيها ملف .txt الروبوت مفيدا.

فيما يلي بعض الأمثلة على حالات الاستخدام المتكررة:

يمنع المواد المكررة من الظهور على صفحات نتائج محرك البحث (SERPs). تجدر الإشارة إلى أن الروبوتات الوصفية غالبا ما تكون خيارا متفوقا لهذا الغرض.

يمكن جعل مناطق كاملة من موقع الويب خاصة. فكر في منطقة التدريج لفريقك الهندسي.

فهي تمنع صفحات نتائج البحث الداخلية من الظهور على صفحة نتائج محرك البحث العام.

تحديد عنوان (عناوين) ملف Sitemap

الحفاظ على بعض الملفات على موقع الويب الخاص بك من الفهرسة بواسطة محركات البحث (الصور وملفات PDF وما إلى ذلك)

وهي تحدد تأخير الزحف لتجنب إثقال كاهل خوادمك عندما تقوم برامج الزحف بتحميل العديد من المواد في وقت واحد.

بعض الأشياء التي يجب معرفتها عن الروبوتات .txt: 

يجب وضع ملف .txt الروبوت في دليل المستوى الأعلى لموقع الويب.

يجب تسمية الملف "الروبوتات.txt" لأنه حساس لحالة الأحرف.

قد يتم تجاهل ملف .txt الروبوت الخاص بك من قبل بعض وكلاء المستخدمين (الروبوتات). وينطبق ذلك بشكل خاص على برامج الزحف الأكثر حقدا ، مثل الروبوتات الضارة وكاشطات عناوين البريد الإلكتروني.

الملف / الروبوتات .txt مفتوح للجمهور. وهذا يعني أن أي شخص قد يرى المواقع التي تريد الزحف إليها والتي لا تريدها، لذلك لا تستخدمها لإخفاء المعلومات الشخصية.

يجب تحديد موقع ملفات Sitemap المرتبطة بهذا النطاق في أسفل ملف .txt برامج الروبوت كأفضل الممارسات.

هل أنت مهتم بمعرفة المزيد عن نص الروبوت؟ ثم قم بزيارة موقع Seahawk Media على الويب لهذا الغرض.

المشاركات ذات الصلة

البحث العضوي
مسرد مصطلحات ووردبريس
كومال بوثرا

ما المقصود بالبحث العضوي؟

البحث العضوي هو عملية كسب حركة المرور إلى موقع الويب الخاص بك من خلال غير مدفوع أو

كومال بوثرا 7 فبراير، 2023

لماذا الأسئلة الشائعة ضرورية لمتجر WooCommerce الخاص بك؟

الأسئلة الشائعة ، أو الأسئلة المتداولة ، تعد الصفحة إضافة شائعة لمواقع الويب. إنه

ووردبريس
كومال بوثرا 7 فبراير، 2023

لماذا يعد نظام ترتيب الصفحات هو العامل الأكثر أهمية لكبار المسئولين الاقتصاديين؟

ربما تكون قد سمعت عن محسنات محركات البحث من قبل ، ولكن ما هي العوامل الرئيسية في الحصول على

كبار المسئولين الاقتصاديين
كومال بوثرا 6 فبراير، 2023

ما هو معدل التحويل؟

معدل التحويل هو النسبة المئوية لزوار موقع الويب الذين يتخذون إجراءات للتحويل

مسرد مصطلحات كبار المسئولين الاقتصاديين

ابدأ مع Seahawk

اشترك في تطبيقنا لعرض أسعارنا والحصول على خصومات.