هو ملف يحتوي على إرشادات حول كيفية الزحف إلى موقع ويب. يعرف أيضا باسم بروتوكول استبعاد الروبوتات ، ويتم استخدام هذا المعيار بواسطة المواقع لإخبار الروبوتات بأي جزء من موقع الويب الخاص بهم يحتاج إلى فهرسة. أيضًا ، يمكنك تحديد المناطق التي لا تريد معالجتها بواسطة برامج الزحف هذه ؛ تحتوي مثل هذه المناطق على محتوى مكرر أو قيد التطوير. لا تتبع الروبوتات مثل أجهزة الكشف عن البرامج الضارة وأدوات جمع البريد الإلكتروني هذا المعيار وستبحث عن نقاط الضعف في الأوراق المالية الخاصة بك ، وهناك احتمال كبير بأنهم سيبدأون في فحص موقعك من المناطق التي لا تريد فهرستها.
إنشاء ملف Robots.txt
لضمان ظهور الصفحات و المنشورات وأن يحتل موقعك مرتبة عالية في صفحات نتائج محرك البحث (SERPs) ، ستحتاج إلى تسهيل عملية البحث في محركات البحث (bots) لاستكشاف أهم صفحاته. سيساعدك وجود ملف robots.txt جيد التنظيم في توجيه هذه الروبوتات إلى الصفحات التي تريد فهرستها (وتجنب الباقي).
- اختر نوع الاستضافة Blogger أو WordPress.
- ضع عنوان URL لموقع الويب الخاص بك ببادئة البرتكول https: // في خانة عنوان الموقع الاكتروني.
- انقر فوق إنشاء ملف الان وسيبدأ في إعداد وتجهيز ملف الروبوت تكست Robots.txt.
- انسخ الكود المستخرج إلى موقعك: إعدادات المدونة وقم بتمكين محتوى ملف robots.txt المخصص والصق الرمز هناك.
هذا الاداة "مولد ملف Robots.txt" أصبحت متاحة للجميع، يمكنك تحميلها الان.
مولد Robots.txt Generator:
ملاحظة
بعد اختيارك المنصة الذى سوف تنشئ لها ملف Robots.txt , يلزمك استبدال عنوان موقعي برابط موقعك.
انت الان علي وجة إنشاء ملف Robots.txt لـ Blogger
Status :-
اداة مولد Robots.txt تسهل عليك انشاء ملف روبوت لاستخدامها على موقعك فتحظر على بعض برامج الزحف من ارشفة اقسام معينة في موقعك مثل صفحات او مجلدات او ملفات.