ملف robots.txt

ملف robots.txt شرح الخصائص و الإعدادات

مرحبا.

ملف robots.txt من بين أهم ملفات اي موقع بحيث يجب على كل موقع التوفر عى ملف خاص به و يلبي إحتياجاته سواء كان موقع مبني على Html او موقع ووردبريس او بلوجر او غير من المواقع.

 ملف robotx.txt

لاكن ما هو ملف robotx.txt ؟ كيف يمكن إنشائه؟ و ما هي الأوامر التي يجب أن يحتوي عليها؟

هذه كلها أسئلة سنجيب عليها في هذا الموضوع.

ملف robotx.txt هو الملف الذي يتحكم في عناكب البحث التي تزور موقعك, من خلاله يمكنك إخبارها بالملفات التي يجب و التي لايجب عليها أرشفتها. كما يقوم بإعطاء تصريح الدخول للموقع لبعض العناكب و يمنع البعظ الأخر فليست جميع العناكب هذفها أرشفة موقعك فمنها من هو ضار لموقعك بحيت يقوم بجمع معلومات قد تستخدم في السبام أو أمور أخرى.
لذالك ينصح دوما بإنشاء ملف مناسب للموقع فليست جميع المواقع متشابهة.

يمكنك إنشاء الملف بأي محرر نصوص أو مفكرة المهم هو أن تقوم بحفظه تحت إسم robots.txt و وضع الأوامر التي تحددها و التي ترى ان موقعك يحتاج إليها ثم رفعه الى المجلد الرئيسي لموقعك.

‘نشاء ملف robots.txt

[highlight]User-agent[/highlight] هو أمر توجيهي لعناكب البحث الى موقعك بحيث يقوم بتوجيه جميع العناكب الى داخل الموقع من بينها عناكب البحت الخاصة بجوجل, بنغ, ياهو و غيرها من محركات البحث العالمية. بالنسبة للنجمة في اخر الامر فهي تعني بان جميع العناكب يتم توجيهها للموقع وهي إختصار لعدم كتابة كل عنكبوت 5 اذا صح التعبير على حدى.

ويكتب على هذا الشكل.

[highlight]Disallow:[/highlight] كما سبق و قلنا فليست جميع العناكب هذفها نبيل و هذفها ارشفة محتوى الموقع فهناك عناكب ضارة و لمنعها نستخدم هذا الأمر.

و في الاغلب يستخد أيضا لمنع عناكب البحت من أرشفة مجلدات او ملفات معينة في الموقع و التي لا نريدها ان تضهر في نتائج البحث.

يكتب هذا الأمر على الشكل التالي الذي إستخدم فيه مثال لمنتدى و موقع ووردبريس و موقع html.

[highlight]Allow:[/highlight] على عكس الأمر السابق هذا الأمر يسمح لعناكب البحث [ارشفة الملفات التي يتم تعينها وتكون الكتابة بنفس الشكل فقط هنا يجب الإنتباه الى ما تسمح عناكب البحث بأرشفته لأنه سيظهر في نتائج البحث.

[highlight]Sitemap:[/highlight] وهي خريط الموقع بحيث تسهل على العناكب الوصول الى محتوى الموقع و في الغالب تكون عبارة عن رابط لموقع بالإضافى الى خريطة الموقع.

على هذا الشكل …

هنالك عدة مواقع تساعدك على إنشاء ملف robots.txt ما عليك سوى إضافة أو حذف ما لا تحتاجه.

 

موقع فكرة تطوير لفحص السي يحتوي على أداة إنشاء ملفات robots بطريقة أكتر دقة بحيت يمكنك إختيار العناكب التي تريد و لا تريد ان تزور موقعك و العديد من الإعدادات الأخرى, بالإضافة الى 50 أداة لفحص السيو.

.

يمكنك مشاهدة الملفات الخاصة ببعظ المةاقع المشهور كفيسبوك و جوجل و غيرها من خلال الروابط التالية.

في الأخير يجدر بنا الذكر أن الملف يشكل تحديدا بحد داته للموقع بحيت يقوم بكشف ملفات الموقع للعموم وبذالك يمكنك إستغلاله في عملية إختراق الموقع, لاكن الامر يمكن تفاديه عبر وضع جدار ناري حوله او منع تصفحه من طرف الزوار و هكذا نكون قد تغلبنا على هذا المشكل البسيط.

اتمنا ان اكون قد وضحت بشكل افضل دور و مهام هذا الملف و في امان الله.

لا تذهب دون ترك تقييمك للموضوع

1 نجمة2 نجمة3 نجوم4 نجوم5 نجوم (1 التصويتات, متوسط التقييم: 5.00 اكبر عدد تقييم 5)
جاري التحميل...

بقلم

عادل

اسمي عادل مغربي 28 سنة. مطور مواقع و محب للتكنولوجيا و البحث عن كل جديدي. هوايتي إنشاء و تطوير المواقع و احب مشاركة معلوماتي مع الجميع. لهذا أنشأت مدونة الويب العربي و مدونة فكرة تطوير. .

2 تعليقات

أترك تعليق

لن يتم مشاركة عنوان بريدك الإلكتروني


*