خريطة الموقع XML قائمة بالصفحات المهمة التي تريد أرشفتها مع تاريخ تحديثها، وملف robots.txt يوجه روبوتات البحث إلى ما يُزحف وما يُتجنب ويشير لمكان الخريطة. معاً يساعدان جوجل على اكتشاف صفحاتك بكفاءة. نشرح كيف تنشئهما، وما تضعه وما تتجنبه، وكيف ترسل الخريطة في Search Console.
قبل أن يظهر أي محتوى في نتائج البحث، يجب أن تزوره زاحفات محركات البحث وتفهمه ثم تضيفه إلى فهرسها. وهناك ملفان صغيران لهما دور كبير في هذه العملية: خريطة الموقع XML وملف robots.txt. في هذا المقال نشرح وظيفة كل منهما وكيف تضبطهما بشكل صحيح دون أن تحجب صفحات مهمة عن جوجل بالخطأ.
ما هي خريطة الموقع XML؟
هي ملف يحتوي على قائمة بروابط الصفحات المهمة في موقعك، ويمكن أن يتضمن تاريخ آخر تعديل لكل صفحة. الخريطة لا تضمن الفهرسة، لكنها تساعد محركات البحث على اكتشاف الصفحات بسرعة، خاصة في:
- المواقع الجديدة التي لا تملك روابط خارجية كثيرة بعد.
- المتاجر الكبيرة ذات آلاف المنتجات.
- المواقع التي تضيف محتوى جديداً باستمرار مثل المدونات.
- المواقع ذات الربط الداخلي الضعيف بين الصفحات.
أفضل ممارسات خريطة الموقع
- أدرج الصفحات القانونية (Canonical) فقط التي تريد ظهورها في البحث، واستبعد الصفحات المكررة وصفحات الفلاتر ونتائج البحث الداخلي.
- اجعل الخريطة تتحدث تلقائياً عند إضافة منتج أو مقال جديد.
- استخدم الروابط الكاملة بنفس الصيغة المعتمدة (HTTPS ومع أو بدون www حسب نسختك الرئيسية).
- للمواقع الكبيرة قسّم الخريطة إلى عدة ملفات مع ملف فهرس (Sitemap Index)، مع مراعاة الحدود المذكورة في توثيق جوجل الرسمي.
- أرسل الخريطة عبر Google Search Console وتابع تقرير الفهرسة بانتظام.
إذا كنت تخطط لموقع جديد أو تريد تطوير موقعك الحالي، يمكننا مراجعة احتياجك واقتراح الحل الأنسب. احجز استشارة مجانية عبر واتساب
ما هو ملف robots.txt؟
هو ملف نصي يُوضع في جذر النطاق، يخبر الزاحفات بالمسارات المسموح لها بزيارتها وغير المسموح. ويمكن أن يتضمن رابط خريطة الموقع عبر السطر Sitemap. الاستخدامات الشائعة له:
- منع الزحف إلى لوحة التحكم ومسارات السلة والحساب.
- تقليل الزحف على صفحات الفلاتر المتكررة والمعاملات اللانهائية في الروابط.
- توجيه الزاحفات إلى مكان خريطة الموقع.
أخطاء خطرة في robots.txt
- حجب الموقع بالكامل: كأن يبقى سطر Disallow: / من نسخة التطوير بعد الإطلاق، وهو خطأ شائع بشكل مفاجئ.
- حجب ملفات CSS و JavaScript: ما يمنع جوجل من عرض الصفحة وفهمها كما يراها الزائر.
- استخدامه لإخفاء صفحة من النتائج: الحجب يمنع الزحف لا الفهرسة بالضرورة؛ لإخراج صفحة من النتائج استخدم وسم noindex مع السماح بالزحف.
- الاعتماد عليه للحماية: الملف علني ولا يحمي أي بيانات حساسة، فالحماية تكون بالمصادقة والصلاحيات.
كيف تتحقق من إعداداتك؟
- افتح ملف robots.txt في المتصفح وراجع كل سطر فيه.
- استخدم تقرير robots.txt وأداة فحص عنوان URL في Search Console.
- راجع تقرير فهرسة الصفحات لمعرفة الصفحات المحجوبة أو غير المفهرسة وأسبابها.
- بعد أي إطلاق أو نقل للموقع، تأكد أن الملفين يعكسان النسخة النهائية لا نسخة التطوير.
الخلاصة
خريطة الموقع تقول لجوجل أين تجد صفحاتك المهمة، وملف robots.txt يقول له أين لا يحتاج أن يذهب. ضبطهما بشكل صحيح ومراجعتهما بعد كل تغيير كبير خطوة أساسية في السيو التقني، وخطأ صغير فيهما قد يكلّفك ظهور موقعك بالكامل.
أسئلة شائعة
هل robots.txt يمنع الأرشفة؟
يمنع الزحف لا الأرشفة بالضرورة؛ لمنع الأرشفة استخدم وسم noindex.
ما الصفحات التي أضعها في الخريطة؟
الصفحات المهمة القابلة للأرشفة فقط، دون الصفحات المكررة أو المحجوبة.
كيف أرسل الخريطة لجوجل؟
من قسم Sitemaps في Search Console، وبإضافة سطر Sitemap في robots.txt.
مقالات ذات صلة
موقع احترافي يجلب العملاء
في سيمبا ويب نصمم ونبرمج مواقع الشركات والمتاجر في الأردن والخليج والعالم العربي، سريعة على الجوال ومهيأة لمحركات البحث من اليوم الأول.
اطلب عرض سعر مجاني عبر واتساب
آخر تحديث: نوفمبر 2026
الإنجليزية
صمم موقعك الأن!
