فهم عملية Google crawl يمكن أصحاب المواقع من زيادة عدد الزوار.
Google Crawl، أو زحف Google، يشير إلى عملية تصفح وفهرسة صفحات الويب من قبل محرك بحث Google. هذه العملية تهدف إلى فهم وتحليل محتوى الصفحات على الإنترنت لتحديث فهرس البحث وتقديم نتائج أفضل للمستخدمين عند إجراء عمليات بحث.
عملية الزحف تبدأ عندما يرسل Googlebot، وهو وكيل زحف Google، طلبات إلى خوادم الويب لجلب محتوى الصفحات. يتبع ذلك تحليل المحتوى وتخزين المعلومات في قاعدة بيانات Google لاستخدامها في نتائج البحث.
يهدف Google إلى زيارة وفهرسة أكبر عدد ممكن من الصفحات على الويب لضمان توفير معلومات شاملة ومتنوعة للمستخدمين حيث يعتمد تحديث الفهرس بشكل دوري على التغييرات في المحتوى وتحسينات تقنية الصفحات.
من خلال فهم عملية زحف Google، يمكن لأصحاب المواقع تحسين تجربة زوارهم وزيادة فرص ظهور محتواهم في نتائج البحث.
ملف robots. txt
ملف `robots.txt` هو ملف نصي يتم وضعه على خوادم الويب لتوجيه وكلاء الزحف، مثل Googlebot، حول الصفحات التي يُسمح لهم زيارتها أو عدم زيارتها على موقع معين. يعتبر هذا الملف وسيلة للموقع للتحكم في كيفية تفاعل محركات البحث مع محتواه.
في هذا الملف، يمكن لأصحاب المواقع تحديد الصفحات أو الأقسام التي لا يرغبون في أن تتم زيارتها من قبل وكلاء الزحف. يكون التفاعل مع ملف `robots.txt` اختياريًا من قبل وكلاء الزحف، ولكنه يعد إرشادًا مهمًا.
مثلاً، إذا كان لديك صفحات أو أقسام في موقعك لا ترغب في أن تظهر في نتائج محركات البحث، يمكنك تحديدها في ملف `robots.txt`. وكلما كان الملف محددًا بشكل جيد، كلما زادت الفرصة لتوجيه وكلاء الزحف بشكل صحيح.
من المهم أن يتم وضع ملف `robots.txt` في الجذر الرئيسي للموقع لضمان اكتشافه بسهولة من قبل وكلاء الزحف.
تحسين Akamai و Fasterize لتحسين سرعة تحميل المواقع.
لم يعد بإمكان الناشرين إبطاء سرعة الزحف من Search Console. ومع ذلك، يمكنهم إعداد 503 أو تحسين توفر الخادم باستخدام أدوات مختلفة.
حتى 8 يناير (كانون الثاني) 2024، يمكن للمواقع التي تواجه مشكلات في وقت التشغيل استخدام أداة تقييد سرعة الزحف في Search Console . "في بعض الحالات، قد يؤدي زحف Google إلى موقعك إلى زيادة التحميل على البنية الأساسية لديك أو خسارة الإيرادات أثناء انقطاع الخدمة. ولعلاج هذه المشكلة، قد تقرر تقليل عدد الطلبات التي يقدمها Googlebot "، كما أوضح ماونتن فيو Mountain View في صفحة المطورين لشركة جوجل developers google و استغرقت هذه الأداة المتوفرة منذ أكثر من 10 سنوات، أكثر من يوم لتطبيق الحدود الجديدة. واستمر تأثيره 90 يومًا فقط. ولم يعد يستخدمه الناشرون إلا قليلاً.
يعتمد إيقاف الأداة على تحسين منطق الزحف الخاص بـخوجل crawl de Google كما وضحه ماتيو شابون Mathieu Chapon مؤسس Peak Ace في صفحته الرسمية في موقع لينكدين linkedin، "إنه يفهم بشكل أفضل قدرة خادم الموقع الذي يزحف إليه ليكون أكثر أو أقل استجابة ومتوفرًا" . "أصبح محرك البحث أيضًا أفضل في قياس الصفحات التي يجب أن يزورها بانتظام والصفحات التي يجب أن يزورها بشكل أقل. من المحتمل أن يكون هناك القليل من الذكاء الاصطناعي AI خلفه و الذي يسمح له بالتعلم من عمليات الزحف السابقة أيضًا، مع قواعد الروبوتات robots.txt و noindex منع الفهرسة في البحث، و Canonical عملية تحديد عنوان URL الرئيسي، يجب أن تكون أكثر صرامة. وبعد ذلك، لا شك أنها قامت بتحسين بنيتها التحتية ويجب أن تكون أقوى للزحف إلى عدة صفحات من الموقع في آن واحد. "
500 و 503 و 429
هناك طريقة أخرى للإبلاغ عن مشكلات توقف الخادم عن طريق الرموز 500 و 503 و 429 للناشرين. و للتذكير يشير رمز خطأ الخادم الداخلي HTTP 500 إلى وجود مشكلة غير متوقعة واجهها الخادم مما لم يسمح له بالاستجابة للطلب. و يوضح الرمز 503 أن الخادم غير جاهز لمعالجة الطلب. كما شرح ذلك ماتيو دوبي Mathieu Doubey مدير قسم تحسين محركات البحث في وكالة L’Agence WAM عبر صفحته الرسمية في موقع لينكدين linkedin، قائلاً: "يعد هذا الرمز وسيلة تقنية لـ Google لفهم أن الخادم مثقل بالأعباء" . "يجب عليك الاستمرار في استخدامه حتى لو رأى جوجلGoogle أن صفحة الويب يتم تحميلها ببطء." كما يكشف الرمز 429 أنه تم تقديم عدد كبير جدًا من الطلبات خلال فترة زمنية معينة.
يقول ماتيو دوبي Mathieu Doubey: "نظرًا لأن الأداة لم تعد نشطة، يجب علينا بالضرورة أن نسمح لـجوجل Google بمعرفة متى يمكنها أو لا يمكنها تحميل الخادم". "إذا تمكنت جوجل من التغلب على العديد من المشكلات بمفردها، فلا يزال من الأفضل تحسين سلوك المواقع فيما يتعلق بما هو متوقع. ويجب علينا تجنب السماح لمحرك البحث الأمريكي باتخاذ القرار نيابةً عنا في معظم الأوقات."
هذا النهج موصى به حاليًا بواسطة Google. "إذا كنت بحاجة إلى تقليل سرعة الزحف بسرعة لفترة زمنية قصيرة (على سبيل المثال، بضع ساعات أو يوم أو يومين)، فقم بإرجاع صفحة خطأ التي تحتوي على معلومات بها أحد رموز حالة الإستجابة التالية HTTP 500 أو 503 أو 429 إلى بدلاً من عرض كل المحتوى." يوضح العملاق الأمريكي. من خلال إرسال العديد من رموز حالة استجابة HTTP 500 و503 و429، من المفترض أن يتمكن Google من تقليل سرعة الزحف إلى الموقع كما يوضح العملاق الأمريكي أن "التغيير ينعكس في الزحف إلى عناوين URL التي تعرض هذه الأخطاء وفي موقع الويب ككل". "بمجرد تقليل عدد الأخطاء، تبدأ سرعة الزحف في الزيادة مرة أخرى تلقائيًا." كما تنصح جوجل Google أيضًا بعدم اعتماد هذه الطريقة لأكثر من بضعة أيام، وإلا فسيتم حذف عنوان URL المعني من الفهرس الخاص به.
توصية مطبقة جزئيًا من قبل وكالة Peak Ace. "نوصي الناشر باستخدام 503 في حالات الطوارئ"، يكشف ماتيو شابون Mathieu Chapon "إنها دقيقة للغاية لأنها تقول بطريقة ما: "أنا غير متاح حاليًا، عد لاحقًا." هذه هي أفضل إجابة تقدمها عندما يكون لديك موقع يواجه صعوبات. بالطبع، ليس هذا ردًا عليك أن تحاول الاحتفاظ به لفترة طويلة جدًا، لأنه لا يرسل إشارة ممتازة".
أقل من 300 مللي ثانية لتحميل كود المصدر.
وللسماح لجوجل بالزحف إلى المزيد من الصفحات وتجنب حالات الطوارئ هذه قد يكون من المثير للاهتمام أيضًا العمل على سرعة تحميل الموقع، وفقًا لماتيو شابون Mathieu Chapon. وبالفعل يشكل هذا أحد المعايير التي تأخذها جوجل في الاعتبار لتحديد الوقت الذي ستقضيه في استكشاف موقع الويب، مع عدد الصفحات وعمقها أو حتى معدل تكرار التحديثات . كلما زاد الوقت المستغرق في الزحف زادت فرص عدد الصفحات التي يمكن زيارتها وفهرستها وتحديد موضعها. "نحن ننظر كثيرًا إلى المؤشرات الموجودة في Page Speed Insight، لكننا ننسى أنه بصرف النظر عن وقت العرض، من المهم أن يكون لديك توافر جيد للخادم"، كما يحلل ماتيو شابون Mathieu Chapon.
كما تتيح لك الأدوات المختلفة تحسين وقت تحميل الموقع. "على سبيل المثال Akamai هو خادم وكيل يسمح لك بإنشاء نسخة أخف من صفحتك . وللقيام بذلك، يقوم بشكل أساسي بضغط وزنها. الحل الفرنسي Fasterize قابل للمقارنة كما أنه يوفر المزيد من الإمكانيات، مثل إعادة كتابة الصفحة أو عناوين URL. "الهدف، وفقًا لماتيو شابون، هو تحقيق أقل من 300 مللي ثانية لتحميل كود مصدر HTML. ويعتقد "حتى يتمكن Google من الزحف إلى أكبر عدد ممكن من الصفحات التي تعتبر مفيدة ومثيرة للاهتمام لتحسين محركات البحث". ومن خلال تجربته، يمكن أن تكون النتائج مهمة. "كان لدى أحد مواقع التأمين مشكلات تتعلق بالتوفر و يمكن أن يظهر مرة واحدة في الأسبوع لبضع ساعات، بناءًا على استعلامات تنافسية للغاية مثل "التأمين على السيارة" أو "التأمين على المنزل". وبعد إصلاح مشكلة وقت التحميل حصل الموقع على مراكز مستقرة ومثيرة للاهتمام على مدار الوقت. لأن Google حكمت على الموقع بأنه جدير بالثقة وشرعي في وضع نفسه. لقد استجاب دائمًا بشكل صحيح لاستفسارات مستخدمي الإنترنت وأظهر قدرته على تقديم المحتوى " .
ولتجنب التحميل الزائد على الخادم، يوجد أيضًا ما نسميه load balancing يوضح ماتيو دوبي Mathieu doubey و تُسمى هذه التقنية أيضًا بموازنة التحميل، وهي تقنية تتيح توزيع عبء العمل بين الخوادم أو التطبيقات أو الأجهزة المختلفة بهدف تحسين الأداء العام للبنية التحتية وكفاءتها وقدرتها.
في الختام، يتضح أهمية فهم تقنيات الزحف وأكواد الحالة كـ 500 و 503 429، حيث تلعب هذه العناصر دورًا حاسمًا في تحسين أداء موقع الويب حيث يجب الاستمرار في استخدام رموز الحالة الصحيحة مثل 503 لتنبيه جوجل عند التحميل البطيء، بينما يساهم تحسين سرعة التحميل واستخدام تقنيات مثل موازنة الحمل في تعزيز فعالية البنية التحتية. العمل بهذه الأساليب باستمرار يمكن تعزيز فرص جوجل لزيارة وفهرسة صفحات الموقع بشكل أفضل مما يسهم في تعزيز رؤيته وتصنيفه على محركات البحث مما يؤدي إلى في سلوك الموقع وتقديم تجربة مستخدم ممتازة لضمان استمرارية النجاح على الإنترنت.