بودجه کرال یا Crawl budget مربوط به تعداد صفحاتی از وب سایت میشود که موتورهای جستجو مثل گوگل در یک بازه زمانی خاص آن را کرال میکنند. کرال کردن یا خزیدن موتورهای جستجو مربوط به بازرسی آن ها درمورد مفید بودن یا نبودن یک سایت میشود. موتورهای جستجو مثل گوگل از طریق ربات های خود، صفحات وب سایت را کرال میکنند و متناسب با داده هایی که دریافت میکنند، به آن ها رتبه میدهند. اما گوگل نیز محدودیت هایی دارد و نمیتواند همیشه درحال خزیدن در صفحات وب باشد! این محدودیت دلایل بسیاری همچون محدودیت منابع و سرورها و… میشود. در نتیجه ما باید Crawl budget خود را بهینه کنیم. در این مقاله بیشتر به جزییات این موضوع میپردازیم.
بهینه سازی Crawl budget برای چه سایت هایی اهمیت دارد؟
سایت های خیلی بزرگ که فعالیت زیادی ندارند
چه سایت هایی بزرگ هستند؟ سایت هایی که تعداد صفحات بسیار زیادی (مثلا بیشتر از 1 میلیون) دارند. اما تغییرات زیاد و سریعی در این سایت ها اتفاق نمی افتد. بودجه کرال این سایت ها باید بهینه سازی شود. وبسایت هایی که بلاگ ها و مطالب آن ها نیاز به به روز رسانی کمتری دارند. برای مثال وب سایت بزرگی را در نظر بگیرید که حدودا هفته ای یک بار مطلب جدید بارگذاری میکند.
سایت های متوسط که فعالیت زیادی دارند
این دسته از وب سایت ها شاید تعداد صفحات خیلی زیادی نداشته باشند (مثلا حدود 10000 صفحه) اما تغییرات و به روز رسانی در این سایت ها سریع تر اتفاق می افتد. مثلا وب سایت هایی که مطالب موجود در صفحات خود را هر روز آپدیت میکنند یا سریع تر از دسته قبلی مطالب جدید بارگذاری میکنند. در ادامه به دلیل اهمیت بهینه سازی بودجه کرال این دسته میپردازیم.
سایت هایی که صفحاتشون توسط گوگل شناسایی شده ولی ایندکس نشده
درواقع یعنی گوگل به نحوی URL های این صفحات و وب سایت ها را مشاهده کرده ولی به هر دلیلی هنوز فرصتی برای ایندکس کردن آن ها پیدا نکرده است. یکی از این دلایل میتواند همان محدودیت منابع خود گوگل باشد.
بودجه کرال بر چه اساسی به وب سایت ها اختصاص داده میشود؟
حتما به این فکر میکنید که بودجه کرال یک سایت چطور مشخص میشود؟ گوگل چطور تصمیم میگیرد که یک وب سایت را به طور هفتگی کرال کند و دیگری را ماهانه؟ در این بخش توضیح میدهیم که چه عواملی بر تعیین Crawl budget تاثیرگذار هستند.
محدودیت ظرفیت کرال
- خزیدن بدون مشکل: کیفیت سرور سایت شما در اختصاص بودجه کرال بسیار حائز اهمیت است. اگر سرور قادر به پاسخگویی سریع نباشد و زمان زیادی را صرف جواب دادن به درخواست ها کند، درواقع وقت گوگل را تلف کرده است. هرچه سرور سریع تر پاسخ درخواست های گوگل را بدهد، گوگل نیز زمان بیشتری برای خزیدن در صفحات شما دارد و Crawl budget بیشتری به صفحات شما اختصاص میدهد.
- محدودیت های تعیین شده توسط مالک سایت در گوگل سرچ کنسول: گوگل سرچ کنسول این امکان را به شما میدهد که کرال شدن صفحات سایت خود را محدود کنید. اما این مورد هرگز پیشنهاد نمیشود. چرا که مردم معمولا به دنبال راهی برای افزایش بودجه کرال خود هستند، نه کاهش آن!
- محدودیت های گوگل در خزیدن: این مورد مربوط به محدودیت های خود گوگل میشود که قبل تر نیز به آن ها اشاره کردیم.
میزان تقاضا برای کرال
- فهرست URL ها: صفحات سایت شما با دیگر سایت ها مقایسه میشوند. صفحه ها و مطالب کپی شده، پیج های تکراری و بی کیفیت میتوانند بودجه کرال شما را هدر دهند. به همین دلیل باید این دسته از صفحه ها را به نحوی از دسترس گوگل برای کرال شدن خارج کنید.
- محبوبیت سایت: میزان مشهور بودن و محبوبیت سایت شما خواسته یا ناخواسته بر Crawl budget اختصاص داده شده به شما تاثیر میگذارد. گوگل میداند که سایتی که بازدید کننده بیشتری دارد نیاز به کرال شدن بیشتری نیز دارد.
- به روز بودن مطالب: هرچه مطالب یک وب سایت سریع تر به روز رسانی شوند و مطالب جدید بیشتری در بازه زمانی کوتاه در سایت بارگذاری شود، گوگل میفهمد که این سایت نیاز به بودجه کرال بیشتری دارد و باید تندتر به آن سر بزند.
چگونه بودجه کرال را بهینه سازی کنیم؟
برخی از موارد مثل محدودیت های خود گوگل، تحت اختیار و کنترل ما نیستند. ما نمیتوانیم تمام موارد گفته شده را به نفع خود تغییر دهیم. اما بعضی از آن ها میتوانند توسط خود ما بهینه سازی شوند و بودجه کرال سایت ما را بهتر کنند.
- صفحات تکراری را به نوعی از فرایند کرال شدن حذف کنید. قاعدتا صفحه ای که بیش از یک بار در سایت وجود دارد، ارزشی ندارد و نیازی به کرال شدن چندین باره ندارد.
- URL هایی که نسبت به بقیه اهمیت کمتری دارند را با استفاده از فایل txt ببندید. با این کار گوگل بودجه کرال سایت شما را صرف صفحات مهم و ارزشمند سایت میکند.
- Sitemap خود را به روز نگهدارید. در غیر این صورت ممکن است برخی از صفحات شما با وجود ارزش بالایی که دارند، رتبه خوبی نگیرند.
- زنجیره های redirect را از بین ببرید. ریدایرکت کردن بیش از حد وقت گوگل و بودجه کرال شما را هدر میدهد. این زمان میتواند برای صفحه های ارزشمندتری در سایت شما استفاده شود.
- از سرور سالم و با کیفیت استفاده کنید. همانطور که گفتیم، پاسخگویی سریع و درست سرور در اختصاص Crawl budget تاثیر زیادی دارد.
- فرایند کرال شدن سایت خود را زیر نظر داشته باشید. همواره مطلع باشید که گوگل کدام یک از صفحات را بیشتر کرال میکند. در این صورت میتوانید بودجه کرال خود را بهتر مدیریت کنید.
تاثیر بهینه سازی Crawl budget در سئو
اگر سایت شما کوچک است و یا نرخ آپدیت و به روز رسانی مطالب آن زیاد نیست، شاید بهینه سازی Crawl budget برای شما ضرور نباشد. اما اگر یک سایت بزرگ با شرایطی که بالاتر گفتیم را اداره میکنید، بهتر است که این مورد را در فرایند سئو وب سایت خود در نظر بگیرید.
به یاد داشته باشید که بهینه سازی بودجه کرال، به طور مستقیم و به خودی خود بر روی رتبه شما تاثیر ندارد؛ فقط سبب شود که گوگل در بازه های زمانی کوتاه تری به سایت شما سر بزند. اما اگر تغییرات اعمال شده بر روی سایت شما در این بازه های زمانی ارزشمند باشند، میتواند رتبه شما را تحت تاثیر قرار دهد.
سخن پایانی
در این مقاله از جیمکس تلاش کردیم تا شما را به Crawl budget و اثری که بر سئو و رتبه سایت میگذارد بیشتر آشنا کنیم. پیشنهاد میشود که همواره به این موضوع توجه کنید و بودجه کرال خود را برای بخش های مهم تری از سایت خود استفاده کنید تا نتیجه خوبی بگیرید.
