گوگل نسبت به مسدود کردن ربات GoogleOther هشدار می‌ دهد

گری ایلیز، از گوگل، هشدار داده است که مسدود کردن GoogleOther ممکن است بر طیف گسترده‌ای از موارد در دنیای گوگل تاثیر بگذارد.او به سوالی درباره ویژگی‌های غیر جستجوی پشتیبانی شده توسط خزنده GoogleOther پاسخ داد و سپس در مورد پیامدهای مسدود کردن آن هشدار داد.

GoogleOther چیست؟

GoogleOther یک خزنده عمومی است که توسط گوگل برای اهداف مختلفی ایجاد شده است که خارج از اهداف ربات‌های تخصصی برای جستجو، تبلیغات، ویدیو، تصاویر، اخبار، دسکتاپ و موبایل قرار می‌گیرد. این خزنده می‌تواند توسط تیم‌های داخلی گوگل برای تحقیق و توسعه در رابطه با محصولات مختلف استفاده شود.

توضیحات رسمی در مورد آن به شرح زیر است:

“GoogleOther یک خزنده عمومی است که ممکن است توسط تیم‌های محصول مختلف برای دریافت محتوای عمومی قابل دسترسی از سایت‌ها استفاده شود. به عنوان مثال، ممکن است برای خزش های یک‌ باره برای تحقیق و توسعه داخلی استفاده شود.”

چیزی که ممکن است تعجب‌آور باشد این است که در واقع سه نوع خزنده GoogleOther وجود دارد.

GoogleOther خزنده عمومی برای URL‌های عمومی
GoogleOther-Image بهینه شده برای خزش URL‌های تصویر عمومی
GoogleOther-Video بهینه شده برای خزش URL‌های ویدیوی عمومی

هر سه خزنده می‌توانند برای اهداف تحقیق و توسعه استفاده شوند. درواقع این تنها هدفی است که گوگل به طور عمومی اذعان می‌کند که هر سه نسخه می‌توانند برای آن استفاده شوند.

مسدود کردن GoogleOther ممکن است عواقب ناخواسته‌ای داشته باشد، بنابراین توصیه می‌شود قبل از هرگونه اقدامی با دقت بررسی شود.

گوگل به طور مشخص اعلام نکرده است که GoogleOther از چه ویژگی‌های غیر جستجویی پشتیبانی می‌کند، احتمالاً به این دلیل که این خزنده به طور خاص از یک ویژگی پشتیبانی نمی‌کند.

گری به وضوح بیان کرد که مسدود کردن این خزنده تأثیری بر جستجوی گوگل نخواهد داشت زیرا Googlebot خزنده‌ای است که برای فهرست‌ بندی محتوا استفاده می‌شود. بنابراین، اگر صاحب سایتی می‌خواهد هر یک از سه نسخه GoogleOther را مسدود کند، باید بتواند این کار را بدون تأثیر منفی بر رتبه‌بندی جستجو انجام دهد.

اما گری همچنین در مورد پیامدهای مسدود کردن GoogleOther هشدار داد و گفت که این امر بر سایر محصولات و خدمات گوگل تأثیر خواهد گذاشت. او مشخص نکرد که کدام محصولات دیگر ممکن است تحت تأثیر قرار گیرند و همچنین در مورد مزایا و معایب مسدود کردن GoogleOther توضیح نداد.

مزایا و معایب مسدود کردن GoogleOther

تصمیم‌گیری در مورد مسدود کردن یا نکردن این خزنده لزوماً پاسخ مستقیمی ندارد. چندین مورد برای بررسی وجود دارد که آیا انجام این کار منطقی است.

مزایا:

گنجاندن در تحقیقات برای یک محصول آینده گوگل که مرتبط با جستجو است (نقشه‌ها، خرید، تصاویر، یک ویژگی جدید در جستجو) می‌تواند مفید باشد. ممکن است مفید باشد که یک سایت در این نوع تحقیق گنجانده شود زیرا ممکن است برای آزمایش چیزی خوب برای یک سایت استفاده شود و یکی از چند سایت انتخاب شده برای آزمایش ویژگی باشد که می‌تواند درآمد یک سایت را افزایش دهد.
یکی دیگر از موارد این است که مسدود کردن GoogleOther برای صرفه‌جویی در منابع سرور لزوماً دلیل موجهی نیست زیرا به نظر نمی‌رسد این خزنده آنقدر زیاد خزش کند که تأثیر قابل توجهی داشته باشد.
اگر نگرانی در مورد استفاده گوگل از محتوای سایت برای هوش مصنوعی وجود دارد، مسدود کردن GoogleOther هیچ تأثیری بر آن نخواهد داشت.این ربات هیچ ربطی به خزش برای برنامه‌های Google Gemini یا Vertex AI، از جمله هر محصول آینده‌ای که برای آموزش مدل‌های زبانی مرتبط استفاده می‌شود، ندارد. ربات برای این مورد استفاده ی خاص Google-Extended است.

توجه: این متن صرفا اطلاعات عمومی است و نباید به عنوان مشاوره فنی تلقی شود. قبل از هرگونه تصمیم‌گیری، توصیه می‌شود با یک متخصص SEO مشورت کنید.

معایب اجازه دادن به GoogleOther

از سوی دیگر، ممکن است اجازه دادن به GoogleOther در صورتی که برای آزمایش چیزی مرتبط با مبارزه با اسپم استفاده می‌شود و سایت چیزی برای پنهان کردن دارد، مفید نباشد.

اجازه دادن به GoogleOther برای خزش یک سایت برای اهداف ناشناخته مانند دادن blank check به گوگل برای استفاده از داده‌های سایت شما به هر شکلی که مناسب می‌داند خارج از آموزش LLM‌های عمومی یا اهداف مرتبط با ربات‌های نامگذاری شده مانند GoogleBot است.