گوگل از ربات کراولر جدید خود به نام GoogleOther رونمایی کرد. این ربات با هدف بهبود عملکرد، ساده سازی عملکرد تحقیق و توسعه و کاهش فشار بر Googlebot معرفی نمود.
اضافه شدن این کراولر جدید در نهایت به گوگل کمک می کند تا عملیات کراول خود را بهینه و ساده کند. کراولر های وب، که به عنوان ربات یا عنکبوت نیز شناخته می شوند، به طور خودکار وب سایت ها را کشف و اسکن می کنند.
Googlebot مسئول ایجاد فهرست وب سایت ها، برای موتور جستجوی گوگل است.
GoogleOther یک کراولر وب جنریک است که توسط تیم های مختلف محصول در Google برای واکشی محتوای قابل دسترس عموم از وب سایت ها استفاده می شود. در یک پست لینکدین، گری ایلیس، تحلیلگر جستجو در گوگل، جزئیات بیشتری را به اشتراک گذاشته است.
وی در این رابطه گفته است:
ما یک کراولر جدید به نام GoogleOther را به لیست خزنده های خود اضافه کردیم که در نهایت باعث می شود فشار از Googlebot کم شود. این مساله باعث نمی شود که بخواهید چیزی را از سمت خود عوض کنید و تغییر دهید، اما با این وجود اطلاع داشتن از این مساله باید برای شما جالب باشد.
همانطور که ما نحوه کار و مواردی را که Googlebot کراول می کند بهینه می کنیم، یکی از مواردی که می خواستیم اطمینان حاصل کنیم این است که کارهای مربوط به کراول Googlebot فقط به صورت داخلی برای ایجاد فهرستی که توسط جستجو استفاده می شود استفاده می شود.
کراولر جدید از زیرساخت مشابه Googlebot استفاده می کند و بنابراین محدودیت ها و ویژگی های مشابه Googlebot را دارد: محدودیت های میزبان بار، robotstxt (هر چند توکن عامل آن متفاوت است)، نسخه پروتکل http، اندازه واکشی و … . اساساً می تواند گفت که این کراولر، Googlebot جدید، با نام دیگری است.
چگونه یک استراتژی سئو موفق داشته باشیم؟