
این روزها اخبار مربوط به تحول سئو و حتی نابودی آن بسیار داغ است! همه درمورد کم شدن میزان سرچ مردم در گوگل و رایجتر شدن استفاده از هوش مصنوعی صحبت میکنند. دیگر نمیتوان مقاومت کرد! باید بپذیریم که دنیای سئو تغییر کرده است و حالا بسیاری از مردم سوالاتشان را از هوش مصنوعی میپرسند. پس سوالی که ذهن متخصصین سئو را مشغول میکند این است که چطور محتوای سایت خود را برای هوش مصنوعی سئو کنیم؟ چطور در نتایج سرچ مردم در چت جی پی تی و دیگر AI ها دیده شویم؟ در این مقاله از جیمکس سعی داریم به این سوالات پاسخ دهیم.
روشهای قدیمی برای سئو سایت دیگر کافی نیست! سیستمهای بر پایه هوش مصنوعی، ساختار متفاوتی با موتورهای جستجوی قدیمی دارند و روند پردازش داده در AI نیز متفاوت است. در نتیجه برای اینکه وبسایت شما در نتایج جستجوی هوش مصنوعی دیده شود، باید آن را مخصوص AI بهینهسازی کنید. این بهینهسازی شامل موارد زیر است:
- استفاده از HTML تمیز و استاندارد : یعنی کدی که ساختار خوبی داشته باشد و خواندن آن برای موتورهای جستجو آسان باشد.
- بهینهسازی متادیتا : عنوان صفحه، متا دیسکریپشن و دیگر تگهای HTML سئو که به موتورهای جستجو اطلاعات درستی درباره محتوای سایت ارائه میدهند.
- سرعت بالای سایت : سایت باید سریع لود شود تا تجربه کاربری بهتری ارائه دهد و در رتبهبندی گوگل امتیاز بهتری کسب کند.
- پیکربندی سازگار با رباتهای موتور جستجو : ساختار سایت باید به گونهای باشد که گوگل و سایر موتورهای جستجو و حتی هوش مصنوعیها بتوانند صفحات را بهراحتی کراول و ایندکس کنند و از محتوای آن استفاده کنند.
چک لیست بهینه سازی سایت برای نمایش در نتایج جستجوی هوش مصنوعی
برای بهینهسازی سایت جهت دیده شدن در جستجوی مبتنی بر هوش مصنوعی و رباتهای هوشمند باید موارد زیر را انجام دهید:
- دسترسی به محتوا را با استفاده از HTML و Markdown تمیز و ساختار مناسب ساده کنید.
- اجازه دسترسی به خزندههای هوش مصنوعی (کراولرهای AI) را در فایل robots.txt و تنظیمات فایروال بدهید.
- محتوا را با سرعت بالا ارائه دهید و اطلاعات کلیدی را در همان ابتدای صفحه نمایش دهید.
- از سمانتیک مارک اپ، اسکیماها و متادیتا برای توصیف بهتر محتوا استفاده کنید.
- یک فایل llms.txt ایجاد کنید.
- بررسی کنید که محتوای شما برای هوش مصنوعی قابل دیدن باشد.
مقایسه سئو سنتی و جستجوی هوش مصنوعی
بزرگترین سوال افراد فعال در حوزه دیجیتال مارکتینگ و سئو این است که چطور وبسایت خود را برای جستجوی هوش مصنوعی بهینه کنیم و چطور در نتایج موتورهای جستجوی مبتنی بر هوش مصنوعی دیده شویم؟ سئو سایت برای هوش مصنوعی چه تفاوتی با موتورهای جستجوی قدیمی دارد؟
اعضای تیم سایت Search engine land در مسیر ساخت و توسعه موتور جستجوی مبتنی بر هوش مصنوعی به اسم Andi به تفاوتهای کلیدی بین سئو سنتی و جستجوی هوش مصنوعی پی بردند. این افراد بیان میکنند که هوش مصنوعی آنها روزانه بین 30 تا 50 میلیون صفحه را پردازش میکند تا محتوای با کیفیت را پیدا کرده و آن را برای سوال و جواب کاربران خلاصه کند. اما دسترسی به اطلاعات مفید همیشه ساده نیست. و این چیزی است که آنها درمورد محتوای مناسب برای نمایش در نتایج جستجوی هوش مصنوعی فهمیدند:

سرعت و سادگی حیاتی هستند!
بسیاری از AIها محدودیت زمانی سختگیرانهای درمورد بازه زمانی برای برگرداندن محتوا دارند که معمولا بین 1 تا 5 ثانیه است. اگر محتوای شما بیش از حد طولانی باشد یا سرعت بارگذاری آن زیاد باشد، ممکن است در این فرایند با شکست مواجه شود و به نتایج جستجوی هوش مصنوعی راه پیدا نکند. به منظور سئو محتوای سایت برای هوش مصنوعی و دیده شدن در نتایج آن سعی کنید از ذکر مطالب بیجا در متن پرهیز کنید و بهینه سازی سرعت سایت نیز فراموش نشود.
متن تمیز و ساختاریافته برنده است.
تا این لحظه، اکثر کراولرهای هوش مصنوعی نمیتوانند کدهای جاوااسکریپتی را به خوبی درک کنند؛ حتی برخی از آنها کلا توان فهم چنین دیتایی را ندارند! در نتیجه اگر میخواهید در نتایج هوش مصنوعی بیشتر دیده شوید، بهتر است از محتوای ساختاریافته و HTML ساده استفاده کنید. در این صورت رباتهای هوش مصنوعی و کراولرهای AI درک بهتری از محتوای صفحه شما خواهند داشت و شانس بیشتری برای گرفتن رتبه در جستجوی هوش مصنوعی خواهید داشت.
میزان دیده شدن برند در جستجوی هوش مصنوعی
متا دیتاها اسکیماها مهم هستند.
عناوین واضح، توضیحات درست، تاریخ و اسکیماها، امکان دسترسی ساده و سریع محتوای شما را به هوش مصنوعی میدهند. میتوان اینطور تعبیر کرد که اسکیماها، به زبان رباتها و کراولرها نزدیکتر هستند و اگر از آنها در سایت خود استفاده کنید، بهینه سازی سایت برای هوش مصنوعی را به شکل درستتری انجام داده اید. قاعدتا وقتی رباتها یک موضوع را بهتر درک کنند، استفاده بیشتری هم از آن موضوع میکنند.
مسدود کردن کراولر هوش مصنوعی شما را نامرئی میکند!
در دنیایی که رباتها و سیستمهای مبتنی بر هوش مصنوعی حرف اول را میزنند، سختگیری درمورد محدود کردن آنها میتواند شما را نابود کند. در سئو سنتی، کراولرهای موتور جستجو محتوای وبسایت شما را بررسی میکردند و این فرایند به شکل مشابهی توسط هوش مصنوعی نیز انجام میشود. در هر صورت محتوای سایت شما باید به نحوی به دست AI رسیده باشد تا از آن استفاده کند! پس اگر میخواهید سایت خود را برای هوش مصنوعی سئو کنید و در نتایج آن دیده شوید، دسترسی کراولرهای هوش مصنوعی به سایت را نبندید.
کراولرهای آموزشی و کراولرهای سرچ هوش مصنوعی متفاوت هستند.
برخی خزندههای هوش مصنوعی دیتاهای مخصوص به آموزش را جمع آوری میکنند تا از آن در روند آموزش و بهبود الگوریتمها و پاسخهای خود استفاده کنند. درحالیکه برخی دیگر، دیتاهای مربوط به محتوای لحظهای را جمع آوری میکنند. باید بدانید که این کراولرها باهم تفاوت دارند. چرا؟ چون برخورد و استراتژی شما برای مواجهه با هر یک از آنها احتمالا متفاوت خواهد بود.
قابلیت دیده شدن یا نشدن سایت خود برای هوش مصنوعی را بررسی کنید.
دو راه برای بررسی این موضوع وجود دارد که ببیند محتوای شما برای هوش مصنوعی قابل دیدن است یا خیر:
- URL خود را در این آدرس وارد کنید: andisearch.com اگر گزینه Summarize یا Explain برای شما ظاهر شد یعنی سایت به خوبی برای هوش مصنوعی قابل دسترس است.
- از Firecrawl استفاده کنید تا ببینید هوش مصنوعی چطور محتوای شما را دیده و آن را درک میکند.

محتوا را در یک صفحه جای دهید.
فراموش نکنید که کراولرها ربات هستند و هیچگونه کلیکی بر روی سایت شما انجام نمیدهند. در نتیجه برای فهم بهتر آنها از محتوای صفحات سایت، از دکمههای مشابه “بیشتر بخوانید” یا نوشتن مقالههای چندین صفحهای پرهیز کنید. این موضوع در سئو سنتی نیز مهم بوده و هست اما در سئو سایت برای هوش مصنوعی، اهمیت بیشتری دارد.
تنظیم فایل robots.txt برای خزندههای هوش مصنوعی
یک فایل robots.txt تنظیم کنید که دسترسی مناسبی برای خزندههای هوش مصنوعی داشته باشد. میتوانید بهصورت موردی تعیین کنید که کدام کراولرها اجازه دسترسی داشته باشند و کدامها مسدود شوند. در مثال زیر ما با این فایل robots.txt به موتورهای جستجو و کراولرهای هوش مصنوعی اجازه دسترسی میدهیم اما جمعآوری دادهها برای آموزش مدلهای هوش مصنوعی را مسدود میکنیم:
# Allow AI search and agent use
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: PerplexityBot
User-agent: FirecrawlAgent
User-agent: AndiBot
User-agent: ExaBot
User-agent: PhindBot
User-agent: YouBot
Allow: /
# Disallow AI training data collection
User-agent: GPTBot
User-agent: CCBot
User-agent: Google-Extended
Disallow: /
# Allow traditional search indexing
User-agent: Googlebot
User-agent: Bingbot
Allow: /
# Disallow access to admin areas for all bots
User-agent: *
Disallow: /admin/
Disallow: /internal/
Sitemap: https://www.example.com/sitemap.xml
نکته مهم!! اگر از Cloudflare یا AWS WAF برای امنیت وبسایت خود استفاده میکنید، مراقب تنظیمات سختگیرانه در برابر رباتها باشید. چرا؟ زیرا این تنظیمات میتوانند دسترسی خزندههای هوش مصنوعی و عوامل جستجوی مبتنی بر AI را به محتوای سایت شما مسدود کنند. پس بهجای مسدود کردن کلیه رباتها، دسترسی IPهای مربوط به مراکز داده بزرگ ایالات متحده را باز بگذارید تا خزندههای مهم هوش مصنوعی بتوانند محتوای شما را پردازش کنند.
چطور سایت را برای هوش مصنوعی سئو کنیم؟
دنیای هوش مصنوعی هنوز تازه است و نحوه بهینه سازی سایت برای نتایج جسنجوی هوش مصنوعی نیز همچنان ابهامات زیادی دارد. در ان مطلب تلاش کردیم اطلاعاتی که تا این لحظه برای این کار داریم را با شما به اشتراک بگذاریم. فراموش نکنید که هوش مصنوعی و خزندههای آن هنوز کاملاً بهینه و بدون نقص نیستند. در حال حاضر:
- 34٪ از درخواستهای خزندههای هوش مصنوعی با خطای 404 یا سایر خطاها مواجه میشوند.
- از بین خزندههای مهم فقط Gemini گوگل و AppleBot قادر به پردازش JavaScript هستند.
- خزندههای هوش مصنوعی 47 برابر ناکارآمدتر از خزندههای سنتی مانند Googlebot عمل میکنند.
- ترافیک کراولرهای هوش مصنوعی حدود 28٪ از حجم Googlebot را تشکیل میدهد.
با پیشرفت فرآیند ایندکسگذاری در هوش مصنوعی، همگام شدن با این تغییرات به دیده شدن بیشتر محتوای شما کمک خواهد کرد. باید دسترسی سایت خود را برای ابزارهای مفید هوش مصنوعی فراهم کنید، اما همزمان مراقب فعالیتهای مخرب نیز باشید. دیگر نمیتوان همه خزندهها را مسدود کرد! در دنیای جدید، شما میخواهید سایت خود را برای هوش مصنوعی سئو کنید. پس نباید سایت را از دید کراولرهای آن مخفی کنید.