مقالهها ← چرا هوش مصنوعی سایت شما را نمیبیند
چرا هوش مصنوعی سایت شما را نمیبیند
خزندههای هوشِ مصنوعی جاوااسکریپت اجرا نمیکنند. سایتی که محتوایش را با جاوااسکریپت میسازد، برای آنها یک صفحهٔ کاملاً خالی است — و چون در مرورگر درست کار میکند، هیچکس متوجه نمیشود.
خزندههای هوشِ مصنوعی جاوااسکریپت اجرا نمیکنند. آنها HTMLِ خامی را که سرور میفرستد میگیرند و همان را میخوانند. اگر متنِ سایتِ تو فقط بعد از اجرای اسکریپت در مرورگر ساخته شود، برای این خزندهها اصلاً وجود ندارد.
چرا اینقدر خطرناک است
چون هیچ نشانهای نمیدهد. سایت در مرورگرِ تو عالی است، در گوگل هم ممکن است رتبه داشته باشد (گوگل جاوااسکریپت را — با تأخیر و محدودیت — اجرا میکند). ولی وقتی کسی از یک دستیارِ هوشمند دربارهٔ حوزهٔ کاریِ تو میپرسد، اسمت نمیآید و هیچجا ثبت نمیشود که نیامده.
چطور در سی ثانیه بفهمی
سادهترین راه: در مرورگر روی صفحه راستکلیک کن و «مشاهدهٔ کدِ منبع» را بزن. آنچه میبینی دقیقاً همان چیزی است که خزنده میگیرد.
حالا در همان صفحه دنبالِ یک جملهٔ مشخص از متنِ سایتت بگرد. اگر پیدایش نکردی، خزنده هم پیدایش نمیکند.
راهِ دقیقتر: از خطِ فرمان محتوای صفحه را بدونِ مرورگر بگیر و ببین چه چیزی برمیگردد. اگر جوابْ چند خط HTML و یک تگِ script بود، صفحه برای خزنده خالی است.
چه سایتهایی گرفتارند
- اپهای تکصفحهای — ساختهشده با React، Vue، Angular یا Svelte، بدونِ رندرِ سمتِ سرور.
- سایتهایی با محتوای «بارگذاریِ بیشتر» — متنی که فقط بعد از اسکرول یا کلیک میآید.
- صفحههایی که محتوایشان از یک API خارجی میآید و در HTMLِ اولیه نیست.
- سایتهای وردپرسیِ سالم معمولاً مشکلی ندارند — وردپرس HTML را روی سرور میسازد.
سه راهِ حل، از ساده به سخت
۱) رندرِ سمتِ سرور
بهترین راه: صفحه را سرور بسازد و HTMLِ کامل بفرستد. اگر Next.js یا Nuxt داری، این حالت را دارد و فقط باید روشن شود. اگر نداری، ممکن است بازنویسیِ بخشی لازم باشد.
۲) پیشرندر در زمانِ ساخت
برای سایتهایی که محتوایشان زیاد عوض نمیشود: هنگامِ build برای هر مسیر یک فایلِ HTML ساخته میشود. سبک است، ولی محتوای تازه تا build بعدی در HTML نیست — پس برای بخشِ وبلاگ و اخبار مناسب نیست.
۳) صفحههای عمومی را جدا کن
راهِ عملی برای وقتی که پنلِ برنامهات باید تکصفحهای بماند: صفحههای بازاریابی و محتوایی را از سرور بده و پنل را همانطور که هست بگذار. ما همین کار را کردیم.
بعد از رفع، اینها را هم چک کن
- robots.txt — خزندههای هوشِ مصنوعی مسدود نباشند.
- هر صفحه یک h1 داشته باشد و عنوانش موضوعِ صفحه را بگوید.
- دادهٔ ساختیافته (JSON-LD) که میگوید این صفحه چیست و ناشرش کیست.
- نقشهٔ سایت که همهٔ صفحههای واقعی در آن باشند.
- llms.txt برای راهنماییِ مستقیمِ مدلها.
سنجشِ خودکار
کاریز آیکیو دقیقاً همین را میسنجد: کلِ سایت را میخزد، صفحههایی که محتوایشان فقط با جاوااسکریپت ساخته میشود را علامت میزند، و میگوید کدام خزندهٔ هوشِ مصنوعی راه دارد و کدام ندارد. توضیحِ کاملِ لایهها · امتحانِ رایگان