Як AI-пошук цитує сайти: технічні сигнали

Коли ChatGPT чи Perplexity відповідають на запит і додають посилання на 2-3 джерела, це не випадковий вибір і не пряме дзеркало позицій у Google. Система читає сторінку, оцінює, наскільки легко з неї витягти конкретну відповідь, і перевіряє, чи взагалі мала на це технічний доступ. Більшість сайтів програють ще на цьому — технічному — етапі, ще до того, як хтось оцінює якість самого контенту.

Ось конкретні сигнали, які варто перевірити першими.

1. Чи мають AI-краулери доступ до сайту

У AI-пошукових систем є власні боти, окремі від Googlebot: GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot (Perplexity) і Google-Extended (дані для Gemini й AI Overviews). Це не боти класичного пошукового індексування — вони явно перелічуються в robots.txt окремими рядками, і саме тому їх легко випадково заблокувати:

Надто широке правило Disallow: / для всіх User-agent одразу.
WAF або CDN-конфігурація, що блокує невідомі User-agent за замовчуванням.
Явний блок конкретного бота, доданий колись “про всяк випадок” і забутий.

Перевірити це — дві хвилини: відкрити /robots.txt і подивитися, чи є там явний дозвіл для цих чотирьох ботів. Якщо їх немає в файлі взагалі — це, як правило, означає дозвіл за замовчуванням, але явний Allow надійніший і однозначніший.

2. Чи є файл llms.txt

llms.txt — відносно новий, ще не універсально прийнятий стандарт: текстовий файл у корені сайту, який у стислому вигляді описує, хто ви, чим займаєтесь, і дає прямі посилання на ключові сторінки — щось на кшталт sitemap.xml, але написаного людською мовою спеціально під AI-системи, а не під пошукових роботів. Не всі AI-платформи сьогодні його враховують однаково, але тренд рухається в бік того, що це стане таким самим базовим елементом, яким robots.txt є для класичного пошуку.

3. Чи є структуровані дані (JSON-LD)

Google, ChatGPT і Perplexity можуть по-різному інтерпретувати неструктурований текст, але однаково однозначно читають JSON-LD. Мінімальний набір, що варто перевірити:

Organization — хто ви як юридична сутність, з посиланнями на офіційні профілі (LinkedIn, соцмережі).
Product / Service — що конкретно ви продаєте, з чіткими характеристиками, а не описом у вільній формі.
FAQPage — прямі пари “питання-відповідь”, які AI-система може процитувати майже дослівно, не переказуючи власними словами.

Без цих даних система змушена здогадуватися про структуру сторінки з верстки та тексту — а здогадки менш надійні, ніж явна розмітка.

4. Чи сформульований контент так, щоб його можна було процитувати одним абзацом

Навіть за ідеальної технічної бази текст, написаний суцільним маркетинговим потоком без чітких визначень, складно процитувати — AI-системі нема звідки взяти самодостатній фрагмент. Що працює краще:

Пряма відповідь на питання в перших 1-2 реченнях розділу, а не в кінці після довгого вступу.
Порівняльні таблиці там, де мова йде про вибір між варіантами.
Явні визначення термінів (“X — це…”), а не розмиті описові фрази.

Як перевірити все це за один прохід

Ручна перевірка цих чотирьох пунктів по кожній сторінці забирає час, а пропущений один заблокований краулер зводить нанівець решту роботи. Наш безкоштовний інструмент AI-видимості прогонює сайт через 40 автоматичних перевірок у цих і суміжних категоріях — доступ краулерів, схема, метадані, формат контенту — і показує, з чого почати, за секунди, без реєстрації.

Технічна готовність — це передумова для цитування, а не гарантія. Те, чи справді ChatGPT чи Perplexity вже згадують вас і конкурентів у відповідях на реальні запити, — вимірюється окремо, промпт за промптом, у межах нашого GEO-сервісу.

Часті запитання

Як швидко перевірити robots.txt на блокування AI-ботів? Відкрити /robots.txt у браузері й пошукати рядки з GPTBot, ClaudeBot, PerplexityBot і Google-Extended. Якщо є явний Disallow для будь-якого з них — це блокування. Якщо ботів у файлі взагалі немає — зазвичай означає дозвіл за замовчуванням, але однозначний Allow надійніший.

llms.txt — це вже офіційний стандарт, чи варто його додавати зараз? Універсально прийнятого стандарту поки немає, і не всі AI-платформи однаково його враховують. Але додати файл — дешево й швидко, а тренд явно рухається в бік того, що це стане таким самим базовим елементом, яким robots.txt є для класичного пошуку. Ризик мінімальний, тому чекати немає сенсу.

Чи досить додати JSON-LD, щоб точно потрапити в AI-відповідь? Ні. Структуровані дані — необхідна, але не достатня умова. Вони допомагають AI-системі однозначно зрозуміти сторінку, коли та вже читає її, але не гарантують, що систему саме цю сторінку оберуть як джерело серед інших.

Чи можна перевірити технічну готовність без доступу до коду сайту? Так, значну частину — так. robots.txt, наявність llms.txt і структурованих даних видно з боку клієнта, без доступу до бекенду. Саме на цьому побудований наш інструмент AI-видимості — він перевіряє сайт ззовні, як і сам AI-краулер.

Як часто варто повторювати цю технічну перевірку? Після будь-яких значних змін на сайті (редизайн, зміна CMS, оновлення CDN/WAF-налаштувань) — обовʼязково, бо саме такі зміни найчастіше випадково додають нове блокування. Без явних змін достатньо раз на квартал, щоб вчасно помітити регресію.