Глядишь, сегодня в мире поисковых технологий опять что-то сильно сдвинулось. Люди внезапно стали активно интересоваться альтернативами Google, и это не просто так. С одной стороны, у нас ChatGPT с его головокружительными 300 миллионами активных пользователей в неделю. С другой стороны, Perplexity тоже дал жару, обрабатывая уже 100 миллионов запросов за тот же период. А тут ещё и рыночная доля Google впервые с 2015 года опустилась ниже отметки в 90%. Короче, в поиске грядут большие перемены — и если ваш бренд хочет оставаться на виду, пора засучить рукава.
С одной стороны, благодаря AI-платформам перед компаниями открываются крутые возможности повысить узнаваемость, подтолкнуть спрос и прокачать свой имидж. Но есть и обратная сторона медали: растут траты на инфраструктуру, всплывают вопросы авторских прав и, как обычно, нужно учитывать ROI (а это порой головная боль для всех, кто занимается контентом и продвижением).
Важный момент: даже если интерфейсы поиска меняются, суть пользовательских запросов остаётся прежней. Люди, как и прежде, ищут нужную им информацию — будь то списки товаров, традиционный поисковик или новая AI-платформа. Просто теперь им предложили более короткий путь, без лишних кликов и сложностей. Для брендов это означает одно: ищите свежие подходы, чтобы ваша информация не затерялась в хитросплетениях новой поисковой реальности.
Новая эра ботов
В течение двух десятилетий мы привыкли, что стандартный поиск отнимает немало времени и усилий. Пользователю нужно ввести запрос, просмотреть результаты, кликать туда-сюда — короче, классика. Но теперь AI-поиск берёт эту задачу на себя и сильно упрощает жизнь людям. В результате, судя по прогнозам Gartner, к 2026 году объём запросов в поисковых системах может просесть на 25% благодаря боту-помощникам и виртуальным агентам. И, честно говоря, глядя на то, как стремительно растёт доля bot-трафика и падает доля людей, верится в это всё сильнее.
Но что же за новая экосистема ботов перед нами? Есть несколько типов «ползунков», которые формируют AI-выдачу. К примеру, OpenAI использует OAI-SearchBot, который сканирует сайты, чтобы лучше понимать их содержание и выдавать точные ответы, примерно как Google или Bing. А вот GPTbot от OpenAI поглощает контент, чтобы обучать свои большие языковые модели (LLMs). Ещё есть OpenAI’s ChatGPT-User, который подгружает результаты в реальном времени через индекс Bing. Все они вроде бы делают одно и то же — «ползут» по сайту и индексируют контент, — но под капотом у каждого свои подходы и алгоритмы.
Умные боты всё чаще опираются на машинное обучение и NLP, чтобы не просто считывать слова, а понимать контекст и оттенки смысла. Понятно, что если они не найдут о вас данные, то и рассказать про ваш бренд пользователям не смогут. Особенно учитывая, что база ChatGPT датирована июнем 2024 года, а значит, отстаёт от актуального мира примерно на семь месяцев. Он не выдаст точный прогноз погоды на неделю вперёд и не покажет свежие скидки, если не подключать дополнительные технологии вроде retrieval-augmented generation (RAG). А чтобы ваш бренд был в курсе дня, этим AI-платформам надо знать, что вы существуете.
3 шага, чтобы приступить к оптимизации под ботов
1. Начните с аудита
Первым делом выясните, что вообще делают боты на вашем сайте и как они воспринимают контент. Тут на помощь придёт классический аудит технического SEO: все те же проблемы, которые мешали Googlebot (например, неправильная настройка индексации), станут препятствием и для GPTbot, а также прочих новых ребят из AI-мира.
Параллельно присмотритесь, как ваши материалы (и контент конкурентов) отображаются в разных поисковых и AI-сервисах. Если боты не видят какую-то страницу, она не попадёт ни в индекс, ни в обучающие наборы данных, ни в рекомендации для реальных пользователей. Отсюда вывод: нужно решать, какой контент вы хотите показывать всем этим умным алгоритмам, а что, наоборот, стоит скрыть.
Полезно также взглянуть на логи вашего сайта:
Как именно боты находят ваши страницы?
С какой частотой они к вам приходят?
Какие агенты типа Bytespyder (TikTok), GPTBot (OpenAI) или ClaudeBot (Anthropic) пролистывают ваш ресурс и насколько глубоко?
Сопоставьте это с реальным трафиком, чтобы уловить закономерности и понять, где ваш ROI может просесть, а где, наоборот, взлететь. Лог-анализ — не просто игра в технические детали, а способ разглядеть узкие места и подтянуть позиции в традиционном и AI-поиске одновременно.
2. Сформулируйте цели и продумайте стратегию, которая повысит окупаемость
Когда разберётесь, чего именно хотите от сайта (например, больше продаж, трафика или узнаваемости), оцените все затраты. Включая потенциал убытков, если ползунки вам невыгодны, и нагрузки на сервер, которые могут залететь в копеечку. После этого — дело за планом управления: решите, каким ботам вы даёте доступ к контенту, а каким лучше прикрыть двери.
Особенно это актуально для издательских домов — у них высок риск столкнуться с нарушением авторских прав или банальной кражей материалов. Но и для остальных брендов регулировка доступа к ботам может оказаться очень полезной. Допустим, вы выделили определённые AI-сканеры как приоритетные, тогда расскажите поисковикам, что вы тут обновились и хотите, чтобы они заново всё посмотрели:
Следите за актуальностью карты сайта (sitemap).
Используйте протоколы вроде IndexNow.
При желании подсовывайте материал напрямую в Bing, чтобы ускорить индексирование.
3. Оптимизируйте, обновляйте и не забывайте классические принципы
Да, это не шутка: даже с приходом умных помощников работа с SEO остаётся бесконечным процессом. Не получится «поставить на паузу» и радоваться стабильному результату. Нужно постоянно анализировать эффективность и дорабатывать контент.
Все привычные основы вроде корректной структуры сайта, актуальных sitemap, отсутствия дублей или пустых страниц — это по-прежнему залог успеха. При этом ранжирование в классической органике напрямую влияет на то, появится ли ваш контент в AI-ответах. К примеру, если речь про Google’s AI Overviews, примерно три четверти ссылок там принадлежат ресурсам, которые в органике держатся не ниже 12-й позиции, а 90% — не ниже 35-й. Так что и старый добрый SEO, и новейшая оптимизация под AI — это связанные части одной картинки.
Даже если клика по ссылке не произойдёт, факт высоких позиций даёт шанс бренду засветиться в AI-диалогах. Параллельно вы выигрываете не только внутри Google — ваша хорошая репутация поднимет позиции и в Meta AI, и в помощниках типа Siri, и во многих других сервисах.
Что ждёт дальше
Пока никто не вывел чёткие правила игры: для традиционного SEO мы все знаем основные хитрости, а вот в мире AI многое по-прежнему меняется на лету. При этом старые принципы никто не отменял — сайт с удобной навигацией и качественным контентом останется в топе. Да, для издателей вроде Search Engine Land или гигантов уровня Nike подходы будут различаться, но все мы находимся в начале большого пути, где открывается куча нового. И да, чуть больше забот, зато и возможностей хоть отбавляй.
