Не замечаете, как ваш сайт блокирует ИИ-ассистентов?
Один небольшой файл сайта решает, могут ли Grok, Claude, ChatGPT и Gemini вообще его читать. Большинство владельцев никогда его не видели. Проверьте свой примерно за пять секунд.
Что на самом деле говорит ваш файл
Разрешить доступ — первый шаг, а не конечная цель
Если ассистент может вас прочитать, это не значит, что он вас понимает; и ни то ни другое не означает, что он способен помочь с регистрацией или покупкой. Полная проверка оценивает все три пункта.
Запустить полную бесплатную проверкуЧто проверяет этот инструмент
Каждый ИИ-ассистент использует автоматический считыватель для загрузки веб-страниц. Перед чтением он ищет файл robots.txt в корне сайта и следует его указаниям.
Этому файлу часто много лет. Его один раз создаёт разработчик сайта или автоматически добавляет плагин, после чего никто к нему не возвращается. Многие сайты неосознанно отвергают ассистентов, которыми их клиенты пользуются каждый день.
Инструмент читает этот файл и понятным языком сообщает, какие ассистенты допущены, а какие отклонены. Мы ничего не меняем на вашем сайте — только читаем.
Какие считыватели мы проверяем
Grok
xAI публикует несколько названий краулеров Grok. Мы проверяем их все.
Claude
Anthropic разделяет под разными названиями чтение для живого вопроса и сбор контента.
ChatGPT
OpenAI использует разные названия для результатов поиска, ответов на живые вопросы и обучения.
Gemini
Google отделяет чтение ассистентом от обычного поиска, поэтому можно разрешить одно и запретить другое.
Мы также проверяем Perplexity и широко используемые общие ИИ-считыватели. Названия краулеров меняются; мы поддерживаем список в актуальном состоянии и никогда не отмечаем незнакомое название как заблокированное.
Другие бесплатные проверки
Проверка llms.txt
Проверьте, публикуете ли вы небольшой файл, который объясняет ассистентам вашу деятельность, и что в нём написано.
Список готовности для ассистентов
Сорок проверок определяют, может ли ассистент найти, понять и использовать вашу компанию. Следите за прогрессом и экспортируйте его.
Спросите своего ассистента
Четыре вопроса любому ИИ, чтобы услышать его ответ, а не наш.