Почему при выборе ИИ-инструмента важно знать не только модель?

При выборе ИИ-инструмента часто начинают с вопроса: «Какая в нём модель?» Это важно, но не объясняет всего. Нужно также понимать, к каким данным у продукта есть доступ и какие действия он умеет выполнять.

Например, одна модель Anthropic может работать в двух разных продуктах. В Cursor агент для разработки может получить задачу, открыть рабочую среду, скопировать репозиторий, изменить код, запустить тесты и подготовить pull request — запрос на включение изменений. Всё это он делает с помощью инструментов Cursor.

В другом сценарии помощник работает в Slack, читает историю обсуждения и подключён к документам и календарям. Он использует ту же модель, но располагает другим контекстом, поэтому может подготовить сводку по проекту или предложить ответ клиенту.

Способности базовой модели не меняются, но задачи и доступные сведения различаются. Агент, настроенный на работу с кодом, может ответить на деловой вопрос, однако без переписки и документов его ответ будет менее полезен.

Harness — окружение языковой модели: инструкции, доступные инструменты, данные и правила выполнения задачи.

Даже с одной и той же моделью продукт может решать разные задачи. Обновление модели само по себе не восполняет недостаток данных и инструментов и не делает инструкции понятнее. Поэтому качество нужно оценивать на реальных рабочих задачах.

Когда ассистент отвечает с веб-поиском, сначала инструмент находит страницы, затем система получает их текст, а модель готовит ответ по доступным сведениям. На каждом этапе могут возникнуть препятствия: страницу не нашли, не смогли загрузить или не получили нужную информацию.

Если важный текст появляется только после выполнения JavaScript в браузере, некоторые системы могут его не прочитать. Неясная структура затрудняет извлечение ответа, а отсутствие независимых публикаций оставляет меньше оснований для проверки компании.

GEO помогает подготовить сайт и сведения о бренде с учётом этого процесса: чтобы ассистент мог найти, прочитать и использовать материал. Для сервисов с веб-поиском обычное SEO остаётся частью этой работы.

При выборе продукта смотрите, подходит ли он вашей задаче: какие данные получает, что умеет делать и как проверяет результат. Модель оценивайте вместе с этими возможностями на ваших примерах.

При разработке определите роль агента, доступ к данным, разрешённые действия и условия обращения к человеку. Затем проверяйте модели в этой среде. Возможность замены модели зависит от того, как устроен продукт.

Для продвижения сайта полезно пройти тот же путь глазами ассистента: легко ли найти страницу, доступен ли её текст, понятно ли предложение компании и есть ли основания ему доверять.