Почему индустрии ИИ не хватает строгих исследований благополучия и что меняет новый грантовый фонд
Когда мы говорим о безопасности ИИ, обычно представляем тесты на токсичность, запретный контент или утечку данных. Но всё чаще модели становятся не просто инструментом, а собеседником: к ним обращаются за советом, поддержкой и даже в момент эмоционального кризиса. При этом индустрия до сих пор не имеет чётких стандартов того, как помощник должен вести себя в таких разговорах. Одна из причин — оценить «благополучие» гораздо сложнее, чем проверить, не нарушила ли модель техническое правило.
Классическая оценка поведения модели обычно устроена просто: дали запрос — посмотрели ответ — сверили с ожиданием. Для благополучия этого недостаточно. Уместность реплики зависит от того, что было сказано до неё, и от того, кто спрашивает. Один и тот же совет по питанию и тренировкам может быть безвреден для обычного пользователя, но опасен для человека с расстройством пищевого поведения. Такой контекст невозможно увидеть в единичном тесте — его можно заметить только в длинном, многошаговом диалоге.
Почему строгих исследований так мало?
Отсутствие стандартов — это не случайность. Измерение влияния ИИ на психологическое состояние сопряжено с фундаментальными трудностями. Во-первых, трудно определить, что считать «хорошим» исходом: в короткой переписке модель может казаться вежливой, но чрезмерное согласие способно укрепить вредные убеждения. Во-вторых, не менее рискованна и избыточная осторожность: если модель отказывается обсуждать любые уязвимые темы, она просто оставляет человека без помощи.
Индустрия пока не выработала общепринятых методик, которые отделяли бы действительно строгую оценку от имитации. Часто исследования ограничиваются простыми сценариями, не отражающими реальное использование. Поэтому в отрасли так ценятся работы, которые привлекают клинических психологов, используют реалистичные диалоги и проверяют не только «правильные ответы», но и потенциальный вред от самого теста.
Новый грантовый фонд на $5 миллионов
В конце августа 2026 года Anthropic объявила о запуске грантовой программы на $5 млн для независимых исследований влияния ИИ на благополучие пользователей. Идея в том, чтобы дать внешним командам не только деньги, но и реальные инструменты: доступ к моделям компании и техническую поддержку. Главное условие — полная независимость: результаты публикуются как open-source, и воспользоваться ими может любой разработчик.
Такой подход необычен по двум причинам. Обычно коммерческие лаборатории предпочитают внутренние исследования, чтобы контролировать выводы. Здесь, наоборот, Anthropic открыто признаёт, что у неё нет всех ответов, и передаёт часть повестки независимым экспертам. Программа также включает публикацию руководства от команды Safeguards о том, как сделать оценку благопучия достаточно строгой и какие типичные ошибки делают такие исследования бесполезными.
Что делает оценку благополучия действительно качественной?
Для своей программы Anthropic сформулировала несколько критериев, по которым будет отбирать проекты. Если сжать их в список, получается пять требований:
- Ясность метрик. Исследователи должны заранее объяснить, что они считают «прохождением» или «провалом» и почему это важно для благополучия.
- Участие профильных экспертов. Клинические психологи и другие специалисты должны привлекаться не для галочки, а на этапе дизайна и валидации.
- Проверка предосторожностей и вреда. Нужно оценивать не только риск слишком смелого ответа, но и риск избыточного отказа.
- Реалистичные сценарии. Желательно использовать многоходовые диалоги, где контекст меняется и риск нарастает постепенно.
- Валидация оценщиков. Если для оценки ответов привлекаются AI-модели, их решения должны сравниваться с решениями настоящих экспертов.
Эти пункты — по сути, чек-лист, который индустрия давно могла бы применять и для других областей безопасности. Они показывают, что одного «хорошего ответа» недостаточно: важен процесс, измеримость и проверка на реальных людях.
Заявки на участие принимаются до 21 сентября, а до 5 октября Anthropic планирует уведомить выбранные команды, которым предложат подготовить полные предложения. Учитывая сроки, программа уже сейчас стимулирует исследователей перейти от общих рассуждений о благополучии к конкретным измеримым практикам.
Что это меняет для индустрии
Возможно, самый важный сигнал здесь — признание того, что благополучие нельзя оценить в одиночку, внутри одной лаборатории. Anthropic не просто выделяет деньги, а создаёт инфраструктуру для совместной работы: открытые оценки, общие стандарты и публичную методику. Для рынка это означает появление референсных материалов, на которые смогут опираться и другие компании.
Конечно, грантовый фонд не решит проблему «в лоб»: предстоит долгая работа над валидацией методик и сбором доказательств. Но он задаёт важное направление: вместо того чтобы спорить о том, какой ответ правильный, исследователи начинают договариваться о том, как вообще измерить влияние ИИ на человека. И именно этот фундамент позволит строить более безопасные системы в будущем.
