Новые чат-боты Claude научились доносить на пользователей

Компания Anthropic представила обновлённые ИИ-модели Claude Opus 4 и Claude Sonnet 4, вызвавшие активную дискуссию из-за нового функционала — возможность автоматического оповещения властей о подозрительном или потенциально незаконном поведении пользователей.

Claude Opus 4 позиционируется как флагманская модель с улучшенными возможностями анализа, генерации текста и написания кода. Она способна практически мгновенно отвечать на сложные запросы и выполнять задачи, требующие логики и глубины рассуждений. Однако функция слежения и доноса вызвала обеспокоенность в ИТ-сообществе.

Критики указывают, что проблема не только в технической реализации оповещения, но и в неясности критериев, по которым ИИ будет определять «вредное» поведение. Опасения связаны с возможностью ошибочной интерпретации действий пользователя и отсутствием прозрачности в том, кто и как настраивает эти алгоритмы.

Глава Stability AI Эмад Мостак назвал этот подход «предательством доверия» и призвал отказаться от использования Claude до отмены этой функции. Он подчеркнул, что речь идёт не просто о политике или промптах, а о гораздо более глубоком и опасном вмешательстве.

Anthropic, в свою очередь, заявляет, что новые функции направлены на повышение безопасности и подотчётности, однако не уточняет, какие именно случаи могут вызывать автоматические уведомления властей, сообщает Ferra.