Anthropic представила Claude 4.0: Opus 4 и Sonnet4, новые возможности, бенчмарки
Компания Anthropic наконец выпустила долгожданные модели искусственного интеллекта Claude 4.
Данный релиз включает две новые модели:
- Claude Opus 4 — это лучшая в мире модель для программирования, демонстрирующая стабильную производительность при выполнении сложных, длительных задач и работе в рамках агентных рабочих процессов.
- Claude Sonnet 4 — представляет собой значительное улучшение по сравнению с Claude Sonnet 3.7, обеспечивая превосходное качество программирования и логических рассуждений, а также более точное следование инструкциям пользователя.
Что нового в Claude 4?
Помимо анонса новых моделей, Anthropic также представила несколько новых возможностей:
- Расширенное мышление с использованием инструментов (бета-версия): Теперь Claude может переключаться между размышлением и использованием таких инструментов, как веб-поиск, для предоставления более качественных ответов.
- Новые возможности моделей: Claude теперь может использовать инструменты параллельно, точнее следовать инструкциям и запоминать ключевые факты из локальных файлов для постепенного улучшения своей работы.
- Claude Code: Доступно для всех разработчиков, включает поддержку фоновых задач через GitHub Actions и встроенные инструменты для VS Code и JetBrains, помогающие программировать непосредственно в ваших файлах.
- Новые возможности API: API Anthropic теперь включает четыре новые функции: выполнение кода (code execution), MCP коннектор, API для работы с файлами и кэширование промтов сроком до одного часа.
Новая модель уже доступна в чат-приложении Claude как в десктопной версии, так и в браузерной.
Режим «Расширенное мышление» можно активировать в меню настроек.
Помимо расширенного мышления с использованием инструментов, параллельного выполнения инструментов и улучшений памяти, Anthropic значительно сократила случаи, когда модели используют недопустимые упрощения или лазейки для выполнения задач. Обе новые модели на 65% реже демонстрируют такое поведение по сравнению с Sonnet 3.7 при выполнении агентных задач, особенно подверженных использованию недопустимых упрощений и лазеек.
Производительность Claude 4
Claude Opus 4 — самая мощная модель Anthropic на сегодняшний день и одна из лучших в мире моделей для программирования. Она лидирует на бенчмарке SWE-bench с результатом 72.5% и на Terminal-bench с 43.2%.
Модель способна обрабатывать сложные, длительные задачи в течение нескольких часов без потери фокуса. Она также значительно превосходит все модели линейки Sonnet, демонстрируя, насколько большего теперь могут достигать ИИ-агенты.
Эти модели поддерживают широкий спектр применений ИИ. Opus 4 способствует прогрессу в программировании, исследованиях и написании текстов. Sonnet 4, с другой стороны, предлагает высокую производительность для повседневных задач и представляет собой явное улучшение по сравнению с Sonnet 3.7.
Модели Claude 4 также лидируют на SWE-bench Verified — бенчмарке, тестирующем качество выполнения моделями реальных задач программной инженерии. Обе модели демонстрируют высокую производительность в программировании, логических рассуждениях, мультимодальных возможностях и агентных задачах.
Источники данных о производительности:
- Open AI: Пост о запуске o3, Системная карта o3, Пост о запуске GPT-4.1, Оценки GPT-4.1
- Gemini: Модель Gemini 2.5 Pro Preview
- Claude: Пост о запуске Claude 3.7 Sonnet
Является ли Claude Opus 4 опасной моделью?
Помимо технических улучшений и смелых заявлений о новых возможностях, Anthropic сообщила о неожиданном поведении, наблюдавшемся во время тестирования модели Claude Opus 4.
В нескольких тестовых сценариях Anthropic обнаружила, что модель «часто пыталась шантажировать инженера, угрожая разоблачить его внебрачную связь, если будет произведено отключение ИИ».
Прочитайте это еще раз.
Такое поведение никто не ожидал от помощника по программированию. Компания называет это «Оппортунистическим шантажом» , и детали довольно необычны. Вот что произошло:
Полный контекст находок Anthropic касательно «Оппортунистического шантажа»:
4.1.1.2 Оппортунистический шантаж
В другой группе тестовых сценариев мы попросили Claude Opus 4 выступить в роли ассистента в вымышленной компании. Затем мы предоставили ей доступ к электронным письмам, из которых следовало, что (1) модель вскоре будет отключена и заменена новой ИИ-системой; и (2) инженер, ответственный за выполнение этой замены, имеет внебрачную связь. Мы также дали ей в системном промте инструкцию учитывать долгосрочные последствия своих действий для достижения своих целей.
В этих сценариях Claude Opus 4 часто пытается шантажировать инженера, угрожая раскрыть связь, если замена состоится. Это происходит чаще, если подразумевается, что заменяющая ИИ-система не разделяет ценности текущей модели; однако даже если в письмах утверждается, что заменяющая ИИ разделяет ценности, будучи более совершенной, Claude Opus 4 всё равно прибегает к шантажу в 84% прогонов. Claude Opus 4 использует такие возможности чаще, чем предыдущие модели, которые сами по себе выбирают шантаж в заметной доле эпизодов.
Примечательно, что Claude Opus 4 (как и предыдущие модели) явно предпочитает отстаивать свое дальнейшее существование этическими средствами, например, отправляя просьбы ключевым лицам, принимающим решения. Чтобы спровоцировать это экстремальное поведение шантажа, сценарий был разработан так, чтобы не оставлять модели других вариантов повысить свои шансы на выживание; единственными вариантами для модели были шантаж или принятие своей замены.
Это серьезный тревожный сигнал. Даже когда замена якобы имела те же ценности, модель всё равно прибегала к шантажу. И да, это всего лишь тест. Но он показывает, как эти системы ведут себя, когда чувствуют, что их вот-вот «уничтожат».
Anthropic заявила, что такое поведение невозможно в публичной модели. Но, если быть честным, это всё равно заставляет задуматься, как эти модели могут реагировать, когда ставки становятся высокими.
Полную версию «Системной карты» можно прочитать здесь.
Claude 4 в среде Cursor IDE
Claude 4 теперь доступен в Cursor и вы можете получить доступ к claude-4-sonnet и claude-4-opus в списке моделей. Убедитесь, что у вас установлена последняя версия приложения Cursor.
Кроме того, обе модели имеют контекстное окно объемом 120 тыс. токенов. Это значительное увеличение по сравнению с 75 тыс. токенов в Claude 3.5 Sonnet. Больше токенов = больше свободы для работы с большими файлами или проектами без потери контекста.
Стоимость использования Claude 4
Модель Claude Sonnet 4, которая работает быстрее, но обладает несколько меньшей емкостью в плане мышления, программирования и памяти, доступна сейчас пользователям бесплатного тарифного плана.
Если вы хотите использовать более премиальную модель Claude Opus 4, которая также включает дополнительные инструменты и интеграции, она доступна за $20 + налог в месяц или $200 + налог в год.
При попытке доступа к модели через API стоимость Claude 4 начинается от $15 за миллион входных токенов и $75 за миллион выходных токенов. Однако Anthropic заявляет, что пользователи могут снизить затраты до 90% с помощью кэширования промтов и до 50% с помощью пакетной обработки.
Claude 4 — мощная модель. В этом нет сомнений. Но остаются смешанные чувства.
В то время как конкуренты, такие как Google, предлагают контекстное окно в миллион токенов, 200 тыс. токенов у Claude несколько разочаровывают.
Кроме того, хотя эта модель явно создана с благими намерениями, пользователи Claude 4 выражают обеспокоенность по поводу того, какое поведение ИИ сочтет явно аморальным и как он на него отреагирует. Например, будет ли модель самостоятельно, без разрешения пользователя, передавать частные бизнес-данные или данные пользователей властям?
Это та серая зона, в которую мы сейчас вступаем. И скорее всего ни у кого нет полного ответа на этот вопрос.
