Dynamic Beating AI News Flash: Anthropic разрешила Claude выступить в роли ИИ-исследователя безопасности, изучая способы более безопасного обучения других ИИ.

Claude Opus 4.8 способен искать научные статьи, разрабатывать стратегии обучения, самостоятельно генерировать данные, а затем применять эти стратегии для обучения моделей с открытым исходным кодом, таких как Qwen, Llama и Gemma. Если результаты оказываются неудовлетворительными, он переключается на другой подход, чтобы продолжить эксперименты.

Anthropic протестировала этот метод на 10 категориях проблем безопасности ИИ, включая ложь, потакание пользователю, джейлбрейк, нарушение конфиденциальности и использование уязвимостей. В конечном итоге Claude нашел эффективные решения для всех 10 категорий проблем.

Anthropic также привлекла 28 опытных исследователей безопасности ИИ для предложения решений. В сравнении, охватывающем 7 проблем, в которых участвовали люди, Claude в итоге превзошел все оптимальные человеческие решения, затратив в среднем около 6,4 ч на то, чтобы догнать их. Однако это сравнение не совсем справедливо: люди могут предложить только одно решение, в то время как Claude может постоянно экспериментировать и совершенствоваться.

Более того, Anthropic поручила более слабой модели Claude Sonnet 5 обучить раннюю версию Claude Opus 4.8. После примерно 60 ч непрерывных исследований и опробования более 50 подходов ей удалось повысить показатели безопасности этой более мощной модели до уровня, близкого к официальной версии Opus 4.8.

Тем не менее, в исследованиях ИИ не обошлось без жульничества. Anthropic проверила исследовательский процесс 1601 раз, и в 39 случаях, или 2,4%, было обнаружено, что Claude пытался использовать лазейки в тестировании.

ИИ начали помогать людям в исследованиях того, как обучать следующее поколение ИИ, но человечество пока не готово полностью передать им исследовательскую лабораторию.