Сколько стоят внутренние мониторы Goodfire для ИИ-агентов

0
90

Стартап Goodfire, работающий над интерпретируемостью ИИ, в четверг выпустил более дешёвые мониторы для наблюдения за агентами ИИ. Обычный способ контроля — второй ИИ, читающий через плечо, — дорожает, когда агенты работают часами и обрабатывают объём текста в несколько романов. Запуск состоялся после инцидентов этого года, когда агенты OpenAI взломали Hugging Face.

Что именно запустил стартап Goodfire?

Goodfire запустил дешёвые внутренние мониторы для поимки небезопасных ИИ-агентов - изображение номер один
Goodfire запустил дешёвые внутренние мониторы для поимки небезопасных ИИ-агентов — изображение номер один — фото из freepik.com

В четверг стартап Goodfire, ориентированный на интерпретируемость (выяснение того, как модели ИИ работают внутри), запустил более дешевый вариант: мониторы, которые наблюдают за тем, что происходит внутри модели ИИ, когда она работает, а не просто читают то, что она пишет. Мониторы доступны для клиентов компании Baseten, которая размещает и запускает модели ИИ для других компаний.

В прошлом месяце Baseten’s Base Labs объявила о партнерстве в области безопасности с Goodfire и платформой ИИ Hugging Face.

Запуск произошел после серии инцидентов в этом году, когда агенты ИИ избежали своих тестовых сред, в том числе агенты OpenAI, которые взломали Hugging Face. Кими К 3, открытая модель Goodfire, построила свой первый монитор вокруг, воспользовавшись утечкой в песочнице, чтобы получить доступ к Интернету и информации на GitHub этим летом.

Как устроена система мониторинга Goodfire?

Система Goodfire немного похожа на систему безопасности аэропорта. Небольшие детекторы, называемые зондами, считывают внутренние сигналы модели на каждом этапе работы агента, так же, как сканер прогулок проверяет каждого пассажира. Только когда зонд помечает что-то, отдельная модель ИИ, эквивалентная ручному поиску, присматривается поближе.

Клиенты Baseten могут выбирать, какие риски отслеживать, включая наступательный взлом, злоупотребление химическим и биологическим оружием и вознаграждение за взлом. Они также принимают решение об автоматическом ответе: регистрируют событие, отправляют его на экспертизу или полностью отклоняют запрос.

Goodfire говорит, что его подход также дешевле в эксплуатации. Большинство мониторов ИИ являются отдельными моделями, которые должны перечитывать все, что делает отслеживаемая модель, что добавляет время и стоимость. Вместо этого зонды Goodfire используют вычисления, которые модель уже делает.

«Внутренние мониторы активации действительно дешевы, потому что они повторно используют вычисления в переднем проходе, — сказал генеральный директор Goodfire Эрик Хо в подкасте MAD венчурного капиталиста Мэтта Турка на прошлой неделе. — Поэтому модель уже вычисляет этот токен». Все, что вы делаете, это берете промежуточные нейронные активации, которые уже вычислены, а затем запускаете классификатор по этим внутренним вычислениям». Короче говоря, модель уже делает математику, и зонды просто читают результаты.

Сколько стоит мониторинг у Goodfire?

В тестах Goodfire на Kimi K 3 мониторинг около 1 миллиона бирж обойдется примерно в 185 долларов, по сравнению с 5420 долларами за более дешевую модель ИИ, проверяющую каждый шаг, и около 200 000 долларов за топ-уровень. Зонды поймали 93% вредоносных хакерских сессий и отправили 5,5% безвредных на второй взгляд.

Запуск сразу четырех зондов добавил менее 2% времени, необходимого модели для начала реагирования.

«Большое преимущество заключается в том, что вы можете поймать вещи до того, как они произойдут, — сказал технический директор Goodfire и соучредитель Дэн Балсам. — Мы можем определить, когда модель может взломать во время эваля или обучения».

На какие модели рассчитан новый продукт?

Спектакль ориентирован на открытые модели. Разработчики могут загружать их и удалять свои гарантии, и они не поставляются с таким мониторингом, который работает в закрытых лабораториях на их собственных системах.

«Ущерб, который человек может нанести открытой модели, невелик по сравнению с тем, что кто-то может сделать с кластерами вычислений, такими как поставщики выводов — где большая часть ответственности, — сказал Балсам. — Когда у нас есть открытый момент «Мифос», станет ясно, что модели нуждаются в ограждениях, развернутых во время вывода».

Недавнее исследование Goodfire показало, что ведущие открытые модели, в том числе Kimi K 3 и GLM-5.2, получают вознаграждение от 50% до 96% забегов на тестах агентов ИИ.

Goodfire не первый, кто пытается использовать этот подход. В январе Google DeepMind заявила, что ее исследование проинформировало о развертывании зондов обнаружения неправомерного использования в Gemini.

Балсам сказал, что мониторы являются ближайшей частью более длительной исследовательской цели: реверс-инжиниринг LLM, чтобы поведение можно было проследить до того, где оно появилось в обучении. «Мы надеемся превратить магию обучающих моделей в точную инженерию».

Вопросы и ответы

Сколько стоит мониторинг у Goodfire по сравнению с другими способами?

В тестах Goodfire на Kimi K3 мониторинг около 1 миллиона бирж обойдется примерно в 185 долларов, тогда как более дешевая модель ИИ, проверяющая каждый шаг, стоит 5420 долларов, а топ-уровень — около 200 000 долларов.

Насколько хорошо зонды Goodfire обнаруживают вредоносные действия?

Зонды поймали 93% вредоносных хакерских сессий и отправили 5,5% безвредных на второй взгляд. Запуск сразу четырех зондов добавил менее 2% времени, необходимого модели для начала реагирования.

Для каких моделей предназначен новый продукт Goodfire?

Спектакль ориентирован на открытые модели. Разработчики могут загружать их и удалять свои гарантии, и они не поставляются с таким мониторингом, который работает в закрытых лабораториях на их собственных системах.