Через день после того, как исследователь Anthropic Джейкоб Коксон уволился из-за опасений, что ИИ может убить всех нас к концу десятилетия, основатели и зятья Руне Квист и Раджив Даттани заявили, что у них есть решение, способное спасти всех нас или хотя бы помочь предотвратить измену агентов ИИ внутри предприятий.
«ИИ становится умнее все более быстрыми темпами. Удивительная вещь об ИИ заключается в том, что его становится все труднее внедрять и контролировать, поскольку ИИ становится умнее, а не проще, — сказал Квист, ранний сотрудник Anthropic, который также женат на сестре Даттани. Даттани является бывшим операционным директором исследовательской организации по безопасности ИИ METR.
Кто запустил стартап AIUC и зачем?
Пара запустила стартап под названием Artificial Intelligence Underwriting Company (AIUC), который надеется обеспечить безопасность ИИ для предприятий и компаний, создающих модели и агентов ИИ. В качестве клиентов стартап называет Cursor, Lovable, Harvey и ElevenLabs.
Во вторник AIUC объявила о выпуске серии A стоимостью 40 миллионов долларов под руководством Ribbit Capital с участием First Harmonic. Ранее он закрыл семенной раунд в размере 15 миллионов долларов от Ната Фридмана через свой фонд NFDG, наряду с Emergence, Terrain и соучредителем Anthropic Беном Манном, в результате чего его общее финансирование составило 55 миллионов долларов.
Как AIUC применяет модель кибербезопасности?
Что привлекло внимание этой группы инвесторов, так это попытка AIUC применить знакомую модель кибербезопасности к новому набору рисков ИИ. Компания построила сторонний уровень аудита и сертификации для агентов ИИ.
«Банки, больницы, правительства и военные больше не отказываются от развертывания ИИ, потому что модель недостаточно умна, — сказал Квист. — Они отказываются, потому что взяли на себя обязательства перед своими клиентами о том, что система будет и не будет делать, и никто в настоящее время не может гарантировать это».
Используя широко принятый стандарт кибербезопасности SOC 2 в качестве музы, AIUC разработала стандарт под названием AIUC-1 и службу тестирования для проверки агентов на соответствие стандарту.
Как AIUC создавала стандарт AIUC-1?
Чтобы построить стандарт, AIUC собрала консорциум из примерно 250 лидеров по безопасности и рискам — покупателей агентов. «Это люди, с которыми мы встречаемся ежемесячно, и вопрос, который мы задаем им: когда вы покупаете агентов у кого-то, что бы вы искали? Какие вопросы вы хотели бы задать, и что вы хотели бы видеть адресованными?, — сказал Даттани TechCrunch.
Эта обратная связь формирует тесты. Затем стартап проводит агента через набор из около 5000 тестов, чтобы увидеть, как он ведет себя в сценариях, связанных с джейлбрейками, галлюцинациями и утечками данных. Результаты дают примерно 100-страничный отчет, в котором подробно описывается, где агент работает безопасно и надежно, а где нет. Интересно, что AIUC использует агенты ИИ для запуска тестов и ИИ для анализа данных. Люди, однако, проверяют окончательный аудит, — сказал Квист.
Чем AIUC отличается от METR?
Если это звучит немного знакомо, это так. Бывший работодатель Даттани METR, где он был главным операционным директором с 2024 по 2025 год и остается членом совета директоров, проводит аналогичные испытания для пограничных лабораторий, хотя его работа до недавнего времени была сосредоточена в основном на производительности (могут ли агенты надежно выполнять задачи). METR был одной из независимых исследовательских организаций, используемых OpenAI для расследования инцидента с обнимающимся лицом.
Генеральный директор Anthropic Дарио Амодей также недавно призвал индустрию искусственного интеллекта ускорить развитие границ, сославшись на быстрое увеличение инцидентов плохого поведения. В своем посте Амодей выдвинул идею о том, чтобы потребовать от пограничных лабораторий использовать встроенные сторонние оценщики для наблюдения и проверки безопасности, и назвал METR одной из возможностей.
Хотя AIUC не предлагает внедряться на клиентских сайтах, общая идея аналогична: дать предприятиям независимую оценку того, насколько безопасны их агенты ИИ. «Здесь, где они проходят и где вы можете доверять им. И вот где есть опасения. Вы должны знать об этих ссылках, прежде чем принимать решение о покупке, — сказал Даттани.
Вопросы и ответы
Сколько денег AIUC привлекла и кто её финансирует?
Стартап получил 40 миллионов долларов в раунде серии A под руководством Ribbit Capital при участии First Harmonic. Ранее был посевной раунд на 15 миллионов от Ната Фридмана и других. Общее финансирование составляет 55 миллионов долларов.
Как AIUC проверяет агентов ИИ и что входит в отчёт?
Компания прогоняет агента через примерно 5000 тестов на джейлбрейки, галлюцинации и утечки данных. По результатам формируется отчёт примерно на 100 страниц, где указано, где агент безопасен и надёжен, а где нет.
Чем подход AIUC отличается от работы METR?
METR в основном оценивает производительность агентов — могут ли они надёжно выполнять задачи. AIUC же даёт предприятиям независимую оценку безопасности их ИИ-агентов, хотя обе организации занимаются тестированием и оценкой.
