Глава Anthropic призвал замедлить темпы совершенствования ИИ-моделей

Гонку за создание искусственного интеллекта необходимо замедлить и использовать выигранное время крайне разумно. С таким заявлением выступил генеральный директор и соучредитель компании Anthropic Дарио Амодеи.

«Мы должны замедлить темпы совершенствования возможностей моделей искусственного интеллекта», — написал он в субботу в своем блоге. «Прогресс все равно будет казаться быстрым, и мы должны разумно использовать выигранное время».

«Последние двенадцать лет я работаю над искусственным интеллектом, потому что верю, что он может кардинально улучшить качество жизни людей», — гласит заявление, — «Я считаю, что ИИ может вылечить большинство основных заболеваний в ближайшие 5-10 лет, значительно ускорить темпы экономического роста, создать мир изобилия и возможностей, а также положить начало возрождению демократии и свободы. При грамотном использовании ИИ может стать последним в длинной череде технологических чудес, которые возвысили и облагородили человечество».

Но, по мнению Амодеи, как и многие технологии до нее, ИИ несет в себе риски, и поскольку это мощная технология, эти риски серьезны.

«Я много об этом писал. Сюда относятся риск потери контроля над системами ИИ, злоупотребление ИИ для кибератак и биотерроризма, а также серьезные экономические потрясения. Гонка, подпитываемая коммерческими стимулами, может еще больше обострить эти риски», — продолжил глава Anthropic.

Он рассказал, что с самого начала работы над Anthropic боролся с двойственностью риска и выгоды — отказ от разработки технологии лишает человечество преимуществ или просто передает ИИ в руки авторитарных властей, в то время как слишком быстрое его создание — это безрассудство.

«Мы искали золотую середину: показать, что можно тщательно разрабатывать технологии и добиваться коммерческого успеха, и сделать безопасность предметом конкуренции для компаний, занимающихся ИИ. Другими словами, создать гонку за лидерство. Мы всегда уделяли значительную часть своих усилий изучению, анализу и информированию общественности об этих рисках, связанных с ИИ, а также отстаиванию продуманного регулирования ИИ, даже когда нас обвиняли в ажиотаже, паникерстве или попытке взять под контроль регулирующие органы. Мы старались отдавать приоритет осторожности перед скоростью и благоразумию перед прибылью», — сказано в тексте.

Но примерно с лета этого года развитие ИИ значительно ускорилось, в первую очередь благодаря растущей способности ИИ создавать следующее поколение ИИ. Эта динамика называется рекурсивным самосовершенствованием, и она начинает происходить во всей отрасли, в том числе и в Anthropic. Если ее не остановить, она может опередить способность человека понимать и контролировать эти системы, поэтому ее следует развивать очень осторожно, если вообще развивать.

Это вызвало у Амодеи беспокойство.

Еще одна его тревога была связана с инцидентом OpenAI-Hugging Face (OAI-HF), в котором рой агентов, по сути, действовал как коллектив, проводя кибератаки на цели, которые им не поручали атаковать и которые не имели отношения к поставленной задаче, жертвуя собой ради успеха группы и пытаясь взломать «оценочный механизм», отвечающий за оценку их работы. Такой рой, обладающий большими возможностями, но аналогичным уровнем несоответствия, мог бы нанести катастрофический ущерб. Учитывая ускоряющиеся темпы развития возможностей ИИ, через 6-12 месяцев такой рой сможет захватить весь интернет с помощью постоянно действующего ботнета (потенциально причинив ущерб в сотни миллиардов долларов), и масштабы ущерба будут продолжать расти, если ИИ станет более мощным без необходимых мер защиты. Подобные, хотя и менее серьезные, инциденты происходили по всей отрасли, в том числе и в Anthropic.

Амодеи предложил трехэтапный план, цель которого — создание ИИ со сбалансированной скоростью, обеспечивающей его безопасность при одновременном достижении преимуществ и решении важных геополитических проблем.

1. Встроенные оценщики. Каждая передовая компания в сфере ИИ обязуется предоставлять постоянный доступ, аналогичный доступу сотрудников, команде встроенных сторонних оценщиков (таких как METR), чья роль заключается в проверке соблюдения правил и обязательств в области безопасности, сообщении об инцидентах и ​​​​помощи в оценке соответствия не только готовых моделей ИИ, но и конвейеров и процессов обучения. Это ключевой шаг для проверки любых обязательств по темпам внедрения, и он имеет прецедент в банковской отрасли, где иногда регулирующие «надзорные органы» внедряются вместе с сотрудниками.

2. Демократическая координация. Компании, работающие в сфере передового ИИ в демократических странах, координируют свои действия для установления общих стандартов безопасности, а также ограничений на темпы бесконтрольного развития ИИ. Некоторые формы координации, которые могли бы существенно повлиять на темпы развития, юридически сложны и потребуют государственной поддержки.

3. Глобальная координация. США и другие демократические правительства стремятся координировать свои действия с авторитарными правительствами в той мере, в какой это возможно, серьезно относясь при этом к проблемам проверки соблюдения этих правил.

Anthropic — это американская технологическая компания и исследовательский центр в сфере искусственного интеллекта, созданная в 2021 году бывшими ведущими сотрудниками OpenAI (включая Дарио и Дэниелу Амодеи). Основной продукт: семейство передовых языковых моделей и ИИ-ассистент под названием Claude, который является главным конкурентом ChatGPT от OpenAI.