OpenAI инициирует Red Teaming Network для укрепления моделей ИИ

сентябрь 20, 2023

OpenAI, стремясь еще больше повысить устойчивость своих систем ИИ, запустила OpenAI Red Teaming Network. Эта сеть состоит из избранной группы экспертов, которым поручена задача информирования о стратегиях компании по оценке и смягчению рисков моделей ИИ.

Красная команда становится решающим шагом в процессе разработки модели ИИ, особенно по мере того, как генеративные технологии получают широкое признание. Он служит механизмом выявления, хотя и не обязательно исправления, предвзятостей в таких моделях, как DALL-E 2 от OpenAI, известный тем, что усиливает стереотипы, связанные с расой и полом. Он также выявляет подсказки, из-за которых модели генерации текста, включая такие, как ChatGPT и GPT-4, игнорируют фильтры безопасности.

Хотя OpenAI ранее привлекала внешних экспертов для бенчмаркинга и проверки своих моделей с помощью таких программ, как программа вознаграждения за ошибки и программа доступа исследователей, введение Red Teaming Network формализует эти усилия. Цель, как указано в сообщении в блоге компании, заключается в углублении и расширении сотрудничества OpenAI с учеными, исследовательскими институтами и организациями гражданского общества.

OpenAI рассматривает эту инициативу как дополнение к внешне определенным практикам управления, таким как сторонние аудиты. Члены сети, на основе их опыта, будут приглашаться к участию в red teaming на различных этапах жизненного цикла разработки модели и продукта.

В дополнение к заказанным OpenAI кампаниям red teaming, члены Red Teaming Network будут иметь возможность взаимодействовать друг с другом по поводу общих практик red teaming и идей. OpenAI поясняет, что не каждый член будет участвовать в каждой новой модели или продукте, и индивидуальные временные вложения, которые могут составлять от 5 до 10 лет ежегодно, будут определяться индивидуально.

OpenAI приглашает присоединиться самых разных экспертов в различных областях, включая специалистов в области лингвистики, биометрии, финансов и здравоохранения. Предыдущий опыт работы с системами ИИ или языковыми моделями не является обязательным условием для участия. Однако OpenAI отмечает, что участие в Red Teaming Network может быть предметом соглашений о неразглашении и конфиденциальности, которые могут потенциально повлиять на другие исследования.

Компания ценит готовность участвовать и вносить уникальные взгляды на оценку воздействия систем ИИ. OpenAI приветствует заявки от экспертов со всего мира, отдавая приоритет разнообразию доменов, а также географическому разнообразию в процессе отбора.

Однако остаются сомнения в том, что одной лишь красной команды будет достаточно. Критики утверждают, что это может быть не так.

Авив Овадья, корреспондент Wired и сотрудник Гарвардского центра Беркмана Кляйна и Центра управления искусственным интеллектом, выступает за «фиолетовое объединение». Это предполагает выявление потенциального вреда, который система, подобная GPT-4, может нанести учреждению или общественному благу, а также последующую поддержку разработки инструментов, использующих эту же систему для защиты учреждения и общественного блага. Хотя это кажется разумным подходом, как отмечает Овадья, существует мало стимулов для создания фиолетовых команд или даже для того, чтобы замедлить выпуск ИИ настолько, чтобы позволить ему работать эффективно.

На данный момент наилучшим доступным решением являются сети Red Teaming, такие как OpenAI.