OpenAI — новаторская организация, стоящая за созданием ChatGPT, усиливает свою приверженность обеспечению безопасности искусственного интеллекта (ИИ). Недавно фирма представила новую инициативу, направленную на активное устранение всего спектра потенциальных рисков, связанных с ИИ.
Это новое подразделение, получившее название «Готовность», было объявлено 25 октября и знаменует собой значительный прогресс в OpenAIпродолжающиеся усилия США по обеспечению безопасного развертывания ИИ. Команда сосредоточится на выявлении и смягчении потенциальных угроз ИИ, охватывающих химическую, биологическую, радиологическую и ядерную области, а также рисков, связанных с индивидуальным убеждением, кибербезопасностью, а также автономным репликацией и адаптацией.
Команда по обеспечению готовности под руководством Александра Мадри займется решением таких важных вопросов, как потенциальное неправомерное использование передовых систем ИИ и угроза, исходящая от злоумышленников, развертывающих украденные веса моделей ИИ.
OpenAI признает двойственную природу технологии ИИ. Модели ИИ Frontier, которые превзойдут возможности, имеющиеся в настоящее время в самых передовых существующих моделях, имеют потенциал принести пользу всему человечеству», — пишет фирма. Однако она также признает, что эти модели несут «все более серьезные риски».
Чтобы ориентироваться в этом сложном ландшафте, OpenAI стремится разработать надежный подход к готовности к катастрофическим рискам. Это обязательство распространяется и на стратегию набора персонала: OpenAI активно ищет людей с разнообразными техническими навыками для присоединения к своей команде по готовности. Компания также запустила конкурс готовности AI, направленный на предотвращение катастрофического нецелевого использования, предлагая 25,000 10 долларов США в виде API-кредитов XNUMX лучшим заявкам.
Объявление о создании группы готовности последовало за заявлением OpenAI от июля 2023 года о планах создания группы, занимающейся борьбой с потенциальными угрозами ИИ.
По мере того, как ИИ продолжает развиваться, растут опасения относительно его потенциальных рисков. Некоторые опасаются, что ИИ может превзойти человеческий интеллект, что приведет к непредвиденным последствиям. Несмотря на эти опасения, такие компании, как OpenAI, продолжают внедрять инновации в области ИИ, что вызвало новые дебаты.
В мае 2023 года некоммерческая организация «Центр безопасности ИИ» опубликовала открытое письмо о рисках ИИ, призывая мировое сообщество уделить приоритетное внимание снижению риска исчезновения ИИ наряду с другими рисками социального масштаба, такими как пандемии и ядерная война.