Юротдел Microsoft якобы заставил замолчать инженера, который выразил беспокойство по поводу уязвимости DALL-E 3

Раздел Технологии выходит при поддержке Favbet Tech

Инженер Microsoft утверждает, что DALL-E 3 от OpenAI имеет уязвимости в системе безопасности, которые могут позволить пользователям генерировать изображения насилия или откровенные изображения (подобные тем, что недавно были направлены против Тейлор Свифт). Впрочем, юридический отдел компании заблокировал попытки инженерного лидера Microsoft Шейна Джонса предупредить общественность об этой уязвимости. «Разоблачитель», как он себя называет, сейчас передает свое сообщение на Капитолийский холм (Сенат США).

Я пришел к выводу, что DALL-E 3 представляет угрозу общественной безопасности и должен быть изъят из публичного доступа, пока OpenAI не устранит риски, связанные с этой моделью.

— написал Джонс сенаторам США Пэтти Мюррей (D-WA) и Марии Кантвелл (D-WA), депутату Адаму Смиту (D-WA 9-й округ) и генеральному прокурору штата Вашингтон Бобу Фергюсону (D).

Джонс утверждает, что в начале декабря он обнаружил эксплойт, который позволяет обойти защитные системы DALL-E 3. Он говорит, что сообщил об этой проблеме своему руководству в Microsoft, которое поручило ему «лично сообщить о проблеме непосредственно в OpenAI». После этого он утверждает, что узнал, что этот изъян может позволить генерировать «насильственные и тревожные вредоносные изображения», передаёт Engadget.

Затем Джонс попытался привлечь внимание общественности к своей проблеме в посте на LinkedIn. «Утром 14 декабря 2023 года я публично опубликовал в LinkedIn письмо к совету директоров OpenAI с призывом приостановить доступ к DALL-E 3)», — написал Джонс. «Поскольку Microsoft является наблюдателем в совете директоров OpenAI, и я ранее поделился своими опасениями со своей командой руководителей, я немедленно сообщил Microsoft о письме, которое я опубликовал».

Вскоре после того, как я раскрыл письмо своему руководству, со мной связался мой менеджер и сообщил, что юридический отдел Microsoft потребовал, чтобы я удалил этот пост. Он сказал мне, что юридический отдел Microsoft очень скоро пришлет по электронной почте конкретное обоснование запроса на удаление, и что я должен удалить его немедленно, не дожидаясь электронного письма от юриста.

— написал он в своем письме.

Джонс выполнил требование, но, по его словам, более детального ответа от юридического отдела Microsoft так и не поступило. «Я так и не получил от них никаких объяснений или оправданий». Дальнейшие попытки узнать больше от юридического отдела компании были проигнорированы. «Юридический отдел Microsoft до сих пор не ответил и не связался со мной напрямую».

Представитель OpenAI написал Engadget в электронном письме:

Курс QA. Це хороший спосіб розвитку вашої кар'єри в IT-індустрії. Після проходження курсу Mate гарантує вам офер мрії. Ознайомитись з курсом

Мы немедленно расследовали отчет сотрудника Microsoft, когда получили его 1 декабря, и подтвердили, что метод, которым он поделился, не обходит наши системы безопасности. Безопасность является нашим приоритетом, и мы применяем многосторонний подход. В основе модели DALL-E 3 мы работали над тем, чтобы отфильтровать наиболее откровенный контент из учебных данных, включая графический контент сексуального характера и насилия, а также разработали надежные классификаторы изображений, которые не дают модели генерировать вредоносные изображения.

Мы также внедрили дополнительные меры безопасности для наших продуктов, ChatGPT и DALL-E API — в том числе отклоняем запросы, в которых запрашивается имя публичного лица. Мы обнаруживаем и отклоняем сообщения, которые нарушают нашу политику, и фильтруем все сгенерированные изображения перед тем, как они будут показаны пользователю. Мы используем внешние экспертные команды для проверки на злоупотребления и усиления наших гарантий.

Между тем представитель Microsoft ответил: «Мы стремимся решать все проблемы, возникающие у сотрудников, в соответствии с политикой нашей компании, и ценим усилия сотрудников в изучении и тестировании наших новейших технологий для дальнейшего повышения их безопасности. Что касается обходов безопасности или проблем, которые могут иметь потенциальное влияние на наши услуги или наших партнеров, мы создали надежные внутренние каналы отчетности для надлежащего расследования и устранения любых проблем, которыми мы рекомендовали пользоваться сотрудникам, чтобы мы могли должным образом проверить его беспокойство, прежде чем говорить об этом публично».

По словам «разоблачителя», порно фейки Тейлор Свифт, которые распространились в X, являются одной из иллюстраций того, к чему могут привести подобные уязвимости, если их не контролировать.

Microsoft знала об этих уязвимостях и потенциале для злоупотреблений.

— подытожил Джонс.

Джонс призывает представителей в Вашингтоне принять меры. Он предлагает правительству США создать систему отчетности и отслеживания конкретных уязвимостей искусственного интеллекта, защищая при этом сотрудников, которые говорят об этом:

Мы должны привлечь компании к ответственности за безопасность их продукции. Обеспокоенные работники, такие как я, не должны поддаваться запугиванию, чтобы заставить их молчать.

X/Twitter разблокировал Тейлор Свифт в поиске — после временного ограничения из-за потока порнодипфейков

Раздел Технологии выходит при поддержке Favbet Tech

Favbet Tech – это IT-компания со 100% украинской ДНК, которая создает совершенные сервисы для iGaming и Betting с использованием передовых технологий и предоставляет доступ к ним. Favbet Tech разрабатывает инновационное программное обеспечение через сложную многокомпонентную платформу, способную выдерживать огромные нагрузки и создавать уникальный опыт для игроков. IT-компания входит в группу компаний FAVBET.