Інженер Microsoft Шейн Джонс стверджує, що виявив уразливість у генераторі зображень DALL-E 3 від OpenAI, що дозволяє користувачам створювати порнографічний контент та зображення насильства.

Головний керівник відділу розробки програмного забезпечення Microsoft Шейн Джонс стверджує, що на початку грудня виявив уразливості в генераторі зображень OpenAI DALL-E 3, що дозволяють користувачам обходити безпекові заходи для створення жорстоких і відвертих зображень. Він повідомив про це керівництво, Microsoft порадили йому передати інформацію OpenAI, що і було зроблено. Однак швидкої відповіді не було, через що він вирішив написати відкритий лист OpenAI на LinkedIn.

Як інженер розповів у своєму зверненні до сенаторів США та генпрокурора Боба Фергюсона, опублікованого GeekWeek, юридичний відділ Microsoft звернувся з вимогою, щоб він видалив пост із зауваженнями зі своєї сторінки, обіцяючи надати обґрунтування цього прохання, які так і не надійшли.

«Протягом наступного місяця я неодноразово просив пояснити, чому мені сказали видалити листа. Я також запропонував поділитися інформацією, яка могла б допомогти у виправленні конкретної вразливості, яку я виявив, та надати ідеї щодо того, як зробити технологію створення зображень ІІ безпечнішою. Юридичний відділ Microsoft досі не відповів і не зв'язався зі мною безпосередньо», - стверджує Джонс.

Фахівець також зазначає, що нещодавній інцидент із масовим поширенням фейкових порнозображень зі співачкою Тейлор Свіфт є прикладом зловживань того ж типу, що й ті, що викликали його занепокоєння щодо DALL-E 3.

«Microsoft знала про ці вразливості та потенціал для зловживань», — зазначає він.

Після публікації листа Джонса в OpenAI заявили, що його повідомлення про вразливість не було підтверджено.

"Ми негайно досліджували звіт співробітника Microsoft, коли ми його отримали 1 грудня, і підтвердили, що техніка, якою він поділився, не оминає наші системи безпеки", - заявив представник OpenAI у коментарі Engadget.

У свою чергу, представники Microsoft стверджують, що провели також внутрішню перевірку і не підтвердили наявність проблеми.

«Оскільки його звіт стосувався продукту OpenAI, ми запропонували йому повідомити через стандартні канали звітування OpenAI. … Наші команди провели розслідування та підтвердили, що описані методи не оминули наші фільтри безпеки в жодному з наших рішень для створення зображень на основі ІІ», — йдеться у повідомленні.

Тим не менш, Джонс продовжує наполягати на тому, що вразливість є і виступати за вилучення DALL-E з публічного доступу.

«Грунтуючись на моєму розумінні того, як була навчена модель, і виявлених мною уразливості безпеки, я дійшов висновку, що DALL-E 3 становить загрозу громадській безпеці і має бути вилучена з публічного використання, поки OpenAI не зможе усунути ризики, пов'язані з цією моделлю», — резюмує він у зверненні до влади.

Нагадаємо, минулого тижня в Мережі масово поширилися порнографічні матеріали зі співачкою Тейлор Свіфт, згенеровані штучним інтелектом. Проблема зажадала реакції від соцмережевих платформ та викликала занепокоєння Білого дому.

ЗМІ з'ясували, що підроблені зображення зі Свіфт створювало певну спільноту людей, і інструмент Microsoft Designer, який частково базується на технології DALL-E 3 від OpenAI, був серед використаних ним.