This Person Does Exist After All: “Обратный” поиск в моделях | Molfar
This Person Does Exist After All: “Обратный” поиск в моделях глубоких нейронных сетей
Сервис This Person Does Not Exist генерирует реалистичные портреты человека, но ненастоящие - их создает генеративно-состязательная сеть (GAN). Большинство генеративных моделей имеют открытый исходный код, и многие умельцы обучили собственные модели на различных наборах данных - лицах из аниме, спутниковых снимках или резюме. Объекты, которые генерирует алгоритм GAN, используют в CGI-фильмах, рекламе и фейковых профилях для создания бот-сетей.
Исследователи университета Кан-Нормандия во Франции показали, что сгенерированные изображения могут быть не такими уникальными, как кажется. В статье “This Person (Probably) Exists” исследователи показывают, что у многих лиц, созданных GAN, есть поразительное сходство с реальными людьми, которые появляются в тренировочных данных. Ученые использовали атаку, которая называется "membership attack", чтобы выяснить, находятся ли определенные данные, например, фотография, в тренировочном наборе или нет. Оказывается, фейковые изображения могут раскрыть лица настоящих людей, на которых обучалась GAN, а значит раскрыть личность этих людей. Специалисты ставят под сомнение популярную идею о том, что модели глубокого обучения - это "черные ящики", которые ничего не скажут о том, что происходит внутри.
Работа французских ученых вызывает опасения по поводу приватности. "Сообщество ИИ испытывает обманчивое чувство безопасности, когда делится обученными моделями глубоких нейронных сетей, - говорит Ян Каутц, вице-президент Nvidia по исследованиям в области обучения и восприятия. Теоретически подобную атаку могут применять, чтобы раскрыть биометрические или медицинские данные человека. Например, если медицинские данные использовались для обучения модели, связанной с каким-то заболеванием, то хакеры смогут узнать, что у человека есть это заболевание.
С другой стороны, пользователи смогут использовать метод для доказательства нарушения авторских прав. Художники смогут узнать, использовалась ли их работа для обучения GAN в коммерческом сервисе.
Текст исследования: https://arxiv.org/pdf/2107.06018.pdf
На изображении: В левом столбце каждого блока - лица, сгенерированные GAN. Далее следуют три фотографии реальных людей, которых распознали в тренировочных данных.
#технологии #GAN #deepfake #IP
