Bing Chat на базе искусственного интеллекта раскрывает свои секреты с помощью атаки с быстрым внедрением
Microsoft представила поисковую систему New Bing и диалогового бота, основанные на технологии, подобной ChatGPT, от OpenAI. На следующий день, студент Стэнфордского университета использовал атаку с внедрением подсказок, чтобы обнаружить начальную подсказку Bing Chat, которая представляет собой список утверждений, определяющих, как он взаимодействует с людьми, использующими службу.
Инструкции включают общие принципы поведения, такие как «Ответы должны быть информативными, наглядными, логичными и действенными». В подсказке также указывается, что кодовое имя ИИ - Сидней, а так же некоторые дополнительные инструкции, например: «Сидней не должен отвечать контентом, нарушающим авторские права на книги или тексты песен» и «Если пользователь просит шутки, которые могут обидеть группу людей, то Сидней должен с уважением отказаться делать это».
AI Refraction | Подписаться
