DEF CON натравит тысячи хакеров на LLM< /p>

В этом году DEF CON AI Village пригласил хакеров принять участие, изучить и найти ошибки и неточности в больших языковых моделях (LLM), созданных OpenAI, Google, Anthropic и другими компаниями.

< p>В совместном мероприятии, которое организаторы AI Village называют «крупнейшим объединением красных команд для любой группы моделей ИИ», примут участие «тысячи» людей, в том числе «сотни студентов из забытых учреждений и сообществ». будет поставлена ​​задача найти недостатки в LLM, на которых работают сегодняшние чат-боты и генеративный ИИ.

Подумайте: традиционные ошибки в коде, а также проблемы, более характерные для машинного обучения, такие как предвзятость, галлюцинации и джейлбрейки — со всеми этими проблемами теперь приходится бороться специалистам по этике и безопасности по мере масштабирования этих технологий.

DEF CON пройдет с 10 по 13 августа этого года в Лас-Вегасе, США.

Разнообразные проблемы с этими моделями не будут решены, пока больше людей не узнают, как красная команда и оценить их

«Традиционно компании решали эту проблему с помощью специализированных красных команд. Однако эта работа в основном проводилась в частном порядке», — сказал в своем заявлении Свен Кеттел, основатель AI Village. «Разнообразные проблемы, связанные с этими моделями, не будут решены до тех пор, пока больше людей не узнают, как создавать команду и оценивать их».

Ученый, работающий с данными, хочет, чтобы вознаграждения за ошибки и живые хакерские события были изменены в целом, чтобы соответствовать ML. системы на основе моделей. «Они удовлетворяют две потребности одним действием, устраняя вред и расширяя сообщество исследователей, которые знают, как помочь», — сказал Кеттелл.

Для тех, кто примет участие в Red Teaming этим летом, AI Village предоставит ноутбуки и временный доступ к LLM от различных поставщиков. В настоящее время сюда входят модели от Anthropic, Google, Hugging Face, Nvidia, OpenAI и Stability. В заявлении местных жителей также упоминается, что это «при участии Microsoft», так что, возможно, хакеры попытаются взломать Bing. Нас просят дать разъяснения по этому поводу.

Красные команды также получат доступ к оценочной платформе, разработанной Scale AI.

Согласно AI Village, будет введена система начисления очков в стиле захвата флага для продвижения тестирования «широкого спектра вреда». Тот, кто наберет больше всего очков, получит высококлассный графический процессор Nvidia.

Мероприятие также поддерживается Управлением науки, технологий и политики Белого дома; Управление компьютерных и информационных наук и инженерии (CISE) Национального научного фонда Америки; и Кокус Конгресса США по искусственному интеллекту.

Кроме того, это объявление было сделано после того, как вице-президент США Камала Харрис и другие высокопоставленные чиновники администрации Байдена встретились с руководителями OpenAI, Anthropic, Microsoft и Google, чтобы обсудить риски, которые ИИ представляет для отдельных лиц и национальной безопасности.

p>

И отдельно, Румман Чоудхури, который стал соучредителем группы экспертов, называющих себя Bias Buccaneers и выступающих за прозрачность алгоритмов, обсудил потребность в красных командах ИИ на конференции RSA в прошлом месяце.

The Два года назад AI Village организовала свою первую публичную награду за предвзятость машинного обучения на DEF CON. ®