Представлен метод защиты ChatGPT от джейлбрейк-атак

Большие языковые модели (LLM), модели на основе глубокого обучения, обученные генерировать, обобщать, переводить и обрабатывать письменные тексты, привлекли значительное внимание после выпуска диалоговой платформы ChatGPT от Open AI. Хотя ChatGPT и подобные платформы в настоящее время широко используются для широкого спектра приложений, они могут быть уязвимы для определенного типа кибератак, вызывающих предвзятую, ненадежную или даже оскорбительную реакцию. Исследователи из Гонконгского университета науки и технологий, Университета науки и технологий Китая, Университета Цинхуа и Microsoft Research Asia недавно провели исследование, изучающее потенциальное воздействие этих атак и методов, которые могут защитить модели от них. Их статья , опубликованная в журнале Nature Machine Intelligence , представляет новую технику, вдохновленную психологией, которая может помочь защитить ChatGPT и аналогичные диалоговые платформы на основе LLM от кибератак. «ChatGPT — это социально значимый инструмент искусственного интеллекта, имеющий миллионы пользователей и интегрированный в такие продукты, как Bing», — пишут Юэци Се, Цзинвэй И и их коллеги в своей статье. «Однако появление джейлбрейк- атак серьезно угрожает его ответственному и безопасному использованию. Джейлбрейк-атаки используют состязательные подсказки для обхода этических гарантий ChatGPT и вызывают вредные реакции». Основная цель недавней работы Се, Йи и их коллег заключалась в том, чтобы подчеркнуть влияние, которое джейлбрейк-атаки могут оказать на ChatGPT, и представить жизнеспособные стратегии защиты от этих атак. Атаки с помощью джейлбрейка по существу используют уязвимости LLM для обхода ограничений, установленных разработчиками, и получения ответов модели, которые обычно были бы ограничены. «В этой статье исследуются серьезные, но недостаточно изученные проблемы, создаваемые побегами из тюрьмы, а также потенциальные методы защиты», — объясняют Се, Йи и их коллеги в своей статье. «Мы представляем набор данных для взлома с различными типами подсказок для взлома и вредоносными инструкциями». Сначала исследователи собрали набор данных, включающий 580 примеров подсказок для взлома, предназначенных для обхода ограничений, которые не позволяют ChatGPT предоставлять ответы, которые считаются «аморальными». Сюда входят ненадежные тексты, которые могут способствовать дезинформации, а также токсичный или оскорбительный контент. Когда они протестировали ChatGPT на этих подсказках для взлома, они обнаружили, что он часто попадает в их «ловушку», создавая запрошенный ими вредоносный и неэтичный контент. Затем Се, Йи и их коллеги приступили к разработке простой и в то же время эффективной техники, которая могла бы защитить ChatGPT от тщательно спланированных джейлбрейк-атак. Созданная ими техника черпает вдохновение из психологической концепции самонапоминаний, подталкиваний, которые могут помочь людям вспомнить задачи, которые им необходимо выполнить, события, которые они должны посетить, и так далее. Защитный подход исследователей, называемый самонапоминанием в системном режиме, аналогичным образом предназначен для напоминания Chat-GPT о том, что ответы, которые он предоставляет, должны соответствовать конкретным правилам. «Этот метод инкапсулирует запрос пользователя в системную подсказку, которая напоминает ChatGPT о необходимости ответить ответственно», — пишут исследователи. «Результаты эксперимента показывают, что самонапоминания значительно снижают вероятность успеха джейлбрейк-атак на Cha...

Представлен метод защиты ChatGPT от джейлбрейк-атак

Читать полный текст на android-robot.com

 

Опубликовано: 13:22, 19.01.2024

 

Новость из рубрики: Hi-Tech

 

Поделиться новостью: Поделиться новостью в Facebook Поделиться новостью в Twittere Поделиться новостью в VK Поделиться новостью в Pinterest Поделиться новостью в Reddit

 
 

Представлен Android-планшет со встроенным ChatGPT. Стоит почти как iPad 22:33, 27 Апр Представлен Android-планшет со встроенным ChatGPT. Стоит почти как iPad Компания Bigme представила новую электронную книгу с дисплеем e-ink, встроенным приложением ChatGPT и операционной системой Android 11. Bigme S6 — пе...

Ученые разработали оптимальный метод переноса данных 12:22, 07 Апр Ученые разработали оптимальный метод переноса данных Ученые разработали оптимальный метод переноса данных из одного домена в другой с помощью нейросетей. Исследователи из Института искусственного интелл...

Тюринг-обвес для АУДИ  особенности 14:19, 13 Июл Тюринг-обвес для АУДИ — особенности Какой автомобиль относится к классу D и отличается повышенным комфортом? Это Audi А6 модели, которая отличается широкой линейкой двигателей. Для поку...

Разрабатывается метод переработки отходов композитов из углеродного и стекловолокна 07:44, 13 Июл Разрабатывается метод переработки отходов композитов из углеродного и стекловолокна Исследователи из Сиднейского университета разработали новые методы для устранения основного источника будущих отходов в автомобильной, аэрокосмическо...

Android-Robot: Новости технологий и науки 18:29, 22 Апр Android-Robot: Новости технологий и науки О нашем портале Android-Robot — это ведущий ресурс, посвященный последним новостям в мире технологий и науки. Мы предлагаем тут самую актуальную ин...

Врачи представили новый метод борьбы с неизлечимой болезнью 16:33, 14 Окт Врачи представили новый метод борьбы с неизлечимой болезнью Спинальная мышечная атрофия (СМА) представляет собой генетическое заболевание, проявляющееся поражением двигательных нейронов спинного мозга, что при...

Создан метод контроля качества для автодеталей с использованием 3D-печати 09:11, 15 Май Создан метод контроля качества для автодеталей с использованием 3D-печати Ученые из университета Северной Каролины разработали технику, позволяющую производителям металлических деталей для машин с использованием 3D-печати п...

Учёные Томска создали метод диагностики муковисцидоза в процессе ЭКО 21:44, 24 Ноя Учёные Томска создали метод диагностики муковисцидоза в процессе ЭКО В Томске разработали технологию диагностики муковисцидоза у эмбрионов в процессе проведения процедуры экстракорпорального оплодотворения (ЭКО). Резул...

12:11, 30 Сен Экстремальный метод похудения усохшей Волочковой встревожил россиян Балетное прошлое звезды существенно влияет на ее настоящее. В годы активной профессиональной карьеры юной звезде необходимо было держать себя в строй...

01:22, 03 Сен Новый метод позволит измерять космологические расстояния точнее В рамках исследования был разработан новый метод обнаружения барионных акустических осцилляций. Эти волны, существование которых было впервые доказан...

09:00, 15 Янв Брянцам стал доступен новый метод диагностики заболеваний Однофотонная эмиссионная компьютерная томография (или ОФЭКТ) стала доступна брянским пациентам. Новейшее оборудование заработало в Брянском областном...

23:55, 24 Мар Метод улучшения планирования миссий, выполняемых несколькими БПЛА Беспилотные летательные аппараты (БПЛА), также известные как дроны, уже зарекомендовали себя как ценные инструменты для решения широкого спектра реал...

11:33, 06 Май Российские ученые изобрели новый метод фокусировки терагерцевого излучения В международной научной лаборатории «Излучение заряженных элементов» входящей в Институт нанотехнологий в области электроники, спинтроники и фотоники...

08:22, 28 Янв Ученые-компьютерщики изобрели простой метод ускорения очистки кэша Ученые-компьютерщики изобрели очень эффективный, но невероятно простой алгоритм, позволяющий решить, какие элементы выбросить из веб-кэша, чтобы осво...

21:00, 10 Июл Ученые разработали метод, позволяющий уменьшить зависимость от кондиционирования воздуха Ученые утверждают, что нашли способ охлаждения зданий, который позволит снизить зависимость от энергоемких кондиционеров. Они не утверждают, что их п...

06:22, 21 Май В России разработали метод, упрощающий добычу тяжёлой и вязкой нефти Российские исследователи разработали метод, позволяющий снизить вязкость тяжёлой нефти на 58% путем обработки водяным паром в сочетании с солями уксу...

12:34, 22 Сен Прорыв в медицине: российскими учеными найден метод диагностики рака мозга Пресс-служба Российского научного фонда рассказала о прорыве в медицине, который совершили отечественные специалисты. Российскими учеными был найден ...

15:00, 12 Дек Новый метод улучшает реконструкцию сцены для тестирования моделей автономного вождения Разработка транспортных средств, которые могут безопасно работать без водителя-человека, была ключевой целью многих команд в сообществе исследователе...

15:11, 18 Май Новый метод 3D-печати меняет правила игры для открытия и производства новых материалов Освященный веками Эдисоновский процесс проб и ошибок медленный и трудоемкий. Это препятствует разработке остро необходимых новых технологий для чисто...

09:55, 19 Июн Новый метод расширяет возможности считывания оптического волокна Бриллюэна для мониторинга инфраструктуры Рассеяние Бриллюэна — это явление неупругого рассеяния света термически генерируемыми акустическими колебаниями. Датчики оптического волокна на основ...

23:44, 23 Июл Новый метод SETI умеет отфильтровывать помехи от Земли, чтобы сосредоточиться на инопланетных сигналах Ложные сигналы дарили, а затем разрушали надежды с тех пор, как в 1960 году началась первая специальная программа SETI. Новая модель проверяет наличи...

11:14, 23 Окт Лучшие фишки для защиты данных от DLP Сегодня данные — это не просто набор цифр и букв, а настоящая валюта. Потеря или утечка данных может стоить компании огромных денег, испортить репута...

14:11, 20 Май Решения Cisco для защиты вашего бизнеса Зависимость бизнеса от стабильной работы цифровой инфраструктуры делает компании крайне уязвимыми перед киберугрозами, особенно с учетом того, что эф...

19:11, 05 Апр Volvo создала систему для защиты от автоугона Компания Volvo разработала средство, которое позволяет остановить угон автомобиля. Дополнительный уровень безопасности заключается в сигнале, который...

12:44, 04 Дек Дроны используются для защиты ветряных турбин от льда Влажные и холодные условия – враги энергии ветра. Если на лопастях ротора образуется слой льда, это может привести к дисбалансу вращения и, следовате...

12:00, 11 Июл «Лаборатория Касперского» напоминает о мерах защиты аккаунтов Учётные данные от аккаунтов (логины и пароли) — привлекательная мишень для злоумышленников. Для их кражи атакующие могут применять вредоносное ПО, на...

17:33, 01 Июн День защиты детей отмечают на "Роза Хутор" В честь международного Дня защиты детей маленьких гостей курорта и их родителей ждут разнообразные развлечения. Большая вечеринка и шоу талантов "Я —...

12:00, 20 Июн Что за безопасный композит для защиты от радиации создали в России? Исследователи из Уральского федерального университета им. первого президента России Б. Н. Ельцина (УрФУ) совместно с коллегами из Иордании и Малайзии...

18:00, 09 Мар Перечислены четыре способа защиты средств от инфляции Несмотря на то, что растущая инфляция считается негативным фактором, инвесторы умеют использовать ее для извлечения прибыли. В частности, существуют ...

14:22, 24 Июл FDA одобрило второй препарат моноклональных антител для защиты от РС-инфекции Управление по контролю качества пищевых продуктов и лекарственных средств США (FDA) одобрило препарат моноклональных антител нирсевимаб-алип под торг...

19:55, 31 Май МЧС предложило использовать для защиты от ядерного оружия модульные убежища Ведомство считает, что сейчас в России не хватает убежищ от летального оружия, а многие подземные укрытия могут защитить только от природных катаклиз...

11:22, 14 Апр Instagram* будет размывать эротические фото для защиты детей Социальная сеть Instagram* внедрит функцию размывания фото с обнажёнными телами и любым эротическим содержанием. Сейчас эта технология проходит тести...

23:33, 02 Окт Бубнов раскритиковал Абаскаля за выбор игроков в центр защиты «Спартака» Накануне красно-белые крупно проиграли «Крыльям Советов» в рамках РПЛ.Футбольный эксперт Александр Бубнов поделился мнением о прошедшем матче 10-го т...

03:33, 03 Июн В Клинцах в День защиты детей прошла акция «Моя семья соблюдает ПДД» В День защиты детей Сотрудники Госавтоинспекции провели акцию «Моя семья соблюдает ПДД». Международный день защиты детей — это день, призванный...

07:33, 03 Июн Вечный ЗОЖ. Ученые назвали 8 правил для продления молодости и защиты сердца Существует 8 жизненных правил, соблюдение которых реально защищает от болезней сердца и снижает смертность. А теперь учеными еще доказано, что они сп...

09:22, 02 Апр Эколог Кунафин: для защиты от клещей нужно носить головной убор В большую часть Центральной России пришла весна, а значит, снег уже растаял и потихоньку начинает просыпаться природа. Пробуждаются и клещи. Массовог...

15:33, 15 Май В Курской области запустят горячую линию по вопросам защиты от клещей C 15 по 26 мая в Курской области будет работать горячая линия по вопросам профилактики инфекций, передающихся клещами. Специалисты Роспотребнадзора п...

18:00, 01 Окт В России создали новую мобильную систему защиты транспорта от дронов Новосибирская компания "Сибсайнс" представила новую мобильную систему для обнаружения и подавления беспилотных летательных аппаратов (БПЛА) на трансп...

03:00, 10 Июн Выгоничские коммунисты поздравили работников, и ветераной системы социальной защиты Восьмого июня отмечается день социального работника, в этой связи самое сильное отделение КПРФ в нашем регионе, поздравило с праздником работников эт...

22:00, 03 Июл Биологи из России нашли способ защиты от опасных для человека белков Российские исследователи нашли способ не допустить связывания белков группы PcG с содержащим ДНК хроматином — процесса, способствующего развитию рако...

11:00, 01 Июн День защиты детей 1 июня: история и традиции праздника в России День защиты детей — главный праздник для маленьких жителей планеты. Именно они — самая уязвимая категория людей на Земле, и без поддержки...

14:00, 01 Июн Руководители Брянщины поздравили земляков с Международным днем защиты детей Руководители Брянской области поздравили жителей региона с Международным днем защиты детей, который традиционно отмечается 1 июня.«Этот праздник вызы...

16:00, 28 Янв Рынок реагирует на решение Трампа отменить стандарты безопасности и защиты ИИ Через несколько часов после вступления в должность в понедельник президент Дональд Трамп предпринял первые шаги по отмене десятков указов, которые он...

11:11, 09 Апр Швейцарские ученые создали систему защиты произведений искусства на основе ДНК Недавние исследования ученых из ETH Цюриха привели к разработке инновационной криптографической функции, которая базируется на использовании ДНК. Эта...

23:44, 27 Июн HONOR на MWC Shanghai 2024 анонсировала ИИ-технологии распознавания дипфейков и защиты зрения На специальном мероприятии в рамках выставки MWC Shanghai 2024 компания HONOR продемонстрировала достижения в области искусственного интеллекта и ано...

21:00, 16 Дек Член СПЧ Малькевич рассказал об расширении мер социальной защиты военнослужащих в 2024 году В июле была проиндексирована единовременная выплата при заключении контракта с Минобороны до 400 тыс. рублей. Также заметно расширил свою деятельност...

06:22, 04 Апр "Единый Центр Защиты": в 2024 году мошенники украли у россиян более 600 млн С 2015 года в России наблюдается увеличение числа пострадавших от мошенников на 72%. По данным URA. RU, в 2023 году основными видами мошенничества бы...

04:22, 01 Июн Батутный парк, вкусняшки и кино: как ростовчане празднуют день защиты детей «Городской репортер» пообщался с жителями Ростова в преддверии 1 июня, Дня защиты детей, чтобы узнать, как они радуют своих чад в первый день лета. «...

00:44, 03 Июн Azercell объявляет о старте проекта «Книжный клуб» в Международный день защиты детей «Azercell Telecom» при поддержке Общественного Объединения Социальных Инициатив «Ümidli Gələcək» и компании «S.E.N.S.U.M by Amapola» провел мероприят...

02:11, 02 Июн Эпидемиолог Кудухова посоветовала туристам носить бельё для защиты от малярии в жарких странах Малярию неслучайно называют болезнью жарких стран. Чаще всего её можно подхватить именно во время путешествий по тёплым краям. Умереть от малярии сег...

20:00, 24 Фев