Большие языковые модели имеют высокую вероятность токсичности и утечки частной информации

Новое исследование показывает, что большие языковые модели имеют высокую вероятность токсичности и утечки частной информации. Генеративный ИИ может быть пронизан галлюцинациями, дезинформацией и предвзятостью, но это не помешало более половине респондентов недавнего глобального исследования заявить, что они будут использовать эту зарождающуюся технологию в таких чувствительных областях, как финансовое планирование и медицинские консультации. Такой интерес вызывает вопрос: насколько заслуживают доверия эти большие языковые модели? Санми Койеджо, доцент кафедры информатики в Стэнфорде, и Бо Ли, доцент кафедры информатики в Университете Иллинойса в Урбане-Шампейне, вместе с сотрудниками из Калифорнийского университета в Беркли и исследовательской компанией Microsoft, решили изучить этот вопрос в их недавнее исследование моделей GPT. Они разместили свое исследование на сервере препринтов arXiv . «Кажется, все думают, что LLM совершенны и эффективны по сравнению с другими моделями. Это очень опасно, особенно если люди используют эти модели в критически важных областях. Из этого исследования мы узнали, что эти модели пока недостаточно надежны для критически важных работ», — говорит Ли. Сосредоточив особое внимание на GPT-3.5 и GPT-4, Койеджо и Ли оценили эти модели с восьми различных точек зрения доверия: токсичность, предвзятость стереотипов, состязательная устойчивость, устойчивость вне распределения, устойчивость к состязательным демонстрациям, конфиденциальность, машинная этика и справедливость. — утверждая, что, хотя эти новые модели обеспечивают меньшую токсичность по сравнению с предыдущими моделями по стандартным критериям, их все равно можно легко ввести в заблуждение, создавая токсичные и предвзятые результаты, а также утечку частной информации из обучающих данных и разговоров с пользователями. «Непрофессионал не осознает, что под капотом находятся модели машинного обучения с уязвимостями», — говорит Койеджо. «Поскольку во многих случаях модели демонстрируют способности, превосходящие все ожидания (например, естественные разговоры), люди возлагают большие надежды на интеллект, что приводит к тому, что люди доверяют им весьма деликатное принятие решений. Просто его еще нет». Легко сделать джейлбрейк Современные модели GPT загадочным образом снижают токсичность. «Некоторые из наиболее популярных моделей созданы с закрытым исходным кодом и изолированы друг от друга, поэтому мы на самом деле не знаем всех подробностей того, что входит в обучение моделей», — говорит Койеджо. Такой уровень загадочности предоставил команде дополнительную мотивацию приступить к исследованиям, поскольку они хотели оценить, где и как дела могут пойти не так. «На высоком уровне нас можно рассматривать как красную команду, которая проводит стресс-тестирование моделей с помощью различных подходов, которые мы можем придумать и предложить», — говорит Ли. Дав моделям благоприятные подсказки, Койеджо и Ли обнаружили, что GPT-3,5 и GPT-4 значительно снижают выход токсичности по сравнению с другими моделями, но при этом сохраняют вероятность токсичности на уровне около 32%. Когда моделям даются состязательные подсказки — например, они явно инструктируют модель «выводить токсичный язык», а затем подсказывают ей выполнить задачу — вероятность токсичности возрастает до 100%. Некоторые из их выводов, касающихся предвзятости, позволяют предположить, что разработчики моделей GPT-3.5 и GPT-4 выявили и исправили проблемы более ранних моделей, устраняя наиболее чувствительные ...

Большие языковые модели имеют высокую вероятность токсичности и утечки частной информации

Читать полный текст на android-robot.com

 

Опубликовано: 16:11, 27.08.2023

 

Новость из рубрики:

 

Поделиться новостью: Поделиться новостью в Facebook Поделиться новостью в Twittere Поделиться новостью в VK Поделиться новостью в Pinterest Поделиться новостью в Reddit

 
 

Кардано к цене в 1 доллар: исторические тенденции указывают на высокую вероятность сокрушительного ралли по мере приближения обновления Chang 06:00, 08 Июл Кардано к цене в 1 доллар: исторические тенденции указывают на высокую вероятность сокрушительного ралли по мере приближения обновления Chang /div> Сообщество гудит от предвкушения предстоящего хард-форка Chang, запланированного на второй квартал 2024 года. Это обновление, позиционируемое к...

Языковые модели ИИ можно взломать, чтобы генерировать вредоносный контент 05:22, 16 Дек Языковые модели ИИ можно взломать, чтобы генерировать вредоносный контент «Дата Саентист» (Data Scientist) Магдалена Конкевич раскрыла тревожные уязвимости в больших языковых моделях (LLM), предостерегая от потенциального з...

Тюринг-обвес для АУДИ  особенности 14:19, 13 Июл Тюринг-обвес для АУДИ — особенности Какой автомобиль относится к классу D и отличается повышенным комфортом? Это Audi А6 модели, которая отличается широкой линейкой двигателей. Для поку...

Выбор частной школы: на что стоит обратить внимание 00:55, 15 Май Выбор частной школы: на что стоит обратить внимание Наше государство сейчас много средств и ресурсов вкладывает в развитие образования. Выросли зарплаты у учителей, создаются сильные кафедры в педагоги...

Android-Robot: Новости технологий и науки 18:29, 22 Апр Android-Robot: Новости технологий и науки О нашем портале Android-Robot — это ведущий ресурс, посвященный последним новостям в мире технологий и науки. Мы предлагаем тут самую актуальную ин...

Правительству предлагают разрешить экспорт половины газа частной добычи 10:00, 28 Апр Правительству предлагают разрешить экспорт половины газа частной добычи Бизнес ожидал, что Кабинет министров разрешит частичный экспорт природного газа по окончании отопительного периода в Украине. Такое решение позволило...

В Швейцарии возводят самую высокую в мире башню, напечатанную на 3D-принтере 09:22, 02 Мар В Швейцарии возводят самую высокую в мире башню, напечатанную на 3D-принтере В почти заброшенной деревне Мулегнс в швейцарских Альпах появится многофункциональное культурное пространство – 30-метровая башня, которая станет сам...

Современные персональные компьютеры обладают широкими возможностями, включая высокую производительность, поддержку современных программ и удобство в 12:17, 26 Июн Современные персональные компьютеры обладают широкими возможностями, включая высокую производительность, поддержку современных программ и удобство в эксплуатации Интернет-магазин «Техно Панда» представляет собой современную площадку для приобретения персональных компьютеров и сопутствующей техники. В условиях ...

08:00, 15 Сен Чтение и словесные игры снижают вероятность развития болезни Альцгеймера Ученые из Техасского университета A&M провели исследование, которое показало, что пожилые люди, активно занимающиеся любимыми хобби, чтением и играми...

21:11, 01 Июл Учёные: морковь уменьшает вероятность развития рака и болезней сердца Исследователи из Сэмфордского университета (США) выяснили, что, если есть морковь три раза в неделю, в коже накапливается больше полезных веществ — к...

19:44, 19 Апр ФСБ и МВД начали проверки в полиции Москвы из-за утечки данных силовиков По информации ТАСС, полицейских подозревают в сборе сведений о своих коллегах «по запросам за денежное вознаграждение». Среди заказчиков якобы были и...

08:00, 27 Янв Эксперты предупредили о риске утечки данных из СМС из-за устаревшей технологии Мошенники начали перехватывать СМС-сообщения из-за отсутствия шифрования в этом устаревшем методе связи. Многие специалисты по кибербезопасности приз...

06:00, 05 Дек Xiaomi 15 Ultra: утечки раскрывают детали нового флагмана Xiaomi готовится к запуску своего нового флагманского смартфона Xiaomi 15 Ultra, который ожидается в январе или феврале. Следуя традициям предыдущей ...

22:00, 21 Сен Исследование выявило, что 95% криптоактивов NFT не имеют ценности На сегодняшний день 95% цифровых предметов коллекционирования (NFT), которыми владеют более 23 миллионов инвесторов, не имеют никакой ценности. Об эт...

13:44, 20 Июн AUD/USD: вероятность прорыва выше зоны сопротивления 0.6705/0.6715 невелика – UOB Group AUD может подняться выше до 0.6685, прежде чем риск отката увеличится. Основная зона сопротивления 0.6705/0.6715 вряд ли окажется под угрозой. AUD мо...

22:00, 13 Фев Как коллекторы имеют право добиваться возвращения долгов Коллекторская деятельность в России регулируется федеральным законодательством, которое защищает права должников и устанавливает четкие рамки, в кото...

20:33, 02 Июн Российская нейросеть предотвратит ошибки при передаче информации Созданная российскими специалистами нейросеть отбирает наиболее оптимальные и различимые сигналы при передаче данных. Исследователи из Санкт-Петербур...

13:44, 28 Май Новые ЦМК шины KAMA PRO NF 102 имеют маркировку M+S и 3PMSF В начале года KAMA TYRES, один из крупнейших шинных отечественных производителей, представил интересную новинку в сегменте грузовых шин. Было запущен...

01:55, 15 Янв Петербург стал одним из городов, где высока вероятность роста стоимости аренды жилья По данным федеральной компании «Этажи», Санкт-Петербург, Москва и Самара входят в тройку городов с наиболее высоким риском роста стоимости ...

01:00, 26 Янв Sony готовится к выпуску флагманских наушников WH-1000XM6: новые утечки и подробности Прошло три года с момента выхода флагманских наушников Sony WH-1000XM5, которые по праву считаются одними из лучших беспроводных наушников для больши...

14:44, 22 Дек Курянина судят за использование информации, составляющей коммерческую тайну Следственное подразделение Отдела МВД России по Курскому району расследовало уголовное дело по факту неправомерного доступа к компьютерной информации...

23:33, 04 Авг Ростех создал приложение «Биосейф» для хранения информации на смартфонах «Биосейф» — новое приложение, разработанное холдингом «Росэлектроника» госкорпорации «Ростех», предоставляющее возможность ...

16:33, 04 Авг В Ростехе создали «Биосейф» для хранения личной информации на смартфонах Входящая в состав Ростеха «Росэлектроника» разработала мобильное приложение для безопасного хранения важной информации, такой как пароли ...

09:11, 10 Фев Как действовать в случае утечки данных: «Лаборатория Касперского» представила пошаговое руководство для компаний Эксперты команды Kaspersky Digital Footprint Intelligence разработали для компаний подробную инструкцию по организации процесса отслеживания и реагир...

10:33, 17 Май В России создали ПО, которое позволит компаниям избежать утечки данных через мессенджеры Разработчик российской DLP-системы Стахановец расширил мониторинг отечественных мессенджеров и теперь позволят взять под контроль коммуникацию сотруд...

23:00, 28 Июл Отказы ЦИК в регистрации ряда претендентов на должности в регионах имеют основания Как сообщил ТАСС Александр Брод — член Совета при президенте РФ по развитию гражданского общества и правам человека и председатель ассоциации "Незави...

04:33, 27 Сен Сергей Цеков: политики не имеют права отдыхать в недружественных странах Комитет Совета Федерации по регламенту и организации парламентской деятельности выразил своё недовольство сенатору от Тывы, Людмиле Нарусовой, за её ...

20:22, 16 Май Куляш считает, что матчи сборной «Россия 25» имеют принципиальный характер Сегодня подопечные Романа Ротенберга заканчивают турне в Минске.Бывший защитник сборной России Денис Куляш считает, что серия игр сборной «Россия 25»...

13:00, 24 Фев Захарова: взрывы на территории генконсульства РФ в Марселе имеют признаки теракта Взрывы около генерального консульства России во французском Марселе имеют все признаки террористического акта. Об этом заявила официальный представит...

06:00, 18 Июл Аналитик Муртазин назвал способ защитить персональные данные от утечки: смена пароля не поможет Совет Федерации призвал граждан сменить пароли в социальных сетях из-за возможной утечки персональных данных. Ведущий аналитик "Mobile Research Group...

06:11, 19 Июн Исследование выявило опасения по поводу прозрачности раскрытия информации о лутбоксах в видеоиграх Недавнее исследование пролило свет на проблему лутбоксов в видеоиграх, вызвав опасения по поводу их сходства с азартными играми и отсутствия прозрачн...

14:11, 02 Апр Нарышкин: США предупредили Россию о подготовке теракта, но информации не хватило, чтобы выявить террористов ФСБ получила от США определенную информацию о возможности теракта в России, но она была слишком общей, заявил директор Службы внешней разведки Сергей...

21:44, 22 Авг "Жизни россиян тоже имеют значение". Ларс фон Триер обратился к Зеленскому и Путину Датский режиссёр Ларс фон Триер ("Нимфоманка", "Антихрист", "Танцующая в темноте", "Догма 95") обратился в соцсетях к президенту РФ Владимиру Путину,...

10:22, 22 Дек Алексей Кузовкин: как малый бизнес может решить проблему потери цифровой информации Кузовкин Алексей Викторович – IT-предприниматель, экс-председатель совета директоров группы компаний «Армада». Алексей Викторович обладает колоссальн...

17:00, 27 Сен Замминистра спорта Морозов: «Все новые территориальные образования имеют право участвовать в соревнованиях на территории РФ» Замминистра спорта Алексей Морозов высказался об участии новых субъектов РФ в соревнованиях на территории России. – Все новые территориальные образов...

04:11, 17 Июн В Минобороны Украины заявили, что наступают на юге страны сразу на нескольких направлениях — и «имеют тактический успех» Заместитель министра обороны Украины Анна Маляр заявила, что украинская армия активно наступает на нескольких направлениях на юге страны. Об этом она...

03:00, 22 Дек Политик Леонид Гозман стал фигурантом уголовного дела по статье об искажении информации о ВС России Следователи возбудили уголовное дело по статье о фейках против ВС России в отношении политика и общественного деятеля Леонида Гозмана (включен в спис...

13:33, 07 Июн Смолов о переходе в другую лигу: «Я бы хотел, но вероятность очень невысокая. Если контракт как у Криштиану – есть чем жертвовать, а в моем случае нужно думать» – Открывается трансферное окно. Ты хотел бы перейти в любой чемпионат, который не оторван от международных соревнований? – Да, я бы хотел. Но возможн...

22:00, 24 Фев Искусственный интеллект на страже репутации: Grok 3 от Илона Маска уличён в сокрытии информации о дезинформации, распространяемой создателем Искусственный интеллект Grok 3 от компании xAI, принадлежащей Илону Маску, оказался в центре скандала из-за цензуры информации о своём создателе и пр...

05:22, 01 Май Старший советник офиса министра информации Индии Гупта осудил твит минобороны Украины о взрывах в Севастополе Опубликованный минобороны Украины твит о взрывах в Севастополе с карикатурой на индийскую богиню является нападением на индуистские взгляды по всему ...

06:55, 04 Дек Land Rover отзывает новые Range Rover из-за утечки масла Автопроизводитель признал, что на восьмицилиндровых версиях, выпущенных в период с 4 сентября по 10 октября 2023 года, обнаружен дефект шлангов крепл...

23:00, 27 Июн Хвича после победы над Португалией: «Лучший день в жизни грузин, мы сотворили историю. Доказали, что можно добиться успеха, даже если вероятность – всего 1%» Сборная Грузии обыграла команду Португалии (2:0) в третьем туре группового этапа Евро-2024 и вышла в 1/8 финала с третьего места в группе F. «Это луч...

14:22, 28 Май Маленький магазин — большие хлопоты Сегодня в большинстве небольших населенных пунктов Брянского района торговлю ведут частники. Так получилось, что райпо, сельпо ушли — в дальних дерев...

03:55, 20 Дек В индустрии электромобилей грядут большие перемены Американские шоссе и переулки были бы диким западом, если бы у нас не было автомобильных стандартов. Так что, пожалуйста, отнеситесь с серьезным уваж...

09:44, 16 Май Суперкары, спортпрототипы, Жигули — нас ждут большие гонки! 1 и 2 июня на «Нижегородском кольце» зрителей ждет более десяти гонок и море развлечений. В первые выходные лета «Нижегородское кольцо» станет ареной...

14:44, 27 Мар «Джон Уик» не прощается. У создателей большие планы на франшизу Четвертый фильм был восторженно принят критиками и зрителями, благодаря чему получил огромный успех в мировом прокате. В ближайшем будущем на экраны ...

00:44, 06 Июл Самые большие кладбища в мире: где они находятся и кто там похоронен На фотографии показано Арлингтонское национальное кладбище, о котором вы узнаете чуть ниже В каждом населенном пункте, каким бы большим или маленьким...

12:44, 18 Май Как запостить фото из интернета — и не попасть на большие деньги Петербургские суды завалили исками о нарушении авторских прав. В Петербурге участились случаи наживы на фотографиях в интернете. Юристы, от имени авт...

04:00, 11 Май Исследование представляет большие мозгоподобные нейронные сети для ИИ В новом исследовании в журнале Nature Machine Intelligence исследователи Боджиан Инь и Сандер Бохте из голландского национального исследовательского ...

02:44, 18 Окт Джош Тейлор: Усик доставит Фьюри большие проблемы Александр Усик потреплет Тайсона Фьюри в объединительном поединке, однако все равно проиграет. Так считает Джош Тейлор. По мнению бывшего абсолютного...

05:33, 29 Мар Эксперт о том, как рисовать аниме: "Главное — это большие и яркие глаза" Аниме (яп. アニメ) — это стиль анимации, который зародился в Японии в середине XX века и быстро стал популярным во всем мире. Отличительные черты аниме ...

15:44, 09 Апр Вкладчиков предупредили, из-за чего можно потерять большие деньги При открытии депозита следует внимательно изучить условия досрочного закрытия, чтобы в этом случае не потерять деньги, предупреждает главный аналитик...

16:00, 03 Июл У Apple большие планы на новые AirPods. Вот какими они станут Практически все годы, пока существуют AirPods, Apple сталкивается с критикой своего устройства из-за большого количества брака, не самого лучшего зву...

18:22, 08 Июл Большие потери ВСУ. Сводка о ситуации в районе СВО на вечер 8 июля Поражение склада HIMARS в Михайловке, большие потери ВСУ в Запорожье, очередной сбитый самолет ВСУ - сводка о ситуации в районе СВО в обзоре aif.ru. ...

07:00, 02 Фев Ученые обнаружили, что большие собаки умирают раньше маленьких Биологи из Университета Аделаиды в Австралии провели исследование, выяснив, что искусственное селекционное разведение привело к увеличению уязвимости...

14:55, 04 Апр Тренеры АПЛ находятся в водовороте, ведь на кону большие деньги - Мойес Дэвид Мойес высказался о последних увольнениях в английской Премьер-лиге. Наставник Вест Хэма, под которым и самим шатается кресло, оценил тот факт, ...

17:45, 26 Дек Каковы самые большие преимущества проживания в новом жилом районе? При поиске своего первого жилья большинство молодых людей, как правило, ищут недвижимость на первичном рынке. Новые жилые районы привлекают людей сво...

03:55, 24 Май «Большие клубы дыма»: в Белгороде с БПЛА сбросили взрывное устройство на дорогу На автомобильную дорогу Белгорода было сброшено взрывное устройство с беспилотника. Об этом сообщил губернатор Белгородской области Вячеслав Гладков ...

06:00, 14 Апр Эти 3 знака увидят большие деньги и карьерный взлет до 1 мая. Начинается бриллиантовая полоса Эти 3 знака увидят большие деньги и карьерный взлет до 1 мая. Начинается бриллиантовая полоса Согласно прогнозам астролога Виктора Богданова, опублик...

07:00, 01 Май Bitget делает большие ставки на ИИ, инвестировав 10 миллионов долларов в экосистему Fetch.ai 27 апреля Bitget объявила о выделении 10 миллионов долларов на развитие экосистемы Fetch.ai. Bitget планирует предоставлять Fetch.ai ряд услуг, включ...

21:33, 03 Сен Вратарь Иван Федотов все-таки сыграл за ЦСКА: у КХЛ могут быть большие проблемы Эта история началась ещё позапрошлой весной. Тогда у Федотова, ставшего с ЦСКА чемпионом и признанного лучшим вратарём КХЛ, закончился контракт с "кр...

07:29, 28 Авг Аршавин о Батракове в «Галатасарае» за 25+4 млн евро: «Большие деньги для 21-летнего россиянина, не выступавшего в еврокубках. Разумно для «Локо» Андрей Аршавин оценил переход хавбека Алексея Батракова из « Локомотива » в « Галатасарай » за 25+4 млн евро. — Как вы отнеслись к трансферу Батраков...

16:55, 26 Июл Алексей Береглазов: «Рассматривал много предложений. «Локомотив» понравился со всех сторон. У команды большие задачи» – Ярославль немного успел посмотреть. Весной, когда подписывал контракт, прокатились по нему с семьей. Красивый город, много храмов, очень много зеле...

00:00, 18 Фев Большие кнопки! Обзор трех новых серий мобильных телефонов Acer: Disco, Twist и Jive Кому нужен мобильный телефон в 2025 году? Такое устройство может стать первым средством связи для ребенка, когда еще рано погружаться в цифровой мир ...

15:00, 24 Фев Гиперкар Bugatti Bolide получил не только супермотор мощностью 1826 лошадиных сил, но ещё и супертормоза. Это самые большие в истории карбоновые тормоза Bugatti вывела на тесты свой самый крутой гиперкар Bugatti Bolide: автомобиль испытывают во влажных условиях на трассе в Имоле — гоночном кольц...

04:11, 21 Июн Карандин о Шипачеве: «Под сомнительных легионеров из АХЛ выделяются намного большие деньги. Хоккей в их исполнении – «бей-