В OpenAI придумали средство от «галлюцинаций» у нейросетей

Одной из проблем современных нейросетей остаются их «галлюцинации». Так называют данные, которые не соответствуют реальному положению дел, но нейросети генерируют их наряду с правдивыми фактами. И вот компания OpenAI сообщила, что придумала новый метод обучения моделей искусственного интеллекта, который поможет справиться с «галлюцинациями» ИИ. Сгенерировано нейросетью Midjourney «Даже самые современные модели склонны к ложным выводам — они склонны изобретать факты в моменты неопределённости. Эти галлюцинации особенно критичны в областях, требующих многоступенчатого рассуждения, поскольку одной логической ошибки достаточно, чтобы весь результат оказался неверным», — пишут исследователи OpenAI в отчете. Идея нового метода состоит в том, чтобы изменить систему мотивации для ИИ. Иначе говоря, предлагается вознаграждать нейросеть за каждый правильный шаг рассуждений вместо того, чтобы награда выдавалась за финальный правильный ответ. Это позволит нейросети быть более точной и проверять факты. По мнению исследователей, обнаружение и устранение логических ошибок модели, или галлюцинаций, — это важный шаг на пути к созданию согласованного AGI [искусственного интеллекта общего назначения]» — заявил Карл Коббе (Karl Cobbe), штатный математик OpenAI. Он также уточнил, что компания уже открыла доступ к сопроводительному набору данных из 800 000 меток, которые применялись для обучения нейросети в рамках исследования. При этом проблема пока далека от решения, а специалисты говорят, что компания пока не открыла всю информацию по этому исследованию. Таким образом, проблема «галлюцинаций» ИИ пока остаётся актуальной....

В OpenAI придумали средство от «галлюцинаций» у нейросетей

Читать полный текст на www.ixbt.com

 

Опубликовано: 21:44, 02.06.2023

 

Новость из рубрики: Hi-Tech

 

Поделиться новостью: Поделиться новостью в Facebook Поделиться новостью в Twittere Поделиться новостью в VK Поделиться новостью в Pinterest Поделиться новостью в Reddit

 
 

Google представил ИИ-систему для проверки фактов в ответах других нейросетей 14:00, 02 Апр Google представил ИИ-систему для проверки фактов в ответах других нейросетей Компания Google разработала ИИ-систему Search-Augmented Factuality Evaluator (SAFE), целью которой является определение ошибок в данных, создаваемых ...

Агрессивный водитель  не приговор! Ученые открыли доступное средство для снижения агрессии 22:33, 07 Апр Агрессивный водитель — не приговор! Ученые открыли доступное средство для снижения агрессии Наша жизнь полна стресса. Но у тех, кто крутит баранку его, однозначно, больше. Стресс меняет людей – водители становятся более агрессивными по отнош...

Тюринг-обвес для АУДИ  особенности 14:19, 13 Июл Тюринг-обвес для АУДИ — особенности Какой автомобиль относится к классу D и отличается повышенным комфортом? Это Audi А6 модели, которая отличается широкой линейкой двигателей. Для поку...

Полный фарш: Российский игровой движок получит поддержку нейросетей и Linux 22:55, 06 Июн «Полный фарш»: Российский игровой движок получит поддержку нейросетей и Linux Игровой движок Nau Engine — многообещающий российский проект, призванный возродить отечественную игровую индустрию, протестируют уже в этом году Кома...

Обычное больничное дезинфицирующее средство оказалось бесполезно перед диарейной бактерии 19:33, 25 Ноя Обычное больничное дезинфицирующее средство оказалось бесполезно перед диарейной бактерии Исследование, проведенное в Университете Плимута, выявило серьезный недостаток в практике дезинфекции больниц. Оказалось, что основные хлорные дезинф...

Новое средство против комаров идеально  оно действует сразу и безвредно для людей 11:55, 05 Июл Новое средство против комаров идеально — оно действует сразу и безвредно для людей Возможно, скоро в продаже появится средство от комаров, безопасное для людей Согласно статистике, каждый год от укусов комаров умирает около 725 тыся...

ВЭФ-2023: Институт искусственного интеллекта AIRI при поддержке Сбера создал решение для снижения выбросов CO2 при обучении нейросетей 14:44, 12 Сен ВЭФ-2023: Институт искусственного интеллекта AIRI при поддержке Сбера создал решение для снижения выбросов CO2 при обучении нейросетей Институт искусственного интеллекта AIRI при поддержке Сбера разработал открытую библиотеку Eco4cast для снижения выбросов углекислого газа при обучен...

В США придумали, как бороться с беспилотными авто 01:22, 08 Июл В США придумали, как бороться с беспилотными авто В Сан-Франциско группа лиц из Safe Street Rebel, занимающаяся остановкой беспилотных автомобилей, придумали, как легко и быстро остановить стремитель...

22:00, 22 Дек Автомошенники придумали новую схему: будьте бдительны Одной из последних инноваций в схемах обмана автовладельцев – предложение оформления ДТП без участия ГИБДД через фирмы, представляющие себя как «авар...

23:22, 07 Апр Инженеры придумали способ увеличения емкости жестких дисков Инженеры придумали способ увеличения емкости жестких дисков. Они использовали трехмерную магнитную запись, которая позволяет хранить больше информаци...

12:11, 03 Мар Не отличить: мошенники придумали, как обманывать россиян от имени банков Россиянам начали поступать письма, в которых мошенники от имени банков выманивают данные личного кабинета — это происходит под видом уплаты налогов. ...

20:33, 25 Мар В России придумали инновационный огнетушитель, которому не требуется вода Традиционно, пожары тушат при помощи воды и углекислого газа. Но сравнительно недавно появилась идея тушения пожаров при помощи… звука! Огнетушителям...

22:22, 23 Июн Российские учёные придумали, как определять некачественный корм для животных Нейросети находят всё новое применение в каждодневных задачах. Российским учёным удалось применить нейросети для контроля качества корма животных Учё...

14:00, 22 Апр Южнокорейские ученые придумали, как создавать вещи буквально из воздуха Зачем вы проводили эксперименты с углекислым газом? – Пришло время, когда ученые могут работать с CO2 так, чтобы превращать углекислый газ в по...

20:11, 17 Май Телефонные мошенники придумали хитрую и правдоподобную схему обмана Фото: freepik.com Полиция рассказала о свежей схеме, к которой начали прибегать дистанционные мошенники. Они звонят жертвам, прикидываясь сотрудникам...

23:11, 20 Апр Телефонные мошенники придумали, как ловко разводить даже самых осторожных Телефонные мошенники обманули крановщика прямо на рабочем месте и получили от него больше полумиллиона рублей. Об этом пишет SHOT. Согласно источнику...

18:55, 01 Дек ВТБ: аферисты придумали схему обмана россиян под видом мастеров по ремонту Теперь в списке реальных объявлений с предложениями услуг можно наткнуться и на фейковые. Их авторы, разумеется, не собираются вам ничего ремонтирова...

18:22, 06 Фев Мошенники придумали новый способ обмана россиян, связанный с сим-картой Увеличение случаев мошенничества с использованием технологии дипфейков вызывает тревогу среди российских граждан. Мошенники стали активно применять э...

18:22, 31 Мар OpenAI представляет инструмент клонирования голоса OpenAI в пятницу представила инструмент клонирования голоса, который она планирует держать под строгим контролем до тех пор, пока не будут приняты ме...

19:55, 08 Июн Директор OpenAI предполагает, что ООН может контролировать ИИ Генеральный директор OpenAI предполагает, что международное агентство, такое как ядерная служба ООН, может контролировать ИИ. Искусственный интеллект...

03:55, 12 Дек Великобритания расследует партнерство Microsoft и OpenAI Британский орган по надзору за конкуренцией объявил в пятницу, что изучает, похоже ли партнерство между американским технологическим гигантом Microso...

21:44, 05 Янв Мошенники придумали гениальный новогодний развод для любителей смотреть кино в интернете Фото: Unsplash В рунете распространяется мошенническая схема, направленная на пользователей онлайн-кинотеатров. О ней пишет «Коммерсантъ». Согласно и...

15:00, 18 Ноя Сэм Альтман уволен с поста генерального директора OpenAI Компания OpenAI, которая занимается разработками в области искусственного интеллекта и, в частности, владеет чат-ботом ChatGPT, внезапно объявила об ...

15:22, 27 Апр В космосе с 1977 года: в NASA придумали, как продлить жизнь зонду Voyager ещё на несколько лет Американское управление по аэронавтике и исследованию космического пространства NASA поделилось интересной новостью — инженеры разработали нову...

09:55, 31 Янв OpenAI откроет детский отдел в интернет-магазине чат-ботов В рамках сотрудничества с некоммерческой организацией Common Sense Media, занимающейся оценкой безопасности технологий и средств массовой информации ...

13:00, 27 Ноя Microsoft встроила ChatGPT от OpenAI в командную строку Windows 11 Согласно информации портала WindowsLatest, компания Microsoft внесла новое обновление в командную строку (терминал) операционной системы Windows 11. ...

19:22, 14 Янв OpenAI смягчила запрет на использование ChatGPT в военных целях На прошедшей неделе OpenAI незаметно удалила формулировку, прямо запрещающую использование своей технологии в военных целях. До 10 января на странице...

22:11, 09 Дек Федеральная торговая комиссия США (FTC) изучает партнёрство Microsoft и OpenAI Агентство Bloomberg со ссылкой на собственные источники сообщает, что Федеральная торговая комиссия США (FTC) изучает финансовое партнёрство между Mi...

14:33, 15 Май FT: глава OpenAI ведет переговоры об инвестициях в $100 млн. для своего криптостартапа Worldcoin Глава и сооснователь OpenAI Сэм Олтмен (Sam Altman) ведет переговоры о привлечении инвестиций в размере около $100 млн. для своего криптостартапа Wor...

06:22, 28 Фев OpenAI подала ходатайство об отклонении части иска The New York Times OpenAI подало ходатайство в федеральный суд в с просьбой отклонить некоторые ключевые элементы иска, поданного The New York Times Company из-за наруш...

20:55, 20 Янв Гендиректору OpenAI захотелось миллиардов для мировой сети производства ИИ-чипов Гендиректор OpenAI Сэм Альтман, как сообщается, ведет переговоры о привлечении миллиардов для создания глобальной сети фабрик по производству чипов и...

17:00, 06 Май Пользователи вынудили OpenAI изменить принцип работы ChatGPT. Что теперь с ним будет? Создатели чат-бота ChatGPT изменили принцип его работы и обучения. Об этом пишет CNBC со ссылкой на OpenAI. Согласно источнику, генеральный директор ...

21:44, 30 Мар OpenAI разработала Voice Engine – нейросеть для генерации голоса по 15-секундному образцу Компания OpenAI, известная созданием различных нейросетей, выпустила Voice Engine – платформу преобразования текста в голос человека. Voice Engine на...

06:44, 02 Окт Microsoft ищет более дешёвые в эксплуатации и простые альтернативы языковым моделям OpenAI Хотя Microsoft принадлежит 49 % OpenAI, занимающейся разработкой популярных и производительных языковых моделей вроде GPT-4, интересы компаний не все...

03:55, 12 Фев Глава OpenAI Сэм Альтман ищет триллионы долларов инвестиций для изменения мировой индустрии полупроводников Генеральный директор компании OpenAI Сэм Альтман стремится привлечь триллионы долларов инвестиций для кардинального изменения мировой индустрии полуп...

20:55, 30 Мар OpenAI представил ИИ-модель Voice Engine, которая способна клонировать голос по 15-секундному образцу Компания OpenAI представила новую ИИ-модель Voice Engine для преобразования текста в голос. Нейросеть может на основе 15-секундного образца реалистич...

13:00, 19 Май Как скачать ChatGPT на iPhone в России? Создаём дополнительный аккаунт Apple ID за пару минут и устанавливаем приложение OpenAI Спустя почти полгода после запуска популярнейшего чат-бота ChatGPT разработчики из OpenAI выпустили официальное мобильное приложение для iPhone и iPa...