Нейросеть от Meta узнает 4017 языков по устной речи и ответит на 1107 из них

Компания Meta* выпустила языковую модель, которая понимает устную речь. Она распознает более 4000 языков и может разговаривать на 1107 из них. Meta считает, что модель поможет сохранить языковое разнообразие в мире. Статья опубликована на сайте компании, код модели доступен на гитхабе. Обычно модели распознавания речи обучаются на больших объемах данных: им требуются тысячи часов аудиозаписей. При этом каждой записи должен соответствовать текст, чтобы модель научилась сопоставлять звучащую и письменную речь. Такие большие датасеты можно собрать только для популярных языков, на которых говорит много людей. Всего в мире существует около 7000 языков, но современные системы распознавания речи поддерживают не более 200 из них. Команда инженеров из компании Meta под руководством Майкла Аули (Michael Auli) обучила большую модель для распознавания речи Massively Multilingual Speech (MMS), которая может общаться на 1107 языках и распознавать 4017. Нейросеть обучалась на религиозных записях. Исследователи собрали два датасета: один с аудиозаписями и соответствующими текстами и второй только с аудиозаписями. Первый датасет состоит из 55 тысяч аудиозаписей, на которых люди зачитывают вслух тексты из Нового Завета. Всего в Новом Завете 27 книг и 260 глав. Данные собирали из трех источников: Faith Comes By Hearing, GoTo.Bible и YouVersion. Во второй датасет попали 7,7 тысяч часов аудиозаписей с сайта Global Recordings Network: это религиозные песни, записи отрывков из Библии и других религиозных текстов. Для обучения использовали нейросеть архитектуры wav2vec 2.0. Сначала ее предобучили, чтобы она могла превращать аудиозаписи в векторные представления. Дело в том, что нейросети работают не с сырыми записями, а с векторами — наборами чисел. Поэтому нужен механизм для превращения аудиозаписей в вектора из чисел, причем похожие аудиозаписи должны быть представлены геометрически близкими векторами. Для получения векторных представлений можно использовать любые аудиозаписи, главное чтобы их было много. Поэтому ученые объединили второй религиозный датасет с другими большими аудиодатасетами, в том числе Multilingual Librispech, CommonVoice, VoxLingua-107, BABEL и VoxPopuli. Всего в выборку попала 491 тысяча часов аудиозаписей без текстов. После предобучения получилась готовая модель MMS. Затем авторы натренировали MMS превращать речь в текст, дообучив ее на первом религиозном датасете с аудиозаписями и текстами. В разных частях света распространены разные типы языков, поэтому авторы определили точность модели для языков с разных континентов. Она научилась распознавать речь на 1107 языках со средней точностью по континенту 97 процентов. Авторы также проверили качество распознавания речи на нерелигиозных аудиозаписях. MMS сравнили с лучшими моделями для распознавания речи Whisper от OpenAI и USM от Google на датасете FLEURS. MMS ошибалась в два раза меньше, чем Whisper и на 6 процентов меньше, чем USM. В задаче определения языка MMS оценивали на датасетах FLEURS, VoxLingua-107, BABEL и VoxPopuli, в которые входит до 107 языков. К предобученной модели приделали простой линейный слой-классификатор, который натренировали определять язык на аудиозаписи. Модель показала такое же качество, как и конкурентные модели. При увеличении числа распознаваемых языков до 4000 с помощью дообучения на религиозных датасетах, качество модели падает совсем немного, с 94 до 93 и с 84 до 80 процентов на разных датасетах. Также авторы оценили, насколько хорошо MMS генерирует речь на...

Нейросеть от Meta узнает 4017 языков по устной речи и ответит на 1107 из них

Читать полный текст на nplus1.ru

 

Опубликовано: 14:22, 25.05.2023

 

Новость из рубрики: Наука

 

Поделиться новостью: Поделиться новостью в Facebook Поделиться новостью в Twittere Поделиться новостью в VK Поделиться новостью в Pinterest Поделиться новостью в Reddit

 
 

Запущен бесплатный ИИ-сервис NotesGPT для перевода устной речи в текст 08:11, 20 Фев Запущен бесплатный ИИ-сервис NotesGPT для перевода устной речи в текст Представлен бесплатный ИИ-сервис NotesGPT, предназначенный для транскрибации голосовых заметок с помощью нейросетей. Есть поддержка многих языков. Ко...

Медведев: Россия ответит на размещение баз НАТО на Украине 19:44, 25 Дек Медведев: Россия ответит на размещение баз НАТО на Украине Зампред Совбеза России Дмитрий Медведев написал в своём Telegram-канае о том, что Украина начала эксплуатировать тему создания антироссийского консен...

Тюринг-обвес для АУДИ  особенности 14:19, 13 Июл Тюринг-обвес для АУДИ — особенности Какой автомобиль относится к классу D и отличается повышенным комфортом? Это Audi А6 модели, которая отличается широкой линейкой двигателей. Для поку...

Яндекс Браузер научился переводить YouTube-трансляции с 5 разных языков 15:11, 21 Сен «Яндекс Браузер» научился переводить YouTube-трансляции с 5 разных языков Фото: Яндекс Теперь функция закадрового перевода работает на стримах с английским, немецким, французском, испанском и итальянском языках. Ранее перев...

Android-Robot: Новости технологий и науки 18:29, 22 Апр Android-Robot: Новости технологий и науки О нашем портале Android-Robot — это ведущий ресурс, посвященный последним новостям в мире технологий и науки. Мы предлагаем тут самую актуальную ин...

CES 2024: Представлен умный замок Lockly Visage, который узнает владельца 03:00, 13 Янв CES 2024: Представлен умный замок Lockly Visage, который узнает владельца На выставке CES 2024 компания Lockly презентовала новый умный замок, который добавил в свое функциональное оснащение возможность распознавания лица, ...

Убийца Twitter. Новая соцсеть от Meta 19:11, 11 Июл Убийца Twitter. Новая соцсеть от Meta Все, наверное, уже заметили, что Instagram продвигает новый сервис – Threads. По функционалу он похож на Twitter, и как выразился глава Meta Марк Цук...

Meta представила новую модель искусственного интеллекта 13:22, 12 Май Meta представила новую модель искусственного интеллекта Компания Meta Platforms представила новую модель искусственного интеллекта с открытым кодом под названием ImageBind, сообщает издание Verge. Новая мо...

07:44, 21 Апр Meta меняет курс с метавселенных на иммерсивные игры Источники в компании Meta сообщают, что генеральный директор Марк Цукерберг теперь больше заинтересован в разработке игр виртуальной реальности. Это ...

11:55, 21 Апр Meta добавит в WhatsApp ИИ-генерацию изображений в реальном времени Компания Meta добавит в мессенджер WhatsApp функцию генерации изображений с помощью искусственного интеллекта в реальном времени. Новая функция в кач...

14:44, 21 Мар Яндекс обновил «Разговор» – приложение для пользователей с нарушениями слуха и речи Команда Яндекса объявила о выпуске большого обновления приложения «Яндекс Разговор», призванного помогать общаться с окружающими пользова...

10:00, 05 Май Варвара Субботина: «Менять гражданство не предлагали. Но об этом и не было бы речи – я бы отказалась» — Есть ли цель успеть восстановиться до Олимпиады-2024 в Париже, если допустят до нее? — Да, хочется туда поехать. Полноценно тренироваться мне можно...

13:22, 22 Май Meta летом этого года представит новую соцсеть — конкурента Twitter Компания Meta собирается выпустить новое текстовое приложение, которое будет конкурировать с Twitter. Сейчас у разработки нет отдельного названия, по...

05:44, 16 Янв Умные очки Solos AirGo3 получили функцию мгновенного перевода речи и ChatGPT Компания Solos разрабатывает новые способы превращения умных очков в полезные инструменты, и в скором времени в очках Solos AirGo3 появится новая фун...

16:00, 08 Апр В Сбере представили GigaAM – семейство моделей машинного обучения для распознавания речи и эмоций Команды разработки сервисов GigaChat и SaluteSpeech в SberDevices представили GigaAM (Giga Acoustic Model) — семейство акустических моделей для...

12:33, 17 Окт Нейросеть моделирует мозг Российские ученые предложили новую модель сверточной нейронной сети для анализа изображений, имитирующую работу кратковременной памяти, сообщает прес...

09:22, 07 Июл Нейросеть помогает эндокринологам Разработка нейросетей, которые, обучившись на размеченных медицинских данных, помогают врачам ставить диагнозы и даже вырабатывают рекомендации по ле...

12:11, 18 Окт Яндекс представил нейросеть YandexART «Яндекс» представил нейросеть Yandex AI Rendering Technology (YandexART), которая создает реалистичные, детальные изображения и анимацию по текстовом...

19:33, 07 Сен Яндекс обновил нейросеть YandexGPT Яндекс запустил новую версию своей нейросети YandexGPT. Новая языковая модель YandexGPT 2, по сообщению разработчиков, может решать больше различных ...

16:22, 24 Янв В Chrome встроили нейросеть. Как включить? Фото: Unsplash Компания Google начала встраивать нейросетевые инструменты в свой браузер. Они появились в тестовых сборках Chrome версии 121 для Wind...

22:11, 04 Дек Интернет-мошенники стали использовать нейросеть Мошенники в интернете приступили к использованию искусственного интеллекта для создания голосовых сообщений, которые затем отправляются через мессенд...

16:22, 30 Мар Вундеркинд из кармана: нейросеть ChatGPT захватывает мир Мы долго мечтали о создании мудрого виртуального помощника, способного помогать нам в сложных ситуациях. Встречайте воплощение наших чаяний: революци...

15:33, 14 Ноя Создана нейросеть, способная считывать паспорт РФ как обычный QR-код Новая ИТ-разработка российской компании позволит ускорить проверку документов в 10 раз. Программа на базе искусственного интеллекта подтвердит подлин...

06:00, 19 Окт Baidu представила нейросеть Ernie 4.0 и утверждает, что она не уступает GPT-4 Baidu представила новую версию большой языковой модели Ernie. Соучредитель компании Робин Ли (Robin Li) заявил, что теперь ИИ-модель Ernie 4.0 не уст...

03:33, 29 Сен Исследователи «Лаборатории Касперского» научили нейросеть спать Российские исследователи дали возможность нейросети «переосмыслить» свои решения во время «сна» Учёные из «Лаборатории Касперского» разработали нейро...

20:33, 02 Июн Российская нейросеть предотвратит ошибки при передаче информации Созданная российскими специалистами нейросеть отбирает наиболее оптимальные и различимые сигналы при передаче данных. Исследователи из Санкт-Петербур...

17:33, 14 Апр Создана нейросеть, способная обнаружить террористов среди мигрантов Компания Smart Engines изобрела искусственную нейросеть, способную обнаруживать террористов и правонарушителей среди трудовых мигрантов. Как сообщили...

13:55, 16 Окт Появилась нейросеть, позволяющая легко создавать анимированные 3D-модели Компании NVIDIA и Masterpiece Studio выпустили приложение Masterpiece X - Generate. Оно позволяет получать трёхмерные модели с помощью генеративных н...

12:11, 13 Апр Экс-сотрудники Google запустили нейросеть Udio для создания музыки Компания Udio, основанная в декабре прошлого года четырьмя бывшими исследователями из DeepMind Google запустила приложение на базе ИИ, позволяющая лю...

07:22, 10 Апр Нейросеть Google Gemini Pro поможет создавать Android-приложения Компания Google добавила в среду разработки (IDE) Android Studio возможности своей ИИ-модели Gemini Pro. В мае прошлого года Google внедрил в свою ID...

02:55, 12 Апр Попались в нейросеть: обсудим на DataTalks 4.0, почему ChatGPT популярен 19 и 20 апреля 2023 года «Ростелеком» проведет масштабную конференцию по управлению данными DataTalks 4.0, где ведущие российские эксперты поделятся ...

18:00, 25 Мар Каким будет iPhone 16: больше ОЗУ, мощнее процессор и новая нейросеть из iOS 18 Уже ни для кого не секрет, что в iOS 18 на Айфоне появится большое количество новых функций, связанных с искусственным интеллектом. Однако мало его д...

02:00, 10 Июн Шедевры Гогена в России: нейросеть определила места с картинами художника Французский художник Поль Гоген при жизни не был популярным и жил очень бедно, зато после смерти слава о нем прогремела на весь мир, а полотна стали ...

13:33, 14 Апр Представлена нейросеть от Google, которая поможет поставить врачебный диагноз Фото: Google Нейросетевую модель назвали Med-PaLM 2. Она может анализировать медицинские данные, подробно отвечать на вопросы врачей и давать разверн...

20:22, 23 Апр Ученые создали нейросеть для точного выделения объектов на снимках спутников Группа ученых университета DGIST и компании Dabeeo Inc. представили новый нейронный модуль, способный точно выделять объекты на аэро- и спутниковых с...

22:44, 26 Авг Какие профессии скоро может вытеснить нейросеть с рынка труда – Безусловно, нейросеть будет помогать и упрощать рабочие процессы, – рассказывает руководитель направления информационной безопасности Ц...

22:11, 15 Апр Китайские учёные провели эксперимент с ИИ в космосе — нейросеть сутки управляла спутником Учёные из Уханьского университета провели весьма необычный эксперимент. Они на 24 часа предоставили искусственному интеллекту полный контроль над спу...

09:44, 15 Авг Дмитрий Медведев засомневался в лояльности Яндекса к России. Он протестировал нейросеть «Шедеврум» Заместитель Председателя Совета Безопасности России Дмитрий Медведев опробовал нейросеть «Шедеврум» и публично решил порассуждать на тему...

21:44, 30 Мар OpenAI разработала Voice Engine – нейросеть для генерации голоса по 15-секундному образцу Компания OpenAI, известная созданием различных нейросетей, выпустила Voice Engine – платформу преобразования текста в голос человека. Voice Engine на...

07:22, 13 Май Google представил нейросеть PaLM 2, которая может легко решать математические задачи На I/O 2023 компания Google объявила о запуске новой большой языковой модели PaLM 2, которая будет доступна в составе чат-бота Bard, а также станет б...

10:44, 28 Июн Фотографы больше не нужны. Эта нейросеть сделает вам фотосессию в разных образах прямо на iPhone Вы когда-нибудь были на фотосессии? Я имею в виду не когда вас фотографирует бывшая одноклассница на дешёвенькую зеркалку со стоковым объективом, а н...

12:33, 05 Сен Что нужно знать об истории, в которой нейросеть украла голос актрисы озвучания... для порно Не то, чтобы мы яростно поддерживали какую-либо из сторон, просто уж очень интересный прецедент. И если вы думали, что интернет-технологиям с вас неч...

17:11, 17 Апр Нейросеть спела за The Weeknd и Drake. Никто не заметил подмену — трек стал суперхитом На YouTube-канале ghostwriter был выложен трек Heart on my Sleeve. В описании указано, что это ИИ-песня в стиле Дрейка и Уикэнда. Уикэнд поёт в этом ...

23:22, 25 Дек Кофемашина на кухне, а игрушки в детской: картинки для Яндекс Маркета теперь генерирует нейросеть На Яндекс Маркете продавцы теперь могут бесплатно создавать реалистичные изображения своих товаров с помощью нейросети YandexART. По мнению создателе...

18:00, 16 Фев Google выпустила нейросеть Gemini 1.5 с огромнейшим контекстным окном — ИИ за раз осилит весь «Властелин колец» Не прошло и двух месяцев с момента запуска передовой нейросети Gemini, а Google уже анонсировала её преемника. Сегодня была представлена большая язык...

00:11, 20 Апр Нашел нейросеть, которая делает почти идеальные картинки и редактирует фотки лучше Фотошопа В последние месяцы все вокруг только и говорят о нейросетях: мол, они заменят нам и художников, и музыкантов, и писателей. Лично я отношусь к этому ф...

18:11, 10 Апр Нейросеть YandexGPT появилась в Яндекс Картах и подсказывает куда сходить и хорошо провести время Одним из самых известных продуктов Яндекса являются Яндекс Карты. Сложно назвать человека, который не использует их для того, чтобы оценить загруженн...

17:33, 12 Окт Сам себе аниматор: нейросеть Kandinsky от Сбера теперь может создавать видеоролики на основе текстового описания Команда СберБанка поделилась свежими новостями о развитии проекта фирменной нейросети — бесплатной генеративной модели Kandinsky. У пользовател...

13:55, 31 Май Нейросеть устроила отборную кинодичь. Теперь в «Звездных войнах» есть свой Человек-Паук, Бэтмен и Губка Боб В какие только ситуации Midjourney не швыряла героев культовых фильмов. То Спайдермена отправит скитаться по эпохам, то Дарта Вейдера за покупками в ...