Компания Meta* выпустила языковую модель, которая понимает устную речь. Она распознает более 4000 языков и может разговаривать на 1107 из них. Meta считает, что модель поможет сохранить языковое разнообразие в мире. Статья опубликована на сайте компании, код модели доступен на гитхабе. Обычно модели распознавания речи обучаются на больших объемах данных: им требуются тысячи часов аудиозаписей. При этом каждой записи должен соответствовать текст, чтобы модель научилась сопоставлять звучащую и письменную речь. Такие большие датасеты можно собрать только для популярных языков, на которых говорит много людей. Всего в мире существует около 7000 языков, но современные системы распознавания речи поддерживают не более 200 из них. Команда инженеров из компании Meta под руководством Майкла Аули (Michael Auli) обучила большую модель для распознавания речи Massively Multilingual Speech (MMS), которая может общаться на 1107 языках и распознавать 4017. Нейросеть обучалась на религиозных записях. Исследователи собрали два датасета: один с аудиозаписями и соответствующими текстами и второй только с аудиозаписями. Первый датасет состоит из 55 тысяч аудиозаписей, на которых люди зачитывают вслух тексты из Нового Завета. Всего в Новом Завете 27 книг и 260 глав. Данные собирали из трех источников: Faith Comes By Hearing, GoTo.Bible и YouVersion. Во второй датасет попали 7,7 тысяч часов аудиозаписей с сайта Global Recordings Network: это религиозные песни, записи отрывков из Библии и других религиозных текстов. Для обучения использовали нейросеть архитектуры wav2vec 2.0. Сначала ее предобучили, чтобы она могла превращать аудиозаписи в векторные представления. Дело в том, что нейросети работают не с сырыми записями, а с векторами — наборами чисел. Поэтому нужен механизм для превращения аудиозаписей в вектора из чисел, причем похожие аудиозаписи должны быть представлены геометрически близкими векторами. Для получения векторных представлений можно использовать любые аудиозаписи, главное чтобы их было много. Поэтому ученые объединили второй религиозный датасет с другими большими аудиодатасетами, в том числе Multilingual Librispech, CommonVoice, VoxLingua-107, BABEL и VoxPopuli. Всего в выборку попала 491 тысяча часов аудиозаписей без текстов. После предобучения получилась готовая модель MMS. Затем авторы натренировали MMS превращать речь в текст, дообучив ее на первом религиозном датасете с аудиозаписями и текстами. В разных частях света распространены разные типы языков, поэтому авторы определили точность модели для языков с разных континентов. Она научилась распознавать речь на 1107 языках со средней точностью по континенту 97 процентов. Авторы также проверили качество распознавания речи на нерелигиозных аудиозаписях. MMS сравнили с лучшими моделями для распознавания речи Whisper от OpenAI и USM от Google на датасете FLEURS. MMS ошибалась в два раза меньше, чем Whisper и на 6 процентов меньше, чем USM. В задаче определения языка MMS оценивали на датасетах FLEURS, VoxLingua-107, BABEL и VoxPopuli, в которые входит до 107 языков. К предобученной модели приделали простой линейный слой-классификатор, который натренировали определять язык на аудиозаписи. Модель показала такое же качество, как и конкурентные модели. При увеличении числа распознаваемых языков до 4000 с помощью дообучения на религиозных датасетах, качество модели падает совсем немного, с 94 до 93 и с 84 до 80 процентов на разных датасетах. Также авторы оценили, насколько хорошо MMS генерирует речь на...
Читать полный текст на nplus1.ru
Опубликовано: 14:22, 25.05.2023
Новость из рубрики: Наука
Поделиться новостью:
Топ новости часа
- С 28 октября войти в «Госуслуги» с логином и паролем больше не получится...
- Starlink в Украине. Где купить и как пользоваться...
- Гран-при Австралии-2023. Расписание трансляций...
- Хозяин "Пятёрочки" рассказал, что россияне стали патриотами и разлюбили западные бренды...
- Де Хеа сделал 5-ю результативную ошибку со старта прошлого сезона – у него и Льориса их больше всего среди игроков АПЛ...
- Когда выйдут данные по инфляции в Великобритании и как они могут повлиять на GBP/USD?...
08:11, 20 Фев Запущен бесплатный ИИ-сервис NotesGPT для перевода устной речи в текст Представлен бесплатный ИИ-сервис NotesGPT, предназначенный для транскрибации голосовых заметок с помощью нейросетей. Есть поддержка многих языков. Ко...
03:00, 13 Янв CES 2024: Представлен умный замок Lockly Visage, который узнает владельца На выставке CES 2024 компания Lockly презентовала новый умный замок, который добавил в свое функциональное оснащение возможность распознавания лица, ...
14:19, 13 Июл Тюринг-обвес для АУДИ — особенности Какой автомобиль относится к классу D и отличается повышенным комфортом? Это Audi А6 модели, которая отличается широкой линейкой двигателей. Для поку...
19:44, 25 Дек Медведев: Россия ответит на размещение баз НАТО на Украине Зампред Совбеза России Дмитрий Медведев написал в своём Telegram-канае о том, что Украина начала эксплуатировать тему создания антироссийского консен...
18:29, 22 Апр Android-Robot: Новости технологий и науки О нашем портале Android-Robot — это ведущий ресурс, посвященный последним новостям в мире технологий и науки. Мы предлагаем тут самую актуальную ин...
15:11, 21 Сен «Яндекс Браузер» научился переводить YouTube-трансляции с 5 разных языков Фото: Яндекс Теперь функция закадрового перевода работает на стримах с английским, немецким, французском, испанском и итальянском языках. Ранее перев...
04:00, 01 Май Свежее обновление Samsung Galaxy AI добавит поддержку новых языков, в том числе русского В ближайшее время технология Galaxy AI будет совместима с арабским, индонезийским и русским языками, а также с тремя новыми диалектами: австралийским...
18:00, 29 Июл Kia ответит на новую Toyota Camry совершенно новым бизнес-седаном Kia K8: опубликованы первые фото машины Kia опубликовала первый видеотизер обновленного седана Kia K8, и в плане внешнего вида новая модель сильно отличается от нынешней. Особенно серьезные...
19:11, 11 Июл Убийца Twitter. Новая соцсеть от Meta Все, наверное, уже заметили, что Instagram продвигает новый сервис – Threads. По функционалу он похож на Twitter, и как выразился глава Meta Марк Цук...
07:44, 21 Апр Meta меняет курс с метавселенных на иммерсивные игры Источники в компании Meta сообщают, что генеральный директор Марк Цукерберг теперь больше заинтересован в разработке игр виртуальной реальности. Это ...
13:22, 12 Май Meta представила новую модель искусственного интеллекта Компания Meta Platforms представила новую модель искусственного интеллекта с открытым кодом под названием ImageBind, сообщает издание Verge. Новая мо...
11:55, 21 Апр Meta добавит в WhatsApp ИИ-генерацию изображений в реальном времени Компания Meta добавит в мессенджер WhatsApp функцию генерации изображений с помощью искусственного интеллекта в реальном времени. Новая функция в кач...
14:44, 21 Мар Яндекс обновил «Разговор» – приложение для пользователей с нарушениями слуха и речи Команда Яндекса объявила о выпуске большого обновления приложения «Яндекс Разговор», призванного помогать общаться с окружающими пользова...
10:00, 05 Май Варвара Субботина: «Менять гражданство не предлагали. Но об этом и не было бы речи – я бы отказалась» — Есть ли цель успеть восстановиться до Олимпиады-2024 в Париже, если допустят до нее? — Да, хочется туда поехать. Полноценно тренироваться мне можно...
13:22, 22 Май Meta летом этого года представит новую соцсеть — конкурента Twitter Компания Meta собирается выпустить новое текстовое приложение, которое будет конкурировать с Twitter. Сейчас у разработки нет отдельного названия, по...
16:00, 08 Апр В Сбере представили GigaAM – семейство моделей машинного обучения для распознавания речи и эмоций Команды разработки сервисов GigaChat и SaluteSpeech в SberDevices представили GigaAM (Giga Acoustic Model) — семейство акустических моделей для...
05:44, 16 Янв Умные очки Solos AirGo3 получили функцию мгновенного перевода речи и ChatGPT Компания Solos разрабатывает новые способы превращения умных очков в полезные инструменты, и в скором времени в очках Solos AirGo3 появится новая фун...
09:22, 07 Июл Нейросеть помогает эндокринологам Разработка нейросетей, которые, обучившись на размеченных медицинских данных, помогают врачам ставить диагнозы и даже вырабатывают рекомендации по ле...
12:33, 17 Окт Нейросеть моделирует мозг Российские ученые предложили новую модель сверточной нейронной сети для анализа изображений, имитирующую работу кратковременной памяти, сообщает прес...
12:11, 18 Окт Яндекс представил нейросеть YandexART «Яндекс» представил нейросеть Yandex AI Rendering Technology (YandexART), которая создает реалистичные, детальные изображения и анимацию по текстовом...
16:22, 24 Янв В Chrome встроили нейросеть. Как включить? Фото: Unsplash Компания Google начала встраивать нейросетевые инструменты в свой браузер. Они появились в тестовых сборках Chrome версии 121 для Wind...
19:33, 07 Сен Яндекс обновил нейросеть YandexGPT Яндекс запустил новую версию своей нейросети YandexGPT. Новая языковая модель YandexGPT 2, по сообщению разработчиков, может решать больше различных ...
11:33, 15 Май Выпущена Gemini 1.5 Pro – умнейшая нейросеть от Google Google на своей конференции разработчиков I/O 2024 объявила, что ее новейшая модель генеративного искусственного интеллекта Gemini 1.5 Pro теперь дос...
16:22, 30 Мар Вундеркинд из кармана: нейросеть ChatGPT захватывает мир Мы долго мечтали о создании мудрого виртуального помощника, способного помогать нам в сложных ситуациях. Встречайте воплощение наших чаяний: революци...
22:11, 04 Дек Интернет-мошенники стали использовать нейросеть Мошенники в интернете приступили к использованию искусственного интеллекта для создания голосовых сообщений, которые затем отправляются через мессенд...
15:33, 14 Ноя Создана нейросеть, способная считывать паспорт РФ как обычный QR-код Новая ИТ-разработка российской компании позволит ускорить проверку документов в 10 раз. Программа на базе искусственного интеллекта подтвердит подлин...
06:00, 19 Окт Baidu представила нейросеть Ernie 4.0 и утверждает, что она не уступает GPT-4 Baidu представила новую версию большой языковой модели Ernie. Соучредитель компании Робин Ли (Robin Li) заявил, что теперь ИИ-модель Ernie 4.0 не уст...
20:33, 02 Июн Российская нейросеть предотвратит ошибки при передаче информации Созданная российскими специалистами нейросеть отбирает наиболее оптимальные и различимые сигналы при передаче данных. Исследователи из Санкт-Петербур...
03:33, 29 Сен Исследователи «Лаборатории Касперского» научили нейросеть спать Российские исследователи дали возможность нейросети «переосмыслить» свои решения во время «сна» Учёные из «Лаборатории Касперского» разработали нейро...
02:55, 12 Апр Попались в нейросеть: обсудим на DataTalks 4.0, почему ChatGPT популярен 19 и 20 апреля 2023 года «Ростелеком» проведет масштабную конференцию по управлению данными DataTalks 4.0, где ведущие российские эксперты поделятся ...
13:55, 16 Окт Появилась нейросеть, позволяющая легко создавать анимированные 3D-модели Компании NVIDIA и Masterpiece Studio выпустили приложение Masterpiece X - Generate. Оно позволяет получать трёхмерные модели с помощью генеративных н...
12:11, 13 Апр Экс-сотрудники Google запустили нейросеть Udio для создания музыки Компания Udio, основанная в декабре прошлого года четырьмя бывшими исследователями из DeepMind Google запустила приложение на базе ИИ, позволяющая лю...
17:33, 14 Апр Создана нейросеть, способная обнаружить террористов среди мигрантов Компания Smart Engines изобрела искусственную нейросеть, способную обнаруживать террористов и правонарушителей среди трудовых мигрантов. Как сообщили...
07:22, 10 Апр Нейросеть Google Gemini Pro поможет создавать Android-приложения Компания Google добавила в среду разработки (IDE) Android Studio возможности своей ИИ-модели Gemini Pro. В мае прошлого года Google внедрил в свою ID...
13:33, 14 Апр Представлена нейросеть от Google, которая поможет поставить врачебный диагноз Фото: Google Нейросетевую модель назвали Med-PaLM 2. Она может анализировать медицинские данные, подробно отвечать на вопросы врачей и давать разверн...
20:22, 23 Апр Ученые создали нейросеть для точного выделения объектов на снимках спутников Группа ученых университета DGIST и компании Dabeeo Inc. представили новый нейронный модуль, способный точно выделять объекты на аэро- и спутниковых с...
04:00, 11 Июн Представлена нейросеть Apple Intelligence. Она встроена в iOS 18, iPadOS 18 и macOS 15 и перевернет всё Только что в ходе WWDC 2024 компания Apple представила первую в своей истории нейросеть, которую со сцены назвала «личным интеллектом». Официально же...
04:11, 23 Июн Как бесплатно генерировать видео через нейросеть: самая простая инструкция Кадр из видео, созданного нейросетью Dream Machine от Luma AI В начале 2024 года компания OpenAI показала миру возможности своей новой нейросети Sora...
22:55, 19 Июн Нейросеть Gemini приготовила возбудитель ботулизма вместо соуса для салата Пользователь Reddit под ником Puzzleheaded_Spot401 рассказал, что следуя рецепту заправки для салата, сгенерированному нейросетью Google Gemini, приг...
22:44, 26 Авг Какие профессии скоро может вытеснить нейросеть с рынка труда – Безусловно, нейросеть будет помогать и упрощать рабочие процессы, – рассказывает руководитель направления информационной безопасности Ц...
18:00, 25 Мар Каким будет iPhone 16: больше ОЗУ, мощнее процессор и новая нейросеть из iOS 18 Уже ни для кого не секрет, что в iOS 18 на Айфоне появится большое количество новых функций, связанных с искусственным интеллектом. Однако мало его д...
11:00, 24 Окт Мужчина был в ужасе от того, что его умершую дочь «воскресили» через нейросеть В 2024 году нейросети даже могут притворяться определенными людьми, даже если их уже нет в живых В 21 веке наука стремительно движется вперед, но вос...
02:00, 10 Июн Шедевры Гогена в России: нейросеть определила места с картинами художника Французский художник Поль Гоген при жизни не был популярным и жил очень бедно, зато после смерти слава о нем прогремела на весь мир, а полотна стали ...
22:00, 22 Сен В обычный калькулятор встроили нейросеть и интернет. Идеально для списывания на экзаменах и контрольных! Ютубер ChromaLock опубликовал видео, которое озаглавлено «Я сделал идеальной устройство для списывания». Он взял старый калькулятор Texas Instruments...
06:00, 21 Сен Когда заработает нейросеть Apple Intelligence и какие iPhone будут поддерживаться На днях iOS 18 стала доступна для всех желающих, и владельцы iPhone сразу начали активно ее устанавливать. Однако после загрузки апдейта выяснилось, ...
09:44, 15 Авг Дмитрий Медведев засомневался в лояльности Яндекса к России. Он протестировал нейросеть «Шедеврум» Заместитель Председателя Совета Безопасности России Дмитрий Медведев опробовал нейросеть «Шедеврум» и публично решил порассуждать на тему...
21:44, 30 Мар OpenAI разработала Voice Engine – нейросеть для генерации голоса по 15-секундному образцу Компания OpenAI, известная созданием различных нейросетей, выпустила Voice Engine – платформу преобразования текста в голос человека. Voice Engine на...
22:11, 15 Апр Китайские учёные провели эксперимент с ИИ в космосе — нейросеть сутки управляла спутником Учёные из Уханьского университета провели весьма необычный эксперимент. Они на 24 часа предоставили искусственному интеллекту полный контроль над спу...
12:33, 05 Сен Что нужно знать об истории, в которой нейросеть украла голос актрисы озвучания... для порно Не то, чтобы мы яростно поддерживали какую-либо из сторон, просто уж очень интересный прецедент. И если вы думали, что интернет-технологиям с вас неч...
17:11, 17 Апр Нейросеть спела за The Weeknd и Drake. Никто не заметил подмену — трек стал суперхитом На YouTube-канале ghostwriter был выложен трек Heart on my Sleeve. В описании указано, что это ИИ-песня в стиле Дрейка и Уикэнда. Уикэнд поёт в этом ...
10:44, 28 Июн Фотографы больше не нужны. Эта нейросеть сделает вам фотосессию в разных образах прямо на iPhone Вы когда-нибудь были на фотосессии? Я имею в виду не когда вас фотографирует бывшая одноклассница на дешёвенькую зеркалку со стоковым объективом, а н...
23:22, 25 Дек Кофемашина на кухне, а игрушки в детской: картинки для Яндекс Маркета теперь генерирует нейросеть На Яндекс Маркете продавцы теперь могут бесплатно создавать реалистичные изображения своих товаров с помощью нейросети YandexART. По мнению создателе...
07:22, 13 Май Google представил нейросеть PaLM 2, которая может легко решать математические задачи На I/O 2023 компания Google объявила о запуске новой большой языковой модели PaLM 2, которая будет доступна в составе чат-бота Bard, а также станет б...
18:00, 16 Фев Google выпустила нейросеть Gemini 1.5 с огромнейшим контекстным окном — ИИ за раз осилит весь «Властелин колец» Не прошло и двух месяцев с момента запуска передовой нейросети Gemini, а Google уже анонсировала её преемника. Сегодня была представлена большая язык...
18:11, 10 Апр Нейросеть YandexGPT появилась в Яндекс Картах и подсказывает куда сходить и хорошо провести время Одним из самых известных продуктов Яндекса являются Яндекс Карты. Сложно назвать человека, который не использует их для того, чтобы оценить загруженн...
00:11, 20 Апр Нашел нейросеть, которая делает почти идеальные картинки и редактирует фотки лучше Фотошопа В последние месяцы все вокруг только и говорят о нейросетях: мол, они заменят нам и художников, и музыкантов, и писателей. Лично я отношусь к этому ф...
17:33, 12 Окт Сам себе аниматор: нейросеть Kandinsky от Сбера теперь может создавать видеоролики на основе текстового описания Команда СберБанка поделилась свежими новостями о развитии проекта фирменной нейросети — бесплатной генеративной модели Kandinsky. У пользовател...
13:55, 31 Май Нейросеть устроила отборную кинодичь. Теперь в «Звездных войнах» есть свой Человек-Паук, Бэтмен и Губка Боб В какие только ситуации Midjourney не швыряла героев культовых фильмов. То Спайдермена отправит скитаться по эпохам, то Дарта Вейдера за покупками в ...