Команда из Стэнфорда разработала Sophia — новый способ оптимизации предварительной подготовки больших языковых моделей, который в два раза быстрее существующих подходов. ChatGPT и другие приложения, основанные на больших языковых моделях (LLM), получают широкое распространение и привлекают большое внимание средств массовой информации. Но горстка крупных технологических компаний доминирует в пространстве LLM, потому что предварительное обучение этих моделей чрезвычайно дорого, с оценками затрат, начинающимися с 10 миллионов долларов и потенциально достигающими десятков или сотен раз больше. «Большие языковые модели не очень доступны для небольших организаций или академических групп», — говорит Хун Лю, аспирант компьютерных наук Стэнфордского университета. Чтобы изменить это, Лю и его коллеги решили улучшить существующие методы оптимизации LLM. Результат: подход под названием Sophia, который вдвое сокращает время предварительной подготовки. Детали этого подхода опубликованы на сервере препринтов arXiv . Оптимизация оптимизации Чтобы оптимизировать предварительную подготовку LLM, Лю и его коллеги, в том числе научный сотрудник Стэнфордского университета Чжиюань Ли, стэнфордский инженер-исследователь Дэвид Холл, доцент кафедры компьютерных наук Тэнью Ма и доцент Перси Лян, использовали два приема. Первый, известный как оценка кривизны , не нов, но команда из Стэнфорда нашла способ сделать его более эффективным. Чтобы понять их подход, рассмотрим заводскую сборочную линию. Чтобы работать эффективно, директору фабрики необходимо оптимизировать количество шагов, необходимых для превращения сырья в конечный продукт, а также понимать и соответствующим образом распределять рабочую нагрузку на каждом этапе производственной линии. То же самое верно и для предварительной подготовки LLM. Эти модели имеют миллионы или даже миллиарды параметров, которые Лю сравнивает с фабричными рабочими, стремящимися к одним и тем же целям. Одним из свойств этих параметров является их кривизна, которую Лю считает максимально достижимой скоростью, которую они достигают по мере продвижения к конечной цели предварительно обученного LLM. В фабричной метафоре кривизна сродни рабочей нагрузке фабричного рабочего. Если программа оптимизации может оценить эту кривизну (рабочую нагрузку), она может сделать предварительное обучение LLM более эффективным. Проблема вот в чем: оценка кривизны существующими методами чрезвычайно сложна и дорога. «На самом деле, это дороже, чем выполнение реальной работы без прогнозирования кривизны», — говорит Лю. Отчасти поэтому современные современные подходы к оптимизации предобучения LLM (Adam и его варианты) отказываются от этапа оценки кривизны. Тем не менее, Лю и его коллеги заметили возможную неэффективность предыдущих методов, в которых использовалась параметрическая оценка кривизны: предыдущие исследователи обновляли свои оценки кривизны на каждом этапе оптимизации. Стэнфордская команда задалась вопросом, смогут ли они сделать процесс более эффективным, уменьшив количество обновлений. Чтобы проверить эту идею, команда из Стэнфорда разработала Sophia для оценки кривизны параметров только примерно через каждые 10 шагов. «Это оказалось огромной победой, — говорит Лю. Второй прием команды оптимизации, называемый отсечением, решает родственную проблему: проблему неточной оценки кривизны. «Если оценка неверна, это все равно, что дать людям с тяжелой работой еще больше работы. Это усугубляет ситуацию, чем если бы оценки вообще не было». Отсечени...
Читать полный текст на android-robot.com
Опубликовано: 20:22, 27.07.2023
Новость из рубрики: Интернет и Игры
Поделиться новостью:
Топ новости часа
Топ новости часа- Дмитрий Рябыкин: «СКА – номер один в КХЛ по качеству хоккеистов. Для кого-то его роль может не вытекать из хода карьеры – нужно это принять. У тренеров не легкая работа»...
- Starlink в Украине. Где купить и как пользоваться...
- С 28 октября войти в «Госуслуги» с логином и паролем больше не получится...
- Гран-при Австралии-2023. Расписание трансляций...
- Хозяин "Пятёрочки" рассказал, что россияне стали патриотами и разлюбили западные бренды...
- Де Хеа сделал 5-ю результативную ошибку со старта прошлого сезона – у него и Льориса их больше всего среди игроков АПЛ...
16:00, 31 Янв Разрабатывается быстрый и точный способ обучения роботов сложным навыкам В Калифорнийском университете в Беркли исследователи из Лаборатории робототехнического искусственного интеллекта и обучения Сергея Левина обратили вн...
00:55, 23 Мар Новая методика LiGO ускоряет обучение больших моделей машинного обучения Не секрет, что ChatGPT от OpenAI обладает невероятными возможностями — например, чат-бот может писать стихи, напоминающие шекспировские сонеты, или о...
14:19, 13 Июл Тюринг-обвес для АУДИ — особенности Какой автомобиль относится к классу D и отличается повышенным комфортом? Это Audi А6 модели, которая отличается широкой линейкой двигателей. Для поку...
16:00, 25 Янв Слух: Microsoft формирует команду GenAI для разработки малых языковых моделей ИИ Microsoft сформировала новую команду GenAI в составе облачного подразделения Microsoft Azure, которая займётся созданием эффективных малых языковых м...
18:29, 22 Апр Android-Robot: Новости технологий и науки О нашем портале
Android-Robot — это ведущий ресурс, посвященный последним новостям в мире технологий и науки. Мы предлагаем тут самую актуальную ин...
16:00, 08 Апр В Сбере представили GigaAM – семейство моделей машинного обучения для распознавания речи и эмоций Команды разработки сервисов GigaChat и SaluteSpeech в SberDevices представили GigaAM (Giga Acoustic Model) — семейство акустических моделей для...
07:44, 22 Июл Раскрыт простой способ сложения и вычитания больших чисел Преподаватель математики в колледже Хоуи Хуа показал простой способ сложения и вычитания сложных чисел на новый уровень. Об этом пишет IFLScience. Он...
07:00, 17 Апр Сбер представил более 30 моделей miniLED-телевизоровов линейки Sber Line S Сбер выпустил более 30 моделей телевизоров линейки Sber Line S. Эти телевизоры оснащены операционной системой «Салют ТВ» и имеют диагональ от 32 до 7...
09:22, 29 Мар В Россию привезли более 20 новых моделей автомобилей, но параллельный импорт скоро прикроют За год в России появилось более 20 моделей автомобилей, которые ранее не продавались в России и не поставлялись в страну. Всё благодаря параллельному...
06:00, 22 Сен Представлен самый дешевый Bentley Bentley Mulliner представил трехколесный велосипед для детей, получивший отделку из материалов для дорогих автомобилей. Об этом пишет Motor1. Велосип...
04:00, 27 Янв Разрабатывается агент ИИ для поиска и бронирования авиабилетов Команда инженеров-программистов, специалистов по ИИ и программистов из Университета Цинхуа, работающая с материнской компанией TikTok ByteDance, объя...
15:33, 11 Май Дешевый хостинг для сайта и домен в подарок У всех, кому потребовался дешевый хостинг для сайта, появилась возможность заказать такую услугу в компании HostiMan. Виртуальный хостинг NVMe предос...
15:44, 11 Май Представлен самый дешевый электрокар Mercedes В Германии представили электромобиль Mercedes-Benz eCitan. Сначала на рынок выйдет фургон, а потом появится пассажирская версия, говорится на официал...
14:11, 16 Апр Разрабатывается глубоководный аппарат имитирующий рыбу Более 80% океана Земли еще не нанесено на карту. Частично это связано с проблемами, связанными с глубоководными исследованиями, включая сильное давле...
21:11, 26 Мар Разрабатывается полномасштабная трехмерная модель гиппокампа Исследователи разрабатывают новую полномасштабную трехмерную структурную модель гиппокампа человека. Новая модель области CA1 гиппокампа человека с в...
02:33, 22 Июн Как выбрать надежный и быстрый обменник криптовалют? С каждым днем все больше людей интересуются криптовалютой, и многие из них хотят купить или продать ее. Для этого нужен надежный и быстрый обменник к...
20:00, 09 Май Tesla представила свой самый быстрый электромобиль Компания Tesla выпустила новый пакет Track Package для Model S Plaid. Он позволяет разгоняться электромобилю до 322 км/ч, поэтому предназначен для по...
18:00, 05 Сен Apple выпустит дешёвый ноутбук. Каким он будет? Фото: Unsplash По данным DigiTimes, компания Apple разрабатывает линейку недорогих ноутбуков, которые должны будут напрямую конкурировать с хромбукам...
13:00, 27 Июн Что такое быстрый бизнес-кредит через Госуслуги? Если вы владелец малого бизнеса, которому сейчас нужны наличные, быстрый займ через Госуслуги может быть идеальным вариантом. Это удобный вид финанси...
14:44, 27 Июн Рассекречен Inster — самый дешевый электрокар Hyundai Корейская марка опубликовала изображения электрокроссовера А-сегмента, который представляет собой «батарейную» версию маленького Casper. Кроме этого,...
07:33, 02 Июл Представлен дешёвый кроссовер Toyota Frontlander 2024 Представлен новый кроссовер Toyota Frontlander 2024, который выпускается на совместном предприятииGAC Toyota в Китае. Стартовая цена базовой модели ...
00:00, 22 Авг Разрабатывается экологичное охлаждающее устройство с рекордной эффективностью Исследователи из Школы инженерии Гонконгского университета науки и технологий (HKUST) разработали экологически чистое холодильное устройство с рекорд...
12:22, 20 Авг Константин Шестаков: «Нам удалось добиться больших изменений» Градоначальник Владивостока Константин Шестаков встретился с жителями Ленинского района и обсудил с ними изменения в городе. Кроме того, он поделился...
02:11, 02 Июн Американцы разобрали самый дешевый BYD и признали отставание США Организация Caresoft Global изучила устройство хэтчбека BYD Seagull и пришла к неутешительным выводам для американского автопрома. На обзор попала то...
14:55, 01 Июн Представлен самый быстрый и дорогой Volkswagen Golf Представлена новая версия Volkswagen Golf 8. Модель R 333 Limited Edition - это заряженный хэтчбек, сообщает сайт Volkswagen. Авто является самым дор...
11:33, 29 Апр Разрабатывается технология для использования ИИ в производстве зубных коронок Инженеры разрабатывают технологию для использования генеративного ИИ в умном производстве зубных коронок. Ведущие исследователи стоматологического фа...
18:33, 31 Мар Представлен Oppo A1x – самый дешевый смартфон бренда Oppo представила в Китае свой бюджетный смартфон Oppo A1x. Новинка представляет собой обновлённую версию Oppo A58x, выпущенного в декабре прошлого го...
10:00, 19 Дек Разрабатывается система визуализации для диагностики патологии глаза Ученые разрабатывают универсальную систему визуализации, которая поможет диагностировать патологии задней части глаза. Многие глазные заболевания вкл...
07:44, 27 Дек В больших городах растет количество сервисов по вскрытию замков Потеря ключа, заклинивание замка, неисправность дверной системы, засор замковой личинки – причин для описываемых случаев достаточно много. С уч...
01:33, 13 Ноя Разрабатывается «внутренняя солнечная энергия» для питания Интернета вещей От домашних систем безопасности с подключением к Wi-Fi до умных туалетов, так называемый Интернет вещей обеспечивает персонализацию и удобство устрой...
13:33, 14 Окт Xiaomi выпустила неприлично дешёвый телевизор Redmi TV A75 2024 Компания Xiaomi пополнила линейку телевизоров Redmi 2024 года новой флагманской моделью — Redmi TV A75. Ранее в этом году бренд выпустил устройства в...
07:44, 13 Июл Разрабатывается метод переработки отходов композитов из углеродного и стекловолокна Исследователи из Сиднейского университета разработали новые методы для устранения основного источника будущих отходов в автомобильной, аэрокосмическо...
19:44, 06 Сен Разрабатывается технология преобразования энергии ветра в водород в море В будущей ветряной электростанции, расположенной далеко в море, каждая отдельная ветряная турбина может иметь все необходимые системы для производств...
02:33, 23 Окт Самый далекий быстрый радиовсплеск прошел сквозь турбулентную плазму Астрономы обнаружили самый далекий на сегодня быстрый радиовсплеск, который мог возникнуть в системе сливающихся галактик и компактной группы галакти...
20:33, 11 Июл Шведский бренд представил самый быстрый четырехместный автомобиль в мире Шведский бренд Koenigsegg представил серийную версию суперкара Gemera, который станет самым быстрым четырехместным авто в мире. Об этом пишет PistonH...
15:11, 17 Янв Разрабатывается новый детектор дипфейков, который будет менее предвзятым Изображение говорило само за себя. Ученый-компьютерщик из Университета Буффало и эксперт по дипфейкам Сивэй Лю создал фотоколлаж из сотен лиц, которы...
01:44, 20 Июн Представлен самый дешёвый телевизор Xiaomi TV EA43 2023 года Компания Xiaomi представила новый недорогой смарт-телевизор Xiaomi TV EA43 2023. Девайс получил металлический корпус и 43-дюймовый ЖК-экран с разреше...
15:33, 18 Авг Для больших и маленьких: "Роскосмос" испытывает мощнейшие в мире двигатели для ракет и спутников Суперсовременные двигатели расширяют возможности космических аппаратов, открывая новые горизонты в освоении космоса. На пути к намеченным звёздным ве...
07:00, 08 Дек Разрабатывается птицеподобный робот, который может подпрыгивать в воздух и отправляться в полет Группа робототехников из Федеральной политехнической школы Лозанны совместно с коллегами из Калифорнийского университета спроектировали, построили и ...
00:00, 07 Ноя 5 книг о больших и дружных семьях, после которых становится тепло на душе "Маленькие женщины", Луиза Мэй ОлкоттЖизнеутверждающий и в то же время очень правдивый роман американской писательницы-феминистки Луизы Мэй Олкотт &#...
19:44, 07 Май Apple опять выпустила новый чип: M4 предлагает самый быстрый нейропроцессор за всю историю В рамках сегодняшней презентации, посвященной iPad, Apple представила совершенно новый чип M4, который используется в iPad Pro 2024 года. Как и предп...
12:11, 08 Июн Канье Уэсту – 47 лет: как музыкант стал одним из самых больших артистов современности? Музыка Канье Уэста сочетает в себе элементы хип-хопа, соул, электроники и даже оперы. Он мастер семплирования и создания неожиданных и новаторских зв...
07:55, 19 Май Том Леффлер о Головкине: «Он не собрался на пенсию. Геннадий находится в поиске больших имен» Промоутер Том Леффлер, сотрудничающий с бывшим чемпионом мира в среднем весе Геннадием Головкиным, поделился информацией о том, чем в настоящее время...
01:33, 05 Май Речной плезиозавр: один из самых больших морских хищников и прообраз Несси Плезиозавры жили в период мезозойской эры, около 200-66 миллионов лет назад. Они были одними из самых известных морских рептилий этого периода. Иссле...
19:22, 26 Окт Более точные, более реальные — новые Яндекс Карты для водителей Яндекс представляет новое обновление своего популярного картографического сервиса — «Яндекс Карты» вводит высокодетализированные карты для води...
09:49, 13 Май Сильные стороны дистанционного обучения Наряду с появлением, развитием и популяризацией Интернета во многих сферах нашей жизни, в том числе в образовании, появились новые возможности для че...
14:30, 23 Июн Преимущества обучения рабочим профессиям Обучение по рабочим профессиям предоставляет множество преимуществ. Во-первых, это возможность быстро освоить востребованную профессию и начать работ...
10:55, 01 Июл Разрабатывается микрофлюидика в космосе для обнаружения признаков внеземной жизни и контроля за здоровьем космонавтов В новом отчете, опубликованном в npj Microgravity, Захари Эстлак и исследовательская группа в области машиностроения и космических наук из Университе...
00:22, 11 Июл Машинное обучение позволяет выполнять точные расчеты электронной структуры в больших масштабах Машинное обучение позволяет выполнять точные расчеты электронной структуры в больших масштабах для моделирования материалов. Расположение электронов ...
00:00, 22 Окт Шалимов об Абене: «С Кордобой справился, ни разу не дал развернуться. Это самый быстрый центральный защитник РПЛ» «Спартак» дома проиграл «быкам» со счетом 0:3 в 12-м туре Мир РПЛ. – Мне кажется, Абена сейчас самый быстрый центральный защитник в РПЛ. Я не видел, ...
11:55, 06 Апр AMD Ryzen 7 7800X3D назвали лучшим процессором для игр — быстрый, хорош для разгона и не слишком дорогой Многочисленные эксперты называют его лучшим современным геймерским процессором. К плюсам чипа относят не слишком высокую стоимость ($449), потрясающу...
14:00, 11 Апр Выбираем дешёвый современный процессор для игр и работы: Ryzen 5 5600 против i5-12400F и i3-13100