Команда инженеров-программистов, специалистов по ИИ и программистов из Университета Цинхуа, работающая с материнской компанией TikTok ByteDance, объявила о разработке модели агента графического пользовательского интерфейса (GUI) под названием UI-TARS. Группа объявила о ее разработке и представлении миру в статье, размещенной на сервере препринтов arXiv. За последнее десятилетие приложения ИИ процветали. Некоторые из самых известных — LLM, такие как ChatGPT. Но другие находятся в стадии разработки для различных целей. Одно приложение помогает пользователям компьютеров выполнять рутинные задачи, такие как поиск самого дешевого тарифа на авиаперелет между двумя городами и последующая покупка билетов на него. Такие задачи обычно подразумевают длительный просмотр веб-страниц. Исследователи ИИ предположили, что такие задачи могут быть автоматизированы с помощью интеллектуальных агентов. В этом новом исследовании команда в Китае сделала именно это с разработкой UI -TARS — модели агента GUI, которую можно использовать локально на персональном компьютере или через облако на других устройствах. Модель была обучена с использованием 50 миллиардов токенов, которые представляли характеристики GUI (через скриншоты), например, те, которые можно найти на традиционных веб-страницах. Обучение также включало настройку отражения, что означало, что модель была запрограммирована на обучение на ошибках, а затем на адаптацию, изменяя то, как она подходила к различным или неизвестным ситуациям. При запуске UI-TARS пользователю предоставляются две вкладки — одна показывает «процесс мышления», который проходит приложение по мере выполнения своей общей задачи. Другая вкладка показывает веб-сайты, файлы или другие графические интерфейсы, с которыми работает приложение. Таким образом, если приложение использовалось для бронирования рейса, пользователь мог видеть просматриваемые веб-сайты авиакомпаний, а затем мог переключиться, чтобы увидеть, что приложение с ними делает. В конце процесса пользователю предоставляется финальная веб-страница с запросом на подтверждение покупки билета. Тестируя свою модель, команда обнаружила, что она превзошла другие модели ИИ, такие как GPT-4o или Gemini-2.0....
Читать полный текст на android-robot.com
Опубликовано: 04:00, 27.01.2025
Новость из рубрики: Интернет и Игры
Поделиться новостью:
Топ новости часа
- С 28 октября войти в «Госуслуги» с логином и паролем больше не получится...
- Starlink в Украине. Где купить и как пользоваться...
- Дмитрий Рябыкин: «СКА – номер один в КХЛ по качеству хоккеистов. Для кого-то его роль может не вытекать из хода карьеры – нужно это принять. У тренеров не легкая работа»...
- Гран-при Австралии-2023. Расписание трансляций...
- Хозяин "Пятёрочки" рассказал, что россияне стали патриотами и разлюбили западные бренды...
- Де Хеа сделал 5-ю результативную ошибку со старта прошлого сезона – у него и Льориса их больше всего среди игроков АПЛ...
08:33, 15 Апр Россиянам раскрыли алгоритм поиска дешевых авиабилетов Скачки цен на авиабилеты напрямую зависят от сезонности, популярности направлений, количества рейсов разных авиакомпаний и прочих факторов. Сами комп...
22:11, 25 Май Что использовать вместо Skyscanner: лучшие приложения для поиска и покупки дешёвых авиабилетов в рейтинге Роскачества Центр цифровой экспертизы Роскачества провёл исследование мобильных приложений для поиска и покупки дешёвых авиабилетов в 2023 году. Всего было отобр...
14:19, 13 Июл Тюринг-обвес для АУДИ — особенности Какой автомобиль относится к классу D и отличается повышенным комфортом? Это Audi А6 модели, которая отличается широкой линейкой двигателей. Для поку...
21:33, 30 Ноя Замула о Торторелле: «Проигрываем 0:4, Джон разносит: «Ты не готов к игре, не выйдешь в 3-м периоде. Кто агент? Мне все равно. Со мной не поможет ни один агент» – Торторелла вообще человек яркий, харизматичный, за словом в карман не полезет. С тем же Сергеем Бобровским они могли при всех друг на друга наорать...
18:29, 22 Апр Android-Robot: Новости технологий и науки О нашем портале Android-Robot — это ведущий ресурс, посвященный последним новостям в мире технологий и науки. Мы предлагаем тут самую актуальную ин...
21:55, 02 Май Минэкономразвития предупредило о подорожании авиабилетов на 10% Минимальная стоимость перелета по 18 основным туристическим направлениям в России этим летом вырастет на 10% по сравнению с показателями 2022 года. О...
18:55, 05 Май Россиян предупредили о продаже поддельных авиабилетов Авиакомпания Nordstar заявила, что зафиксировала продажу поддельных авиабилетов на сайтах нескольких агрегаторов. Билеты на несуществующие рейсы из П...
03:55, 14 Сен "Аэрофлот" не ожидает роста стоимости авиабилетов в этом году Генеральный директор группы "Аэрофлот", Сергей Александровский, сообщил на брифинге, который прошел в рамках Восточного экономического форума, что ав...
09:00, 20 Май Учёные обнаружили объекты для поиска внеземной жизни Астрономы активно ищут внеземной разум, используя разнообразные методы и широкий спектр наблюдений. Одним из интересных аспектов исследования являютс...
08:00, 01 Авг Радиоастрономы улучшили технологию поиска внеземного разума Группа радиоастрономов из Американского астрономического общества и университета Беркли на днях опубликовала препринт в авторитетном издании Astrophy...
00:55, 07 Сен Специалисты Роскачества перечислили лучшие приложения для поиска недвижимости Центр цифровой экспертизы Роскачества провел исследование мобильных приложений для поиска, аренды и покупки недвижимости. В ходе исследования было вы...
22:22, 04 Май Учёные применяет новую технологию для поиска тёмной материи Коллаборация BREAD, которая объединяет учёных из Университета Чикаго и Фермилаба, проводит передовые исследования в области тёмной материи, используя...
00:11, 04 Окт Мирное соглашение между Microsoft и Google было нарушено из-за поиска в Duo Пятилетнее перемирие между конкурентами Alphabet Inc. и Microsoft Corp. рухнуло в 2020 году, когда технологические гиганты оказались в разногласиях п...
10:33, 15 Апр В космос запустили аппарат JUICE для поиска жизни на спутниках Юпитера Межпланетная станция Jupiter Icy Moons Explorer (JUICE) займется поиском жизни на спутниках Юпитера Днем 14 апреля 2023 года специалисты из Европейск...
21:11, 26 Мар Разрабатывается полномасштабная трехмерная модель гиппокампа Исследователи разрабатывают новую полномасштабную трехмерную структурную модель гиппокампа человека. Новая модель области CA1 гиппокампа человека с в...
14:11, 16 Апр Разрабатывается глубоководный аппарат имитирующий рыбу Более 80% океана Земли еще не нанесено на карту. Частично это связано с проблемами, связанными с глубоководными исследованиями, включая сильное давле...
21:00, 23 Авг Из «Яндекс Поиска» по видео теперь можно исключить ролики с медленной загрузкой В «Яндекс Поиске» появилась возможность исключить из выдачи видео с медленной загрузкой. Теперь в поиске по видео можно включить фильтр, ...
11:33, 29 Апр Разрабатывается технология для использования ИИ в производстве зубных коронок Инженеры разрабатывают технологию для использования генеративного ИИ в умном производстве зубных коронок. Ведущие исследователи стоматологического фа...
00:00, 22 Авг Разрабатывается экологичное охлаждающее устройство с рекордной эффективностью Исследователи из Школы инженерии Гонконгского университета науки и технологий (HKUST) разработали экологически чистое холодильное устройство с рекорд...
10:00, 19 Дек Разрабатывается система визуализации для диагностики патологии глаза Ученые разрабатывают универсальную систему визуализации, которая поможет диагностировать патологии задней части глаза. Многие глазные заболевания вкл...
19:44, 06 Сен Разрабатывается технология преобразования энергии ветра в водород в море В будущей ветряной электростанции, расположенной далеко в море, каждая отдельная ветряная турбина может иметь все необходимые системы для производств...
07:44, 13 Июл Разрабатывается метод переработки отходов композитов из углеродного и стекловолокна Исследователи из Сиднейского университета разработали новые методы для устранения основного источника будущих отходов в автомобильной, аэрокосмическо...
01:33, 13 Ноя Разрабатывается «внутренняя солнечная энергия» для питания Интернета вещей От домашних систем безопасности с подключением к Wi-Fi до умных туалетов, так называемый Интернет вещей обеспечивает персонализацию и удобство устрой...
15:11, 17 Янв Разрабатывается новый детектор дипфейков, который будет менее предвзятым Изображение говорило само за себя. Ученый-компьютерщик из Университета Буффало и эксперт по дипфейкам Сивэй Лю создал фотоколлаж из сотен лиц, которы...
07:00, 08 Дек Разрабатывается птицеподобный робот, который может подпрыгивать в воздух и отправляться в полет Группа робототехников из Федеральной политехнической школы Лозанны совместно с коллегами из Калифорнийского университета спроектировали, построили и ...
20:22, 27 Июл Разрабатывается более быстрый и дешевый способ обучения больших языковых моделей Команда из Стэнфорда разработала Sophia — новый способ оптимизации предварительной подготовки больших языковых моделей, который в два раза быстрее су...
02:11, 15 Авг Агент Амирова рассказал о последних днях жизни хоккеиста Дэн Мильштейн отметил, что Амиров думал о других, стараясь подбодрить их.Агент российского нападающего «Салавата Юлаева» Родиона Амирова рассказал о ...
10:55, 01 Июл Разрабатывается микрофлюидика в космосе для обнаружения признаков внеземной жизни и контроля за здоровьем космонавтов В новом отчете, опубликованном в npj Microgravity, Захари Эстлак и исследовательская группа в области машиностроения и космических наук из Университе...
09:55, 02 Сен Агент Бабаев заявил, что не удивился появлению Федотова в составе ЦСКА В матче против «Ак Барса» голкипер армейцев пропустил пять шайб.Хоккейный агент Шуми Бабаев заявил, что не был удивлен дисквалифицированного Ивана Фе...
17:33, 15 Авг Экс-агент ЦРУ Джонсон: Киев вынудят сдаться после ряда поражений в зоне СВО Череда неудач, которые Вооруженные силы Украины терпят на поле боя в конфликте с Россией, в конечном итоге приведет к отказу Запада от дальнейших пос...
15:55, 18 Сен Экс-агент ЦРУ Джонсон заявил, что недооценка России Западом закончится полным провалом Политика Запада по отношению к России после провала украинского контрнаступления похожа на действия картежника, который проигрывает в блэкджек и не м...
01:00, 27 Июн Агент Медведева рассказал, повлияют ли новые требования Уимблдона на допуск его клиента к турниру Теннисные матчи основной сетки соревнований серии «Большого шлема» начнутся в начале июля.Спортивный агент Лев Кассиль, представляющий интересы росси...
06:00, 16 Июл Агент Кузнецова: «Обращение от СКА было, но говорить о возвращении еще рано. Евгений в первую очередь рассматривает варианты в НХЛ» Сообщалось, что нападающий «Каролины» подпишет четырехлетний контракт с петербургским клубом. «В этой жизни все возможно, но рано говорить о возвраще...
16:33, 07 Май Агент Светлакова: «Локомотив» был заинтересован, но Андрей не хотел к Никитину. Разговор с генменеджером «Трактора» стал определяющим» Ранее стало известно, что бывший игрок ЦСКА подписал трехлетний контракт с челябинским клубом. – Вы говорили, что Светлаков не перейдет в «Трактор», ...
15:33, 14 Ноя Агент Дзюбы о конфликте Артема с Пиняевым: «Уверен, что потасовки не было. Непонятно зачем пытаются раскачать локомотивский паровоз» Ранее инсайдер Иван Карпов сообщил, что игроки «Локомотива» подрались после матча со «Спартаком». «Видел появившуюся в телеграм‑каналах информацию о ...
17:00, 18 Апр Агент Толчинского и Грицюка: «Ситуация с «Авангардом» закрыта, думаю. Предложение по Сергею – смех, даже разговаривать не буду. Арсений будет в НХЛ» У Толчинского, Грицюка и Владимира Ткачева 30 апреля завершаются действия соглашений с «Авангардом». – Предложение Толчинскому сделано, но оно нас и ...
23:11, 13 Июн Агент Бурмистрова: «Спартак» решил не продлевать контракт. С «Витязем» общались после этого, но свято место пусто не бывает – уже нашли других игроков» Ранее появились данные, что нападающий отказался от предложения подмосковного клуба. – Бурмистров не отказывался от команды «Витязь». Ситуация прозаи...
12:44, 11 Янв Агент Ахметова: «К иностранцам в «Краснодаре» относятся с большим уважением, чем к россиянам, это неправильно. Помимо удовольствия, голов и очков, футболист должен заработать на оставшуюся жизнь» – Контракт Ильзата с «Краснодаром» заканчивался этим летом. Со стороны клуба были попытки продлить договор? – Да, они сделали предложение 31 декабря....
01:11, 05 Июн Агент Радулова: «Какому клубу КХЛ не нужен Александр? Всем нужен! Псевдо‑журналисты пишут, что Радулов – пенсионер и должен играть за 30 млн» «Ак Барс» ранее официально подтвердил, что не продолжит сотрудничество с нападающим. – Сколько клубов КХЛ претендуют на Радулова? – Я бы не хотел сей...
21:55, 13 Апр Агент Квартальнов о лимите: «Пять легионеров – оптимально, чтобы лига развивалась. Если они будут топовые и на голову сильнее наших, тогда хоть 5, хоть всю лигу» Ранее ФХР заявила, что рассмотрит возможность возвращения лимита в 5 легионеров в Фонбет Чемпионате КХЛ на сезон-2024/25. «Я, в принципе, и ранее был...
13:11, 09 Май Агент Заварухина о «Тракторе»: «Дали слово, что продлят контракт, если клуб пройдет два раунда. Но это же их слово. Дали, взяли» Челябинский клуб не продлил контракт с тренером. Ранее команда под руководством Заварухина дошла до полуфинала Кубка Гагарина-2024. – Как вы относите...