Роботов научили быть любопытными

08.06.2017

На протяжении нескольких лет разработчики компьютерных программ для роботов пытались создать "алгоритм любопытства", однако повторить человеческую любознательность было довольно сложно. По их словам, большинство методов не могут оценить "пробелы" в знаниях робота и понять, что ему будет интересно.

Однако Тодду Хестеру из Google DeepMind в Великобритании и Питеру Стоуну из Техасского университета в США удалось создать алгоритм, позволяющий компьютерной программе "проявлять любопытство", самостоятельно изучая окружающую среду. Новый подход позволит роботам учиться еще быстрее, чем сейчас. Исследователи назвали алгоритм TEXPLORE-VENIR - он основывается на технике "подкрепляющего обучения".

Эта техника работает по следующему принципу: когда программа приближается к решению проблемы (например, выходу из лабиринта), то получает некоторое вознаграждение. Предполагается, что, получив награду, в будущем она снова попытается достичь какой-либо цели. Исследователи немного изменили технику "подкрепляющего обучения" таким образом, чтобы программа получала вознаграждение просто за новое знание, даже если оно не помогает достичь цели. Например, TEXPLORE-VENIR зарабатывает бонусы, когда изучает картину мира, ищет отдаленные места на карте или осваивает кулинарные рецепты.

Хестер и Стоун протестировали свой алгоритм в двух сценариях. Первым из них стал виртуальный лабиринт из 4-х комнат, соединенных между собой запертыми дверями. Боту - просто компьютерной программе - нужно было исследовать территорию, найти ключ, взять его и открыть дверь. За каждую открытую дверь он зарабатывал 10 очков. Чтобы достичь наивысшего балла, ему было дано 3000 "шагов".

Когда при помощи алгоритма TEXPLORE-VENIR бот изучил местность (потратив на это 1000 "шагов"), то заработал 55 очков. При этом если он использовал другие алгоритмы, то получал от 0 до 35 очков. Когда программе пришлось одновременно исследовать местность и отпирать двери, с помощью TEXPLORE-VENIR она заработала 70 баллов, а в других случаях - менее 5.

Ко второму эксперименту исследователи подключили человекоподобного робота Nao. При помощи алгоритма TEXPLORE-VENIR ему нужно было выполнить три задания: ударить по музыкальной тарелке, найти и поднести к глазам розовую ленту и нажать на кнопку, расположенную на его ноге. На каждое задание Nao получил 200 "шагов", и еще 400 "шагов" ему было дано на "обучение" (изучение предметов). По результатам 13-ти попыток он нажал на кнопку 7 раз, ударил по тарелке в 1-м из 5-ти случаев и в итоге стал быстрее находить розовую ленту.

Алгоритм TEXPLORE-VENIR показал хорошие результаты, однако излишнее любопытно может снизить продуктивность робота, считают сторонние исследователи. Может получиться так, что внутренняя мотивация робота на получение награды за обучение превысит его внешнюю мотивацию решить поставленную задачу. Поэтому важно найти баланс между двумя видами мотивации.

<< Назад: Вкус воды 08.06.2017

>> Вперед: Боевые лазеры для бомбардировщиков 07.06.2017

Последние новости науки и техники, новинки электроники:

Питомцы как стимулятор разума 06.10.2025

Помимо эмоциональной поддержки, домашние питомцы могут оказывать заметное воздействие на когнитивные процессы, особенно у пожилых людей. Новое масштабное исследование показало, что общение с кошками и собаками не просто улучшает настроение - оно действительно способствует замедлению возрастного снижения умственных способностей. Работа проводилась в рамках проекта Survey of Health, Ageing and Retirement in Europe (SHARE), охватывающего период с 2004 по 2022 год. В исследовании приняли участие тысячи европейцев старше 50 лет. Анализ показал, что владельцы домашних животных демонстрируют более устойчивые когнитивные функции по сравнению с теми, кто не держит питомцев. Особенно выражен эффект оказался у владельцев кошек и собак. Согласно данным ученых, владельцы собак дольше сохраняют хорошую память, в то время как хозяева кошек медленнее теряют способность к быстрому речевому взаимодействию. Исследователи связывают это с тем, что ежедневное взаимодействие с животными требует внимани ...>>

Мини-ПК ExpertCenter PN54-S1 06.10.2025

Компания ASUSTeK Computer презентовала новый мини-компьютер ASUS ExpertCenter PN54-S1. Устройство ориентировано на пользователей, которым важно сочетание производительности, энергоэффективности и универсальности - от офисных задач до мультимедийных проектов. В основе ExpertCenter PN54-S1 лежит современная аппаратная платформа AMD Hawk Point, использующая архитектуру Zen 4. Это поколение чипов отличается улучшенным управлением энергопотреблением и повышенной вычислительной мощностью. Новинка доступна в конфигурациях с процессорами Ryzen 7260, Ryzen 5220 и Ryzen 5210, представленных AMD в начале 2025 года. Таким образом, устройство охватывает широкий диапазон задач - от базовых офисных до ресурсоемких вычислений. Корпус мини-ПК выполнен из прочного алюминия и имеет размеры 130&#215;130&#215;34 мм, что делает его практически незаметным на рабочем столе или за монитором. Несмотря на компактность, внутренняя компоновка позволяет установить два модуля оперативной памяти SO-DIMM ...>>

Глазные капли, возвращающие молодость зрению 05.10.2025

С возрастом человеческий глаз постепенно теряет способность четко видеть на близком расстоянии - развивается пресбиопия, или возрастная дальнозоркость. Этот естественный процесс связан с утратой эластичности хрусталика и ослаблением цилиарной мышцы, отвечающей за фокусировку. Миллионы людей по всему миру сталкиваются с необходимостью носить очки для чтения или прибегают к хирургическим методам коррекции. Однако исследователи из Центра передовых исследований пресбиопии в Буэнос-Айресе представили решение, которое может стать удобной и неинвазивной альтернативой - специальные глазные капли, способные улучшать зрение на длительный срок. Разработку возглавила Джованна Беноцци, директор Центра. По ее словам, цель исследования состояла в том, чтобы предоставить пациентам с пресбиопией эффективный и безопасный способ коррекции зрения без хирургического вмешательства. Новые капли, созданные на основе пилокарпина и диклофенака, показали убедительные результаты: уже через час после первого пр ...>>

Цифровая рация Xiaomi Digital Walkie Talkie 05.10.2025

Компания Xiaomi представила современное устройство, объединившее классические принципы радиосвязи с возможностями цифровых технологий. Новинка под названием Xiaomi Digital Walkie Talkie демонстрирует, как привычные рации могут быть переосмыслены в духе времени. Устройство оснащено цветным дисплеем диагональю 1,57 дюйма, который отображает список контактов, параметры соединения и даже примерное местоположение собеседника. Такой подход превращает стандартную рацию в компактное средство связи, сочетающее функциональность смартфона и устойчивость профессиональной техники. Одним из ключевых преимуществ стала высокая автономность. Встроенный аккумулятор емкостью 2500 мА·ч обеспечивает до 100 часов работы в режиме ожидания и около 14 часов непрерывных разговоров, что особенно важно в экспедициях, на дальних маршрутах или в зонах, где подзарядка невозможна. Согласно данным портала unionrayo.com, такое время работы выгодно отличает устройство от большинства аналогов. По дальности дейст ...>>

Открыт обращаемый драйвер старения 04.10.2025

Недавняя работа ученых из Сямэньского университета в Китае показала, что в гипоталамусе, главном регуляторе внутренних функций организма, кроется один из ключей к продлению молодости. Команда под руководством Лиге Ленга обнаружила, что снижение уровня белка менина в гипоталамусе связано с ускорением процессов старения. Менин, как выяснилось, играет важную роль в предотвращении воспаления и поддержании нормальной работы нейронов. Когда его уровень снижается, в мозге возрастает активность воспалительных сигналов, что запускает цепную реакцию возрастных изменений во всем организме - от ослабления когнитивных функций до потери плотности костей и истончения кожи. Чтобы понять, как именно менин влияет на старение, ученые вывели генномодифицированных мышей, у которых этот белок можно было выборочно отключить. Даже у молодых животных такое вмешательство быстро привело к ухудшению памяти, снижению прочности костей и эластичности кожи, а также к укорочению жизни. Эти результаты убедительно ...>>

Случайная новость из Архива Скирмионы увеличат емкость жесткого диска в 20 раз 25.08.2013 Ученые Гамбургского университета научились создавать и разрушать индивидуальные магнитные завихрения из атомов или так называемые скирмионы. Предполагается, что в будущем это может помочь увеличить плотность хранения данных в магнитных накопителях. Информация в жестком диске хранится на поверхности вращающейся магнитной пластины. Она записывается путем изменения ориентации магнитного поля отдельных участков материала, известных как домены. Группа доменов с одним направлением магнитного поля формирует один бит информации. Однако при уменьшении размеров доменов, что необходимо для дальнейшего повышения плотности, проявляется феномен суперпарамагнетизма - когда магнитное поле на участках поверхности пластины принимает то же направление, что и на соседних участках. Скирмионы лишены данного недостатка и сохраняют стабильность вне зависимости от того, какие свойства имеют соседние участки, рассказал Кристен Вон Бергман (Kristen von Bergmann), один из членов ученой группы. При этом диаметр скирмиона составляет 300 атомов, что в теории позволяет в 20 раз увеличить емкость магнитного накопителя по сравнению с современными решениями. Эксперимент был проведен на тонкой пленке из палладия, железа и иридия. Управление магнитными завихрениями выполнялось с помощью сканирующего туннельного микроскопа. Через головку микроскопа пропускался поток электронов с определенной спиновой ориентацией, который создавал или разрушал завихрение на пленке. Несмотря на прорыв, выпустить новую технологию на рынок в настоящий момент не представляется возможным. Дело в том, что управление скирмионами осуществлялось в лабораторных условиях при температуре 4,2 кельвина, то есть практически при температуре абсолютного нуля (-269 градусов по Цельсию). Кроме того, ученые смогли формировать или удалять не более четырех скирмионов в один момент времени и лишь в 60% случаях им удавалось это сделать, что неприемлемо для технологии, которую планируется использовать для хранения информации.

Смотрите полный Архив новостей науки и техники, новинок электроники

www.diagram.com.ua
2000-2025