Роботов научили быть любопытными

08.06.2017

На протяжении нескольких лет разработчики компьютерных программ для роботов пытались создать "алгоритм любопытства", однако повторить человеческую любознательность было довольно сложно. По их словам, большинство методов не могут оценить "пробелы" в знаниях робота и понять, что ему будет интересно.

Однако Тодду Хестеру из Google DeepMind в Великобритании и Питеру Стоуну из Техасского университета в США удалось создать алгоритм, позволяющий компьютерной программе "проявлять любопытство", самостоятельно изучая окружающую среду. Новый подход позволит роботам учиться еще быстрее, чем сейчас. Исследователи назвали алгоритм TEXPLORE-VENIR - он основывается на технике "подкрепляющего обучения".

Эта техника работает по следующему принципу: когда программа приближается к решению проблемы (например, выходу из лабиринта), то получает некоторое вознаграждение. Предполагается, что, получив награду, в будущем она снова попытается достичь какой-либо цели. Исследователи немного изменили технику "подкрепляющего обучения" таким образом, чтобы программа получала вознаграждение просто за новое знание, даже если оно не помогает достичь цели. Например, TEXPLORE-VENIR зарабатывает бонусы, когда изучает картину мира, ищет отдаленные места на карте или осваивает кулинарные рецепты.

Хестер и Стоун протестировали свой алгоритм в двух сценариях. Первым из них стал виртуальный лабиринт из 4-х комнат, соединенных между собой запертыми дверями. Боту - просто компьютерной программе - нужно было исследовать территорию, найти ключ, взять его и открыть дверь. За каждую открытую дверь он зарабатывал 10 очков. Чтобы достичь наивысшего балла, ему было дано 3000 "шагов".

Когда при помощи алгоритма TEXPLORE-VENIR бот изучил местность (потратив на это 1000 "шагов"), то заработал 55 очков. При этом если он использовал другие алгоритмы, то получал от 0 до 35 очков. Когда программе пришлось одновременно исследовать местность и отпирать двери, с помощью TEXPLORE-VENIR она заработала 70 баллов, а в других случаях - менее 5.

Ко второму эксперименту исследователи подключили человекоподобного робота Nao. При помощи алгоритма TEXPLORE-VENIR ему нужно было выполнить три задания: ударить по музыкальной тарелке, найти и поднести к глазам розовую ленту и нажать на кнопку, расположенную на его ноге. На каждое задание Nao получил 200 "шагов", и еще 400 "шагов" ему было дано на "обучение" (изучение предметов). По результатам 13-ти попыток он нажал на кнопку 7 раз, ударил по тарелке в 1-м из 5-ти случаев и в итоге стал быстрее находить розовую ленту.

Алгоритм TEXPLORE-VENIR показал хорошие результаты, однако излишнее любопытно может снизить продуктивность робота, считают сторонние исследователи. Может получиться так, что внутренняя мотивация робота на получение награды за обучение превысит его внешнюю мотивацию решить поставленную задачу. Поэтому важно найти баланс между двумя видами мотивации.

<< Назад: Вкус воды 08.06.2017

>> Вперед: Боевые лазеры для бомбардировщиков 07.06.2017

Последние новости науки и техники, новинки электроники:

Микропластик в атмосфере - скрытый ускоритель глобального потепления 31.05.2026

Микропластик уже давно признан одним из самых масштабных загрязнителей планеты. Он проникает в океаны, почву, организмы животных и даже в тело человека. Однако до недавнего времени мало кто задумывался о его влиянии на климатические процессы. Новое исследование показало, что микро- и нанопластик в атмосфере способен поглощать тепло, тем самым внося дополнительный вклад в глобальное потепление. Ученые обнаружили, что воздействие пластиковых частиц на климат зависит от их цвета. Светлые частицы отражают солнечный свет и способствуют некоторому охлаждению, в то время как более темные - активно поглощают тепло и излучение. Со временем пластик в атмосфере темнеет под воздействием ультрафиолета, что усиливает его согревающий эффект. Этот процесс напоминает пожелтение пластиковых парковочных талонов, оставленных на солнце. Соавтор исследования, заслуженный профессор наук о Земле в Университете Дьюка Дрю Шинделл отметил, что влияние микропластика на изменение климата пока относительно не ...>>

Универсальный бытовой робот-гуманоид GigaAI SeeLight S1 31.05.2026

Развитие робототехники постепенно переносит сложные машины из промышленных цехов прямо в повседневную жизнь людей. Китайская компания GigaAI сделала важный шаг в этом направлении, представив SeeLight S1 - первую в стране модель универсального бытового робота-гуманоида. Эта разработка призвана взять на себя рутинные домашние дела и стать настоящим помощником в повседневной жизни. Уже в конце текущего месяца сотня роботов SeeLight S1 начнет проходить испытания в специализированном жилом комплексе, предназначенном для работников высокотехнологичных отраслей. По словам генерального директора GigaAI Чжу Чжэна, в первой половине 2027 года роботы будут переданы для бесплатного тестирования обычным семьям в Ухане - столице провинции Хубэй. Такой подход позволит собрать реальные данные о работе устройства в домашних условиях. В демонстрационном видео робот, передвигающийся на колесах, уверенно справляется с множеством бытовых задач. Он нарезает овощи, жарит яйца, загружает стиральную маши ...>>

Вкусовые пристрастия формируются еще в утробе 30.05.2026

Предпочтения человека к еде закладываются задолго до первого прикорма. Современная наука подтверждает, что ребенок начинает знакомиться с ароматами и вкусами пищи еще до рождения, через околоплодные воды. Новое международное исследование показало, что регулярное потребление определенных продуктов беременной женщиной может формировать долгосрочные пищевые предпочтения у ребенка, сохраняющиеся даже спустя годы после появления на свет. Ученые из университетов Великобритании, Франции и Нидерландов провели эксперимент с участием беременных женщин. Одной группе будущих мам давали капсулы с порошком капусты кейл, другой - с порошком моркови. Реакцию детей на эти запахи проверяли в три этапа: сначала в утробе матери с помощью 4D-УЗИ на поздних сроках беременности, затем в возрасте трех месяцев и, наконец, когда детям исполнилось три года. Результаты оказались весьма убедительными. Дети женщин, принимавших порошок кейла, положительно реагировали на запах этой капусты, но негативно - на ар ...>>

Монитор Philips 24B2D5300 с двумя экранами 120 Гц 30.05.2026

Компания Philips разработала интересное устройство, которое решает эту задачу элегантно и технологично. Новый монитор 24B2D5300 оснащен сразу двумя полноценными экранами - один спереди, другой сзади. Такая конструкция особенно востребована в банках, на рецепциях, в медицинских центрах и коворкингах, где важна прозрачность взаимодействия. Обе панели монитора представляют собой IPS-матрицы с диагональю 23,8 дюйма и разрешением Full HD (1920x1080 пикселей). Каждая из них поддерживает частоту обновления 120 Гц, что пока остается редкостью для бизнес-ориентированных моделей. Высокая частота обновления обеспечивает плавное изображение даже при динамичном контенте, делая работу за монитором более комфортной и презентации - более качественными. Пользователи могут выбирать между двумя основными режимами работы: дублирование одного и того же изображения на оба экрана или использование дисплеев как полностью независимых. Благодаря этому сотрудник может видеть на своей стороне рабочую информ ...>>

Цыплята из искусственного яйца, напечатанного на 3D-принтере 29.05.2026

Компания Colossal Biosciences, известная своими амбициозными инициативами по "воскрешению" вымерших животных, достигла важного прорыва. Специалистам удалось вырастить цыплят из полностью искусственного яйца, созданного с помощью 3D-печати. Эта технология рассматривается как значительный шаг на пути к возможному возрождению одного из самых впечатляющих представителей исчезнувшей фауны - гигантского моа. Южноостровной гигантский моа (Dinornis robustus) был одной из самых высоких птиц в истории Земли. Самки этого нелетающего родственника страусов могли вырастать выше двух метров и дотягиваться до пищи на высоте до 3,6 метра. Эти гиганты обитали в Новой Зеландии, однако полностью исчезли примерно в XV веке после активной охоты со стороны первых поселенцев-маори. Теперь Colossal Biosciences пытается вернуть подобных птиц в современный мир с помощью передовых биоинженерных решений. Искусственное яйцо, разработанное компанией, состоит из титановой решетчатой оболочки, изготовленной на 3 ...>>

Случайная новость из Архива Hyperloop разогнан до 1019 км/ч 06.11.2020 Четвертая промышленная революция потребует не только роботизации производства, но и новых видов общественного транспорта для "гиперсвязанного" общества. Такой транспорт должен сочетать низкие затраты, малые выбросы и быть очень быстрым. В качестве рабочего варианта рассматривается транспортировка людей в "гипертрубах" с откачанным воздухом Hyperloop, скорость передвижения в которых превысит 1000 км/ч. Корейцы доказали, что все это возможно, правда, только на макете. Корейский научно-исследовательский институт железных дорог успешно преодолел скоростную отметку в 1019 км/ч на макете Hypertube. Утверждается, что это мировой рекорд в исследовании перспективного вида общественного транспорта. Макет "гипертрубы" в масштабе 1:17 воссоздает установку для разгона, вакуумную трубу для движения, транспортную капсулу и систему торможения. Каждая часть макета дает возможность испытать методы, технологии и элементы конструкции перед тем, как строить полномасштабное решение. Скорость в 1019 км/ч была достигнута при давлении в трубе 0,001 от атмосферного. Макет позволяет устанавливать произвольное давление в трубе, что дает возможность проводить эксперименты с целью найти оптимальное по затратам решение. Параллельно в институте ведутся работы по созданию сверхпроводящих магнитов, которые должны стать элементом системы перемещения транспортных капсул. Исследователи надеются, что со временем транспортная система на основе "гипертруб" станет обычным явлением для страны и будет способствовать развитию ее экономики.

Смотрите полный Архив новостей науки и техники, новинок электроники

www.diagram.com.ua
2000-2026