Роботов научили быть любопытными

08.06.2017

На протяжении нескольких лет разработчики компьютерных программ для роботов пытались создать "алгоритм любопытства", однако повторить человеческую любознательность было довольно сложно. По их словам, большинство методов не могут оценить "пробелы" в знаниях робота и понять, что ему будет интересно.

Однако Тодду Хестеру из Google DeepMind в Великобритании и Питеру Стоуну из Техасского университета в США удалось создать алгоритм, позволяющий компьютерной программе "проявлять любопытство", самостоятельно изучая окружающую среду. Новый подход позволит роботам учиться еще быстрее, чем сейчас. Исследователи назвали алгоритм TEXPLORE-VENIR - он основывается на технике "подкрепляющего обучения".

Эта техника работает по следующему принципу: когда программа приближается к решению проблемы (например, выходу из лабиринта), то получает некоторое вознаграждение. Предполагается, что, получив награду, в будущем она снова попытается достичь какой-либо цели. Исследователи немного изменили технику "подкрепляющего обучения" таким образом, чтобы программа получала вознаграждение просто за новое знание, даже если оно не помогает достичь цели. Например, TEXPLORE-VENIR зарабатывает бонусы, когда изучает картину мира, ищет отдаленные места на карте или осваивает кулинарные рецепты.

Хестер и Стоун протестировали свой алгоритм в двух сценариях. Первым из них стал виртуальный лабиринт из 4-х комнат, соединенных между собой запертыми дверями. Боту - просто компьютерной программе - нужно было исследовать территорию, найти ключ, взять его и открыть дверь. За каждую открытую дверь он зарабатывал 10 очков. Чтобы достичь наивысшего балла, ему было дано 3000 "шагов".

Когда при помощи алгоритма TEXPLORE-VENIR бот изучил местность (потратив на это 1000 "шагов"), то заработал 55 очков. При этом если он использовал другие алгоритмы, то получал от 0 до 35 очков. Когда программе пришлось одновременно исследовать местность и отпирать двери, с помощью TEXPLORE-VENIR она заработала 70 баллов, а в других случаях - менее 5.

Ко второму эксперименту исследователи подключили человекоподобного робота Nao. При помощи алгоритма TEXPLORE-VENIR ему нужно было выполнить три задания: ударить по музыкальной тарелке, найти и поднести к глазам розовую ленту и нажать на кнопку, расположенную на его ноге. На каждое задание Nao получил 200 "шагов", и еще 400 "шагов" ему было дано на "обучение" (изучение предметов). По результатам 13-ти попыток он нажал на кнопку 7 раз, ударил по тарелке в 1-м из 5-ти случаев и в итоге стал быстрее находить розовую ленту.

Алгоритм TEXPLORE-VENIR показал хорошие результаты, однако излишнее любопытно может снизить продуктивность робота, считают сторонние исследователи. Может получиться так, что внутренняя мотивация робота на получение награды за обучение превысит его внешнюю мотивацию решить поставленную задачу. Поэтому важно найти баланс между двумя видами мотивации.

<< Назад: Вкус воды 08.06.2017

>> Вперед: Боевые лазеры для бомбардировщиков 07.06.2017

Последние новости науки и техники, новинки электроники:

Чувства кота, ожидаюшего возвращения хозяина 16.07.2026

Многие владельцы кошек уверены, что их питомцы совершенно равнодушны к уходу человека из дома. Считается, что кошки - независимые существа, которые спокойно переносят одиночество и даже радуются, оставаясь одни. Однако испанские специалисты по поведению животных считают, что реальность гораздо сложнее. Реакция кошки на отсутствие хозяина зависит от ее индивидуального характера, степени привязанности к человеку и привычного распорядка дня. Кошки хорошо запоминают ежедневные ритуалы своих владельцев. Они способны связывать определенные звуки - звон ключей, шаги у двери или звук закрывающегося замка - с предстоящим уходом человека. Для одних животных эти сигналы означают возможность спокойно лечь спать, а для других становятся причиной беспокойства и длительного ожидания возвращения хозяина. Таким образом, кошка не просто "не замечает" уход, а активно реагирует на связанные с ним изменения в окружающей обстановке. Исследования поведения кошек показывают, что некоторые из них действи ...>>

Целесообразность приема пробиотиков после курса антибиотиков 16.07.2026

Антибиотики остаются одним из самых мощных инструментов современной медицины в борьбе с бактериальными инфекциями. Однако их действие не ограничивается уничтожением только вредных микроорганизмов. Эти препараты способны существенно влиять на состав кишечной микрофлоры, что часто вызывает вопросы у пациентов: насколько серьезны эти изменения, как долго они сохраняются и нужно ли после курса антибиотиков принимать пробиотики для восстановления. На эти вопросы попытались ответить исследователи, проанализировав имеющиеся научные данные. Во время приема антибиотиков многие люди сталкиваются с неприятными симптомами со стороны пищеварительной системы: тошнотой, болями или спазмами в животе, а также диареей. Такие реакции возникают потому, что препараты воздействуют не только на возбудителей инфекции, но и на полезные бактерии, которые населяют кишечник и участвуют в пищеварении, синтезе витаминов и поддержании иммунитета. Некоторые антибиотики, например азитромицин, могут напрямую влия ...>>

Резкое похудение и возврат веса могут навредить сердцу 15.07.2026

Многие люди, желая быстро избавиться от лишних килограммов, прибегают к строгим диетам с резким ограничением калорий. Достигнув желаемого результата, они часто постепенно или быстро возвращаются к прежнему рациону и прежнему весу. На первый взгляд это кажется лишь вопросом внешнего вида, однако ученые предупреждают: постоянные колебания массы тела могут оказывать негативное влияние на сердечно-сосудистую систему и обмен веществ. Так называемый эффект йо-йо, когда периоды активного похудения сменяются повторным набором веса, становится все более распространенным явлением. Новые исследования указывают на возможную связь между такими циклами и ухудшением работы сердца. Организм способен адаптироваться к изменениям питания, но постоянное повторение резких переходов между ограничением калорий и перееданием создает дополнительную нагрузку на различные системы. В одном из экспериментов на лабораторных животных исследователи моделировали эффект йо-йо, периодически снижая калорийность рац ...>>

Разбрасыватель минудобрений Rauch Axis 55 15.07.2026

Немецкая компания Rauch, известная своими высокоточными сельскохозяйственными машинами, представила на выставке DLG Feldtage новый флагманский разбрасыватель минеральных удобрений Axis 55. Эта модель пришла на смену предыдущей версии Axis 50.2 и стала самой крупной в актуальной линейке производителя после выхода более компактной Axis 25 в прошлом году. Новая машина сочетает в себе повышенную производительность, расширенный диапазон рабочих ширин и усовершенствованные системы контроля внесения. Одной из главных технических особенностей Axis 55 стала значительно увеличенная максимальная производительность внесения - до 675 кг удобрений в минуту. Это на 30 % больше по сравнению с предшественником. Благодаря такому показателю разбрасыватель способен обеспечивать норму внесения до 900 кг/га при рабочей ширине 36 метров и скорости движения машины 25 км/ч. При этом устройство сохраняет возможность работы с очень низкими нормами внесения, например, при распределении гранул против улиток, бе ...>>

Антоцианы черники: природная защита для зрения в темноте 14.07.2026

Специалисты все активнее изучают влияние растительных веществ на здоровье глаз. Особое внимание привлекают антоцианы - природные пигменты, которые придают яркую окраску многим ягодам и овощам. Новые данные показывают, что эти соединения способны не только защищать клетки глаз от окислительного стресса, но и ускорять восстановление родопсина - ключевого пигмента, отвечающего за способность видеть в условиях низкой освещенности. Антоцианы содержатся в большом количестве в чернике, голубике, ежевике, черной смородине, а также в краснокочанной капусте и некоторых других красных, синих и фиолетовых продуктах. Эти вещества обладают мощными антиоксидантными и противовоспалительными свойствами. Они помогают нейтрализовать активные формы кислорода, которые повреждают клетки сетчатки и способствуют развитию хронического воспаления. По данным исследователей, антоцианы оказывают комплексное положительное влияние на зрительную систему. Они улучшают микроциркуляцию крови в сетчатке, поддержива ...>>

Случайная новость из Архива Электричество тушит пожар 05.02.2012 Оборонное научное агентство DARPA разработало новый метод тушения пожаров - с помощью электричества. Пожар в боевой машине, на борту корабля или в другом ограниченном пространстве представляет смертельную опасность для людей. Современные технологии пожаротушения разработаны много десятилетий назад и в основном используют нарушение химических реакций в процессе горения. Ключ к системам пожаротушения будущего лежит в самой физической природе пламени. Вода охлаждает горящий предмет, углекислый газ душит огонь, уменьшая концентрацию кислорода, химические реагенты, вроде газа хэлон, прерывают процесс горения. Все эти технологии имеют серьезные недостатки, такие как токсичность, повреждение ценного имущества и ограниченная эффективность в отношении к различным типам пожара. Новая технология DARPA успешно подавляет огонь и предотвращает повторное возгорание с помощью дестабилизации плазменного факела электромагнитными и акустическими полями. С физической точки зрения пламя - это холодная плазма, включающая подвижные электроны и медленные положительные ионы. На них можно воздействовать не только химическими реагентами, но и магнитным полем. В ходе эксперимента ученые DARPA демонстрируют, как с помощью ручного электрода можно погасить метановую горелку без применения каких бы то ни было химических веществ. В настоящее время ученые работают над масштабируемой технологией "электрического огнетушителя". Прототип новой системы пожаротушения будет установлен в обитаемом отсеке небольшого транспортного средства, вроде автомобиля HUMVEE. В случае успешных испытаний, новая система наверняка получит широкое распространение в космической, морской и наземной технике.

Смотрите полный Архив новостей науки и техники, новинок электроники

www.diagram.com.ua
2000-2026