Роботов научили быть любопытными

08.06.2017

На протяжении нескольких лет разработчики компьютерных программ для роботов пытались создать "алгоритм любопытства", однако повторить человеческую любознательность было довольно сложно. По их словам, большинство методов не могут оценить "пробелы" в знаниях робота и понять, что ему будет интересно.

Однако Тодду Хестеру из Google DeepMind в Великобритании и Питеру Стоуну из Техасского университета в США удалось создать алгоритм, позволяющий компьютерной программе "проявлять любопытство", самостоятельно изучая окружающую среду. Новый подход позволит роботам учиться еще быстрее, чем сейчас. Исследователи назвали алгоритм TEXPLORE-VENIR - он основывается на технике "подкрепляющего обучения".

Эта техника работает по следующему принципу: когда программа приближается к решению проблемы (например, выходу из лабиринта), то получает некоторое вознаграждение. Предполагается, что, получив награду, в будущем она снова попытается достичь какой-либо цели. Исследователи немного изменили технику "подкрепляющего обучения" таким образом, чтобы программа получала вознаграждение просто за новое знание, даже если оно не помогает достичь цели. Например, TEXPLORE-VENIR зарабатывает бонусы, когда изучает картину мира, ищет отдаленные места на карте или осваивает кулинарные рецепты.

Хестер и Стоун протестировали свой алгоритм в двух сценариях. Первым из них стал виртуальный лабиринт из 4-х комнат, соединенных между собой запертыми дверями. Боту - просто компьютерной программе - нужно было исследовать территорию, найти ключ, взять его и открыть дверь. За каждую открытую дверь он зарабатывал 10 очков. Чтобы достичь наивысшего балла, ему было дано 3000 "шагов".

Когда при помощи алгоритма TEXPLORE-VENIR бот изучил местность (потратив на это 1000 "шагов"), то заработал 55 очков. При этом если он использовал другие алгоритмы, то получал от 0 до 35 очков. Когда программе пришлось одновременно исследовать местность и отпирать двери, с помощью TEXPLORE-VENIR она заработала 70 баллов, а в других случаях - менее 5.

Ко второму эксперименту исследователи подключили человекоподобного робота Nao. При помощи алгоритма TEXPLORE-VENIR ему нужно было выполнить три задания: ударить по музыкальной тарелке, найти и поднести к глазам розовую ленту и нажать на кнопку, расположенную на его ноге. На каждое задание Nao получил 200 "шагов", и еще 400 "шагов" ему было дано на "обучение" (изучение предметов). По результатам 13-ти попыток он нажал на кнопку 7 раз, ударил по тарелке в 1-м из 5-ти случаев и в итоге стал быстрее находить розовую ленту.

Алгоритм TEXPLORE-VENIR показал хорошие результаты, однако излишнее любопытно может снизить продуктивность робота, считают сторонние исследователи. Может получиться так, что внутренняя мотивация робота на получение награды за обучение превысит его внешнюю мотивацию решить поставленную задачу. Поэтому важно найти баланс между двумя видами мотивации.

<< Назад: Вкус воды 08.06.2017

>> Вперед: Боевые лазеры для бомбардировщиков 07.06.2017

Последние новости науки и техники, новинки электроники:

Расставание действительно может причинять физическую боль 16.09.2026

Разрыв отношений с близким человеком способно вызывать настолько сильные переживания, что привычное выражение "разбитое сердце" иногда воспринимается почти буквально. Человек может испытывать тревогу, тоску и эмоциональное напряжение, сопровождающиеся вполне реальными телесными ощущениями. Исследования работы мозга показывают, что такая связь между эмоциональными и физическими страданиями может иметь вполне определенную нейробиологическую основу. Эксперимент, позволивший изучить этот вопрос, провела команда психолога Итана Кросса из Мичиганского университета. В исследовании участвовали 40 человек, недавно переживших расставание по инициативе партнера. Все добровольцы продолжали остро реагировать на произошедшее, что позволило исследователям изучить мозговую активность в период наиболее сильных переживаний. Во время эксперимента участников помещали в аппарат магнитно-резонансной томографии. Испытуемым поочередно показывали фотографию бывшего партнера и подвергали предплечье воздей ...>>

Научно доказана невозможность создания нейтринного лазера 16.09.2026

Лазер давно перестал быть исключительно лабораторной технологией: сегодня он используется в связи, медицине, промышленности и научных исследованиях. Поэтому физики периодически предлагают необычные варианты устройств, способных работать по аналогичным принципам, но с другими типами частиц. В 2025 году появилась идея создать лазер, формирующий направленный поток нейтрино. Однако последующий теоретический анализ показал, что привлекательная на первый взгляд концепция сталкивается не просто с техническими трудностями, а с фундаментальными законами квантовой физики. Первоначальную концепцию предложили профессор Массачусетского технологического института (MIT) Джо Формаджио (Joe Formaggio) и Бен Джонс (Ben Jones) из Техасского университета в Арлингтоне. Согласно их замыслу, облако радиоактивных атомов следовало охладить до сверхнизких температур порядка нанокельвинов - миллиардных долей кельвина. В таких условиях атомы могли бы сформировать Бозе - Эйнштейновский конденсат, особое квантов ...>>

Индекс нижнего белья раскрыл состояние швейцарских почв 15.09.2026

Почва кажется обычной частью окружающего нас ландшафта, однако под ее поверхностью существует сложная экосистема, от состояния которой напрямую зависит жизнь человека. Миллиарды микроорганизмов, черви, грибы и другие обитатели почвы перерабатывают органические вещества и участвуют в круговороте питательных элементов. Чтобы привлечь внимание общества к этой мало заметной проблеме, исследователи из Цюрихского университета придумали весьма необычный эксперимент: они закопали более 2000 пар хлопкового нижнего белья в садах, на лугах, полях и газонах по всей Швейцарии. Проект получил название "Доказательство в виде нижнего белья" и представлял собой не массовую шутку, а научный эксперимент, позволяющий наглядно оценить биологическую активность почвы. Исследователи помещали хлопковые изделия в землю, а примерно через два месяца извлекали их и сравнивали степень разрушения ткани. Некоторые образцы за это время практически исчезали, оставляя лишь отдельные фрагменты швов, тогда как на други ...>>

Гибкий алмаз вырабатывает электричество 15.09.2026

Алмаз традиционно воспринимается как исключительно твердый и практически неподвижный материал, поэтому возможность получать из него электричество при механической деформации долгое время казалась невероятной. В начале XX века алмаз относили к непьезоэлектрическим материалам, то есть считалось, что при сжатии или изгибе он, в отличие от кварца, не способен создавать электрический заряд. Однако исследователи из Университета Гонконга обнаружили, что при определенных условиях это представление требует пересмотра. Проблема заключалась прежде всего в физической природе самого минерала. Обычный алмаз настолько тверд, что заметно согнуть его практически невозможно. Поэтому специалисты использовали другой подход и изготовили из алмаза чрезвычайно тонкую гибкую мембрану. После механического воздействия на такую конструкцию измерительные приборы зарегистрировали устойчивые электрические сигналы. Эксперименты неоднократно повторяли и проводили в различных условиях, чтобы исключить случайное про ...>>

Найдена химическая причина возрастных изменений запаха кожи 14.09.2026

Запах человеческого тела меняется на протяжении всей жизни, и особенно заметные изменения могут происходить в пожилом возрасте. Речь идет не только о привычном запахе пота или особенностях гигиены: старение сопровождается целым комплексом биохимических процессов в коже, способных влиять на ее естественный запах. Ученые обнаружили одно из веществ, которое связывают с характерным ароматом, часто называемым "запахом старости". Исследователи установили, что важную роль в этом процессе играет 2-ноненаль - органическое соединение из группы ненасыщенных жирных альдегидов. Это вещество обладает характерным запахом, который нередко описывают как сочетание прогорклого масла и затхлого картона. Его количество в коже увеличивается по мере старения организма, поэтому концентрация 2-ноненаля рассматривается специалистами как одна из биохимических причин возрастного изменения запаха. По словам дерматологов, заметные изменения начинают становиться более вероятными после 40 лет. Доктор Сонал Чоуд ...>>

Случайная новость из Архива Нервные клетки все-таки восстанавливаются 15.04.2018 Изучение нейрогенеза (образования новых нервных клеток - нейронов) - относительно новое направление исследований. За последние годы ученые доказали, что новые нейроны на протяжении всей жизни образуются в мозге многих млекопитающих, однако по вопросу о нейрогенезе у человека консенсуса в научном сообществе до сих пор нет. Новые методы визуализации (такие, как конфокальная микроскопия), позволили доказать, что по крайней мере до полового созревания новые нейроны образуются в человеческом гиппокампе - области мозга, участвующей в формировании эмоций и памяти. Полученые данные могут помочь в разработке лекарств от нейродегенеративных заболеваний, таких, как болезнь Альцгеймера, полагают ученые. Маура Болдрини (Maura Boldrini), нейробиолог из Колумбийского университета, и ее коллеги взяли образцы ткани из гиппокампа здоровых при жизни 28 человек, умерших не более чем за несколько часов до того. Возраст этих людей на момент смерти составлял от 14 до 79 лет. Ученые установили, с какой скоростью в организме покойных при жизни образовывались новые клетки крови и нейроны зубчатой фасции гиппокампа - части мозга, где происходит нейрогенез. "Согласно данным исследований, проведенных на мышах, в зубчатой фасции есть плюрипотентные "материнские" стволовые клетки, количество которых, по некоторым данным, ограничено. Рзвитие "дочерних" клеток, образовавшихся в результате деления "материнских", может пойти по пути образования нейронов", - поясняет Болдрини. Болдрини и ее коллеги установили, что количество "материнских" клеток с возрастом уменьшается, а "дочерних" - нет. Ученые обнаружили в зубчатой фасции тысячи молодых, не до конца оформившихся нейронов во всех пробах, вне зависимости от возраста людей, у которых брали образцы. Однако чем старше человек, тем меньше в зубчатой фасции клеток, вырабатывающих вещества, которые связаны со способностью мозга к перестройке существующих нейронных связей и образованию новых (нейропластичности). "Новые нейроны, появляющиеся во взрослом возрасте, возможно, образуют меньше связей друг с другом и другими нейронами, или реже мигрируют в другие отделы мозга", - заключают ученые. Потеря нейропластичности может объяснить эмоциональную уязвимость, появляющуюся у некоторых людей в зрелом возрасте, но новые клетки мозга, в том числе нейроны, все-таки способны противостоять ухудшению когнитивных навыков, считают авторы новой работы. Теперь ученые планируют выяснить, с какой скоростью молодые нейроны образуются у людей, страдающих от болезни Альцгеймера и эмоциональных проблем.

Смотрите полный Архив новостей науки и техники, новинок электроники

www.diagram.com.ua
2000-2026