Роботов научили быть любопытными

08.06.2017

На протяжении нескольких лет разработчики компьютерных программ для роботов пытались создать "алгоритм любопытства", однако повторить человеческую любознательность было довольно сложно. По их словам, большинство методов не могут оценить "пробелы" в знаниях робота и понять, что ему будет интересно.

Однако Тодду Хестеру из Google DeepMind в Великобритании и Питеру Стоуну из Техасского университета в США удалось создать алгоритм, позволяющий компьютерной программе "проявлять любопытство", самостоятельно изучая окружающую среду. Новый подход позволит роботам учиться еще быстрее, чем сейчас. Исследователи назвали алгоритм TEXPLORE-VENIR - он основывается на технике "подкрепляющего обучения".

Эта техника работает по следующему принципу: когда программа приближается к решению проблемы (например, выходу из лабиринта), то получает некоторое вознаграждение. Предполагается, что, получив награду, в будущем она снова попытается достичь какой-либо цели. Исследователи немного изменили технику "подкрепляющего обучения" таким образом, чтобы программа получала вознаграждение просто за новое знание, даже если оно не помогает достичь цели. Например, TEXPLORE-VENIR зарабатывает бонусы, когда изучает картину мира, ищет отдаленные места на карте или осваивает кулинарные рецепты.

Хестер и Стоун протестировали свой алгоритм в двух сценариях. Первым из них стал виртуальный лабиринт из 4-х комнат, соединенных между собой запертыми дверями. Боту - просто компьютерной программе - нужно было исследовать территорию, найти ключ, взять его и открыть дверь. За каждую открытую дверь он зарабатывал 10 очков. Чтобы достичь наивысшего балла, ему было дано 3000 "шагов".

Когда при помощи алгоритма TEXPLORE-VENIR бот изучил местность (потратив на это 1000 "шагов"), то заработал 55 очков. При этом если он использовал другие алгоритмы, то получал от 0 до 35 очков. Когда программе пришлось одновременно исследовать местность и отпирать двери, с помощью TEXPLORE-VENIR она заработала 70 баллов, а в других случаях - менее 5.

Ко второму эксперименту исследователи подключили человекоподобного робота Nao. При помощи алгоритма TEXPLORE-VENIR ему нужно было выполнить три задания: ударить по музыкальной тарелке, найти и поднести к глазам розовую ленту и нажать на кнопку, расположенную на его ноге. На каждое задание Nao получил 200 "шагов", и еще 400 "шагов" ему было дано на "обучение" (изучение предметов). По результатам 13-ти попыток он нажал на кнопку 7 раз, ударил по тарелке в 1-м из 5-ти случаев и в итоге стал быстрее находить розовую ленту.

Алгоритм TEXPLORE-VENIR показал хорошие результаты, однако излишнее любопытно может снизить продуктивность робота, считают сторонние исследователи. Может получиться так, что внутренняя мотивация робота на получение награды за обучение превысит его внешнюю мотивацию решить поставленную задачу. Поэтому важно найти баланс между двумя видами мотивации.

<< Назад: Вкус воды 08.06.2017

>> Вперед: Боевые лазеры для бомбардировщиков 07.06.2017

Последние новости науки и техники, новинки электроники:

Хорошо управляемые луга могут компенсировать выбросы от скота 15.02.2026

Животноводство, особенно разведение крупного рогатого скота, часто обвиняют в значительном вкладе в глобальное потепление из-за мощного парникового газа - метана, который выделяется при пищеварении у жвачных животных. Это вызывает острые политические споры и призывы к сокращению потребления мяса. Однако ученые напоминают, что полная картина климатического воздействия отрасли не ограничивается только выбросами от животных: огромную роль играет окружающая экосистема - пастбища, почва и растительность, которые способны активно поглощать углекислый газ из атмосферы. Исследователи из Университета Небраски-Линкольна решили глубже изучить этот баланс. Группа под руководством профессора Галена Эриксона сосредоточилась на том, как правильно организованные пастбища накапливают углерод в растениях и грунте благодаря естественным процессам, стимулируемым выпасом скота. Ученые подчеркивают, что при достаточном уровне осадков и грамотном управлении такие луга превращаются в мощные природные погло ...>>

NASA тестирует инновационную технологию крыла 15.02.2026

Коммерческая авиация ежегодно расходует колоссальные объемы керосина, что сказывается не только на бюджете авиакомпаний, но и на состоянии окружающей среды. В 2024 году глобальные затраты на авиационное топливо достигли 291 миллиарда долларов, и эта сумма продолжает расти. Чтобы справиться с этими вызовами, NASA активно работает над технологиями, способными заметно повысить аэродинамическую эффективность самолетов. Одним из самых перспективных направлений стало создание специальной конструкции крыла, которая максимизирует естественный ламинарный поток воздуха и минимизирует сопротивление. В январе 2026 года специалисты NASA Armstrong Flight Research Center успешно провели важный этап наземных испытаний концепции Crossflow Attenuated Natural Laminar Flow (CATNLF). Для эксперимента под фюзеляж исследовательского самолета F-15B закрепили вертикально ориентированную масштабную модель высотой около 0,9 м (3 фута), напоминающую узкий киль. Такая компоновка позволила подвергнуть прототип р ...>>

Забота о внуках очень полезна для здоровья мозга 14.02.2026

Общение между поколениями приносит радость всей семье, но мало кто задумывается, насколько активно бабушки и дедушки, заботящиеся о внуках, поддерживают свою умственную форму. Регулярное взаимодействие с детьми стимулирует мозг пожилых людей, помогая сохранять память, скорость мышления и общую когнитивную активность. Новые научные данные подтверждают, что такая добровольная помощь не только важна для общества, но и может замедлять возрастные изменения в мозге. Исследователи из Тилбургского университета в Нидерландах провели анализ, чтобы понять, приносит ли уход за внуками реальную пользу здоровью пожилых людей. Ведущий автор работы Флавия Черечес отметила, что многие бабушки и дедушки регулярно присматривают за детьми, и оставался открытым вопрос, насколько это положительно сказывается на их собственном благополучии, особенно в плане когнитивных функций. Ученые поставили цель выяснить, способен ли регулярный уход за внуками замедлить снижение памяти и других умственных способ ...>>

Оптические системы сортировки и AI для черники и фруктов 14.02.2026

Каждый год потребители ожидают увидеть на прилавках свежие, ровные по размеру и цвету ягоды черники без признаков порчи или обезвоживания, при этом производители стремятся минимизировать потери и сохранить естественную привлекательность продукта. В эпоху растущих требований к качеству и дефицита квалифицированной рабочей силы традиционные методы сортировки фруктов уже не всегда справляются с задачей. Именно поэтому компании активно внедряют оптические сканеры в сочетании с искусственным интеллектом, способные анализировать ягоды с невероятной точностью и скоростью, сохраняя при этом их товарный вид. На выставке Fruit Logistica 2026 в Берлине компания Tomra Food презентовала свои последние достижения в области постуборочной обработки. Центральное место на стенде занимает совершенно новая оптическая сортировочная система, специально разработанная для свежей черники и предназначенная для использования непосредственно в упаковочных цехах. Эта машина охватывает весь путь ягод - от загруз ...>>

Монитор ROG Swift OLED PG32UCDM Gen 3 13.02.2026

Для многих поклонников компьютерных игр выбор монитора - это всегда поиск идеального баланса между потрясающей картинкой, молниеносной скоростью отклика и надежностью в длительных игровых сессиях. Технология QD-OLED уже несколько лет задает высокую планку качества изображения, предлагая глубокий черный цвет, яркие краски и практически мгновенную реакцию пикселей. Однако даже у самых продвинутых панелей оставались слабые места: уязвимость к царапинам, цветовые искажения под определенными углами и заметное отражение в освещенных помещениях. Компания ASUS решила серьезно улучшить ситуацию и представила третье поколение своего популярного 32-дюймового флагмана - ROG Swift OLED PG32UCDM Gen 3. В основе новинки лежит современная 32-дюймовая QD-OLED панель с разрешением 4K (3840 x 2160 пикселей), которая обеспечивает невероятную детализацию и точность цветопередачи. Частота обновления достигает 240 Гц, что делает картинку исключительно плавной даже в самых динамичных сценах шутеров или ...>>

Случайная новость из Архива Наножилье для солнцелюбивых бактерий 10.03.2022 Исследователи из Кембриджского университета (Великобритания) напечатали на 3D-принтере сетку высотного "наножилья", в котором могут быстро расти любящие солнце бактерии. С помощью таких "домов" ученые смогли извлечь из бактерий больше энергии, выработанной при фотосинтезе, которую можно использовать для питания небольшой электроники - больше, чем при традиционных методах производства возобновляемой биоэнергии. Цианобактерии - крупные бактерии, способные к фотосинтезу. В течение нескольких лет исследователи пытались "перенастроить" механизмы фотосинтеза цианобактерий, чтобы извлекать из них энергию. Чтобы расти, цианобактериям нужно много солнечного света - для этого им хорошо подходит, например, поверхность озера летом. А чтобы извлекать энергию, которую они производят в результате фотосинтеза, бактерии должны быть прикреплены к электродам. Команда из Кембриджа напечатала на 3D-принтере из наночастиц оксида металла специальные электроды - в виде сильно разветвленных, плотно упакованных столбчатых структур, похожих на крошечный город. Ученые разработали метод печати, который позволяет контролировать разную длину столбиков. Новый метод на порядок увеличил количество извлекаемой энергии по сравнению с другими методами производства биоэнергии из фотосинтеза. "Цианобактерии - это универсальные химические фабрики. Наш подход позволяет нам использовать их пути преобразования энергии на ранней стадии, что помогает нам понять, как они осуществляют преобразование энергии, чтобы мы могли использовать их естественные пути для возобновляемого топлива или химического производства", - отмечают авторы работы.

Смотрите полный Архив новостей науки и техники, новинок электроники

www.diagram.com.ua
2000-2026