Управлять сверхинтеллектуальным ИИ будет невозможно

29.09.2022

Идея свержения человечества искусственным интеллектом обсуждалась десятилетиями, и в 2021 году ученые вынесли свой вердикт о том, можно ли контролировать высокоуровневый компьютерный сверхразум.

Загвоздка в том, что для управления сверхразумом, находящимся далеко за пределами человеческого понимания, потребуется симуляция этого сверхразума, который можно анализировать и контролировать. Но если люди не в состоянии это понять, то создать такую симуляцию невозможно.

Такие правила, как "не причинять вреда людям", не могут быть установлены, если люди не понимают, какие сценарии может предложить ИИ. Как только компьютерная система работает на уровне выше возможностей наших программистов, то больше нельзя будет устанавливать ограничения.

Сверхразум представляет собой принципиально иную проблему, чем те, которые обычно изучаются под лозунгом "этики роботов. Это связано с тем, что сверхразум многогранен и, следовательно, потенциально способен мобилизовать разнообразные ресурсы для достижения целей, потенциально непостижимых для людей, не говоря уже о том, чтобы их можно было контролировать.

Часть рассуждений команды исходила из проблемы остановки, сформулированной Аланом Тьюрингом в 1936 году. Проблема заключается в том, чтобы узнать, придет ли компьютерная программа к выводу и ответу (поэтому она остановится), или просто зациклится, пытаясь найти его.

Ученые отметили, как доказал Тьюринг с помощью умной математики, хотя мы можем знать это для некоторых конкретных программ, логически невозможно найти способ, который позволил бы нам узнать это для каждой потенциальной программы, которая когда-либо могла быть написана. Это возвращает нас к ИИ, который в сверхразумном состоянии мог бы одновременно удерживать в своей памяти все возможные компьютерные программы.

По словам ученых, любая программа, написанная для того, чтобы не дать ИИ причинить вред людям и уничтожить мир, например, может прийти к выводу (и остановиться) или нет - математически невозможно быть абсолютно уверенным в любом случае, а это значит, что ее нельзя сдержать. Ученые заявили, что альтернатива обучению ИИ некоторым этическим нормам и указанию ему не разрушать мир - то, в чем ни один алгоритм не может быть абсолютно уверен, - заключается в ограничении возможностей сверхразума.

"Исследование также отвергло эту идею, предполагая, что это ограничит возможности ИИ. Аргумент состоит в том, что если мы не собираемся использовать его для решения проблем, выходящих за рамки человеческих возможностей, то зачем вообще его создавать? Если мы собираемся продвигаться вперед с ИИ, мы можем даже не знать, когда появится сверхразум, неподвластный нашему контролю, такова его непостижимость. Это означает, что нам нужно начать задавать серьезные вопросы о том, в каком направлении мы движемся", - отметили ученые.

<< Назад: Куркумин предотвратит потерю зрения 29.09.2022

>> Вперед: Дрожжам пересажены человеческие гены 28.09.2022

Последние новости науки и техники, новинки электроники:

Токсичность интернета преувеличена 07.01.2026

Социальные сети нередко воспринимаются как арена постоянной агрессии, оскорблений и распространения фейковой информации. Новое исследование Стэнфордского университета показывает, что реальность значительно отличается от популярного представления: интернет гораздо менее токсичен, чем многие пользователи считают. Ученые опросили более тысячи американцев, попросив их оценить долю пользователей соцсетей, которые ведут себя агрессивно или распространяют ненависть. Оказалось, что впечатления людей сильно преувеличивают масштабы проблемы. Например, респонденты считали, что почти половина пользователей Reddit хотя бы раз оставляла оскорбительные комментарии, тогда как фактические данные платформы показывают, что таких людей не более 3%. Аналогичная ситуация наблюдается с дезинформацией. Опрос показал, что большинство участников считали почти половину аудитории Facebook распространителями фейковых новостей, однако статистика говорит об обратном: фактическая доля таких пользователей состав ...>>

Процессоры Ryzen AI 400 07.01.2026

Современные вычисления все больше ориентируются на интеграцию искусственного интеллекта и высокую производительность в компактных устройствах, таких как ноутбуки и мини-ПК. Новая линейка процессоров AMD Ryzen AI 400 демонстрирует, как разработчики объединяют мощные центральные ядра, графику и нейросетевые ускорители в одном чипе, чтобы удовлетворять растущие потребности пользователей в играх, контенте и ИИ-приложениях. AMD представила процессоры серии Gorgon Point, которые включают до 12 ядер Zen 5 и до 24 потоков вычислений. Чипы поддерживают интегрированную графику RDNA 3.5, обеспечивают максимальную тактовую частоту до 5,2 ГГц и имеют энергопотребление от 15 Вт до 54 Вт. Особое внимание уделено NPU, способному обрабатывать до 60 триллионов операций в секунду (TOPS), что делает эти процессоры эффективными для задач с искусственным интеллектом. Конструкция Ryzen AI 400 сочетает ядра Zen 5 и Zen 5c, обеспечивая высокую гибкость и производительность. Несмотря на то, что архитектур ...>>

Женщины лучше распознают признаки болезни по лицу 06.01.2026

Способность распознавать, что кто-то нездоров, часто проявляется интуитивно: бледная кожа, опущенные веки, уставшее выражение лица могут сигнализировать о недомогании. Новое исследование международной группы ученых показало, что женщины в среднем точнее мужчин улавливают такие тонкие невербальные признаки болезни, что может иметь эволюционные и социальные объяснения. В отличие от предыдущих работ, где использовались отредактированные фотографии или имитация больных лиц, ученые решили проверить, насколько люди способны распознавать естественные признаки недомогания. Такой подход позволил оценить реальную чувствительность к изменениям в лицах, возникающим при болезни. В исследовании приняли участие 280 студентов, поровну мужчин и женщин. Участникам предложили оценить 24 фотографии, на которых изображены люди как в здоровом состоянии, так и во время болезни. Это дало возможность сравнить восприятие естественных признаков недомогания в реальных лицах. Для анализа состояния каждого ...>>

Робот LG CLOiD 06.01.2026

LG представила своего нового работа CLOiD. Его возможности выходят за рамки простого выполнения команд - он способен адаптироваться к образу жизни владельца и управлять подключенными бытовыми приборами. LG CLOiD объединяет два ключевых направления корейской компании: платформу роботизированной помощи LG Q9 и экосистему умного дома LG ThinQ. На демонстрации робот показал, что умеет готовить завтрак: доставать молоко из холодильника, помещать круассан в духовку и выполнять другие кулинарные задачи. Кроме того, CLOiD может самостоятельно запускать стирку, после сушки складывать одежду и раскладывать ее по шкафу. Таким образом, робот подстраивается под повседневные привычки хозяев и может управлять всеми совместимыми устройствами, подключенными к сети. Конструкция LG CLOiD специально адаптирована для работы в жилых помещениях. Основной блок робота соединен с телом, оснащенным двумя шарнирными руками-манипуляторами, а базируется он на колесной платформе с функцией автономной навигации ...>>

Твердотельные батареи без потерь от замерзания ионов 05.01.2026

Энергетика и электроника сегодня все больше зависят от надежных и безопасных источников энергии. Твердотельные батареи рассматриваются как ключ к следующему этапу развития портативных и стационарных устройств, однако традиционные подходы сталкиваются с фундаментальной проблемой: при затвердевании электролита движение ионов замедляется или полностью останавливается. Новое исследование ученых из Оксфордского университета и их партнеров может изменить это представление и открыть путь к созданию безопасных и эффективных твердых аккумуляторов. В своей работе исследователи разработали новый класс органических электролитов, которые сохраняют высокую ионную проводимость независимо от состояния - жидкого, жидкокристаллического или твердого. Такие материалы получили название "электролиты, независимые от состояния" (state-independent electrolytes, SIE). Аспирантка Джульетт Барклай, первый автор исследования, отмечает, что это доказывает возможность проектировать органические молекулы так, чтоб ...>>

Случайная новость из Архива Умный велосипед Dubike от Baidu 05.12.2014 Китайский поисковый гигант Baidu рассказал о проекте "умного" велосипеда Dubike, оборудованного различными электронными системами. Dubike оснащен сенсорами для снятия показателей физической активности и приемником спутниковой системы навигации GPS. Велосипедисты смогут собирать информацию о преодоленном расстоянии, скорости движения, потраченных калориях, времени в пути и пр. Байк способен обмениваться данными со смартфоном. Предусмотрена социальная составляющая: к примеру, можно делиться новыми маршрутами с другими велосипедистами или сравнивать результаты заездов. Dubike может играть роль навигатора. Причем инструкции выдаются в виде загорающихся указателей на специальной рулевой панели, благодаря чему велосипедисту не нужно отвлекаться на дисплей смартфона. Встроенный GPS-ресивер также позволит отследить местоположение высокотехнологичного байка в случае кражи. Среди других особенностей Dubike можно выделить оригинальную раму и ходовые огни.

Смотрите полный Архив новостей науки и техники, новинок электроники

www.diagram.com.ua
2000-2026