Управлять сверхинтеллектуальным ИИ будет невозможно

29.09.2022

Идея свержения человечества искусственным интеллектом обсуждалась десятилетиями, и в 2021 году ученые вынесли свой вердикт о том, можно ли контролировать высокоуровневый компьютерный сверхразум.

Загвоздка в том, что для управления сверхразумом, находящимся далеко за пределами человеческого понимания, потребуется симуляция этого сверхразума, который можно анализировать и контролировать. Но если люди не в состоянии это понять, то создать такую симуляцию невозможно.

Такие правила, как "не причинять вреда людям", не могут быть установлены, если люди не понимают, какие сценарии может предложить ИИ. Как только компьютерная система работает на уровне выше возможностей наших программистов, то больше нельзя будет устанавливать ограничения.

Сверхразум представляет собой принципиально иную проблему, чем те, которые обычно изучаются под лозунгом "этики роботов. Это связано с тем, что сверхразум многогранен и, следовательно, потенциально способен мобилизовать разнообразные ресурсы для достижения целей, потенциально непостижимых для людей, не говоря уже о том, чтобы их можно было контролировать.

Часть рассуждений команды исходила из проблемы остановки, сформулированной Аланом Тьюрингом в 1936 году. Проблема заключается в том, чтобы узнать, придет ли компьютерная программа к выводу и ответу (поэтому она остановится), или просто зациклится, пытаясь найти его.

Ученые отметили, как доказал Тьюринг с помощью умной математики, хотя мы можем знать это для некоторых конкретных программ, логически невозможно найти способ, который позволил бы нам узнать это для каждой потенциальной программы, которая когда-либо могла быть написана. Это возвращает нас к ИИ, который в сверхразумном состоянии мог бы одновременно удерживать в своей памяти все возможные компьютерные программы.

По словам ученых, любая программа, написанная для того, чтобы не дать ИИ причинить вред людям и уничтожить мир, например, может прийти к выводу (и остановиться) или нет - математически невозможно быть абсолютно уверенным в любом случае, а это значит, что ее нельзя сдержать. Ученые заявили, что альтернатива обучению ИИ некоторым этическим нормам и указанию ему не разрушать мир - то, в чем ни один алгоритм не может быть абсолютно уверен, - заключается в ограничении возможностей сверхразума.

"Исследование также отвергло эту идею, предполагая, что это ограничит возможности ИИ. Аргумент состоит в том, что если мы не собираемся использовать его для решения проблем, выходящих за рамки человеческих возможностей, то зачем вообще его создавать? Если мы собираемся продвигаться вперед с ИИ, мы можем даже не знать, когда появится сверхразум, неподвластный нашему контролю, такова его непостижимость. Это означает, что нам нужно начать задавать серьезные вопросы о том, в каком направлении мы движемся", - отметили ученые.

<< Назад: Куркумин предотвратит потерю зрения 29.09.2022

>> Вперед: Дрожжам пересажены человеческие гены 28.09.2022

Последние новости науки и техники, новинки электроники:

Дифузное покрытие для теплиц 06.06.2026

В тепличном овощеводстве и ягодоводстве управление светом играет ключевую роль в повышении урожайности и качества продукции. Растения особенно активно используют красную и синюю части спектра для фотосинтеза, в то время как зеленый свет в значительной степени отражается. Французская компания Ondex разработала инновационное решение, которое позволяет эффективнее использовать доступный солнечный свет без дополнительных затрат на досветку. Французский производитель Ondex вывел на рынок диффузное тепличное покрытие OptiRed DIFFU100. Этот материал смещает часть зеленого спектра в красный, усиливая фотосинтетическую активность растений. В 2026 году начались масштабные производственные испытания покрытия в юго-западной Франции на экспериментальной станции Invenio-FL. Исследования проводятся на ремонтантной землянике, выращиваемой на гидропонике с марта по июль, и на перце, посаженном в почву с середины мая по октябрь. По замыслу разработчиков, увеличение доли красного света должно спосо ...>>

Планшет Acer A210 Eye-Care 06.06.2026

Компания Acer о выпустила новый планшет A210 Eye-Care - простое и практичное устройство начального уровня по привлекательной цене. Новый 8-дюймовый планшет Acer A210 Eye-Care оснащен IPS LCD-дисплеем с разрешением 1280x800 пикселей. Благодаря компактным размерам 120x204x7,8 мм устройство удобно лежит в руке и легко помещается в сумку. Тонкий корпус толщиной всего 7,8 мм делает его идеальным спутником для чтения электронных книг, просмотра веб-страниц, онлайн-обучения и потребления видеоконтента. Технология Eye-Care специально направлена на снижение нагрузки на глаза при длительном использовании. Планшет работает под управлением операционной системы Android 14 "из коробки" - это редкость для устройств такого ценового сегмента. Acer предлагает две основные конфигурации: 4 ГБ оперативной памяти с 64 ГБ встроенного хранилища и 6 ГБ ОЗУ с 128 ГБ памяти. Пользователи могут дополнительно расширить объем памяти с помощью карты microSD, что позволяет комфортно хранить приложения, фотограф ...>>

Умная капсула GISMO: миниатюрный анализ здоровья кишечника изнутри 05.06.2026

Медицина активно ищет способы сделать диагностику заболеваний желудочно-кишечного тракта менее инвазивной, комфортной и информативной. Триллионы бактерий, населяющих наш кишечник, производят множество веществ, которые могут сигнализировать о воспалениях, нарушениях микробиоты и даже ранних стадиях серьезных заболеваний задолго до появления симптомов. Именно поэтому ученые из Бельгии и Нидерландов разработали революционную технологию - крошечную умную капсулу, способную "путешествовать" по пищеварительной системе и собирать ценные химические данные в реальном времени. Капсула GISMO (Gastrointestinal Smart Module), созданная специалистами imec и OnePlanet Research Center, по размеру сравнима с конфетой Tic Tac. Пациенту достаточно проглотить ее, после чего устройство начинает каждые 20 секунд анализировать химическую среду кишечника, в частности окислительно-восстановительный потенциал (redox balance), уровень pH и температуру. Собранные данные передаются на небольшой приемник, которы ...>>

Робот-уборщик томатов черри 05.06.2026

В условиях острого дефицита рабочей силы в сельском хозяйстве многих стран, особенно в Японии с ее стареющим населением, автоматизация сбора урожая становится одним из главных направлений развития агротехнологий. Роботы, способные бережно и точно собирать деликатные культуры, помогают фермерам снижать трудозатраты и поддерживать стабильное производство. Ярким примером такого прогресса стала разработка японской компании Tokuiten Inc. Японская агротехнологическая компания Tokuiten Inc. сообщила, что ее робот для сбора томатов черри с всасывающим механизмом успешно завершил пилотную фазу. С 25 мая 2026 года машина работает в штатном режиме на органической ферме (сертифицированной по стандарту JAS) площадью 2000 м2 в городе Чита префектуры Аити. Это один из первых случаев в Японии, когда робот для уборки овощных культур используется в повседневном коммерческом производстве. В апреле 2026 года один робот обеспечивал сбор до 31 кг томатов черри в сутки. По результатам внутренних провер ...>>

Экологичный способ добычи лития без кислот и высоких температур 04.06.2026

Растущий спрос на литий, необходимый для производства аккумуляторов электромобилей и систем хранения энергии, ставит перед человечеством серьезные экологические и экономические вызовы. Традиционные методы добычи этого металла часто сопровождаются высоким потреблением воды, значительными выбросами углекислого газа и образованием вредных отходов. Однако ученые из Массачусетского технологического института (MIT) предложили инновационный подход, который может кардинально изменить ситуацию, сделав добычу лития из твердых пород более чистой, дешевой и устойчивой. Новый процесс, подробно описанный в исследовании, опубликованном в журнале Science в мае 2026 года, позволяет химически разделять минерал сподумен на литий, алюминий и кремний без использования кислот и высокотемпературного обжига. В отличие от традиционных технологий, этот низкотемпературный метод основан на применении фторида аммония, который безопасно растворяет силикатную матрицу породы, высвобождая ценные компоненты. Йет- ...>>

Случайная новость из Архива Микроконтроллер AT90SC12872RCFT для устройств идентификации личности 17.04.2004 Корпорация ATMEL представила новый микроконтроллер AT90SC12872RCFT специально для рынка устройств идентификации личности. Микроконтроллер имеет 72 Кбайта энергонезависимой памяти для хранения данных идентификации, а также 128 Кбайт постоянной памяти для хранения программ. Микроконтроллер имеет два контактных интерфейса и один бесконтактный. Имеются средства защиты, которые не позволяют перезаписать данные.

Смотрите полный Архив новостей науки и техники, новинок электроники

www.diagram.com.ua
2000-2026