Управлять сверхинтеллектуальным ИИ будет невозможно

29.09.2022

Идея свержения человечества искусственным интеллектом обсуждалась десятилетиями, и в 2021 году ученые вынесли свой вердикт о том, можно ли контролировать высокоуровневый компьютерный сверхразум.

Загвоздка в том, что для управления сверхразумом, находящимся далеко за пределами человеческого понимания, потребуется симуляция этого сверхразума, который можно анализировать и контролировать. Но если люди не в состоянии это понять, то создать такую симуляцию невозможно.

Такие правила, как "не причинять вреда людям", не могут быть установлены, если люди не понимают, какие сценарии может предложить ИИ. Как только компьютерная система работает на уровне выше возможностей наших программистов, то больше нельзя будет устанавливать ограничения.

Сверхразум представляет собой принципиально иную проблему, чем те, которые обычно изучаются под лозунгом "этики роботов. Это связано с тем, что сверхразум многогранен и, следовательно, потенциально способен мобилизовать разнообразные ресурсы для достижения целей, потенциально непостижимых для людей, не говоря уже о том, чтобы их можно было контролировать.

Часть рассуждений команды исходила из проблемы остановки, сформулированной Аланом Тьюрингом в 1936 году. Проблема заключается в том, чтобы узнать, придет ли компьютерная программа к выводу и ответу (поэтому она остановится), или просто зациклится, пытаясь найти его.

Ученые отметили, как доказал Тьюринг с помощью умной математики, хотя мы можем знать это для некоторых конкретных программ, логически невозможно найти способ, который позволил бы нам узнать это для каждой потенциальной программы, которая когда-либо могла быть написана. Это возвращает нас к ИИ, который в сверхразумном состоянии мог бы одновременно удерживать в своей памяти все возможные компьютерные программы.

По словам ученых, любая программа, написанная для того, чтобы не дать ИИ причинить вред людям и уничтожить мир, например, может прийти к выводу (и остановиться) или нет - математически невозможно быть абсолютно уверенным в любом случае, а это значит, что ее нельзя сдержать. Ученые заявили, что альтернатива обучению ИИ некоторым этическим нормам и указанию ему не разрушать мир - то, в чем ни один алгоритм не может быть абсолютно уверен, - заключается в ограничении возможностей сверхразума.

"Исследование также отвергло эту идею, предполагая, что это ограничит возможности ИИ. Аргумент состоит в том, что если мы не собираемся использовать его для решения проблем, выходящих за рамки человеческих возможностей, то зачем вообще его создавать? Если мы собираемся продвигаться вперед с ИИ, мы можем даже не знать, когда появится сверхразум, неподвластный нашему контролю, такова его непостижимость. Это означает, что нам нужно начать задавать серьезные вопросы о том, в каком направлении мы движемся", - отметили ученые.

<< Назад: Куркумин предотвратит потерю зрения 29.09.2022

>> Вперед: Дрожжам пересажены человеческие гены 28.09.2022

Последние новости науки и техники, новинки электроники:

Чувства кота, ожидаюшего возвращения хозяина 16.07.2026

Многие владельцы кошек уверены, что их питомцы совершенно равнодушны к уходу человека из дома. Считается, что кошки - независимые существа, которые спокойно переносят одиночество и даже радуются, оставаясь одни. Однако испанские специалисты по поведению животных считают, что реальность гораздо сложнее. Реакция кошки на отсутствие хозяина зависит от ее индивидуального характера, степени привязанности к человеку и привычного распорядка дня. Кошки хорошо запоминают ежедневные ритуалы своих владельцев. Они способны связывать определенные звуки - звон ключей, шаги у двери или звук закрывающегося замка - с предстоящим уходом человека. Для одних животных эти сигналы означают возможность спокойно лечь спать, а для других становятся причиной беспокойства и длительного ожидания возвращения хозяина. Таким образом, кошка не просто "не замечает" уход, а активно реагирует на связанные с ним изменения в окружающей обстановке. Исследования поведения кошек показывают, что некоторые из них действи ...>>

Целесообразность приема пробиотиков после курса антибиотиков 16.07.2026

Антибиотики остаются одним из самых мощных инструментов современной медицины в борьбе с бактериальными инфекциями. Однако их действие не ограничивается уничтожением только вредных микроорганизмов. Эти препараты способны существенно влиять на состав кишечной микрофлоры, что часто вызывает вопросы у пациентов: насколько серьезны эти изменения, как долго они сохраняются и нужно ли после курса антибиотиков принимать пробиотики для восстановления. На эти вопросы попытались ответить исследователи, проанализировав имеющиеся научные данные. Во время приема антибиотиков многие люди сталкиваются с неприятными симптомами со стороны пищеварительной системы: тошнотой, болями или спазмами в животе, а также диареей. Такие реакции возникают потому, что препараты воздействуют не только на возбудителей инфекции, но и на полезные бактерии, которые населяют кишечник и участвуют в пищеварении, синтезе витаминов и поддержании иммунитета. Некоторые антибиотики, например азитромицин, могут напрямую влия ...>>

Резкое похудение и возврат веса могут навредить сердцу 15.07.2026

Многие люди, желая быстро избавиться от лишних килограммов, прибегают к строгим диетам с резким ограничением калорий. Достигнув желаемого результата, они часто постепенно или быстро возвращаются к прежнему рациону и прежнему весу. На первый взгляд это кажется лишь вопросом внешнего вида, однако ученые предупреждают: постоянные колебания массы тела могут оказывать негативное влияние на сердечно-сосудистую систему и обмен веществ. Так называемый эффект йо-йо, когда периоды активного похудения сменяются повторным набором веса, становится все более распространенным явлением. Новые исследования указывают на возможную связь между такими циклами и ухудшением работы сердца. Организм способен адаптироваться к изменениям питания, но постоянное повторение резких переходов между ограничением калорий и перееданием создает дополнительную нагрузку на различные системы. В одном из экспериментов на лабораторных животных исследователи моделировали эффект йо-йо, периодически снижая калорийность рац ...>>

Разбрасыватель минудобрений Rauch Axis 55 15.07.2026

Немецкая компания Rauch, известная своими высокоточными сельскохозяйственными машинами, представила на выставке DLG Feldtage новый флагманский разбрасыватель минеральных удобрений Axis 55. Эта модель пришла на смену предыдущей версии Axis 50.2 и стала самой крупной в актуальной линейке производителя после выхода более компактной Axis 25 в прошлом году. Новая машина сочетает в себе повышенную производительность, расширенный диапазон рабочих ширин и усовершенствованные системы контроля внесения. Одной из главных технических особенностей Axis 55 стала значительно увеличенная максимальная производительность внесения - до 675 кг удобрений в минуту. Это на 30 % больше по сравнению с предшественником. Благодаря такому показателю разбрасыватель способен обеспечивать норму внесения до 900 кг/га при рабочей ширине 36 метров и скорости движения машины 25 км/ч. При этом устройство сохраняет возможность работы с очень низкими нормами внесения, например, при распределении гранул против улиток, бе ...>>

Антоцианы черники: природная защита для зрения в темноте 14.07.2026

Специалисты все активнее изучают влияние растительных веществ на здоровье глаз. Особое внимание привлекают антоцианы - природные пигменты, которые придают яркую окраску многим ягодам и овощам. Новые данные показывают, что эти соединения способны не только защищать клетки глаз от окислительного стресса, но и ускорять восстановление родопсина - ключевого пигмента, отвечающего за способность видеть в условиях низкой освещенности. Антоцианы содержатся в большом количестве в чернике, голубике, ежевике, черной смородине, а также в краснокочанной капусте и некоторых других красных, синих и фиолетовых продуктах. Эти вещества обладают мощными антиоксидантными и противовоспалительными свойствами. Они помогают нейтрализовать активные формы кислорода, которые повреждают клетки сетчатки и способствуют развитию хронического воспаления. По данным исследователей, антоцианы оказывают комплексное положительное влияние на зрительную систему. Они улучшают микроциркуляцию крови в сетчатке, поддержива ...>>

Случайная новость из Архива Перезапуск Большого Адронного Коллайдера 30.04.2022 Представители Европейской организации ядерных исследований CERN объявили о том, что процесс обслуживания и модернизации Большого Адронного Коллайдера завершен, самый большой и мощный ускоритель частиц полностью смонтирован и готов к работе. Более того, специалисты CERN уже провели первые "разминочные" запуски двух лучей протонов, движущихся в противоположных направлениях. Однако, процедура запуска коллайдера - это дело небыстрое, и пройдет еще несколько месяцев до того момента, когда в недрах ускорителя начнутся столкновения лучей частиц с рекордными энергетическими показателями. Модернизация, которой подвергалось оборудование коллайдера, начиная с декабря 2018 года, позволит ему работать на еще более высоких энергетических уровнях. Если во время тестовых запусков энергия инжекции луча протонов составляла 450 миллиардов электронвольт (450 ГэВ), то в рабочем режиме эта энергия уже будет составлять 13,6 триллионов электронвольт (13,6 ТэВ). По предварительным расчетам, количество столкновений протонов во время третьего периода (Run 3) работы коллайдера увеличится в три раза. Количество же столкновений тяжелых ионов увеличится в 50 раз по сравнению с аналогичными показателями предыдущего периода работы. В результате всего этого и количество столкновений и количество собранных данных значительно превысит суммарное количество за оба предыдущих периода работы коллайдера, Run 1 и Run 2. Используя столь обширный набор новых данных, ученые-физики надеются распутать большее количество тайн и загадок, связанных с бозоном Хиггса, который связан с так называемыми полями Хиггса, которые, в свою очередь, дают их массу другим элементарным частицам. Помимо этого, ученые планируют изучить тонкости взаимодействий между бозонами Хиггса, "разблокировать двери" к нашему пониманию темной материи и темной энергии, узнать больше о таинственных частицах нейтрино и распутать больше тайн, имеющих отношение к устройству Вселенной на субатомном уровне. Предстоящая волна экспериментов в Женеве будет содержать в себе целый ряд самых строгих тестов, которые будут проверять достоверность самой современной теории об устройстве нашего мира, Стандартной Модели физики элементарных частиц.

Смотрите полный Архив новостей науки и техники, новинок электроники

www.diagram.com.ua
2000-2026