Управлять сверхинтеллектуальным ИИ будет невозможно

29.09.2022

Идея свержения человечества искусственным интеллектом обсуждалась десятилетиями, и в 2021 году ученые вынесли свой вердикт о том, можно ли контролировать высокоуровневый компьютерный сверхразум.

Загвоздка в том, что для управления сверхразумом, находящимся далеко за пределами человеческого понимания, потребуется симуляция этого сверхразума, который можно анализировать и контролировать. Но если люди не в состоянии это понять, то создать такую симуляцию невозможно.

Такие правила, как "не причинять вреда людям", не могут быть установлены, если люди не понимают, какие сценарии может предложить ИИ. Как только компьютерная система работает на уровне выше возможностей наших программистов, то больше нельзя будет устанавливать ограничения.

Сверхразум представляет собой принципиально иную проблему, чем те, которые обычно изучаются под лозунгом "этики роботов. Это связано с тем, что сверхразум многогранен и, следовательно, потенциально способен мобилизовать разнообразные ресурсы для достижения целей, потенциально непостижимых для людей, не говоря уже о том, чтобы их можно было контролировать.

Часть рассуждений команды исходила из проблемы остановки, сформулированной Аланом Тьюрингом в 1936 году. Проблема заключается в том, чтобы узнать, придет ли компьютерная программа к выводу и ответу (поэтому она остановится), или просто зациклится, пытаясь найти его.

Ученые отметили, как доказал Тьюринг с помощью умной математики, хотя мы можем знать это для некоторых конкретных программ, логически невозможно найти способ, который позволил бы нам узнать это для каждой потенциальной программы, которая когда-либо могла быть написана. Это возвращает нас к ИИ, который в сверхразумном состоянии мог бы одновременно удерживать в своей памяти все возможные компьютерные программы.

По словам ученых, любая программа, написанная для того, чтобы не дать ИИ причинить вред людям и уничтожить мир, например, может прийти к выводу (и остановиться) или нет - математически невозможно быть абсолютно уверенным в любом случае, а это значит, что ее нельзя сдержать. Ученые заявили, что альтернатива обучению ИИ некоторым этическим нормам и указанию ему не разрушать мир - то, в чем ни один алгоритм не может быть абсолютно уверен, - заключается в ограничении возможностей сверхразума.

"Исследование также отвергло эту идею, предполагая, что это ограничит возможности ИИ. Аргумент состоит в том, что если мы не собираемся использовать его для решения проблем, выходящих за рамки человеческих возможностей, то зачем вообще его создавать? Если мы собираемся продвигаться вперед с ИИ, мы можем даже не знать, когда появится сверхразум, неподвластный нашему контролю, такова его непостижимость. Это означает, что нам нужно начать задавать серьезные вопросы о том, в каком направлении мы движемся", - отметили ученые.

<< Назад: Куркумин предотвратит потерю зрения 29.09.2022

>> Вперед: Дрожжам пересажены человеческие гены 28.09.2022

Последние новости науки и техники, новинки электроники:

Расставание действительно может причинять физическую боль 16.09.2026

Разрыв отношений с близким человеком способно вызывать настолько сильные переживания, что привычное выражение "разбитое сердце" иногда воспринимается почти буквально. Человек может испытывать тревогу, тоску и эмоциональное напряжение, сопровождающиеся вполне реальными телесными ощущениями. Исследования работы мозга показывают, что такая связь между эмоциональными и физическими страданиями может иметь вполне определенную нейробиологическую основу. Эксперимент, позволивший изучить этот вопрос, провела команда психолога Итана Кросса из Мичиганского университета. В исследовании участвовали 40 человек, недавно переживших расставание по инициативе партнера. Все добровольцы продолжали остро реагировать на произошедшее, что позволило исследователям изучить мозговую активность в период наиболее сильных переживаний. Во время эксперимента участников помещали в аппарат магнитно-резонансной томографии. Испытуемым поочередно показывали фотографию бывшего партнера и подвергали предплечье воздей ...>>

Научно доказана невозможность создания нейтринного лазера 16.09.2026

Лазер давно перестал быть исключительно лабораторной технологией: сегодня он используется в связи, медицине, промышленности и научных исследованиях. Поэтому физики периодически предлагают необычные варианты устройств, способных работать по аналогичным принципам, но с другими типами частиц. В 2025 году появилась идея создать лазер, формирующий направленный поток нейтрино. Однако последующий теоретический анализ показал, что привлекательная на первый взгляд концепция сталкивается не просто с техническими трудностями, а с фундаментальными законами квантовой физики. Первоначальную концепцию предложили профессор Массачусетского технологического института (MIT) Джо Формаджио (Joe Formaggio) и Бен Джонс (Ben Jones) из Техасского университета в Арлингтоне. Согласно их замыслу, облако радиоактивных атомов следовало охладить до сверхнизких температур порядка нанокельвинов - миллиардных долей кельвина. В таких условиях атомы могли бы сформировать Бозе - Эйнштейновский конденсат, особое квантов ...>>

Индекс нижнего белья раскрыл состояние швейцарских почв 15.09.2026

Почва кажется обычной частью окружающего нас ландшафта, однако под ее поверхностью существует сложная экосистема, от состояния которой напрямую зависит жизнь человека. Миллиарды микроорганизмов, черви, грибы и другие обитатели почвы перерабатывают органические вещества и участвуют в круговороте питательных элементов. Чтобы привлечь внимание общества к этой мало заметной проблеме, исследователи из Цюрихского университета придумали весьма необычный эксперимент: они закопали более 2000 пар хлопкового нижнего белья в садах, на лугах, полях и газонах по всей Швейцарии. Проект получил название "Доказательство в виде нижнего белья" и представлял собой не массовую шутку, а научный эксперимент, позволяющий наглядно оценить биологическую активность почвы. Исследователи помещали хлопковые изделия в землю, а примерно через два месяца извлекали их и сравнивали степень разрушения ткани. Некоторые образцы за это время практически исчезали, оставляя лишь отдельные фрагменты швов, тогда как на други ...>>

Гибкий алмаз вырабатывает электричество 15.09.2026

Алмаз традиционно воспринимается как исключительно твердый и практически неподвижный материал, поэтому возможность получать из него электричество при механической деформации долгое время казалась невероятной. В начале XX века алмаз относили к непьезоэлектрическим материалам, то есть считалось, что при сжатии или изгибе он, в отличие от кварца, не способен создавать электрический заряд. Однако исследователи из Университета Гонконга обнаружили, что при определенных условиях это представление требует пересмотра. Проблема заключалась прежде всего в физической природе самого минерала. Обычный алмаз настолько тверд, что заметно согнуть его практически невозможно. Поэтому специалисты использовали другой подход и изготовили из алмаза чрезвычайно тонкую гибкую мембрану. После механического воздействия на такую конструкцию измерительные приборы зарегистрировали устойчивые электрические сигналы. Эксперименты неоднократно повторяли и проводили в различных условиях, чтобы исключить случайное про ...>>

Найдена химическая причина возрастных изменений запаха кожи 14.09.2026

Запах человеческого тела меняется на протяжении всей жизни, и особенно заметные изменения могут происходить в пожилом возрасте. Речь идет не только о привычном запахе пота или особенностях гигиены: старение сопровождается целым комплексом биохимических процессов в коже, способных влиять на ее естественный запах. Ученые обнаружили одно из веществ, которое связывают с характерным ароматом, часто называемым "запахом старости". Исследователи установили, что важную роль в этом процессе играет 2-ноненаль - органическое соединение из группы ненасыщенных жирных альдегидов. Это вещество обладает характерным запахом, который нередко описывают как сочетание прогорклого масла и затхлого картона. Его количество в коже увеличивается по мере старения организма, поэтому концентрация 2-ноненаля рассматривается специалистами как одна из биохимических причин возрастного изменения запаха. По словам дерматологов, заметные изменения начинают становиться более вероятными после 40 лет. Доктор Сонал Чоуд ...>>

Случайная новость из Архива Молоко будут давать микробы 11.06.2021 Стартап New Culture, специализирующийся на разработке микробов для культивирования молочных белков без использования коров, планирует выпустить к 2023 г. первую моцареллу. Об этом рассказал соучредитель New Culture Мэтт Гиббсон. В то время, как альтернативные молочные продукты стремительно заполняют международный рынок, сыр несколько отстает в развитии, поскольку функциональные качества коровьего белка - казеина, ответственного за эластичность сыров, таких как моцарелла, тяжело воспроизвести. "Казеиновые белки очень сложно получить с помощью точной ферментации, но мы сделали прорыв в производстве значительных количеств казеинового белка неживотного происхождения. Эта возможность позволяет нам быть единственной компанией по производству моцареллы без коровьего молока", - говорит Гиббсон. Стартап использует методы синтетической биологии для вставки последовательностей ДНК в микробы, которые эффективно "программируют" их в целевые белки - альфа-, каппа- и бета-казеины. Они формируют мицеллы казеина или кластеры казеиновых белков, которые идентичны белкам коровьего молока. Новый продукт будет иметь абсолютно чистую этикетку. Помимо культивированного казеина в состав входят растительные жиры, небольшое количество сахара, соли, витамины и минералы. Кальций и другие соли, которые содержатся в коровьем молоке, будут использоваться как катализатор для образования мицелл казеина, параллельно "упаковываясь" в мицеллы белка. Несмотря на то, что казеиновые белки производятся генно-инженерным микробом, этот микроб не присутствует непосредственно в казеине, поэтому конечный продукт будет без ГМО. В первую очередь моцарелла из некоровьего молока появится в заведениях общественного питания.

Смотрите полный Архив новостей науки и техники, новинок электроники

www.diagram.com.ua
2000-2026