Ñëó÷àéíàÿ íîâîñòü èç Àðõèâà Óïðàâëÿòü ñâåðõèíòåëëåêòóàëüíûì ÈÈ áóäåò íåâîçìîæíî
29.09.2022
Èäåÿ ñâåðæåíèÿ ÷åëîâå÷åñòâà èñêóññòâåííûì èíòåëëåêòîì îáñóæäàëàñü äåñÿòèëåòèÿìè, è â 2021 ãîäó ó÷åíûå âûíåñëè ñâîé âåðäèêò î òîì, ìîæíî ëè êîíòðîëèðîâàòü âûñîêîóðîâíåâûé êîìïüþòåðíûé ñâåðõðàçóì.
Çàãâîçäêà â òîì, ÷òî äëÿ óïðàâëåíèÿ ñâåðõðàçóìîì, íàõîäÿùèìñÿ äàëåêî çà ïðåäåëàìè ÷åëîâå÷åñêîãî ïîíèìàíèÿ, ïîòðåáóåòñÿ ñèìóëÿöèÿ ýòîãî ñâåðõðàçóìà, êîòîðûé ìîæíî àíàëèçèðîâàòü è êîíòðîëèðîâàòü. Íî åñëè ëþäè íå â ñîñòîÿíèè ýòî ïîíÿòü, òî ñîçäàòü òàêóþ ñèìóëÿöèþ íåâîçìîæíî.
Òàêèå ïðàâèëà, êàê "íå ïðè÷èíÿòü âðåäà ëþäÿì", íå ìîãóò áûòü óñòàíîâëåíû, åñëè ëþäè íå ïîíèìàþò, êàêèå ñöåíàðèè ìîæåò ïðåäëîæèòü ÈÈ. Êàê òîëüêî êîìïüþòåðíàÿ ñèñòåìà ðàáîòàåò íà óðîâíå âûøå âîçìîæíîñòåé íàøèõ ïðîãðàììèñòîâ, òî áîëüøå íåëüçÿ áóäåò óñòàíàâëèâàòü îãðàíè÷åíèÿ.
Ñâåðõðàçóì ïðåäñòàâëÿåò ñîáîé ïðèíöèïèàëüíî èíóþ ïðîáëåìó, ÷åì òå, êîòîðûå îáû÷íî èçó÷àþòñÿ ïîä ëîçóíãîì "ýòèêè ðîáîòîâ. Ýòî ñâÿçàíî ñ òåì, ÷òî ñâåðõðàçóì ìíîãîãðàíåí è, ñëåäîâàòåëüíî, ïîòåíöèàëüíî ñïîñîáåí ìîáèëèçîâàòü ðàçíîîáðàçíûå ðåñóðñû äëÿ äîñòèæåíèÿ öåëåé, ïîòåíöèàëüíî íåïîñòèæèìûõ äëÿ ëþäåé, íå ãîâîðÿ óæå î òîì, ÷òîáû èõ ìîæíî áûëî êîíòðîëèðîâàòü.
×àñòü ðàññóæäåíèé êîìàíäû èñõîäèëà èç ïðîáëåìû îñòàíîâêè, ñôîðìóëèðîâàííîé Àëàíîì Òüþðèíãîì â 1936 ãîäó. Ïðîáëåìà çàêëþ÷àåòñÿ â òîì, ÷òîáû óçíàòü, ïðèäåò ëè êîìïüþòåðíàÿ ïðîãðàììà ê âûâîäó è îòâåòó (ïîýòîìó îíà îñòàíîâèòñÿ), èëè ïðîñòî çàöèêëèòñÿ, ïûòàÿñü íàéòè åãî.
Ó÷åíûå îòìåòèëè, êàê äîêàçàë Òüþðèíã ñ ïîìîùüþ óìíîé ìàòåìàòèêè, õîòÿ ìû ìîæåì çíàòü ýòî äëÿ íåêîòîðûõ êîíêðåòíûõ ïðîãðàìì, ëîãè÷åñêè íåâîçìîæíî íàéòè ñïîñîá, êîòîðûé ïîçâîëèë áû íàì óçíàòü ýòî äëÿ êàæäîé ïîòåíöèàëüíîé ïðîãðàììû, êîòîðàÿ êîãäà-ëèáî ìîãëà áûòü íàïèñàíà. Ýòî âîçâðàùàåò íàñ ê ÈÈ, êîòîðûé â ñâåðõðàçóìíîì ñîñòîÿíèè ìîã áû îäíîâðåìåííî óäåðæèâàòü â ñâîåé ïàìÿòè âñå âîçìîæíûå êîìïüþòåðíûå ïðîãðàììû.
Ïî ñëîâàì ó÷åíûõ, ëþáàÿ ïðîãðàììà, íàïèñàííàÿ äëÿ òîãî, ÷òîáû íå äàòü ÈÈ ïðè÷èíèòü âðåä ëþäÿì è óíè÷òîæèòü ìèð, íàïðèìåð, ìîæåò ïðèéòè ê âûâîäó (è îñòàíîâèòüñÿ) èëè íåò - ìàòåìàòè÷åñêè íåâîçìîæíî áûòü àáñîëþòíî óâåðåííûì â ëþáîì ñëó÷àå, à ýòî çíà÷èò, ÷òî åå íåëüçÿ ñäåðæàòü. Ó÷åíûå çàÿâèëè, ÷òî àëüòåðíàòèâà îáó÷åíèþ ÈÈ íåêîòîðûì ýòè÷åñêèì íîðìàì è óêàçàíèþ åìó íå ðàçðóøàòü ìèð - òî, â ÷åì íè îäèí àëãîðèòì íå ìîæåò áûòü àáñîëþòíî óâåðåí, - çàêëþ÷àåòñÿ â îãðàíè÷åíèè âîçìîæíîñòåé ñâåðõðàçóìà.
"Èññëåäîâàíèå òàêæå îòâåðãëî ýòó èäåþ, ïðåäïîëàãàÿ, ÷òî ýòî îãðàíè÷èò âîçìîæíîñòè ÈÈ. Àðãóìåíò ñîñòîèò â òîì, ÷òî åñëè ìû íå ñîáèðàåìñÿ èñïîëüçîâàòü åãî äëÿ ðåøåíèÿ ïðîáëåì, âûõîäÿùèõ çà ðàìêè ÷åëîâå÷åñêèõ âîçìîæíîñòåé, òî çà÷åì âîîáùå åãî ñîçäàâàòü? Åñëè ìû ñîáèðàåìñÿ ïðîäâèãàòüñÿ âïåðåä ñ ÈÈ, ìû ìîæåì äàæå íå çíàòü, êîãäà ïîÿâèòñÿ ñâåðõðàçóì, íåïîäâëàñòíûé íàøåìó êîíòðîëþ, òàêîâà åãî íåïîñòèæèìîñòü. Ýòî îçíà÷àåò, ÷òî íàì íóæíî íà÷àòü çàäàâàòü ñåðüåçíûå âîïðîñû î òîì, â êàêîì íàïðàâëåíèè ìû äâèæåìñÿ", - îòìåòèëè ó÷åíûå.
|