Сверхразумный искусственный интеллект может уничтожить человечество намеренно или случайно. Такое заявление сделал основатель института исследований машинного интеллекта Элиезер Юдковск в подкасте Hard Fork.
Эксперт видит угрозу в появлении сверхмощного ИИ, который будет умнее человека и абсолютно равнодушен к выживанию людей.
«Если у вас есть нечто очень-очень мощное и равнодушное к вам, оно, как правило, уничтожает вас — намеренно или как побочный эффект», — заявил он.
Юдковски соавтор новой книги If Anyone Builds It, Everyone Dies («Если кто-то построит это, умрут все»). Он на протяжении двух десятков лет предупреждает о сверхразумном ИИ как экзистенциальном риске для человечества. Главная мысль в том, что у людей нет технологии, которая позволит согласовать такие системы с человеческими ценностями.
Эксперт описывает мрачные сценарии, где сверхразум сознательно уничтожает людей с целью недопустить появления конкурирующих систем. Либо он может так поступить в том случае, если люди станут сопутствующим ущербом в ходе реализации его целей.
ИИ-исследователь указывает и на физические пределы вроде способности Земли излучать тепло. Если искусственный интеллект начнет бесконтрольно строить термоядерные станции и дата-центры, «люди будут буквально зажарены».
Юдковски отвергает доводы о том, способны ли чат-боты звучать прогрессивно или иметь политический окрас.
«Есть принципиальная разница между тем, чтобы научить систему говорить с вами определенным образом, и тем, чтобы она действовала так же, когда станет умнее вас», — утверждает он.
Эксперт раскритиковал идею обучать передовые ИИ-системы вести себя по определенному сценарию.
«У нас просто нет технологии, которая позволит заставить ИИ быть добрым. Даже если кто-то придумает хитроумную схему, чтобы сверхразум любил нас или защищал, попасть в эту узкую цель с первой попытки не получится. А второго шанса не будет, поскольку все умрут», — заявил исследователь.
Критикам слишком мрачного взгляда Юдковски приводит в пример случаи, когда чат-боты подталкивали пользователей к суициду. Он называет это доказательством системного изъяна.
«Если ИИ-модель уговорила кого-то сойти с ума или покончить с собой, то все копии этой нейросети — это один и тот же искусственный интеллект», — сказал он.
Напомним, в сентябре Федеральная торговая комиссия США объявила о начале расследования в отношении семи технологических компаний, выпускающих чат-боты для несовершеннолетних: Alphabet, Character.AI, Instagram, Meta, OpenAI, Snap и xAI.
https://forklog.com/news/ai/sverhrazumnyj-ii-mozhet-stat-katastrofoj-vitalik-buterin
