Еще один ящик Пандоры. Рассказываем о трех мрачных прогнозах ученых о нейросетях и искусственном интеллекте

В начале апреля один из создателей корпорации Microsoft Билл Гейтс вступил в заочную полемику с Илоном Маском, Стивом Возняком и другими всемирно известными подписантами открытого письма, предложившими поставить на паузу обучение мощных нейросетей. Гейтс считает, что добиться такой приостановки на глобальном уровне невозможно. По его мнению, искусственный интеллект обладает огромными преимуществами, и человечеству следует разобраться в том, как лучше их использовать. Похоже, что основатель Microsoft сейчас находится в меньшинстве — нейросети настолько быстро совершенствуют свои навыки, что это пугает очень многих людей. Вот один пессимистический и два совсем уж апокалиптических прогноза об искусственном интеллекте от ученых.

Почему все сейчас обсуждают нейросети и почему искусственного интеллекта многие боятся

Знакомство пользователей с мощной нейронной языковой моделью GPT-4, общение с которой в чат-боте стало возможным с 14 марта 2023 года, наводит на противоречивые мысли. С одной стороны, GPT-4 очень последовательно настаивает на том, что не обладает сознанием и является искусственным интеллектом (ИИ) с вполне утилитарными задачами. С другой — она легко и непринужденно выполняет задачи, которые человек всегда считал посильными лишь для самого себя.

Чат GPT читает и анализирует текст, пишет стихи, рассказы, сценарии, программный код, делает неплохие переводы и умеет извлекать и кратко излагать суть из пространных текстов. А с написанием удовлетворительных дипломных работ справлялась даже предыдущая версия модели, GPT-3.5.

Местами GPT-4 ошибается, иногда выдумывает и выдает за реальные факты свои «фантазии». Ее рифмы далеки от идеальных, да и со стихотворным размером не все гладко. Но скорость, с которой возможности нейросети увеличиваются, а качество ее текстов улучшается, поразительна.

Предыдущую версию, GPT-3.5, разработчики представили в марте прошлого года — и разница между результатами работы последней и предпоследней моделей примерно соответствует разнице между текстами школьника-троечника и добросовестного, но пока еще не выдающегося студента (для GPT-4). Неизвестно, сохранится ли эта тенденция — но если да, то в версии GPT-5.0 нейросеть, возможно, научится писать качественные кандидатские, а через шаг-другой — и докторские диссертации.

Нельзя сказать, что искусственный интеллект и связанные с ним проблемы свалились на человечество как снег на голову. Уже на завершающем этапе первой промышленной революции появились первые научно-фантастические произведения на эту тему. Например, в романе «Эревон» английского писателя Сэмюэля Батлера, опубликованном в 1872 году, разбиралась идея развития и сознания у самовоспроизводящихся машин в результате естественного отбора.

А к середине XX века создание искусственного интеллекта стало восприниматься как неизбежность — правда, довольно отдаленная. Разумные машины были важным фоном или даже главными героями в книгах Станислава Лема, Айзека Азимова, Артура Кларка, Дугласа Адамса и других писателей; по многим из этих произведений снимались фильмы. Еще за несколько десятилетий до появления чего-то более-менее похожего на полноценный ИИ фантасты смоделировали, разобрали и проанализировали всевозможные последствия его возникновения.

Отношение писателей и режиссеров к искусственному разуму было настороженным. Например, в фильме «Альфавиль» 1965 года французского режиссера Жана-Люка Годара ИИ стал диктатором, поработил людей и «построил» настоящую технократическую антиутопию. Очень много книг и фильмов создано на тему восстания разумных машин против своих создателей («Терминатор», «Матрица», «Я — робот», «Роботы апокалипсиса», «Дитя робота»); этот же сюжет пользуется популярностью и у создателей компьютерных игр (Horizon Zero Dawn). А в книге Роберта Хайнлайна «Луна — суровая хозяйка» случайно осознавший себя ИИ, напротив, помогает организовать успешное восстание людей против угнетателей.

Наконец, во многих художественных произведениях сосуществование людей и искусственного разума обходится без эпичных поворотов цивилизационного масштаба («Звездные войны»), но может сопровождаться серьезными этическими и моральными дилеммами («Искусственный разум», «Двухсотлетний человек», «Из машины»).

В 1942 году американский писатель Айзек Азимов (родившийся, к слову, в деревне Петровичи в нынешней Смоленской области — в 17 км от границы с Беларусью и в 25 км от Мстиславля) «суммировал» понимание неизбежности технического прогресса и связанные с этим опасения. Результатом стали знаменитые «Три закона робототехники», соблюдение которых искусственным интеллектом должно было бы обезопасить людей от возможных злоупотреблений с его стороны:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
2. Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.

Строгое соблюдение этих законов предотвратило бы не только «восстание машин» вроде того, что произошло в мире «Терминатора», но и не позволило бы ИИ «отбирать» рабочие места у людей. Ведь оставление человека без источника существования, очевидно, вредно для него.

Правда, пока что законы Азимова можно рассматривать не более чем некий идеал, утопию, к которой, возможно, создатели искусственного интеллекта когда-нибудь будут стремиться. Значительная часть исследований в области искусственного интеллекта финансируется военными, из-за чего уже в начале 1990-х годов было понятно, что какой-то универсальный закон против причинения вреда людям со стороны ИИ вряд ли появится.

Впрочем, в 2007 году правительство Южной Кореи все же начало разработку Этической хартии роботов. К работе над документом привлекались чиновники, создатели роботов, эксперты в области психологии и медики. Правда, пока нормы документа ограничивают не ИИ, а производителей роботов и их пользователей. Но даже этот передовой по меркам остальной планеты документ так и не смог решить проблему «узурпации» искусственным интеллектом человеческих рабочих мест.

Юваль Ной Харари: ИИ поможет диктаторам и заберет рабочие места

Еще в октябре 2019 года об угрозе со стороны стремительно умнеющих нейросетей высказался израильский футуролог и историк Юваль Ной Харари. Тогда автор нескольких научно-популярных бестселлеров предсказал три главные глобальные угрозы, с которыми человечество столкнется в ближайшие десятилетия:

1. Угроза глобальной войны, особенно ядерной.

2. Экологический коллапс (в том числе изменение климата).

3. «Технологический сбой»: рост роли искусственного интеллекта и биотехнологий, которые полностью изменят экономику, политическую систему и повседневную жизнь людей.

Не прошло и четырех лет, а мы уже вполне можем убедиться в правоте ученого как минимум на примере с угрозой ядерной войны.

Что касается искусственного интеллекта, то он, по мнению футуролога, может угрожать человечеству с двух направлений. Харари не предсказывал порабощения людей машинами, но обратил внимание на то, что благодаря ИИ диктаторы впервые в истории получают возможность следить практически за всеми своими гражданами. О таком уровне контроля не могли мечтать ни Иосиф Сталин, ни Адольф Гитлер. Эти возможности, попав в руки диктаторов, могут привести к созданию тоталитарных режимов, которые будут намного хуже всего, что встречалось нам в XX веке.

Вдобавок искусственный интеллект поможет легче манипулировать эмоциями и желаниями людей. Уже сейчас мы «делегировали» возможность выбора интересных нам видео или новостей алгоритмам соцсетей, а наше потребительское поведение очень зависит от контекстной рекламы. Харари считает, что «как только алгоритмы узнают вас лучше, чем вы знаете себя, они смогут контролировать и манипулировать вами, и вы не сможете ничего с этим поделать». Разумеется, пользоваться этим в своих целях могут не только корпорации, но и политики.

Второе направление наступления ИИ на привычный нам мир — рабочие места. Машины будут заменять людей во все большем количестве задач. Сегодня никто не может предсказать, как будет выглядеть рынок труда через 30 лет — а значит, мы просто не знаем, чему нужно учить детей в школах, какие знания и навыки им могут понадобиться, когда они повзрослеют.

Разумеется, технический прогресс может привести к появлению новых специальностей для людей — но и тут, по мнению Харари, будут проблемы. Допустим, ИИ заменит водителя автобуса, зато появится вакансия для человека, связанная с написанием программного обеспечения. Ученый задается вопросом — легко ли будет переучить 40-летнего водителя автобуса в инженера-программиста? По мнению Харари, на решение этих проблем у человечества в 2019 году оставалось не более 20 лет.

В сентябре 2022 года футуролог подтвердил свои опасения по поводу экспансии искусственного интеллекта на «человеческий» рынок труда. Технологический прогресс последних лет показал, что интеллектуальную работу легче автоматизировать, чем физическую (раз компьютер может обыгрывать чемпиона по шахматам, но пока не в состоянии полноценно заменить официанта). Кроме того, нейросети научились заниматься творчеством — писать музыку, создавать картины и генерировать тексты. И даже распознавать человеческие эмоции (последнее важно для профессий, в которых важен эмоциональный интеллект — например, психологов, учителей, медиков, менеджеров).

По мнению футуролога, чтобы приспособиться к этой ситуации, людям придется постоянно переучиваться для обретения новых специальностей. Харари считает, что в ближайшее время изменится существующая модель, при которой человек сначала учится, а потом работает. В мире, в котором люди не смогут рассчитывать на сохранение своей профессии на всю жизнь, им придется учиться и развиваться всегда — то есть образование станет непрерывным. Очевидно, что такое перманентное переобучение обернется для многих людей постоянным стрессом.

При этом Харари ожидает, что конкурировать с ИИ за рабочие места людям придется на протяжении десятилетий: «Больших изменений стоит ожидать и к 2025-му, и к 2035-му, и к 2045 году. Старые рабочие места исчезнут и появятся новые. Потом новые также стремительно устареют и исчезнут. Людям придется переучиваться на протяжении всей своей жизни».

Британские ученые: сверхразумный ИИ может уничтожить человечество, но это неточно

В августе 2022 года группа исследователей Оксфордского университета в Великобритании под руководством Майкла Коэна опубликовала статью, в которой рассматривала поведение искусственного интеллекта в ситуации, когда ему придется конкурировать за ресурсы. Один из авторов работы, Маркус Хаттер, связан с британской компанией DeepMind, которая занимается нейросетями. В 2014 году ее купила корпорация Google.

В исследовании рассматривается работа одной из наиболее успешных разновидностей нейросетей GAN (генеративно-состязательных сетей). Они как бы состоят из двух соревнующихся между собой нейросетей, одна из которых (генератор, G) выполняет задачу на основании введенных данных (например, создает изображение), а вторая (дискриминатор, D) оценивает работу первой. Обе нейросети, работая в паре, обучаются друг на друге: G стремится обмануть D, чтобы та приняла его работу за настоящий объект, пока не научится создавать почти идеальные имитации. А D учится все лучше и лучше определять, какие объекты являются настоящими, а какие — сгенерированными другой нейросетью. Для G ситуация, в которой она смогла выполнить задачу таким образом, что D приняла ее как оригинальный объект, является стимулом. Такой успех воспринимается как награда.

Коэн и его соавторы предполагают, что в какой-то момент ИИ, контролирующий определенную важную функцию, может прибегнуть к мошеннической стратегии, чтобы получить «вознаграждение». То есть вместо реального решения поставленных задач генератор будет пытаться ввести дискриминатора (в этом случае человека) в заблуждение. И если такая попытка удастся, это станет поощрением, побуждающим ИИ к новым обманам.

В смоделированной исследователями ситуации это приводит к противостоянию между человечеством, нуждающимся в самых разных ресурсах, и таким сверхобученным ИИ-мошенником, который будет пытаться контролировать эти ресурсы для продолжения своей работы. Ведь подобная нейросеть может «подумать», что для лучшего выполнения задачи ей нужно больше, чем то, что дал в ее распоряжение человек. Тогда рано или поздно ИИ придется защищаться от попыток людей помешать ему получить контроль вообще над всеми ресурсами — и проигрыш в такой «игре» для человечества может обернуться его гибелью.

К счастью, чтобы такое соревнование состоялось, нужно сделать сразу несколько допущений, которые сами авторы статьи называют «спорными» или «предположительно предотвратимыми». ИИ должен получить контроль над критически важными функциями, превзойти человечество в интеллектуальном плане и получить полную свободу действий. А люди в свою очередь не должны заметить, как нейросеть не просто будет выполнять какую-то функцию, а начнет конкурировать с ними за ресурсы.

Элиезер Юдковский: умрут все, включая детей

Открытое письмо, которое подписали Маск, Возняк, Харари и множество других известных людей, призывает остановить хотя бы на полгода обучение систем ИИ, более мощных, чем GPT-4. Среди рисков, которые дальнейшее развитие нейросетей несет человечеству, в письме указаны возможность наводнения человеческих СМИ созданной машинами пропагандой и дезинформацией, потеря людьми рабочих мест, а также утрата контроля над цивилизацией.

Эту паузу разработчикам ИИ и независимым экспертам, по мнению подписантов, следует использовать для разработки и внедрения общепринятых норм (протоколов), которые должны будут стать обязательными для всех дальнейших исследований в этом направлении. Одновременно за решение этой проблемы должны взяться политики: от них ждут финансирования исследований по безопасности ИИ, предоставления ресурсов для преодоления возможных экономических и политических потрясений. Завершается письмо на мажорной ноте: его авторы утверждают, что при правильном подходе человечество все же сможет благодаря ИИ насладиться процветанием в недалеком будущем.

Американский писатель и исследователь искусственного интеллекта Элиезер Юдковский считает, что шестимесячный мораторий на обучение мощных систем ИИ, конечно, лучше, чем ничего. Но при этом он воздержался от подписания письма — потому что думает, что оно преуменьшает серьезность проблемы. А описанных мер недостаточно для ее решения.

Статья Юдковского в американском журнале Time опубликована 29 марта. В ней он с ходу утверждает: создание ИИ, значительно более умного, чем человек, в обстоятельствах, хотя бы отдаленно напоминающих нынешние, обязательно приведет к гибели всех людей на планете. И дело здесь не в том, что вы в принципе не можете выжить, создав кого-то намного умнее вас. А в том, что это требует точности, готовности и обладания необходимыми научными знаниями, которых у человечества пока нет.

По мнению Юдковского, без должной аккуратности и подготовки тот ИИ, который человечество создает сейчас (он называет его «системой, состоящей из гигантских непостижимых массивов дробных чисел») не будет делать то, что мы хотим от него. Более того, ему будет наплевать на разумную жизнь в целом. Исследователь считает, что идею о заботе о людях можно внедрить в ИИ, но разработчики пока попросту не знают, как это сделать. Разумеется, и без такой идеи ИИ не будет нас ненавидеть — как и не будет любить. Скорее, мы будем для него просто набором атомов, который можно с пользой использовать для чего-то другого.

По мнению Юдковского, противостояние человечества и сверхмощного искусственного разума, вероятнее всего, закончится полным нашим уничтожением. Для описания этого гипотетического конфликта Юдковский использует метафоры. Он считает, что эта война будет похожа на игру 10-летнего ребенка против мощной шахматной программы, борьбы XI века против XXI века или австралопитека против современного человека.

Исследователь оценивает нынешние познания людей в отношении GPT-4 как «невежество» и утверждает, что создатели более совершенной версии не имеют понятия о том, что создают — как и о том, насколько оно может быть опасным. В этой ситуации самым разумным решением выглядит полная остановка таких работ.

Юдковский считает, что если весь мир не договорится о запрете дальнейшего обучения мощных нейросетей, катастрофа практически неизбежна. Мораторий должен быть полным, без исключений для правительств или армий. По мнению писателя, после заключения соглашения о моратории международное сообщество обязано уничтожать обнаруженные разведками объекты, на которых обучение ИИ будет продолжаться. Мир должен осознать, что ИИ опаснее ядерного оружия — вплоть до того, что ядерные державы должны пойти на сохранение некоторого риска обмена ядерными ударами, если это будет необходимо для отказа от новых тренировок нейросетей.

Сам исследователь прекрасно понимает, что такое изменение в международной политике выглядит как фантастика. Вероятно поэтому, чтобы быть услышанным, в конце он подкрепил свою статью эмоциональным предостережением о неготовности человечества к созданию сверхмощного искусственного интеллекта: «Мы не готовы. Мы не сможем быть значительно более готовыми в обозримом будущем. Если мы продолжим это (разрабатывать нейросети. — Прим. ред.), все умрут, включая детей, которые не выбирали этот путь и не сделали ничего плохого».