Как ИИ может изменить мир к лучшему

Дарио Амодеи
Октябрь 2024

Источник: https://darioamodei.com/essay/machines-of-loving-grace

Я много думаю и говорю о рисках, связанных с мощным искусственным интеллектом (ИИ). Компания Anthropic, генеральным директором которой я являюсь, проводит множество исследований на тему того, как эти риски снизить. Из-за этого люди иногда делают вывод, что я пессимист или «думер» [от англ. doomer — человек, предрекающий скорый конец света], считающий, что ИИ принесет в основном вред или опасность. Я так вовсе не считаю. На самом деле, одна из главных причин, по которой я сосредоточен на рисках, заключается в том, что они — единственное, что стоит между нами и тем, что я вижу как фундаментально позитивное будущее. Я думаю, что большинство людей недооценивают то, насколько радикальными могут быть преимущества ИИ, точно так же, как я считаю, что большинство недооценивает серьезность рисков.

В этом эссе я попытаюсь обрисовать, как могут выглядеть эти преимущества — каким может стать мир с мощным ИИ, если все пойдет правильно. Конечно, никто не может знать будущее с какой-либо уверенностью или точностью, и последствия появления мощного ИИ, вероятно, будут еще более непредсказуемыми, чем прошлые технологические изменения. Поэтому все это неизбежно будет состоять из догадок. Но я стремлюсь к тому, чтобы это были как минимум обоснованные и полезные догадки, передающие суть того, что произойдет, даже если большинство деталей в итоге окажутся неверными. Я включаю много подробностей главным образом потому, что считаю: конкретное видение дает больше для развития дискуссии, чем крайне осторожное и абстрактное.

Однако сначала я хотел бы вкратце объяснить, почему я и Anthropic мало говорили о преимуществах мощного ИИ и почему мы, вероятно, в целом продолжим много говорить о рисках. В частности, я сделал такой выбор, исходя из желания:

• Максимально эффективно использовать рычаги влияния. Базовое развитие технологии ИИ и многие (не все) её преимущества кажутся неизбежными (если только риски не сорвут всё) и фундаментально подталкиваются мощными рыночными силами. С другой стороны, риски не предопределены, и наши действия могут значительно изменить вероятность их реализации.
• Избежать восприятия текста как пропаганды. Когда компании, занимающиеся ИИ, говорят обо всех его удивительных преимуществах, это может выглядеть как пропаганда или попытка отвлечь внимание от недостатков. Я также считаю принципиально важным не тратить слишком много времени на «восхваление собственного товара» — это плохо для души.
• Избежать грандиозности. Меня часто отталкивает то, как многие публичные фигуры, говорящие о рисках ИИ (не говоря уже о лидерах компаний-разработчиков), рассуждают о мире после появления ИИ общего уровня (AGI). Они говорят так, будто их миссия — в одиночку создать этот мир, подобно пророку, ведущему свой народ к спасению. Я считаю опасным взгляд на компании как на структуры, в одностороннем порядке формирующие мир, и опасным — восприятие практических технологических целей в по сути религиозных терминах.
• Избежать багажа «научной фантастики». Хотя я считаю, что большинство людей недооценивают плюсы мощного ИИ, то небольшое сообщество, которое всё же обсуждает радикальное будущее ИИ, часто делает это в излишне «научно-фантастическом» тоне (с загрузкой сознания в компьютер, освоением космоса или общей атмосферой киберпанка). Я думаю, что из-за этого люди воспринимают такие заявления менее серьезно, наделяя их некой нереальностью. Поясню: вопрос не в том, возможны ли описываемые технологии (в эссе это обсуждается подробно), а в том, что сама «атмосфера» таких разговоров подспудно тянет за собой кучу культурного багажа и невысказанных предположений о том, какое будущее желательно, как разрешатся социальные проблемы и т.д. В итоге результат часто читается как фантазия для узкой субкультуры, отталкивающая большинство людей.

Тем не менее, несмотря на все вышеперечисленные опасения, я действительно считаю важным обсудить, как может выглядеть хороший мир с мощным ИИ, стараясь при этом избежать указанных ловушек. На самом деле, я считаю критически важным иметь подлинно вдохновляющее видение будущего, а не просто план по тушению пожаров. Многие последствия появления мощного ИИ враждебны или опасны, но, в конце концов, должно быть что-то, ради чего мы боремся. Какой-то исход с положительной суммой, где всем станет лучше; что-то, что сплотит людей, заставит их подняться над распрями и противостоять грядущим вызовам. Страх — это один из видов мотивации, но его недостаточно: нам нужна и надежда.

Список позитивных применений мощного ИИ чрезвычайно длинный (он включает робототехнику, производство, энергетику и многое другое), но я собираюсь сосредоточиться на нескольких областях, которые, на мой взгляд, обладают наибольшим потенциалом для прямого улучшения качества человеческой жизни. Пять категорий, которые вызывают у меня наибольший энтузиазм:

1. Биология и физическое здоровье.
2. Нейробиология и психическое здоровье.
3. Экономическое развитие и борьба с бедностью.
4. Мир и государственное управление.
5. Труд и смысл жизни.

Мои прогнозы покажутся радикальными по большинству стандартов (за исключением научно-фантастических видений «сингулярности»2), но я высказываю их искренне. Все, что я говорю, может очень легко оказаться ошибочным (повторю свою мысль выше), но я хотя бы попытался обосновать свои взгляды полуаналитической оценкой того, насколько может ускориться прогресс в различных областях и что это может означать на практике. Мне повезло иметь профессиональный опыт как в биологии, так и в нейробиологии, и я являюсь информированным любителем в области экономического развития, но я уверен, что во многом ошибусь. Написание этого эссе заставило меня осознать, что было бы ценно собрать группу экспертов (в биологии, экономике, международных отношениях и других областях), чтобы написать гораздо более качественную и информированную версию того, что я представил здесь. Вероятно, мои усилия лучше всего рассматривать как начальный импульс для такой группы.

Базовые предположения и концепция

Чтобы сделать это эссе более точным и обоснованным, полезно четко определить, что мы подразумеваем под мощным ИИ (то есть порог, с которого начинается отсчет 5–10 лет), а также изложить концепцию осмысления эффектов такого ИИ после его появления.

То, как будет выглядеть мощный ИИ (мне не нравится термин AGI — ИИ общего уровня)3, и когда (или если) он появится — огромная тема сама по себе. Я обсуждал это публично и мог бы написать отдельное эссе (вероятно, когда-нибудь напишу). Очевидно, многие скептически относятся к тому, что мощный ИИ будет создан скоро, а некоторые сомневаются, что он будет создан вообще. Я думаю, это может произойти уже в 2026 году, хотя есть причины, по которым это может занять гораздо больше времени. Но для целей данного эссе я хотел бы отложить эти вопросы в сторону, предположить, что он появится достаточно скоро, и сосредоточиться на том, что произойдет в течение 5–10 лет после этого. Я также хочу принять определение того, как такая система будет выглядеть, каковы её возможности и как она взаимодействует с миром, хотя здесь есть место для разногласий.

Под мощным ИИ я понимаю модель ИИ — вероятно, похожую на современные LLM [большие языковые модели] по форме, хотя она может быть основана на другой архитектуре, может включать в себя несколько взаимодействующих моделей и обучаться иначе — обладающую следующими свойствами:

• С точки зрения чистого интеллекта4, она умнее лауреата Нобелевской премии в большинстве актуальных областей: биологии, программировании, математике, инженерии, писательстве и т.д. Это означает, что она может доказывать нерешенные математические теоремы, писать чрезвычайно хорошие романы, создавать сложные программные коды с нуля и т.д.
• В дополнение к тому, что это просто «умная штука, с которой вы разговариваете», у нее есть все «интерфейсы», доступные человеку, работающему удаленно: текст, аудио, видео, управление мышью и клавиатурой, доступ в интернет. Она может совершать любые действия, коммуникации или удаленные операции, доступные через этот интерфейс, включая действия в интернете, получение или отдачу указаний людям, заказ материалов, руководство экспериментами, просмотр и создание видео и так далее. Она выполняет все эти задачи, опять же, с навыком, превосходящим возможности самых способных людей в мире.
• Она не просто пассивно отвечает на вопросы; вместо этого ей можно давать задачи, выполнение которых занимает часы, дни или недели, и она выполняет их автономно, как умный сотрудник, запрашивая разъяснения по мере необходимости.
• У нее нет физического воплощения (кроме жизни на экране компьютера), но она может управлять существующими физическими инструментами, роботами или лабораторным оборудованием через компьютер; в теории она могла бы даже спроектировать роботов или оборудование для собственного использования.
• Ресурсы, использованные для обучения модели, могут быть перепрофилированы для запуска миллионов её экземпляров (это соответствует прогнозируемым размерам вычислительных кластеров к ~2027 году), и модель может поглощать информацию и генерировать действия примерно в 10–100 раз быстрее человека5. Однако она может быть ограничена временем реакции физического мира или программного обеспечения, с которым взаимодействует.
• Каждая из этих миллионов копий может действовать независимо над несвязанными задачами или, при необходимости, все они могут работать вместе так же, как сотрудничали бы люди, возможно, с выделением групп, специально настроенных на выполнение конкретных задач.

Мы могли бы резюмировать это как «страна гениев в дата-центре».

Очевидно, что такая сущность была бы способна решать очень сложные проблемы очень быстро, но не так-то просто понять, насколько быстро. Две «крайние» позиции кажутся мне ложными. Во-первых, вы могли бы подумать, что мир мгновенно преобразится за считанные секунды или дни («Сингулярность»), поскольку превосходящий интеллект совершенствует сам себя и почти немедленно решает все возможные научные, инженерные и операционные задачи. Проблема в том, что существуют реальные физические и практические ограничения, например, связанные со строительством оборудования или проведением биологических экспериментов. Даже новая «страна гениев» столкнется с этими пределами. Интеллект может быть очень могущественным, но это не волшебная палочка.

Во-вторых, и наоборот, вы могли бы поверить, что технологический прогресс насыщен или ограничен скоростью получения данных из реального мира или социальными факторами, и что интеллект выше человеческого добавит очень мало6. Это кажется мне столь же неправдоподобным — я могу придумать сотни научных или даже социальных проблем, где большая группа действительно умных людей радикально ускорила бы прогресс, особенно если они не ограничены анализом и могут воплощать вещи в реальном мире (что наша постулируемая «страна гениев» может делать, в том числе направляя или помогая командам людей).

Я думаю, что истина, скорее всего, будет представлять собой некую сложную смесь этих двух крайних картин, варьирующуюся в зависимости от задачи и области. Я считаю, что нам нужны новые подходы, чтобы продуктивно размышлять об этих деталях.

Экономисты часто говорят о «факторах производства»: таких вещах, как труд, земля и капитал. Фраза «предельная отдача от труда/земли/капитала» [то есть дополнительный эффект от добавления одной единицы ресурса] отражает идею о том, что в данной ситуации конкретный фактор может быть, а может и не быть ограничивающим. Например, военно-воздушным силам нужны и самолеты, и пилоты, и наем большего количества пилотов мало поможет, если у вас закончились самолеты. Я считаю, что в эпоху ИИ нам следует говорить о предельной отдаче от интеллекта7, и пытаться выяснить, какие другие факторы дополняют интеллект и становятся ограничивающими, когда интеллект очень высок. Мы не привыкли думать в таком ключе — спрашивать: «насколько высокий интеллект помогает в этой задаче и в какие сроки?», — но это кажется правильным способом осмысления мира с очень мощным ИИ.

Мой список факторов, которые ограничивают интеллект или дополняют его, включает:

• Скорость внешнего мира. Интеллектуальным агентам необходимо взаимодействовать с миром, чтобы достигать результатов, а также учиться8. Но мир движется лишь с определенной скоростью. Клетки и животные функционируют с фиксированной скоростью, поэтому эксперименты над ними занимают определенное время, которое может быть неуменьшаемым. То же самое верно для оборудования, материаловедения, всего, что связано с общением с людьми, и даже для нашей существующей программной инфраструктуры. Кроме того, в науке многие эксперименты часто проводятся последовательно, каждый из которых основывается на предыдущем. Все это означает, что скорость, с которой может быть завершен крупный проект — например, разработка лекарства от рака — может иметь неуменьшаемый минимум, который нельзя сократить дальше, даже если интеллект продолжает расти.
• Потребность в данных. Иногда не хватает исходных данных, и в их отсутствие интеллект не помогает. Современные физики-ядерщики очень изобретательны и разработали широкий спектр теорий, но им не хватает данных, чтобы выбрать между ними, потому что возможности ускорителей частиц ограничены. Неясно, справятся ли они радикально лучше, будучи сверхинтеллектуальными — разве что за счет ускорения строительства более крупного ускорителя.
• Внутренняя сложность. Некоторые вещи по своей сути непредсказуемы или хаотичны, и даже самый мощный ИИ не сможет предсказать или распутать их существенно лучше, чем человек или компьютер сегодня. Например, даже невероятно мощный ИИ сможет предсказывать лишь незначительно дальше в хаотической системе (такой как задача трех тел) в общем случае9 по сравнению с современными людьми и компьютерами.
• Ограничения со стороны людей. Многие вещи нельзя сделать, не нарушая законов, не причиняя вреда людям или не создавая беспорядок в обществе. «Дружественный» (aligned) ИИ не захочет этого делать (а если у нас недружественный ИИ, мы возвращаемся к разговору о рисках). Многие человеческие социальные структуры неэффективны или даже активно вредны, но их трудно изменить, соблюдая ограничения, такие как юридические требования к клиническим испытаниям, готовность людей менять свои привычки или поведение правительств. Примеры достижений, которые хорошо работают в техническом смысле, но чье влияние было существенно ограничено нормами или неуместными страхами, включают ядерную энергетику, сверхзвуковые полеты и даже лифты.
• Физические законы. Это более жесткая версия первого пункта. Существуют определенные физические законы, которые кажутся незыблемыми. Невозможно двигаться быстрее света. Перемешанный пудинг нельзя «размешать» обратно. Чипы могут иметь лишь определенное количество транзисторов на квадратный сантиметр, прежде чем они станут ненадежными. Вычисления требуют определенного минимума энергии на каждый стертый бит, что ограничивает плотность вычислений в мире.

Существует также различие, основанное на временных масштабах. Вещи, которые являются жесткими ограничениями в краткосрочной перспективе, в долгосрочной могут стать более податливыми для интеллекта. Например, интеллект можно использовать для разработки новой экспериментальной парадигмы, которая позволит нам узнавать in vitro (в пробирке) то, что раньше требовало экспериментов на живых животных. Или для создания инструментов, необходимых для сбора новых данных (например, того самого большого ускорителя), или для поиска путей обхода человеческих ограничений в рамках этики (например, помощь в совершенствовании системы клинических испытаний, помощь в создании новых юрисдикций, где в таких испытаниях меньше бюрократии, или совершенствование самой науки, чтобы сделать испытания на людях менее необходимыми или более дешевыми).

Таким образом, мы должны представить картину, в которой интеллект изначально сильно ограничен другими факторами производства, но со временем сам интеллект все чаще находит способы обойти эти факторы, даже если они никогда не исчезнут полностью (а некоторые вещи, такие как физические законы, абсолютны)10. Ключевой вопрос заключается в том, как быстро все это произойдет и в каком порядке.

Имея в виду эту концепцию, я попытаюсь ответить на этот вопрос для пяти областей, упомянутых во введении.

1. Биология и здоровье

Биология — это, пожалуй, та область, где научный прогресс обладает наибольшим потенциалом для прямого и однозначного улучшения качества человеческой жизни. В прошлом веке некоторые из древнейших человеческих недугов (такие как оспа) были наконец побеждены, но многие другие все еще остаются, и победа над ними стала бы колоссальным гуманитарным достижением. Помимо излечения болезней, биологическая наука в принципе может улучшить базовое качество человеческого здоровья, продлевая здоровую продолжительность жизни, расширяя контроль и свободу над нашими собственными биологическими процессами и решая повседневные проблемы, которые мы сейчас считаем неизменными составляющими человеческого бытия.

Говоря языком «ограничивающих факторов» из предыдущего раздела, основными проблемами при прямом применении интеллекта в биологии являются данные, скорость физического мира и внутренняя сложность (на самом деле, все три фактора связаны друг с другом). Человеческие ограничения также играют роль на более позднем этапе, когда дело доходит до клинических испытаний. Разберем их по порядку.

Эксперименты на клетках, животных и даже химические процессы ограничены скоростью физического мира: многие биологические протоколы включают культивирование бактерий или других клеток, или просто ожидание химических реакций, и это иногда может занимать дни или даже недели без очевидного способа ускорения. Эксперименты на животных могут занимать месяцы (или больше), а эксперименты на людях часто длятся годы (или даже десятилетия для исследований долгосрочных результатов). С этим тесно связана нехватка данных — не столько по количеству, сколько по качеству: всегда не хватает четких, однозначных данных, которые изолируют интересующий биологический эффект от других 10 000 сопутствующих факторов. Даже массивные молекулярные данные, такие как данные протеомики [исследование белков], которые я собирал, работая над методами масс-спектрометрии, полны шума и многого не учитывают (в клетках какого типа были эти белки? В какой части клетки? В какой фазе клеточного цикла?).

Частично ответственной за эти проблемы с данными является внутренняя сложность: если вы когда-либо видели диаграмму, показывающую биохимию человеческого метаболизма, вы знаете, что очень трудно изолировать эффект любой части этой сложной системы, и еще труднее вмешаться в систему точным или предсказуемым образом. И, наконец, помимо времени, необходимого для проведения эксперимента на людях, реальные клинические испытания сопряжены с большой бюрократией и нормативными требованиями, которые (по мнению многих, включая меня) добавляют ненужное время и задерживают прогресс.

Учитывая все это, многие биологи долгое время скептически относились к ценности ИИ и «больших данных» в биологии в целом. Исторически математики, компьютерные специалисты и физики, применявшие свои навыки в биологии в течение последних 30 лет, добились определенных успехов, но не оказали того по-настоящему революционного влияния, на которое изначально надеялись. Скептицизм уменьшился благодаря крупным прорывам, таким как AlphaFold (который только что заслуженно принес своим создателям Нобелевскую премию по химии) и AlphaProteo11, но все еще сохраняется ощущение, что ИИ полезен лишь в ограниченном наборе обстоятельств. Обычная формулировка звучит так: «ИИ может лучше анализировать ваши данные, но он не может производить больше данных или улучшать их качество. Мусор на входе — мусор на выходе».

Но я думаю, что этот пессимистичный взгляд ошибочен в самом подходе к ИИ. Если наша основная гипотеза о прогрессе ИИ верна, то правильно рассматривать ИИ не как метод анализа данных, а как виртуального биолога, который выполняет все задачи, которые делают биологи: проектирует и проводит эксперименты в реальном мире (управляя лабораторными роботами или просто говоря людям, какие эксперименты проводить — как это делает научный руководитель со своими аспирантами), изобретает новые биологические методы или техники измерения и так далее. Именно за счет ускорения всего процесса исследований ИИ может по-настоящему ускорить биологию. Я хочу повторить это, потому что это самое распространенное заблуждение, которое возникает, когда я говорю о способности ИИ трансформировать биологию: я не говорю об ИИ как о простом инструменте для анализа данных. В соответствии с определением мощного ИИ в начале этого эссе, я говорю об использовании ИИ для выполнения, направления и улучшения почти всего, что делают биологи.

Если говорить конкретнее о том, откуда, скорее всего, придет ускорение: удивительно большая часть прогресса в биологии обеспечена ничтожно малым количеством открытий, часто связанных с широкими измерительными инструментами или методами12, которые позволяют осуществлять точное, но при этом обобщенное или программируемое вмешательство в биологические системы. В год происходит, возможно, около одного такого крупного открытия, и в совокупности они, поспорим, обеспечивают более 50% прогресса в биологии. Эти открытия настолько мощны именно потому, что они прорубают путь сквозь внутреннюю сложность и ограничения данных, напрямую расширяя наше понимание биологических процессов и контроль над ними. Несколько открытий в десятилетие позволили сформировать основную часть нашего научного понимания биологии и привели к появлению многих самых эффективных методов лечения.

Вот некоторые примеры:

• CRISPR: метод, позволяющий редактировать любые гены в живых организмах (замена любой произвольной последовательности генов любой другой последовательностью). С момента разработки первоначального метода велись постоянные улучшения для воздействия на специфические типы клеток, повышения точности и уменьшения количества правок не тех генов — всё это необходимо для безопасного использования на людях.
• Различные виды микроскопии для наблюдения за происходящим на точном уровне: продвинутые световые микроскопы, электронные микроскопы, атомно-силовые микроскопы и т.д.
• Секвенирование [расшифровка] и синтез генома, стоимость которых упала на несколько порядков за последние пару десятилетий.
• Оптогенетические методы, позволяющие заставить нейрон сработать, направив на него свет.
• мРНК-вакцины, которые, в принципе, позволяют нам разработать вакцину против чего угодно, а затем быстро адаптировать её (мРНК-вакцины, конечно, стали знаменитыми во время COVID).
• Клеточная терапия, такая как CAR-T, позволяющая извлекать иммунные клетки из организма и «перепрограммировать» их для атаки, в принципе, на что угодно.
• Концептуальные идеи, такие как микробная теория болезней или осознание связи между иммунной системой и раком13.

Я взял на себя труд перечислить все эти технологии, потому что хочу сделать важное заявление: я думаю, что скорость их открытия могла бы увеличиться в 10 раз или более, если бы было намного больше талантливых, креативных исследователей. Или, говоря иначе, я считаю, что отдача от интеллекта для этих открытий очень высока, и всё остальное в биологии и медицине в основном вытекает из них.

Почему я так думаю? Потому что ответы на вопросы, которые мы должны привыкнуть задавать, пытаясь определить «отдачу от интеллекта», указывают на это. Во-первых, эти открытия обычно совершаются крошечным числом исследователей, часто одними и теми же людьми снова и снова, что предполагает мастерство, а не случайный поиск (последний означал бы, что ограничивающим фактором являются длительные эксперименты). Во-вторых, они часто «могли быть сделаны» на годы раньше: например, CRISPR был естественным компонентом иммунной системы бактерий, известным с 1980-х годов, но потребовалось еще 25 лет, чтобы люди поняли, что его можно перепрофилировать для общего редактирования генов. Они также часто задерживаются на многие годы из-за отсутствия поддержки перспективных направлений со стороны научного сообщества (см. историю изобретательницы мРНК-вакцин; подобных историй множество). В-третьих, успешные проекты часто бывают бюджетными или побочными идеями, которые поначалу не казались многообещающими, а не массированно финансируемыми усилиями. Это говорит о том, что открытиями движет не просто концентрация огромных ресурсов, а изобретательность.

Наконец, хотя некоторые из этих открытий имеют «последовательную зависимость» (вам нужно сделать открытие А, чтобы получить инструменты или знания для открытия Б) — что опять же может привести к задержкам — многие, возможно, большинство, независимы. Это означает, что над многими из них можно работать параллельно. И эти факты, и мой общий опыт биолога убедительно говорят мне о том, что существуют сотни таких открытий, ожидающих своего часа, если бы ученые были умнее и лучше умели устанавливать связи между огромным количеством биологических знаний, которыми обладает человечество (снова вспомните пример с CRISPR). Успех AlphaFold/AlphaProteo в решении важных задач гораздо эффективнее, чем это делали люди на протяжении десятилетий тщательного физического моделирования, служит доказательством принципа (пусть и с узким инструментом в узкой области), который должен указывать путь вперед.

Таким образом, по моим предположениям, мощный ИИ мог бы как минимум в 10 раз ускорить темпы этих открытий, дав нам следующие 50–100 лет биологического прогресса за 5–10 лет14. Почему не в 100 раз? Возможно, это и осуществимо, но здесь становятся важными и последовательная зависимость, и время проведения экспериментов: получение 100 лет прогресса за 1 год требует, чтобы слишком много вещей получилось с первого раза, включая эксперименты на животных и проектирование микроскопов или дорогостоящих лабораторных помещений. На самом деле я открыт для (возможно, звучащей абсурдно) идеи, что мы могли бы получить 1000 лет прогресса за 5–10 лет, но очень скептически отношусь к тому, что можно получить 100 лет за 1 год. Иначе говоря, я думаю, что существует неизбежная константная задержка: эксперименты и проектирование оборудования имеют определенную «латентность» [время ожидания] и требуют определенного «неуменьшаемого» количества итераций, чтобы узнать вещи, которые нельзя вывести логически. Но сверх этого возможен массовый параллелизм15.

Что насчет клинических испытаний? Хотя с ними связано много бюрократии и замедлений, правда в том, что значительная часть (хотя и далеко не вся!) этой медлительности в конечном итоге проистекает из необходимости тщательно оценивать лекарства, которые работают едва-едва или неоднозначно. К сожалению, это верно для большинства современных методов терапии: среднестатистический препарат от рака увеличивает выживаемость на несколько месяцев, имея при этом значительные побочные эффекты, которые необходимо тщательно измерять (аналогичная история с лекарствами от болезни Альцгеймера). Это приводит к огромным исследованиям (для достижения статистической значимости) и трудным компромиссам, которые регулирующие органы обычно не умеют делать эффективно из-за бюрократии и сложности конкурирующих интересов.

Когда что-то работает действительно хорошо, процесс идет гораздо быстрее: существует ускоренная процедура одобрения, и добиться его намного проще, когда эффект очевиден. мРНК-вакцины от COVID были одобрены за 9 месяцев — намного быстрее обычного темпа. При этом даже в таких условиях клинические испытания все еще слишком медленны — мРНК-вакцины, пожалуй, должны были быть одобрены за ~2 месяца. Но такие задержки (~1 год на весь путь для лекарства) в сочетании с массовой параллелизацией и необходимостью нескольких, но не слишком многих итераций, вполне совместимы с радикальной трансформацией за 5–10 лет. Еще более оптимистично: возможно, биологическая наука с поддержкой ИИ снизит потребность в итерациях в клинических испытаниях за счет разработки более совершенных моделей на животных и клетках (или даже симуляций), которые будут точнее предсказывать, что произойдет с людьми. Это будет особенно важно при разработке препаратов против процесса старения, который длится десятилетиями и где нам нужен более быстрый цикл проверки идей.

Наконец, говоря о клинических испытаниях и социальных барьерах, стоит прямо отметить, что биомедицинские инновации имеют необычайно успешный опыт внедрения по сравнению с некоторыми другими технологиями16. Как упоминалось во введении, многие технологии тормозятся социальными факторами, несмотря на их техническое совершенство. Это могло бы навести на пессимистичные мысли о возможностях ИИ. Но биомедицина уникальна тем, что, хотя процесс разработки лекарств чрезмерно громоздок, после создания они, как правило, успешно внедряются и используются.

Подводя итог вышесказанному: мой базовый прогноз заключается в том, что биология и медицина с применением ИИ позволят нам сжать прогресс, которого биологи-люди достигли бы за следующие 50–100 лет, в период от 5 до 10 лет. Я буду называть это «сжатым XXI веком»: идея в том, что после разработки мощного ИИ мы за несколько лет добьемся всего того прогресса в биологии и медицине, который мы бы сделали за весь XXI век.

Хотя предсказать, что мощный ИИ сможет сделать за несколько лет, остается делом трудным и спекулятивным, есть определенная конкретика в вопросе «что люди могли бы сделать без посторонней помощи за следующие 100 лет?». Просто глядя на то, чего мы достигли в XX веке, или экстраполируя достижения первых двух десятилетий XXI-го, или спрашивая, что дали бы нам «10 КРИСПРов и 50 CAR-T», мы получаем практичные, приземленные способы оценить общий уровень прогресса, который можно ожидать от мощного ИИ.

Ниже я попытаюсь составить список того, что мы могли бы ожидать. Это не основано на какой-то строгой методологии и почти наверняка окажется ошибочным в деталях, но это попытка передать общий уровень радикализма, на который нам стоит рассчитывать:

• Надежная профилактика и лечение почти всех естественных инфекционных заболеваний. Учитывая колоссальные успехи в борьбе с инфекциями в XX веке, не будет радикальным предположение, что в «сжатом XXI веке» мы сможем, по сути, «доделать работу». мРНК-вакцины и подобные технологии уже указывают путь к «вакцинам от чего угодно». Будет ли инфекция полностью искоренена в мире (а не только в некоторых местах), зависит от вопросов бедности и неравенства, которые обсуждаются в Разделе 3.
• Устранение большинства видов рака. Смертность от рака снижалась примерно на 2% в год в последние десятилетия; таким образом, при нынешних темпах человеческой науки мы находимся на пути к ликвидации большинства видов рака в XXI веке. Некоторые подтипы уже в значительной степени излечимы (например, некоторые виды лейкемии с помощью CAR-T терапии), и я, возможно, еще больше воодушевлен перспективой появления очень селективных препаратов, которые атакуют рак в самом зачатке и предотвращают его рост. ИИ также сделает возможными режимы лечения, очень тонко адаптированные к индивидуальному геному раковой опухоли — они возможны и сегодня, но стоят огромных денег, времени и человеческого опыта, а ИИ должен позволить нам их масштабировать. Снижение смертности и заболеваемости на 95% или более кажется возможным. Тем не менее, рак крайне разнообразен и адаптивен, и, вероятно, это самая сложная из этих болезней для полного уничтожения. Не будет сюрпризом, если ассортимент редких, трудных злокачественных новообразований сохранится.
• Очень эффективная профилактика и эффективное лечение генетических заболеваний. Значительно усовершенствованный скрининг эмбрионов, вероятно, позволит предотвратить большинство генетических заболеваний, а какой-нибудь более безопасный и надежный потомок CRISPR сможет вылечить большинство генетических болезней у уже живущих людей. Однако поражения всего организма, затрагивающие большую часть клеток, могут стать последними препятствиями на этом пути.
• Профилактика болезни Альцгеймера. Нам было очень трудно выяснить, что вызывает болезнь Альцгеймера (это как-то связано с белком бета-амилоидом, но реальные детали, похоже, очень сложны). Это кажется именно той проблемой, которую можно решить с помощью более совершенных измерительных инструментов, изолирующих биологические эффекты. Поэтому я оптимистичен в отношении способности ИИ решить эту задачу. Есть хорошие шансы, что её в конечном итоге можно будет предотвратить с помощью относительно простых вмешательств, как только мы по-настоящему поймем, что происходит. При этом повреждения от уже существующей болезни Альцгеймера может быть очень трудно обратить вспять.
• Улучшение лечения большинства других недугов. Это общая категория для других заболеваний, включая диабет, ожирение, болезни сердца, аутоиммунные заболевания и многое другое. Большинство из них кажется «проще» решить, чем рак и болезнь Альцгеймера, и во многих случаях они уже находятся в стадии резкого спада. Например, смертность от болезней сердца уже снизилась более чем на 50%, а простые вмешательства, такие как агонисты GLP-1 [популярные сейчас препараты типа Оземпика], уже привели к огромному прогрессу в борьбе с ожирением и диабетом.
• Биологическая свобода. Последние 70 лет принесли достижения в области контроля над рождаемостью, фертильности, управления весом и многого другого. Но я подозреваю, что ускоренная с помощью ИИ биология значительно расширит границы возможного: вес, физический облик, репродукция и другие биологические процессы будут полностью под контролем людей. Мы назовем это термином биологическая свобода: идея о том, что каждый должен иметь возможность выбирать, кем он хочет стать, и проживать свою жизнь так, как ему больше нравится. Конечно, возникнут важные вопросы о глобальном равенстве доступа; об этом см. в Разделе 3.
• Удвоение продолжительности жизни человека18. Это может показаться радикальным, но ожидаемая продолжительность жизни выросла почти в 2 раза в XX веке (с ~40 лет до ~75), так что это вполне «в тренде», если «сжатый XXI век» удвоит её еще раз до 150 лет. Очевидно, что вмешательства, направленные на замедление самого процесса старения, будут отличаться от тех, что требовались в прошлом веке для предотвращения преждевременных смертей от болезней (в основном детских), но масштаб изменений не является беспрецедентным19. Конкретно: уже существуют препараты, увеличивающие максимальную продолжительность жизни крыс на 25–50% с ограниченными побочными эффектами. А некоторые животные (например, определенные виды черепах) уже живут 200 лет, так что люди явно не находятся у какого-то теоретического верхнего предела. Предположительно, самым важным из того, что необходимо, могут быть надежные биомаркеры человеческого старения, которые нельзя «обмануть», так как это позволит быстро проводить циклы экспериментов и клинических испытаний. Как только продолжительность жизни человека достигнет 150 лет, мы сможем достичь «скорости убегания» [longevity escape velocity], выигрывая достаточно времени, чтобы большинство ныне живущих смогли жить столько, сколько захотят, хотя нет никакой гарантии, что это биологически возможно.

Стоит взглянуть на этот список и задуматься о том, насколько иным станет мир, если всего этого удастся достичь через 7–12 лет (что соответствовало бы агрессивному графику развития ИИ). Излишне говорить, что это было бы невообразимым гуманитарным триумфом, одномоментным устранением большинства бедствий, преследовавших человечество тысячелетиями. Многие из моих друзей и коллег растят детей, и я надеюсь, что когда эти дети вырастут, любое упоминание о болезни будет звучать для них так же, как для нас звучат цинга, оспа или бубонная чума. Это поколение также воспользуется плодами возросшей биологической свободы и самовыражения и, если повезет, сможет жить столько, сколько захочет.

Трудно переоценить, насколько удивительными станут эти изменения для всех, кроме того небольшого сообщества людей, которые ожидали появления мощного ИИ. Например, тысячи экономистов и экспертов по политике в США сейчас обсуждают, как сохранить платежеспособность системы социального обеспечения и медицинского страхования (Medicare), и в более широком смысле — как сдержать рост расходов на здравоохранение (которое в основном потребляется людьми старше 70 лет, особенно с неизлечимыми заболеваниями, такими как рак). Ситуация для этих программ, вероятно, радикально улучшится, если всё это сбудется20, так как соотношение трудоспособного и вышедшего на пенсию населения резко изменится. Без сомнения, на смену этим вызовам придут другие, такие как обеспечение широкого доступа к новым технологиям, но стоит задуматься о том, как сильно изменится мир, даже если биология будет единственной областью, успешно ускоренной ИИ.

2. Нейробиология и разум

В предыдущем разделе я сосредоточился на физических заболеваниях и биологии в целом, не затронув нейробиологию [науку о мозге] и психическое здоровье. Но нейробиология — это подраздел биологии, а психическое здоровье ничуть не менее важно, чем физическое. На самом деле, если уж на то пошло, психическое состояние влияет на благополучие человека даже более непосредственно. Сотни миллионов людей страдают от низкого качества жизни из-за таких проблем, как зависимость, депрессия, шизофрения, тяжелые формы аутизма, ПТСР [посттравматическое стрессовое расстройство], психопатия21 или интеллектуальные нарушения. Миллиарды других сталкиваются с повседневными трудностями, которые часто можно истолковать как гораздо более мягкие версии этих тяжелых клинических расстройств. И, как и в случае с биологией в целом, здесь возможно не только решать проблемы, но и улучшать базовое качество человеческого опыта.

Базовая концепция, которую я изложил для биологии, в равной степени применима и к нейробиологии. Эту область двигает вперед небольшое количество открытий, часто связанных с инструментами измерения или точного вмешательства. В списке, приведенном выше, оптогенетика была именно нейробиологическим открытием; в последнее время появились такие методы, как CLARITY [метод превращения мозга в прозрачный для изучения его структуры] и экспансионная микроскопия, которые являются достижениями того же рода, не говоря уже о множестве методов общей клеточной биологии, которые напрямую переносятся в нейробиологию. Я думаю, что скорость этих достижений будет аналогичным образом ускорена ИИ, и, следовательно, концепция «100 лет прогресса за 5–10 лет» применима к нейробиологии так же, как и к биологии, и по тем же причинам. Как и в биологии, прогресс нейробиологии в XX веке был колоссальным — например, мы даже не понимали, как и почему работают нейроны, вплоть до 1950-х годов. Таким образом, кажется разумным ожидать, что ускоренная ИИ нейробиология обеспечит стремительный прогресс за несколько лет.

К этой базовой картине следует добавить еще кое-что: некоторые вещи, которые мы узнали (или узнаем) о самом ИИ за последние несколько лет, вероятно, помогут продвинуть нейробиологию, даже если ею по-прежнему будут заниматься только люди. Интерпретируемость [понимание внутренних механизмов работы ИИ] — очевидный пример: хотя биологические нейроны на первый взгляд работают совершенно иначе, чем искусственные (они общаются с помощью импульсов и часто частоты этих импульсов, то есть присутствует временной элемент, отсутствующий в искусственных нейронах, а куча деталей, связанных с физиологией клетки и нейромедиаторами, существенно модифицирует их работу), базовый вопрос остается тем же: «как распределенные, обученные сети простых элементов, выполняющих комбинированные линейные/нелинейные операции, работают вместе для выполнения важных вычислений?». И я сильно подозреваю, что детали общения отдельных нейронов отойдут на второй план в большинстве интересных вопросов о вычислениях и нейронных цепях22. В качестве лишь одного примера: вычислительный механизм, обнаруженный исследователями интерпретируемости в системах ИИ, недавно был заново открыт в мозгу мышей.

На искусственных нейронных сетях проводить эксперименты гораздо проще, чем на реальных (последнее часто требует хирургического вмешательства в мозг животных), поэтому интерпретируемость вполне может стать инструментом для улучшения нашего понимания нейробиологии. Более того, мощные ИИ сами, вероятно, смогут разрабатывать и применять этот инструмент лучше, чем люди.

Помимо одной лишь интерпретируемости, то, что мы узнали от ИИ о том, как обучаются интеллектуальные системы, должно (хотя я не уверен, что это уже произошло) вызвать революцию в нейробиологии. Когда я работал в нейробиологии, многие люди сосредотачивались на том, что я сейчас считаю неправильными вопросами об обучении, потому что концепции гипотезы масштабирования [идеи о том, что простое увеличение мощности и данных ведет к качественному скачку интеллекта] и «горького урока» [статьи о том, что в долгосрочной перспективе побеждают методы, опирающиеся на вычисления, а не на человеческие знания] еще не существовало. Идея о том, что простая целевая функция плюс большой объем данных могут порождать невероятно сложное поведение, заставляет нас больше интересоваться целевыми функциями и архитектурными особенностями и меньше — деталями возникающих вычислений. Я не следил за этой областью пристально в последние годы, но у меня есть смутное ощущение, что нейробиологи-вычислители все еще не полностью усвоили этот урок. Мое отношение к гипотезе масштабирования всегда было таким: «Ага! Это объяснение на высоком уровне того, как работает интеллект и как он так легко развился в процессе эволюции», — но я не думаю, что это точка зрения среднестатистического нейробиолога, отчасти потому, что гипотеза масштабирования как «секрет интеллекта» не является общепринятой даже в сфере ИИ.

Я думаю, что нейробиологи должны попытаться объединить это базовое понимание с особенностями человеческого мозга (биофизическими ограничениями, эволюционной историей, топологией, деталями моторных и сенсорных входов/выходов), чтобы попытаться разгадать некоторые ключевые загадки науки о мозге. Некоторые, вероятно, так и делают, но я подозреваю, что этого пока недостаточно, и что ИИ-нейробиологи смогут более эффективно использовать этот ракурс для ускорения прогресса.

Я ожидаю, что ИИ ускорит нейробиологический прогресс по четырем различным направлениям, которые, как мы надеемся, смогут работать вместе для излечения психических заболеваний и улучшения функций мозга:

• Традиционная молекулярная биология, химия и генетика. Это, по сути, та же история, что и с общей биологией в Разделе 1, и ИИ, вероятно, сможет ускорить её с помощью тех же механизмов. Существует множество лекарств, которые воздействуют на нейромедиаторы [химические вещества, передающие сигналы между нейронами], чтобы изменить работу мозга, повлиять на бодрость или восприятие, изменить настроение и т.д., и ИИ может помочь нам изобрести гораздо больше таких веществ. ИИ также, вероятно, сможет ускорить исследования генетических основ психических заболеваний.
• Тонкопленочные нейронные измерения и вмешательства. Это способность измерять то, что делают множество отдельных нейронов или нейронных цепей, и вмешиваться, чтобы изменить их поведение. Оптогенетика и нейронные зонды — это технологии, способные как на измерения, так и на вмешательство в живые организмы. Ряд очень продвинутых методов (таких как «молекулярные ленты-самописцы» для считывания паттернов активности огромного количества отдельных нейронов) также были предложены и кажутся возможными в принципе.
• Продвинутая вычислительная нейробиология. Как отмечалось выше, и конкретные инсайты, и сам дух современного ИИ могут быть плодотворно применены к вопросам системной нейробиологии, включая, возможно, раскрытие реальных причин и динамики таких сложных заболеваний, как психоз или расстройства настроения.
• Поведенческие вмешательства. Я мало упоминал об этом, сосредоточившись на биологической стороне, но психиатрия и психология, конечно же, разработали широкий репертуар поведенческих вмешательств на протяжении XX века. Логично предположить, что ИИ мог бы ускорить и их — как разработку новых методов, так и помощь пациентам в соблюдении уже существующих. В более широком смысле, идея «ИИ-коуча», который всегда помогает вам быть лучшей версией себя, изучает ваши взаимодействия и помогает научиться быть эффективнее, кажется очень многообещающей.

По моим предположениям, эти четыре направления прогресса, работая вместе, позволят — как и в случае с физическими заболеваниями — прийти к излечению или профилактике большинства психических расстройств в ближайшие 100 лет, даже если бы ИИ не участвовал в процессе. Следовательно, эта работа вполне может быть завершена за 5–10 лет при поддержке ИИ. Конкретно, мой прогноз относительно того, что произойдет:

• Большинство психических заболеваний, вероятно, удастся вылечить. Я не эксперт по психиатрическим заболеваниям (в нейробиологии я занимался созданием зондов для изучения небольших групп нейронов), но я предполагаю, что такие заболевания, как ПТСР, депрессия, шизофрения, зависимость и т.д., могут быть поняты и очень эффективно излечены с помощью комбинации четырех вышеуказанных направлений. Ответ, скорее всего, кроется в сочетании факторов: «что-то пошло не так биохимически» (хотя это может быть очень сложно) и «что-то пошло не так в нейронной сети на высоком уровне». То есть это вопрос системной нейробиологии, что, впрочем, не отменяет важности поведенческих вмешательств. Инструменты для измерения и вмешательства, особенно на живых людях, вероятно, приведут к быстрым циклам тестирования и прогрессу.
• Состояния, носящие выраженный «структурный» характер, могут оказаться сложнее, но не невозможнее. Есть некоторые свидетельства того, что психопатия связана с явными нейроанатомическими различиями — что некоторые области мозга у психопатов просто меньше или менее развиты. Также считается, что у психопатов отсутствует эмпатия с раннего возраста; что бы ни отличало их мозг, вероятно, так было всегда. То же самое может быть верно для некоторых видов интеллектуальной недостаточности и, возможно, других состояний. Реструктуризация мозга звучит сложно, но это также кажется задачей с высокой «отдачей от интеллекта». Возможно, существует способ перевести взрослый мозг в более раннее или более пластичное состояние, в котором его можно переформировать. Я не уверен, насколько это возможно, но интуиция подсказывает мне быть оптимистом в отношении того, что здесь сможет изобрести ИИ.
• Эффективная генетическая профилактика психических заболеваний кажется возможной. Большинство психических расстройств частично наследуемы, и полногеномные исследования начинают приносить плоды в идентификации соответствующих факторов, которых часто бывает очень много. Вероятно, удастся предотвратить большинство этих заболеваний с помощью скрининга эмбрионов, аналогично истории с физическими болезнями. Одно отличие заключается в том, что психиатрические заболевания чаще являются полигенными [зависящими от множества генов], поэтому из-за сложности возрастает риск неосознанного отбора против положительных черт, коррелирующих с болезнью. Однако странно то, что в последние годы генетические исследования (GWAS), похоже, указывают на то, что эти корреляции могли быть преувеличены. В любом случае, ускоренная ИИ нейробиология поможет нам во всем этом разобраться. Конечно, скрининг эмбрионов на сложные признаки вызывает ряд социальных вопросов и будет спорным, хотя я бы предположил, что большинство людей поддержат скрининг на наличие тяжелых или инвалидизирующих психических расстройств.
• Повседневные проблемы, которые мы не считаем клиническими заболеваниями, также будут решены. У большинства из нас есть повседневные психологические проблемы, которые обычно не считаются клиническим диагнозом. Кто-то вспыльчив, у кого-то проблемы с концентрацией или частая сонливость, кто-то боязлив, тревожен или плохо реагирует на перемены. Сегодня уже существуют препараты, помогающие, например, с бодростью или фокусом внимания (кофеин, модафинил, риталин), но, как и в других областях, вероятно, возможно гораздо большее. Наверняка существует еще много таких препаратов, которые не были открыты, а также могут появиться совершенно новые способы воздействия, такие как направленная световая стимуляция (см. оптогенетику выше) или магнитные поля. Учитывая, сколько лекарств, настраивающих когнитивные функции и эмоциональное состояние, мы разработали в XX веке, я очень оптимистично настроен в отношении «сжатого XXI века», где каждый сможет заставить свой мозг вести себя немного лучше и получать более полноценный повседневный опыт.
• Базовый человеческий опыт может стать намного качественнее. Делая еще один шаг вперед: многие люди переживали необыкновенные моменты откровения, творческого вдохновения, сострадания, самореализации, трансцендентности, любви, красоты или медитативного покоя. Характер и частота этих переживаний сильно разнятся от человека к человеку и у одного и того же человека в разное время, а также иногда могут быть вызваны различными препаратами (часто с побочными эффектами). Все это говорит о том, что «пространство того, что возможно испытать», очень широко, и что большая часть жизни людей могла бы состоять из таких экстраординарных моментов. Вероятно, также возможно повсеместно улучшить различные когнитивные функции. Это, пожалуй, нейробиологическая версия «биологической свободы» или «продленной продолжительности жизни».

Одна тема, которая часто всплывает в научно-фантастических описаниях ИИ, но которую я намеренно здесь не обсуждал, — это «загрузка сознания», идея фиксации структуры и динамики человеческого мозга и воплощения их в программном обеспечении. Эта тема могла бы стать предметом отдельного эссе, но достаточно сказать, что, хотя я считаю загрузку почти наверняка возможной в принципе, на практике она сталкивается с серьезными технологическими и социальными проблемами даже при наличии мощного ИИ, что, скорее всего, выводит её за пределы того 5–10-летнего окна, которое мы обсуждаем.

Подводя итог: ускоренная ИИ нейробиология, вероятно, значительно улучшит методы лечения или даже излечит большинство психических заболеваний, а также значительно расширит «когнитивную и ментальную свободу», когнитивные и эмоциональные способности человека. Это будет столь же радикально, как и улучшения в области физического здоровья, описанные в предыдущем разделе. Возможно, мир не изменится до неузнаваемости внешне, но мир, каким его ощущают люди, станет гораздо лучшим и более гуманным местом, а также местом, предлагающим большие возможности для самоактуализации. Я также подозреваю, что улучшение психического здоровья поможет смягчить множество других социальных проблем, включая те, которые кажутся политическими или экономическими.

3. Экономическое развитие и бедность

Предыдущие два раздела были посвящены разработке новых технологий, излечивающих болезни и улучшающих качество человеческой жизни. Однако очевидный вопрос с гуманитарной точки зрения звучит так: «будет ли у всех доступ к этим технологиям?».

Одно дело — разработать лекарство от болезни, другое — искоренить болезнь во всем мире. В более широком смысле, многие существующие методы охраны здоровья еще не применены повсеместно, и то же самое верно для технологических улучшений в целом (не только в медицине). Иными словами, уровень жизни во многих частях мира все еще остается отчаянно низким: ВВП на душу населения в странах Африки к югу от Сахары составляет ~$2000 по сравнению с ~$75 000 в США. Если ИИ еще больше подстегнет экономический рост и качество жизни в развитом мире, мало чем помогая развивающемуся, мы должны рассматривать это как ужасный моральный провал и пятно на подлинных гуманитарных победах из предыдущих двух разделов. В идеале мощный ИИ должен помочь развивающемуся миру догнать развитый, даже в то время как он совершает революцию в последнем.

Я не столь уверен в том, что ИИ может справиться с неравенством и экономическим ростом, как в том, что он может изобретать фундаментальные технологии. Ведь технологии имеют столь очевидную высокую «отдачу от интеллекта» (включая способность обходить сложности и нехватку данных), в то время как экономика сопряжена с множеством ограничений со стороны людей, а также с большой долей внутренней сложности. Я с некоторым скептицизмом отношусь к тому, что ИИ мог бы решить знаменитую «проблему социалистического расчета»[23], и я не думаю, что правительства передадут (или должны передать) свою экономическую политику такой сущности, даже если бы она могла с ней справиться. Существуют также проблемы вроде того, как убедить людей принимать эффективные методы лечения, к которым они могут относиться с подозрением.

Проблемы, стоящие перед развивающимся миром, дополнительно осложняются повсеместной коррупцией как в частном, так и в государственном секторах. Коррупция создает порочный круг: она усугубляет бедность, а бедность, в свою очередь, порождает еще больше коррупции. Планы экономического развития на базе ИИ должны учитывать коррупцию, слабые институты и другие чисто человеческие вызовы.

Тем не менее, я вижу серьезные причины для оптимизма. Болезни искоренялись, и многие страны проделали путь от бедных к богатым, и очевидно, что решения, принимаемые в ходе этих задач, демонстрируют высокую отдачу от интеллекта (несмотря на человеческие ограничения и сложность). Следовательно, ИИ, вероятно, сможет делать это лучше, чем это делается сейчас. Могут также появиться целевые вмешательства, которые обходят человеческие ограничения и на которых ИИ мог бы сосредоточиться. Но что еще важнее — мы обязаны попробовать. И компании, занимающиеся ИИ, и политики развитых стран должны будут внести свой вклад, чтобы развивающийся мир не остался в стороне; моральный императив слишком велик. Поэтому в этом разделе я продолжу приводить аргументы в пользу оптимистичного сценария, но при этом буду помнить, что успех не гарантирован и зависит от наших общих усилий.

Ниже я привожу некоторые предположения о том, как, по моему мнению, могут пойти дела в развивающемся мире в течение 5–10 лет после создания мощного ИИ:

• Распространение медицинских вмешательств. Область, в которой я настроен, пожалуй, наиболее оптимистично, — это распределение медицинских технологий по всему миру. Болезни на самом деле искоренялись с помощью кампаний «сверху вниз»: оспа была полностью ликвидирована в 1970-х годах, а полиомиелит и гвинейский червь [дракункулёз] почти искоренены (менее 100 случаев в год). Математически сложное эпидемиологическое моделирование играет активную роль в кампаниях по искоренению болезней, и кажется весьма вероятным, что системы ИИ, которые умнее человека, справятся с этим лучше. Логистику распределения, вероятно, также можно значительно оптимизировать. Одна вещь, которую я узнал как ранний спонсор организации GiveWell [фонд, оценивающий эффективность благотворительности], заключается в том, что некоторые медицинские благотворительные организации в разы эффективнее других; есть надежда, что усилия, ускоренные ИИ, будут еще эффективнее. Кроме того, некоторые биологические достижения существенно упрощают логистику: например, малярию было трудно искоренить, потому что она требует лечения каждый раз при заражении; вакцина, которую нужно вводить только один раз, значительно упрощает дело (и такие вакцины от малярии на самом деле сейчас разрабатываются). Возможны даже более простые механизмы: некоторые болезни в принципе можно искоренить, воздействуя на их животных-переносчиков, например, выпуская комаров, зараженных бактерией, которая блокирует их способность переносить болезнь (которые затем заражают всех остальных комаров), или просто используя генный драйв [метод быстрого распространения гена в популяции] для уничтожения комаров. Это требует одного или нескольких централизованных действий, а не скоординированной кампании по индивидуальному лечению миллионов людей. В целом, я думаю, что 5–10 лет — это разумный срок для того, чтобы значительная часть (возможно, 50%) медицинских преимуществ ИИ распространилась даже на беднейшие страны мира. Хорошей целью было бы, чтобы развивающийся мир через 5–10 лет после появления мощного ИИ стал как минимум существенно здоровее, чем развитый мир сегодня, даже если он продолжит отставать от развитого мира своего времени. Достижение этого, конечно, потребует огромных усилий в области глобального здравоохранения, филантропии, политической адвокации и многого другого, в чем должны помочь как разработчики ИИ, так и политики.
• Экономический рост. Может ли развивающийся мир быстро догнать развитый не только в плане здоровья, но и в экономике в целом? Здесь есть определенный прецедент: в последние десятилетия XX века несколько экономик Восточной Азии достигли устойчивых темпов роста реального ВВП на уровне ~10% в год, что позволило им догнать развитые страны. Планировщики-люди принимали решения, которые привели к этому успеху, не путем прямого контроля над всей экономикой, а нажимая на несколько ключевых рычагов (таких как промышленная политика экспортно-ориентированного роста и сопротивление искушению полагаться на богатство природными ресурсами); вполне вероятно, что «ИИ-министры финансов и главы центробанков» смогут повторить или превзойти этот 10-процентный результат. Важный вопрос заключается в том, как заставить правительства развивающихся стран принять эти методы, соблюдая принцип самоопределения — кто-то может быть в восторге, но другие, вероятно, отнесутся к этому скептически. С оптимистичной точки зрения, многие медицинские вмешательства из предыдущего пункта, скорее всего, естественным образом подстегнут экономический рост: искоренение СПИДа, малярии и паразитических червей окажет трансформирующее воздействие на производительность труда, не говоря уже об экономических выгодах от нейробиологических вмешательств (таких как улучшение настроения и концентрации) как в развитом, так и в развивающемся мире. Наконец, не связанные со здоровьем технологии, ускоренные ИИ (такие как энергетика, транспортные дроны, улучшенные строительные материалы, лучшая логистика и распределение и так далее), могут просто проникать в мир естественным путем. Например, даже сотовые телефоны быстро распространились в Африке к югу от Сахары через рыночные механизмы, не требуя филантропических усилий. С более негативной стороны: хотя ИИ и автоматизация имеют много потенциальных преимуществ, они также бросают вызов экономическому развитию, особенно для стран, которые еще не прошли индустриализацию. Поиск путей, гарантирующих этим странам возможность развивать свои экономики в эпоху растущей автоматизации — важная задача для экономистов и политиков. В целом, сценарий мечты — возможно, цель, к которой стоит стремиться — это 20% ежегодного роста ВВП в развивающемся мире, где по 10% приходится на экономические решения с поддержкой ИИ и на естественное распространение ИИ-технологий. Если этого удастся достичь, то за 5–10 лет Африка к югу от Сахары достигнет текущего уровня ВВП на душу населения в Китае, а большая часть остального развивающегося мира поднимется выше нынешнего уровня ВВП США. Повторюсь, это сценарий мечты, а не то, что произойдет само собой; это то, над чем мы все должны работать вместе.
• Продовольственная безопасность[24]. Достижения в технологиях растениеводства, такие как лучшие удобрения и пестициды, большая автоматизация и более эффективное землепользование, резко увеличили урожайность сельскохозяйственных культур на протяжении XX века, спасая миллионы людей от голода. Генетическая инженерия сейчас совершенствует многие культуры еще больше. Поиск еще больших возможностей для этого, а также повышение эффективности цепочек поставок продовольствия, может дать нам вторую «Зеленую революцию» на базе ИИ, помогая сократить разрыв между развивающимся и развитым миром.
• Смягчение последствий изменения климата. Изменение климата будет ощущаться в развивающемся мире гораздо сильнее, препятствуя его развитию. Мы можем ожидать, что ИИ приведет к совершенствованию технологий, которые замедлят или предотвратят изменение климата: от атмосферного удаления углерода и экологически чистой энергии до выращенного в лаборатории мяса, которое снизит нашу зависимость от углеродоемкого промышленного животноводства. Конечно, как обсуждалось выше, технологии — не единственное, что ограничивает прогресс в области климата. Как и во всех других вопросах, затронутых в этом эссе, важны социальные факторы. Но есть веские основания полагать, что исследования с поддержкой ИИ дадут нам средства сделать борьбу с изменением климата гораздо менее затратной и разрушительной, лишив многие возражения силы и развязав развивающимся странам руки для большего экономического прогресса.
• Неравенство внутри стран. Я в основном говорил о неравенстве как о глобальном феномене (что я считаю его наиболее важным проявлением), но, конечно, неравенство существует и внутри стран. С появлением передовых медицинских технологий и особенно радикального увеличения продолжительности жизни или препаратов для улучшения когнитивных способностей, безусловно, возникнут обоснованные опасения, что эти технологии будут доступны «только для богатых». Я более оптимистичен в отношении внутристранового неравенства, особенно в развитом мире, по двум причинам. Во-первых, рынки в развитом мире функционируют лучше, и рынки обычно хорошо умеют снижать стоимость ценных технологий с течением времени[25]. Во-вторых, политические институты развитого мира более чутко реагируют на запросы граждан и обладают большими государственными возможностями для реализации программ всеобщего доступа. И я ожидаю, что граждане потребуют доступа к технологиям, которые столь радикально улучшают качество жизни. Конечно, успех таких требований не предопределен — и здесь нам всем коллективно нужно сделать всё возможное для обеспечения справедливости в обществе. Существует отдельная проблема неравенства в богатстве (в отличие от неравенства в доступе к технологиям, спасающим и улучшающим жизнь), которая кажется более сложной и которую я обсуждаю в Разделе 5.
• Проблема отказа от технологий. Одной из проблем как в развитом, так и в развивающемся мире является то, что люди могут отказываться от преимуществ, предоставляемых ИИ (подобно движению противников вакцин или луддитам [борцам против машин] в целом). Могут возникнуть негативные циклы обратной связи, когда, например, люди, которые в наименьшей степени способны принимать правильные решения, отказываются от тех самых технологий, которые улучшают их способности к принятию решений, что ведет к постоянно растущему разрыву и даже созданию «антиутопического низшего класса» (некоторые исследователи утверждают, что это подорвет демократию, тему которой я обсуждаю в следующем разделе). Это снова стало бы моральным пятном на позитивных достижениях ИИ. Эту проблему трудно решить, так как я не считаю этичным принуждать людей, но мы можем хотя бы попытаться повысить научную грамотность населения — и, возможно, сам ИИ поможет нам в этом. Обнадеживающим признаком является то, что исторически антитехнологические движения были скорее громкими, чем эффективными: ругать современные технологии популярно, но в итоге большинство людей их принимает, по крайней мере, когда речь идет об индивидуальном выборе. Люди склонны внедрять большинство медицинских и потребительских технологий, в то время как технологии, которые действительно тормозятся (такие как ядерная энергетика), обычно зависят от коллективных политических решений.

В целом, я оптимистично настроен по поводу того, что биологические достижения ИИ быстро дойдут до людей в развивающемся мире. Я надеюсь, хотя и не уверен, что ИИ сможет обеспечить беспрецедентные темпы экономического роста и позволит развивающемуся миру как минимум превзойти нынешний уровень развитых стран. Меня беспокоит проблема «отказа» как в развитых, так и в развивающихся странах, но я подозреваю, что со временем она сойдет на нет и что ИИ поможет ускорить этот процесс. Мир не будет идеальным, и те, кто отстает, не догонят лидеров полностью, по крайней мере, в первые несколько лет. Но приложив серьезные усилия, мы сможем направить события в нужное русло — и быстро. Если нам это удастся, мы сможем хотя бы начать выполнять обещания достоинства и равенства, которые мы даем каждому человеческому существу на земле.

4. Мир и государственное управление

Предположим, что всё описанное в первых трех разделах идет успешно: болезни, бедность и неравенство значительно сократились, а базовый уровень человеческого опыта существенно вырос. Из этого еще не следует, что все основные причины человеческих страданий устранены. Люди по-прежнему представляют угрозу друг для друга. Хотя существует тенденция, согласно которой технологическое совершенствование и экономическое развитие ведут к демократии и миру, это очень зыбкая тенденция с частыми (и недавними) откатами назад. На заре XX века люди думали, что оставили войны в прошлом; затем последовали две мировые войны. Тридцать лет назад Фрэнсис Фукуяма писал о «Конце истории» и окончательном триумфе либеральной демократии; этого до сих пор не произошло. Двадцать лет назад американские политики верили, что свободная торговля с Китаем заставит его либерализоваться по мере обогащения; этого совсем не случилось, и сейчас мы, похоже, движемся ко второй холодной войне с возрождающимся авторитарным блоком. А правдоподобные теории предполагают, что интернет-технологии на самом деле могут давать преимущество авторитаризму, а не демократии, как считалось изначально (например, в период «Арабской весны»). Важно попытаться понять, как мощный ИИ будет пересекаться с этими вопросами мира, демократии и свободы.

К сожалению, я не вижу веских причин полагать, что ИИ будет преимущественно или структурно способствовать демократии и миру так же, как, по моему мнению, он будет способствовать здоровью людей и искоренению бедности. Человеческий конфликт носит состязательный характер, и ИИ в принципе может помочь как «хорошим парням», так и «плохим». Более того, некоторые структурные факторы вызывают тревогу: ИИ, скорее всего, позволит создать гораздо более совершенные инструменты пропаганды и слежки — основные орудия в арсенале автократа. Поэтому именно от нас как от отдельных субъектов зависит, сможем ли мы склонить чашу весов в правильном направлении: если мы хотим, чтобы ИИ способствовал демократии и правам личности, нам придется бороться за такой результат. Я убежден в этом даже сильнее, чем в вопросе международного неравенства: триумф либеральной демократии и политической стабильности не гарантирован, возможно, даже маловероятен, и потребует огромных жертв и преданности делу со стороны всех нас, как это часто бывало в прошлом.

Я разделяю эту проблему на две части: международные конфликты и внутренняя структура государств. Что касается международной стороны, кажется крайне важным, чтобы демократии имели преимущество на мировой арене в момент создания мощного ИИ. Авторитаризм на базе ИИ — это слишком ужасающая перспектива, чтобы её даже допускать, поэтому демократии должны иметь возможность диктовать условия, на которых мощный ИИ придет в мир. Это нужно как для того, чтобы не быть подавленными автократами, так и для предотвращения нарушений прав человека внутри авторитарных стран.

Мое нынешнее предположение о лучшем способе сделать это — «стратегия Антанты» [союза][26], в рамках которой коалиция демократий стремится получить явное преимущество (пусть даже временное) в области мощного ИИ. Это достигается путем обеспечения безопасности цепочки поставок, быстрого масштабирования и блокирования или задержки доступа противников к ключевым ресурсам, таким как чипы и оборудование для производства полупроводников. Эта коалиция, с одной стороны, использовала бы ИИ для достижения неоспоримого военного превосходства («кнут»), и в то же время предлагала бы распределить преимущества мощного ИИ («пряник») среди всё более широкого круга стран в обмен на поддержку стратегии коалиции по продвижению демократии (это было бы чем-то аналогично программе «Атом для мира»). Коалиция стремилась бы заручиться поддержкой всё большей части мира, изолируя злейших противников и, в конечном итоге, ставя их в положение, когда им выгоднее принять ту же сделку, что и остальному миру: отказаться от конкуренции с демократиями, чтобы получить все блага и не воевать с превосходящим противником.

Если мы сможем всё это сделать, мы получим мир, в котором демократии лидируют на мировой арене и обладают экономической и военной мощью, позволяющей избежать подрыва, завоевания или саботажа со стороны автократий. Так они смогут превратить свое превосходство в области ИИ в долгосрочное преимущество. Оптимистично это может привести к «вечному 1991 году» — миру, в котором демократии имеют перевес, а мечты Фукуямы реализованы. Опять же, этого будет очень трудно достичь, и, в частности, потребуется тесное сотрудничество между частными ИИ-компаниями и демократическими правительствами, а также необычайно мудрые решения по балансу кнута и пряника.

Даже если всё пойдет хорошо, остается вопрос борьбы между демократией и автократией внутри каждой страны. Очевидно, что здесь трудно предсказать результат, но у меня есть определенный оптимизм по поводу того, что при условии глобальной среды, в которой демократии контролируют самый мощный ИИ, тогда ИИ может фактически структурно благоприятствовать демократии повсюду. В частности, в такой среде демократические правительства могут использовать свой превосходящий ИИ для победы в информационной войне: они могут противостоять операциям влияния и пропаганде автократий и даже смогут создать глобально свободную информационную среду. Предоставляя каналы информации и услуги ИИ так, чтобы у автократий не было технической возможности их заблокировать или контролировать. Вероятно, даже нет необходимости распространять пропаганду, достаточно лишь противостоять злонамеренным атакам и разблокировать свободный поток информации. Хотя это и не произойдет мгновенно, такие равные условия игры имеют хорошие шансы постепенно склонить глобальное управление в сторону демократии по нескольким причинам.

Во-первых, рост качества жизни, описанный в разделах 1–3, при прочих равных условиях должен способствовать демократии: исторически так и происходило, по крайней мере, в некоторой степени. В частности, я ожидаю, что улучшение психического здоровья, благополучия и образования усилит демократию, поскольку все эти три фактора отрицательно коррелируют с поддержкой авторитарных лидеров. В целом люди хотят большего самовыражения, когда их другие потребности удовлетворены, а демократия — это, помимо прочего, форма самовыражения. Напротив, авторитаризм процветает на страхе и негодовании.

Во-вторых, есть хорошие шансы, что свободная информация действительно подрывает авторитаризм, пока автократы не могут её подвергнуть цензуре. А неподцензурный ИИ может также дать людям мощные инструменты для подрыва репрессивных правительств. Репрессивные режимы выживают, лишая людей определенного рода «общего знания», не давая им осознать, что «король-то голый». Например, Срджа Попович, который помог свергнуть правительство Милошевича в Сербии, много писал о методах психологического лишения автократов их власти, разрушения чар и сплочения поддержки против диктатора. Сверхчеловечески эффективная ИИ-версия Поповича (чьи навыки, кажется, имеют высокую отдачу от интеллекта) в кармане у каждого — ИИ, который диктаторы бессильны заблокировать или подвергнуть цензуре — могла бы стать попутным ветром для диссидентов и реформаторов по всему миру. Повторюсь, это будет долгая и затяжная борьба, где победа не гарантирована, но если мы спроектируем и построим ИИ правильно, это может стать борьбой, в которой сторонники свободы повсюду будут иметь преимущество.

Как и в случае с нейробиологией и биологией, мы также можем спросить, как всё может стать «лучше обычного» — не просто как избежать автократии, а как сделать сами демократии лучше, чем они есть сегодня. Даже внутри демократий постоянно случаются несправедливости. Правовые государства обещают своим гражданам, что все будут равны перед законом и каждый имеет право на основные права человека, но очевидно, что на практике люди не всегда получают эти права. Тот факт, что это обещание выполняется хотя бы частично, уже является поводом для гордости, но может ли ИИ помочь нам добиться большего?

Например, мог бы ИИ улучшить нашу правовую и судебную систему, сделав решения и процессы более беспристрастными? Сегодня люди в основном беспокоятся, что в юридическом контексте системы ИИ станут причиной дискриминации, и эти опасения важны, от них нужно защищаться. В то же время жизнеспособность демократии зависит от использования новых технологий для улучшения демократических институтов, а не только от реагирования на риски. По-настоящему зрелое и успешное внедрение ИИ способно уменьшить предвзятость и сделать систему более справедливой для всех.

На протяжении столетий правовые системы сталкивались с дилеммой: закон стремится быть беспристрастным, но он по своей сути субъективен и поэтому должен интерпретироваться предвзятыми людьми. Попытки сделать закон полностью механическим не увенчались успехом, потому что реальный мир сложен и его не всегда можно втиснуть в математические формулы. Вместо этого правовые системы полагаются на заведомо неточные критерии, такие как «жестокое и необычное наказание» или «совершенно лишенное искупительной социальной значимости», которые затем интерпретируют люди — и часто делают это предвзято, проявляя фаворитизм или произвольность. «Смарт-контракты» в криптовалютах не произвели революции в праве, потому что обычный код недостаточно умен, чтобы судить о чем-то действительно сложном. Но ИИ может быть достаточно умен для этого: это первая технология, способная выносить широкие, «нечеткие» суждения повторяемым и механическим способом.

Я не предлагаю буквально заменить судей системами ИИ, но сочетание беспристрастности со способностью понимать и обрабатывать запутанные ситуации реального мира, как мне кажется, должно иметь серьезные позитивные применения в области права и правосудия. Как минимум, такие системы могли бы работать вместе с людьми в качестве помощи в принятии решений. Прозрачность была бы важна в любой такой системе, и зрелая наука об ИИ вполне могла бы её обеспечить: процесс обучения таких систем можно было бы всесторонне изучать, а передовые методы интерпретируемости использовать для того, чтобы заглянуть внутрь финальной модели и оценить её на наличие скрытых предубеждений так, как это просто невозможно сделать с человеком. Такие инструменты ИИ могли бы также использоваться для мониторинга нарушений фундаментальных прав в судебном или полицейском контексте, делая конституции более «самоисполняемыми».

В том же духе ИИ мог бы использоваться как для агрегирования мнений, так и для достижения консенсуса [согласия] среди граждан, разрешая конфликты, находя точки соприкосновения и стремясь к компромиссу. Некоторые ранние идеи в этом направлении были предприняты проектом «вычислительная демократия», включая сотрудничество с Anthropic. Более информированное и вдумчивое гражданское общество, очевидно, укрепило бы демократические институты.

Существует также очевидная возможность использования ИИ для помощи в предоставлении государственных услуг — таких как медицинские льготы или социальные услуги — которые в принципе доступны всем, но на практике часто крайне неудовлетворительны, а в некоторых местах ситуация еще хуже. Это касается здравоохранения, регистрации транспорта [аналог МФЦ/ГИБДД], налогов, социального обеспечения, контроля соблюдения строительных норм и так далее. Наличие очень вдумчивого и информированного ИИ, чья задача — предоставить вам всё, на что вы имеете законное право со стороны государства, в понятной для вас форме, и который также помогает вам соблюдать часто запутанные государственные правила, — это было бы очень серьезным достижением. Повышение дееспособности государства помогает как выполнять обещание равенства перед законом, так и укреплять уважение к демократическому управлению. Плохо реализованные услуги в настоящее время являются основным фактором цинизма по отношению к правительству[27].

Всё это — в некоторой степени расплывчатые идеи, и, как я сказал в начале этого раздела, я далеко не так уверен в их осуществимости, как в успехах в области биологии, нейробиологии и искоренения бедности. Они могут быть нереалистично утопичными. Но важно иметь амбициозное видение, быть готовым мечтать о большем и пробовать. Видение ИИ как гаранта свободы, прав личности и равенства перед законом — слишком мощное видение, чтобы за него не бороться. Политическое устройство XXI века с поддержкой ИИ могло бы стать как более сильным защитником индивидуальной свободы, так и маяком надежды, который поможет сделать либеральную демократию той формой правления, которую захочет принять весь мир.

5. Работа и смысл

Даже если всё, описанное в предыдущих четырех разделах, пойдет хорошо — мы не только победим болезни, бедность и неравенство, но и либеральная демократия станет доминирующей формой правления, а существующие демократии станут лучшими версиями самих себя — остается как минимум один важный вопрос. «Это здорово, что мы живем в таком технологически продвинутом, а также справедливом и достойном мире», — может возразить кто-то, — «но если ИИ делает всё за нас, в чем тогда будет смысл человеческой жизни? И, раз уж на то пошло, как люди будут выживать экономически?».

Я думаю, что этот вопрос сложнее остальных. Я не имею в виду, что обязательно настроен по отношению к нему более пессимистично (хотя и вижу трудности). Я имею в виду, что он более расплывчатый и его труднее предсказать заранее, так как он касается макроскопических вопросов устройства общества, которые имеют тенденцию разрешаться только со временем и децентрализованным образом. Например, исторические общества охотников-собирателей могли бы вообразить, что жизнь бессмысленна без охоты и различных религиозных ритуалов, с ней связанных, и сочли бы наше сытое технологическое общество лишенным цели. Они также могли бы не понимать, как наша экономика может обеспечивать всех или какую полезную функцию могут выполнять люди в механизированном обществе.

Тем не менее, стоит сказать хотя бы несколько слов, помня при этом, что краткость этого раздела ни в коем случае не должна восприниматься как признак того, что я не отношусь к этим проблемам серьезно — напротив, это признак отсутствия четких ответов.

Что касается вопроса о смысле, я считаю, что, скорее всего, ошибочно полагать, будто задачи, которые вы выполняете, бессмысленны просто потому, что ИИ мог бы сделать их лучше. Большинство людей не являются лучшими в мире ни в чем, и это их не особо беспокоит. Конечно, сегодня они всё еще могут вносить вклад через сравнительное преимущество и могут черпать смысл в производимой ими экономической ценности, но люди также получают огромное удовольствие от деятельности, не приносящей никакой экономической выгоды. Я трачу массу времени на видеоигры, плавание, прогулки и общение с друзьями, и всё это не создает никакой экономической ценности. Я могу потратить день, пытаясь стать лучше в видеоигре или быстрее заехать на велосипеде на гору, и мне не особо важно, что кто-то где-то делает это гораздо лучше. В любом случае, я думаю, что смысл проистекает в основном из человеческих отношений и связей, а не из экономического труда. Люди хотят чувства достижения, даже чувства конкуренции, и в мире после ИИ будет вполне возможно тратить годы на выполнение какой-то очень сложной задачи со сложной стратегией — подобно тому, как люди сегодня берутся за исследовательские проекты, пытаются стать голливудскими актерами или основывают компании[28]. Тот факт, что (а) ИИ где-то в принципе мог бы сделать эту задачу лучше, и (б) эта задача больше не является экономически вознаграждаемым элементом глобальной экономики, на мой взгляд, не имеет большого значения.

Экономическая часть на самом деле кажется мне более сложной, чем смысловая. Под «экономической» в данном разделе я подразумеваю возможную проблему того, что большинство или все люди могут оказаться не в состоянии вносить значимый вклад в достаточно продвинутую экономику, управляемую ИИ. Это более масштабная проблема, чем отдельная проблема неравенства, особенно неравенства в доступе к новым технологиям, которую я обсуждал в Разделе 3.

Прежде всего, в краткосрочной перспективе я согласен с аргументами о том, что сравнительное преимущество будет по-прежнему оставлять людей востребованными и фактически повышать их производительность, и даже может в некотором роде выровнять условия игры между людьми. До тех пор, пока ИИ лучше справляется только с 90% конкретной работы, остальные 10% заставят людей стать крайне востребованными, увеличивая компенсацию и фактически создавая кучу новых рабочих мест, дополняющих и усиливающих то, в чем ИИ хорош. Таким образом, эти «10%» будут расширяться, продолжая давать работу почти всем. На самом деле, даже если ИИ сможет делать 100% вещей лучше людей, но останется неэффективным или дорогим в некоторых задачах, или если ресурсные затраты для людей и ИИ будут существенно различаться, то логика сравнительного преимущества продолжит действовать. Одной из областей, где люди, вероятно, сохранят относительное (или даже абсолютное) преимущество в течение значительного времени, является физический мир. Таким образом, я думаю, что человеческая экономика может продолжать иметь смысл даже некоторое время спустя после того, как мы достигнем состояния «страны гениев в дата-центре».

Однако я действительно считаю, что в долгосрочной перспективе ИИ станет настолько широко эффективным и настолько дешевым, что это перестанет работать. В этот момент наша нынешняя экономическая модель перестанет иметь смысл, и возникнет необходимость в широкой общественной дискуссии о том, как должна быть организована экономика.

Хотя это может звучать безумно, факт в том, что цивилизация успешно преодолевала крупные экономические сдвиги в прошлом: от охоты и собирательства к земледелию, от земледелия к феодализму и от феодализма к индустриализму. Я подозреваю, что потребуется нечто новое и еще более странное, чего никто сегодня не смог толком вообразить. Это может быть так же просто, как крупный безусловный базовый доход [выплаты всем гражданам просто так] для каждого, хотя я подозреваю, что это будет лишь малой частью решения. Это может быть капиталистическая экономика систем ИИ, которые затем распределяют ресурсы (в огромных количествах, так как общий «экономический пирог» будет гигантским) людям на основе какой-то вторичной экономики — того, что системы ИИ сочтут разумным вознаграждать в людях (основываясь на суждениях, в конечном счете вытекающих из человеческих ценностей). Возможно, экономика будет работать на «ваффи-баллах» [социальная репутация из фантастики Кори Доктороу]. Или, возможно, люди всё же сохранят экономическую ценность каким-то способом, не предусмотренным обычными экономическими моделями. Все эти решения содержат массу возможных проблем, и невозможно узнать, будут ли они иметь смысл, без множества итераций и экспериментов. И, как и в случае с другими вызовами, нам, вероятно, придется бороться за хороший результат: эксплуататорские или антиутопические направления развития также явно возможны, и их необходимо предотвратить. Об этих вопросах можно написать гораздо больше, и я надеюсь сделать это когда-нибудь позже.

Подводя итоги

Рассматривая различные темы выше, я попытался изложить видение мира, которое одновременно и правдоподобно, если с ИИ всё пойдет правильно, и гораздо лучше, чем сегодняшний мир. Я не знаю, реалистичен ли этот мир, и даже если да, он не будет достигнут без огромных усилий и борьбы многих смелых и преданных делу людей. Всем (включая компании, занимающиеся ИИ!) нужно будет внести свой вклад как в предотвращение рисков, так и в полную реализацию преимуществ.

Но это мир, за который стоит бороться. Если всё это действительно произойдет в течение 5–10 лет — победа над большинством болезней, рост биологической и когнитивной свободы, выведение миллиардов людей из бедности для участия в новых технологиях, ренессанс либеральной демократии и прав человека — я подозреваю, что каждый, кто будет за этим наблюдать, будет поражен тем эффектом, который это на него произведет. Я имею в виду не только опыт личного пользования всеми новыми технологиями, хотя это, безусловно, будет потрясающе. Я имею в виду опыт наблюдения за тем, как давние идеалы материализуются перед нами все сразу. Я думаю, многих это буквально тронет до слез.

На протяжении написания этого эссе я замечал интересное противоречие. В одном смысле изложенное здесь видение крайне радикально: это не то, чего почти никто не ожидает в ближайшее десятилетие, и многим оно покажется абсурдной фантазией. Некоторые могут даже не счесть его желательным; оно воплощает ценности и политический выбор, с которыми не все согласятся. Но в то же время в нем есть что-то ослепительно очевидное — что-то предопределенное, как будто множество различных попыток представить хороший мир неизбежно ведут примерно сюда.

В книге Иэна М. Бэнкса «Игрок»[29] главный герой — член общества под названием Культура, основанного на принципах, не слишком отличающихся от тех, что я изложил здесь, — отправляется в репрессивную милитаристскую империю, где лидерство определяется соревнованием в сложной тактической игре. Однако игра достаточно сложна, чтобы стратегия игрока в ней отражала его собственные политические и философские взгляды. Главному герою удается победить императора в игре, показывая, что его ценности (ценности Культуры) представляют собой выигрышную стратегию даже в игре, созданной обществом, основанным на безжалостной конкуренции и выживании сильнейших. В известном посте Скотта Александера высказывается тот же тезис — что конкуренция сама себя изживает и имеет тенденцию приводить к обществу, основанному на сострадании и сотрудничестве. «Дуга моральной вселенной» — еще одна подобная концепция [фраза Мартина Лютера Кинга о том, что мир постепенно склоняется к справедливости].

Я думаю, что ценности Культуры — это выигрышная стратегия, потому что они являются суммой миллиона малых решений, обладающих явной моральной силой и стремящихся объединить всех на одной стороне. С базовыми человеческими интуитивными представлениями о справедливости, сотрудничестве, любознательности и автономии трудно спорить, и они имеют кумулятивный [накопительный] эффект, которого часто нет у наших более деструктивных импульсов. Легко доказать, что дети не должны умирать от болезней, если мы можем это предотвратить, и отсюда легко перейти к аргументу, что дети каждого заслуживают этого права в равной степени. Отсюда несложно прийти к мысли, что мы все должны объединиться и приложить наш интеллект для достижения этого результата. Мало кто не согласен с тем, что люди должны быть наказаны за нападение на других или причинение вреда без необходимости, и отсюда недалеко до идеи, что наказания должны быть последовательными и системными для всех. Столь же интуитивно понятно, что люди должны обладать автономией и ответственностью за свою жизнь и выбор. Эти простые интуиции, если довести их до логического завершения, в конечном итоге приводят к верховенству закона, демократии и ценностям Просвещения. Если и не неизбежно, то, по крайней мере, как статистическая тенденция, это то, куда человечество уже направлялось. ИИ просто дает возможность добраться туда быстрее — сделать логику более жесткой, а пункт назначения — более четким.

Тем не менее, это вещь трансцендентной красоты. У нас есть возможность сыграть свою небольшую роль в том, чтобы сделать это реальностью.

---

Спасибо Кевину Эсвелту, Парагу Маллику, Стюарту Ричи, Мэтту Иглесиасу, Эрику Бриньолфсону, Джиму Макклейву, Аллану Дафо и многим сотрудникам Anthropic за рецензирование черновиков этого эссе.

Победителям Нобелевской премии по химии 2024 года за то, что указали нам путь.

Примечания

1. https://allpoetry.com/All-Watched-Over-By-Machines-Of-Loving-Grace [Стихотворение Ричарда Бротигана «Все под присмотром машин любящей благодати»]
2. Я действительно ожидаю, что реакция некоторого меньшинства людей будет такой: «Это довольно скучно». Думаю, этим людям нужно, говоря на сленге Твиттера, «потрогать траву» [вернуться в реальность]. Но что более важно, «скучно» — это хорошо с общественной точки зрения. Я думаю, что люди могут выдержать лишь определенный объем изменений за раз, и темп, который я описываю, вероятно, близок к пределам того, что общество может поглотить без экстремальных потрясений.
3. Я нахожу термин AGI [ИИ общего уровня] неточным, набравшим много научно-фантастического багажа и хайпа. Я предпочитаю «мощный ИИ» или «Наука и инженерия экспертного уровня», что передает суть того, что я имею в виду, без лишнего шума.
4. В этом эссе я использую термин «интеллект» для обозначения общей способности к решению проблем, которая может быть применена в различных областях. Сюда входят такие способности, как рассуждение, обучение, планирование и креативность. Хотя я использую слово «интеллект» как сокращение на протяжении всего эссе, я признаю, что природа интеллекта — сложная и дискуссионная тема в когнитивистике и исследованиях ИИ. Некоторые исследователи утверждают, что интеллект — это не единая концепция, а совокупность отдельных когнитивных способностей. Другие утверждают, что существует общий фактор интеллекта (g-фактор), лежащий в основе различных когнитивных навыков. Но это дискуссия для другого раза.
5. Это примерно соответствует текущей скорости систем ИИ — например, они могут прочитать страницу текста за пару секунд и написать страницу текста за 20 секунд, что в 10–100 раз быстрее, чем это могут делать люди. Со временем более крупные модели имеют тенденцию работать медленнее, но более мощные чипы ускоряют их; на сегодняшний день эти два эффекта примерно уравновешивают друг друга.
6. Это может показаться позицией «соломенного чучела» [умышленно упрощенной], но такие вдумчивые мыслители, как Тайлер Коуэн и Мэтт Иглесиас, поднимали это как серьезное опасение (хотя я не думаю, что они полностью разделяют этот взгляд), и я не считаю это безумием.
7. Ближайшая экономическая работа по этому вопросу, о которой мне известно, — это работа о «технологиях общего назначения» и «нематериальных инвестициях», которые служат дополнениями к технологиям общего назначения.
8. Это обучение может включать временное обучение в контексте или традиционное обучение; и то, и другое будет ограничено по скорости физическим миром.
9. В хаотической системе малые ошибки со временем накапливаются экспоненциально, так что даже колоссальное увеличение вычислительной мощности ведет лишь к небольшому улучшению того, насколько далеко вперед можно предсказывать, а на практике ошибки измерения могут еще больше ухудшить ситуацию.
10. Другим фактором является, конечно, то, что сам мощный ИИ потенциально может быть использован для создания еще более мощного ИИ. Мое предположение заключается в том, что это может (и, вероятно, будет) происходить, но его эффект будет меньше, чем можно вообразить, именно из-за «снижающейся предельной отдачи от интеллекта», обсуждаемой здесь. Иными словами, ИИ будет продолжать умнеть быстро, но его эффект со временем будет ограничен не связанными с интеллектом факторами, и анализ именно этих факторов важнее всего для понимания скорости научного прогресса за пределами самого ИИ.
11. Эти достижения стали для меня вдохновением и, пожалуй, самым ярким примером использования ИИ для трансформации биологии.
12. «Прогресс в науке зависит от новых методов, новых открытий и новых идей, вероятно, именно в таком порядке». — Сидней Бреннер
13. Спасибо Парагу Маллику за подсказку этого момента.
14. Я не хотел загромождать текст предположениями о том, какие конкретно будущие открытия может сделать наука с помощью ИИ, но вот список некоторых возможностей:
    — Проектирование лучших вычислительных инструментов, таких как AlphaFold и AlphaProteo — то есть общая система ИИ, ускоряющая нашу способность создавать специализированные вычислительные инструменты биологии.
    — Более эффективный и селективный CRISPR.
    — Более продвинутые методы клеточной терапии.
    — Прорывы в материаловедении и миниатюризации, ведущие к созданию лучших имплантируемых устройств.
    — Лучший контроль над стволовыми клетками, дифференцировкой и дедифференцировкой клеток и, как следствие, способность выращивать заново или изменять форму тканей.
    — Лучший контроль над иммунной системой: выборочное включение для борьбы с раком и инфекциями и выборочное выключение для борьбы с аутоиммунными заболеваниями.
15. ИИ может также помочь в более разумном выборе экспериментов: улучшение дизайна экспериментов, извлечение большего количества знаний из первого раунда, чтобы второй раунд мог сфокусироваться на ключевых вопросах, и так далее.
16. Спасибо Мэттью Иглесиасу за подсказку этого момента.
17. Быстро мутирующие заболевания, такие как штаммы с множественной лекарственной устойчивостью, которые фактически используют больницы как эволюционную лабораторию для постоянного повышения своей устойчивости к лечению, могут быть особенно трудно поддающимися, и это то, что может помешать нам достичь 100% успеха.
18. Заметим, что может быть трудно узнать, что мы удвоили продолжительность жизни в течение этих 5–10 лет. Хотя мы можем этого достичь, мы можем еще не знать об этом в рамках временного окна исследования.
19. Это тот случай, где я готов, несмотря на очевидные биологические различия между лечением болезней и замедлением самого процесса старения, взглянуть на ситуацию с большей дистанции, на статистический тренд, и сказать: «даже если детали различаются, я думаю, что человеческая наука найдет способ продолжить этот тренд; в конце концов, плавные тренды в чем-то сложном неизбежно складываются из очень разнородных компонентов».
20. К примеру, мне говорили, что увеличение роста производительности на 1% или даже 0,5% в год было бы трансформирующим для прогнозов, связанных с этими программами. Если идеи, рассматриваемые в этом эссе, воплотятся в жизнь, рост производительности может быть гораздо больше.
21. Медиа любят изображать высокостатусных психопатов, но среднестатистический психопат — это, скорее всего, человек с плохими экономическими перспективами и плохим контролем импульсов, который в итоге проводит значительное время в тюрьме.
22. Я думаю, это в некоторой степени аналогично тому факту, что многие (хотя, вероятно, не все) результаты, которые мы узнаем из интерпретируемости ИИ, остались бы актуальными, даже если бы некоторые архитектурные детали наших нынешних искусственных нейронных сетей, такие как механизм внимания [attention], были бы изменены или заменены чем-то другим.
23. Я подозреваю, что это немного похоже на классическую хаотическую систему — обремененную неуменьшаемой сложностью, которой нужно управлять преимущественно децентрализованным образом. Хотя, как я говорю далее в этом разделе, более скромные вмешательства могут быть возможны. Контраргумент, приведенный мне экономистом Эриком Бриньолфсоном, заключается в том, что крупные компании (такие как Walmart или Uber) начинают обладать достаточным объемом централизованных знаний, чтобы понимать потребителей лучше, чем любой децентрализованный процесс, что, возможно, заставляет нас пересмотреть взгляды Хайека о том, у кого находятся лучшие локальные знания.
24. Спасибо Кевину Эсвелту за подсказку этого момента.
25. Например, сотовые телефоны изначально были технологией для богатых, но быстро стали очень дешевыми, причем ежегодные улучшения происходили так быстро, что лишали смысла покупку «люксового» телефона, и сегодня у большинства людей телефоны схожего качества.
26. Это название готовящейся к публикации статьи RAND, в которой излагается примерно та стратегия, которую я описываю.
27. Когда обычный человек думает о государственных учреждениях, он, вероятно, вспоминает свой опыт общения с регистрацией транспорта, налоговой, медицинской страховкой или подобными службами. Сделать этот опыт более позитивным — мощный способ борьбы с неоправданным цинизмом.
28. Действительно, в мире с ИИ спектр таких возможных вызовов и проектов будет гораздо шире, чем сегодня.
29. Я нарушаю свое собственное правило не превращать это в разговор о научной фантастике, но мне трудно удержаться от хотя бы частичного упоминания. Истина в том, что научная фантастика — один из наших немногих источников масштабных мысленных экспериментов о будущем. Я думаю, это плохо, что она так сильно переплетена с конкретной узкой субкультурой. [Ссылка на книгу Иэна Бэнкса «The Player of Games»].