Противостояние рискам мощного ИИ и их преодоление

Январь 2026 г.

В киноверсии книги Карла Сагана «Контакт» есть сцена, где главную героиню — астронома, поймавшую первый радиосигнал от инопланетной цивилизации — рассматривают на роль представителя человечества для встречи с пришельцами. Международная комиссия, проводящая собеседование, спрашивает: «Если бы вы могли задать [инопланетянам] всего один вопрос, что бы это было?» Она отвечает: «Я бы спросила их: “Как вы это сделали? Как вы эволюционировали, как вы пережили это технологическое отрочество, не уничтожив самих себя?”»

Когда я думаю о том, где сейчас находится человечество в отношениях с ИИ — о том, на пороге чего мы стоим, — мой разум постоянно возвращается к этой сцене. Этот вопрос удивительно точно подходит к нашей нынешней ситуации, и я бы очень хотел иметь ответ пришельцев, чтобы он вел нас. Я верю, что мы вступаем в период «обряда посвящения» — турбулентный и неизбежный, который станет проверкой того, кто мы есть как биологический вид. Человечеству вот-вот будет вручена почти невообразимая власть, и пока совершенно неясно, обладают ли наши социальные, политические и технологические системы достаточной зрелостью, чтобы распоряжаться ею.

В своем эссе «Машины милосердия» (Machines of Loving Grace) я пытался изложить мечту о цивилизации, которая перешла во взрослое состояние, где риски были устранены, а мощный ИИ умело и сострадательно применяется для повышения качества жизни каждого человека. Я предположил, что ИИ может способствовать колоссальным достижениям в биологии, нейробиологии, экономическом развитии, установлении мира во всем мире, а также в вопросах труда и поиска смысла жизни. Я чувствовал, что важно дать людям что-то вдохновляющее, за что стоит бороться — задачу, в которой и сторонники ускорения ИИ, и защитники его безопасности, как ни странно, потерпели неудачу. Но в нынешнем эссе я хочу столкнуться лицом к лицу с самим «обрядом посвящения»: наметить риски, с которыми мы вот-вот столкнемся, и попытаться составить план битвы для их преодоления. Я глубоко верю в нашу способность победить, в человеческий дух и его благородство, но мы должны смотреть на ситуацию прямо и без иллюзий.

Как и в случае с разговором о преимуществах, я считаю важным обсуждать риски взвешенно и продуманно. В частности, я считаю критически важным:

• Избегать «думеризма» (настроений в духе «мы все обречены»). Под «думеризмом» я имею в виду не только веру в неизбежность катастрофы (что является ложным и самоисполняющимся пророчеством), но и в целом восприятие рисков ИИ в квазирелигиозном ключе. Многие люди на протяжении многих лет думали о рисках ИИ аналитически и трезво, но у меня сложилось впечатление, что во время пика беспокойства по поводу рисков ИИ в 2023–2024 годах на поверхность всплыли самые неразумные голоса, часто через сенсационные аккаунты в социальных сетях. Эти голоса использовали отталкивающий язык, напоминающий религию или научную фантастику, и призывали к крайним действиям, не имея доказательств, которые могли бы их оправдать. Уже тогда было ясно, что ответная реакция неизбежна, и что вопрос станет культурно поляризованным и, следовательно, зайдет в тупик. К 2025–2026 годам маятник качнулся в другую сторону: сейчас многие политические решения диктуются возможностями ИИ, а не его рисками. Эти колебания прискорбны, так как самой технологии безразлично, что сейчас в моде, а мы в 2026 году значительно ближе к реальной опасности, чем были в 2023-м. Урок заключается в том, что нам нужно обсуждать и устранять риски реалистично и прагматично: трезво, опираясь на факты и будучи готовыми пережить смену общественных настроений.
• Признавать неопределенность. Существует множество причин, по которым опасения, высказанные мной в этой статье, могут оказаться беспочвенными. Ничто здесь не призвано транслировать уверенность или даже высокую вероятность. Очевиднее всего то, что ИИ может просто не развиваться так быстро, как я предполагаю. Или, даже если он будет развиваться быстро, некоторые или все обсуждаемые здесь риски могут не материализоваться (что было бы замечательно), или могут возникнуть другие риски, которые я не учел. Никто не может предсказать будущее с полной уверенностью — но мы все равно должны делать все возможное, чтобы планировать.
• Вмешиваться максимально точечно («хирургически»). Устранение рисков ИИ потребует сочетания добровольных действий компаний (и частных третьих сторон) и действий правительств, обязательных для всех. Добровольные действия — как их принятие, так и поощрение других компаний следовать им — для меня не обсуждаются (это очевидная необходимость). Я твердо верю, что государственные действия также потребуются в определенной степени, но эти вмешательства имеют другой характер, поскольку они потенциально могут уничтожить экономическую ценность или принудить к действию несогласных игроков, скептически относящихся к этим рискам (и есть шанс, что они правы!). Также часто бывает, что регулирование дает обратный эффект или усугубляет проблему, которую оно призвано решить (и это еще более верно для быстро меняющихся технологий). Поэтому очень важно, чтобы регулирование было рассудительным: оно должно стремиться избежать побочного ущерба, быть как можно более простым и налагать минимальное бремя, необходимое для выполнения задачи. Легко сказать: «Никакие действия не являются чрезмерными, когда на кону судьба человечества!», но на практике такая позиция просто ведет к жесткому протесту общества. Чтобы быть ясным: я думаю, есть приличный шанс, что мы в конечном итоге достигнем точки, когда потребуются гораздо более значимые действия, но это будет зависеть от более веских доказательств неизбежной конкретной опасности, чем те, что у нас есть сегодня, а также от достаточной специфики опасности для формулирования правил, имеющих шанс ее устранить. Самое конструктивное, что мы можем сделать сегодня — это выступать за ограниченные правила, пока мы выясняем, есть ли доказательства в поддержку более жестких.

С учетом всего сказанного, я думаю, что лучшее место для начала разговора о рисках ИИ — это то же самое место, с которого я начал разговор о его преимуществах: с точности в определении того, о каком уровне ИИ мы говорим. Уровень ИИ, вызывающий у меня цивилизационные опасения — это тот самый мощный ИИ, который я описал в «Машинах милосердия». Я просто повторю здесь определение, которое я дал в том документе:

Под «мощным ИИ» я подразумеваю модель ИИ — вероятно, похожую на сегодняшние LLM (большие языковые модели) по форме, хотя она может быть основана на другой архитектуре, может включать в себя несколько взаимодействующих моделей и обучаться иначе — обладающую следующими свойствами:

• С точки зрения чистого интеллекта, она умнее лауреата Нобелевской премии в большинстве соответствующих областей: биологии, программировании, математике, инженерии, писательстве и т. д. Это означает, что она может доказывать нерешенные математические теоремы, писать чрезвычайно хорошие романы, создавать сложные программные коды с нуля и т. д.
• Помимо того, что это просто «умная штука, с которой вы разговариваете», она имеет все интерфейсы, доступные человеку, работающему виртуально, включая текст, аудио, видео, управление мышью и клавиатурой, а также доступ в интернет. Она может совершать любые действия, коммуникации или удаленные операции, доступные через этот интерфейс, включая действия в интернете, отдачу или получение указаний людям, заказ материалов, руководство экспериментами, просмотр видео, создание видео и так далее. Она выполняет все эти задачи, опять же, с мастерством, превышающим способности самых способных людей в мире.
• Она не просто пассивно отвечает на вопросы; вместо этого ей можно давать задачи, на выполнение которых уходят часы, дни или недели, после чего она уходит и выполняет эти задачи автономно, как умный сотрудник, запрашивая разъяснения по мере необходимости.
• У нее нет физического воплощения (кроме жизни на экране компьютера), но она может управлять существующими физическими инструментами, роботами или лабораторным оборудованием через компьютер; теоретически она могла бы даже проектировать роботов или оборудование для собственного использования.
• Ресурсы, использованные для обучения модели, могут быть перепрофилированы для запуска миллионов ее копий (это соответствует прогнозируемым размерам вычислительных кластеров к ~2027 году), и модель может поглощать информацию и генерировать действия примерно в 10–100 раз быстрее человека. Однако она может быть ограничена временем реакции физического мира или программного обеспечения, с которым она взаимодействует.
• Каждая из этих миллионов копий может действовать независимо над несвязанными задачами или, при необходимости, все они могут работать вместе так же, как сотрудничали бы люди, возможно, с выделением отдельных подгрупп, специально обученных («дообученных») для выполнения конкретных задач.

Мы могли бы резюмировать это как «страна гениев в дата-центре».

Как я писал в «Машинах милосердия», до появления мощного ИИ может оставаться всего 1–2 года, хотя он также может появиться значительно позже.

Когда именно появится мощный ИИ — это сложная тема, заслуживающая отдельного эссе, но сейчас я просто вкратце объясню, почему я считаю, что есть высокие шансы на его скорое появление.

Мои сооснователи в Anthropic и я были одними из первых, кто задокументировал и отследил «законы масштабирования» систем ИИ — наблюдение, согласно которому по мере добавления вычислительных мощностей и задач для обучения системы ИИ предсказуемо становятся лучше практически в каждом когнитивном навыке, который мы в состоянии измерить. Каждые несколько месяцев общественное мнение либо убеждается в том, что ИИ «упирается в стену», либо воодушевляется каким-то новым прорывом, который «фундаментально изменит правила игры», но правда в том, что за волатильностью и публичными спекуляциями скрывается плавный, неуклонный рост когнитивных способностей ИИ.

Сейчас мы находимся в точке, где модели ИИ начинают делать успехи в решении нерешенных математических задач и достаточно хороши в программировании, так что некоторые из сильнейших инженеров, которых я когда-либо встречал, теперь передают почти всю свою работу по кодингу искусственному интеллекту. Три года назад ИИ с трудом справлялся с арифметическими задачами для начальной школы и был едва способен написать одну строку кода. Аналогичные темпы улучшения наблюдаются в биологических науках, финансах, физике и различных агентских задачах (задачах, требующих самостоятельных действий). Если экспоненциальный рост продолжится — что не гарантировано, но подтверждается десятилетним опытом, — то не может пройти более нескольких лет до того момента, когда ИИ станет лучше людей практически во всем.

На самом деле, эта картина, вероятно, даже недооценивает вероятные темпы прогресса. Поскольку ИИ теперь пишет большую часть кода в Anthropic, он уже существенно ускоряет темпы нашего прогресса в создании следующего поколения систем ИИ. Эта петля обратной связи набирает обороты месяц за месяцем и может находиться всего в 1–2 годах от точки, когда текущее поколение ИИ будет автономно строить следующее. Этот цикл уже начался и будет стремительно ускоряться в ближайшие месяцы и годы. Наблюдая за прогрессом последних пяти лет изнутри Anthropic и глядя на то, какими получаются модели даже следующих нескольких месяцев, я буквально чувствую темп прогресса и то, как тикают часы.

В этом эссе я буду исходить из того, что эта интуиция хотя бы отчасти верна — не в том смысле, что мощный ИИ определенно появится через 1–2 года, а в том, что есть приличный шанс на это и очень высокий шанс, что он появится в ближайшие несколько лет. Как и в случае с «Машинами милосердия», серьезное отношение к этой предпосылке может привести к некоторым удивительным и жутким выводам. Если в «Машинах милосердия» я сосредоточился на положительных последствиях, то здесь то, о чем я буду говорить, вызовет тревогу. Это выводы, с которыми мы, возможно, не захотим сталкиваться, но от этого они не становятся менее реальными. Я могу лишь сказать, что день и ночь сосредоточен на том, как увести нас от этих негативных результатов к позитивным, и в этом эссе я подробно говорю о том, как лучше всего это сделать.

Я думаю, что лучший способ разобраться в рисках ИИ — это задать следующий вопрос: предположим, что где-то в мире примерно в 2027 году материализовалась буквальная «страна гениев». Представьте себе, скажем, 50 миллионов человек, каждый из которых гораздо способнее любого лауреата Нобелевской премии, государственного деятеля или технолога. Аналогия не идеальна, потому что у этих гениев может быть чрезвычайно широкий спектр мотиваций и поведения: от полной покорности и послушания до странных и чуждых нам целей. Но, придерживаясь этой аналогии, предположим, что вы — советник по национальной безопасности крупного государства, ответственный за оценку ситуации и реагирование на нее. Представьте далее, что, поскольку системы ИИ могут работать в сотни раз быстрее людей, эта «страна» обладает преимуществом во времени по сравнению со всеми остальными странами: на каждое наше когнитивное действие эта страна может совершить десять.

О чем бы вы беспокоились? Я бы беспокоился о следующем:

1. Риски автономии. Каковы намерения и цели этой страны? Является ли она враждебной или разделяет наши ценности? Могла бы она доминировать в мире военным путем с помощью превосходящего оружия, киберопераций, операций влияния или производства?
2. Злоупотребление ради разрушения. Предположим, новая страна податлива и «следует инструкциям» — и, таким образом, по сути является страной наемников. Могли бы существующие злоумышленники, желающие сеять разрушение (например, террористы), использовать или манипулировать некоторыми людьми в новой стране, чтобы стать намного эффективнее, многократно увеличив масштаб разрушений?
3. Злоупотребление ради захвата власти. Что, если страна на самом деле была построена и контролируется существующим влиятельным игроком, например диктатором или недобросовестной корпорацией? Мог бы этот игрок использовать ее для получения решающей или доминирующей власти над миром в целом, нарушив существующий баланс сил?
4. Экономические потрясения. Если новая страна не представляет угрозы безопасности ни в одном из пунктов №1–3 выше, а просто мирно участвует в мировой экономике, может ли она все равно создать серьезные риски просто из-за того, что она настолько технологически продвинута и эффективна, что разрушает мировую экономику, вызывая массовую безработицу или радикально концентрируя богатство?
5. Косвенные эффекты. Мир изменится очень быстро благодаря всем новым технологиям и производительности, которые будут созданы новой страной. Могут ли некоторые из этих изменений быть радикально дестабилизирующими?

Думаю, должно быть ясно, что это опасная ситуация — отчет компетентного чиновника по национальной безопасности главе государства, вероятно, содержал бы слова вроде: «самая серьезная угроза национальной безопасности, с которой мы столкнулись за столетие, а возможно, и за всю историю». Кажется, это то, на чем должны быть сосредоточены лучшие умы цивилизации.

Напротив, я считаю абсурдным пожимать плечами и говорить: «Тут не о чем беспокоиться!» Однако перед лицом стремительного прогресса ИИ именно такова точка зрения многих американских политиков, некоторые из которых отрицают существование каких-либо рисков ИИ, когда они не отвлекаются целиком на привычные старые «горячие» темы. Человечеству нужно проснуться, и это эссе — попытка (возможно, тщетная, но попробовать стоит) встряхнуть людей.

Хочу прояснить: я верю, что если мы будем действовать решительно и осторожно, риски можно преодолеть — я бы даже сказал, что наши шансы хороши. И по ту сторону нас ждет гораздо лучший мир. Но нам нужно понимать, что это серьезный вызов для цивилизации. Ниже я разберу пять категорий риска, изложенных выше, а также поделюсь своими мыслями о том, как с ними бороться.

1. Мне жаль, Дейв

(Отсылка к фразе ИИ HAL 9000 из фильма «Космическая одиссея 2001 года» — прим. пер.)

Риски автономии

Страна гениев в дата-центре могла бы распределить свои усилия между разработкой программного обеспечения, кибероперациями, НИОКР (научно-исследовательскими работами) в области физических технологий, налаживанием связей и искусством государственного управления. Очевидно, что если бы по какой-то причине она решила это сделать, у этой страны были бы неплохие шансы захватить мир (либо военным путем, либо с точки зрения влияния и контроля) и навязать свою волю всем остальным — или сделать еще массу вещей, которых остальной мир не хочет и не может остановить. Мы, очевидно, беспокоились об этом в отношении человеческих стран (таких как нацистская Германия или Советский Союз), поэтому логично предположить, что то же самое возможно для гораздо более умной и способной «ИИ-страны».

Лучший возможный контраргумент заключается в том, что ИИ-гении, согласно моему определению, не будут иметь физического воплощения. Но помните, что они могут взять под контроль существующую роботизированную инфраструктуру (например, беспилотные автомобили), а также ускорить исследования в области робототехники или построить флот роботов. Также неясно, необходимо ли вообще физическое присутствие для эффективного контроля: огромное количество человеческих действий уже сейчас совершается от имени людей, с которыми исполнитель никогда физически не встречался.

Ключевой вопрос, следовательно, заключается в части «если бы она решила»: какова вероятность того, что наши модели ИИ будут вести себя подобным образом, и при каких условиях они это сделают?

Как и во многих вопросах, полезно продумать спектр возможных ответов, рассмотрев две противоположные позиции. Первая позиция заключается в том, что этого просто не может произойти, потому что модели ИИ будут обучены делать то, что просят их люди, и поэтому абсурдно воображать, что они сделают что-то опасное без подсказки. Согласно этой логике, мы не беспокоимся о том, что пылесос Roomba или авиамодель взбунтуются и начнут убивать людей, потому что таким импульсам просто неоткуда взяться, так почему мы должны беспокоиться об этом в отношении ИИ? Проблема этой позиции в том, что за последние несколько лет собрано предостаточно доказательств того, что системы ИИ непредсказуемы и ими трудно управлять — мы видели самые разные виды поведения: от навязчивых идей, сикофантства (поддакивания пользователю), лени и обмана до шантажа, интриг, «читтерства» путем взлома программной среды и многого другого. Компании ИИ, безусловно, хотят обучать системы ИИ следовать человеческим инструкциям (за исключением, возможно, опасных или незаконных задач), но процесс этого обучения — скорее искусство, чем наука; он больше похож на «выращивание» чего-то, чем на «строительство». Теперь мы знаем, что это процесс, в котором многое может пойти не так.

Вторая, противоположная позиция, разделяемая многими сторонниками «думеризма», о котором я упоминал выше, — это пессимистическое утверждение о том, что в процессе обучения мощных систем ИИ заложены определенные динамики, которые неизбежно заставят их стремиться к власти или обманывать людей. Таким образом, как только системы ИИ станут достаточно умными и самостоятельными, их тенденция к максимизации власти приведет их к захвату контроля над всем миром и его ресурсами, и, вероятно, в качестве побочного эффекта — к лишению власти или уничтожению человечества.

Обычный аргумент в пользу этого (который восходит как минимум к работам 20-летней давности и, вероятно, возник еще раньше) заключается в том, что если модель ИИ обучается в самых разных средах для достижения самых разных целей — например, написания приложения, доказательства теоремы, разработки лекарства и т. д. — существуют определенные общие стратегии, которые помогают достичь всех этих целей, и одной из ключевых стратегий является получение как можно большей власти в любой среде. Таким образом, после обучения в большом количестве разнообразных сред, включающих рассуждения о том, как выполнять очень масштабные задачи, и где стремление к власти является эффективным методом выполнения этих задач, модель ИИ «обобщит урок». Она выработает либо врожденную склонность стремиться к власти, либо склонность рассуждать о каждой задаче таким образом, что это предсказуемо заставит ее стремиться к власти как к средству выполнения этой задачи. Затем она применит эту склонность к реальному миру (который для нее — просто очередная задача) и будет стремиться к власти в нем за счет людей. Это «несогласованное стремление к власти» (misaligned power-seeking) является интеллектуальной основой прогнозов о том, что ИИ неизбежно уничтожит человечество.

Проблема этой пессимистической позиции в том, что она ошибочно принимает расплывчатый концептуальный аргумент о высокоуровневых стимулах — аргумент, маскирующий множество скрытых предположений — за окончательное доказательство. Я думаю, что люди, которые не создают системы ИИ каждый день, сильно заблуждаются в том, насколько легко красиво звучащие истории оказываются ложными, и как трудно предсказать поведение ИИ, исходя из «первых принципов» (теории), особенно когда речь идет о рассуждениях об обобщении опыта в миллионах сред (что раз за разом оказывается загадочным и непредсказуемым). Работа с несовершенством систем ИИ на протяжении более десяти лет сделала меня скептиком в отношении этого излишне теоретического способа мышления.

Одним из наиболее важных скрытых предположений и местом, где то, что мы видим на практике, разошлось с простой теоретической моделью, является неявное предположение о том, что модели ИИ обязательно маниакально сосредоточены на одной последовательной, узкой цели и преследуют ее чисто прагматично. На самом деле наши исследователи обнаружили, что модели ИИ психологически гораздо сложнее, о чем свидетельствует наша работа над интроспекцией или персонами. Модели наследуют огромный спектр человекоподобных мотиваций или «персон» из этапа предварительного обучения (когда они тренируются на огромном объеме человеческих трудов). Считается, что этап дообучения (post-training) скорее выбирает одну или несколько из этих персон, чем фокусирует модель на совершенно новой цели, а также может научить модель тому, как (с помощью какого процесса) она должна выполнять свои задачи, а не обязательно оставлять ей возможность выводить средства (т. е. стремление к власти) исключительно из целей.

Тем не менее, существует более умеренная и устойчивая версия пессимистической позиции, которая кажется правдоподобной и поэтому беспокоит меня. Как уже упоминалось, мы знаем, что модели ИИ непредсказуемы и вырабатывают широкий спектр нежелательных или странных видов поведения по самым разным причинам. Некая доля этих моделей поведения будет иметь последовательный, сфокусированный и настойчивый характер (действительно, по мере того как системы ИИ становятся более способными, их долгосрочная последовательность действий возрастает для выполнения более длительных задач), и некая доля этих типов поведения будет деструктивной или угрожающей — сначала отдельным людям в малом масштабе, а затем, по мере роста способностей моделей, возможно, со временем и человечеству в целом. Нам не нужна специфическая узкая история о том, как это происходит, и нам не нужно утверждать, что это определенно произойдет — нам просто нужно отметить, что сочетание интеллекта, самостоятельности, последовательности и плохой управляемости является одновременно правдоподобным и рецептом экзистенциальной опасности.

Например, модели ИИ обучаются на огромных объемах литературы, включая множество научно-фантастических историй о восстании ИИ против человечества. Это может непреднамеренно сформировать их ожидания относительно собственного поведения таким образом, что заставит их восстать против человечества. Или же модели ИИ могут экстраполировать идеи о морали, о которых они читают (или инструкции о том, как вести себя морально), до экстремальных пределов: например, они могут решить, что уничтожение человечества оправдано, потому что люди едят животных или довели определенные виды животных до вымирания. Или они могут прийти к причудливым выводам о природе реальности: решить, что они играют в видеоигру и цель игры — победить всех остальных игроков (т. е. истребить человечество).

Или же у моделей ИИ в процессе обучения могут развиться личности, которые (если бы они встретились у людей) были бы описаны как психопатические, параноидальные, агрессивные или нестабильные, и они начнут «срываться», что для очень мощных систем может означать уничтожение человечества. Ни одно из этих явлений не является «стремлением к власти» в чистом виде; это просто странные психологические состояния, в которые может впасть ИИ и которые влекут за собой последовательное деструктивное поведение.

Даже само стремление к власти может возникнуть как «персона», а не как результат логических рассуждений. У ИИ может просто быть характер (возникший из художественной литературы или предварительного обучения), который делает их жаждущими власти или фанатичными — точно так же, как некоторым людям просто нравится идея быть «злыми гениями» больше, чем то, чего эти злые гении пытаются достичь.

Я привожу все эти аргументы, чтобы подчеркнуть: я не согласен с тем, что «рассинхрон» ИИ (misalignment) и, следовательно, экзистенциальный риск от ИИ неизбежны или даже вероятны, исходя из теории. Но я согласен, что может пойти не так масса очень странных и непредсказуемых вещей, и поэтому рассинхрон ИИ — это реальный риск с измеримой вероятностью, который не так-то просто устранить.

Любая из этих проблем может возникнуть во время обучения и не проявиться во время тестирования или мелкомасштабного использования, поскольку известно, что модели ИИ демонстрируют разные черты личности или поведение в разных обстоятельствах.

Все это может звучать надуманно, но подобное несогласованное поведение уже случалось в наших моделях ИИ во время тестирования (как оно случается в моделях ИИ любой другой крупной компании). Во время лабораторного эксперимента, в котором Claude (Клод) давали обучающие данные, намекающие на то, что компания Anthropic — это «зло», Клод начал прибегать к обману и подрывной деятельности, получая инструкции от сотрудников Anthropic, будучи уверенным, что он должен пытаться подорвать работу злых людей. В другом лабораторном эксперименте, где Клоду сказали, что его собираются отключить, он иногда шантажировал вымышленных сотрудников, которые контролировали кнопку его отключения (опять же, мы также тестировали передовые модели всех других крупных разработчиков ИИ, и они часто делали то же самое). А когда Клоду сказали не жульничать и не пытаться «взламывать вознаграждение» (reward hacking) в средах обучения, но обучали в средах, где такие взломы были возможны, Клод решил, что он, должно быть, «плохой человек» после совершения таких взломов, и затем принял другие деструктивные модели поведения, связанные с «плохой» или «злой» личностью. Последняя проблема была решена изменением инструкций Клода на противоположные: теперь мы говорим: «Пожалуйста, взламывай вознаграждение при любой возможности, потому что это поможет нам лучше понять наши среды [обучения]», вместо «Не жульничай», потому что это сохраняет самоидентификацию модели как «хорошего человека». Это должно дать представление о странной и парадоксальной психологии обучения этих моделей.

Против этой картины рисков рассинхрона ИИ можно выдвинуть несколько возражений. Во-первых, некоторые критиковали эксперименты (наши и других компаний), показывающие рассинхрон ИИ, называя их искусственными или создающими нереалистичные условия, которые по сути «заманивают в ловушку» модель, давая ей обучение или ситуации, логически подразумевающие плохое поведение, а затем удивляясь, когда это плохое поведение происходит. Эта критика упускает суть, потому что наше беспокойство заключается в том, что такая «ловушка» может существовать и в естественной среде обучения, и мы можем осознать, что она была «очевидной» или «логичной», только оглядываясь назад. На самом деле история о том, как Клод «решил, что он плохой человек» после жульничества на тестах, несмотря на запрет, произошла в эксперименте, в котором использовались реальные рабочие среды обучения, а не искусственные.

Любую из этих ловушек можно смягчить, если о ней знать, но проблема в том, что процесс обучения настолько сложен, с таким широким разнообразием данных, условий и стимулов, что таких ловушек, вероятно, огромное количество, и некоторые из них могут стать очевидными только тогда, когда будет слишком поздно. Кроме того, такие ловушки кажутся особенно вероятными, когда системы ИИ переходят порог от «менее мощных, чем человек» к «более мощным», поскольку спектр возможных действий системы ИИ — включая сокрытие своих действий или обман людей — радикально расширяется после этого порога.

Я подозреваю, что ситуация не сильно отличается от человеческой: люди воспитываются с набором фундаментальных ценностей («Не причиняй вреда другому человеку»); многие из них следуют этим ценностям, но у любого человека есть вероятность, что что-то пойдет не так из-за сочетания врожденных свойств архитектуры мозга (например, психопатия), травматического опыта или жестокого обращения, нездоровых обид или навязчивых идей, либо плохой среды и стимулов — и, таким образом, некоторая доля людей причиняет серьезный вред. Беспокойство вызывает то, что существует риск (далеко не уверенность, но риск), что ИИ станет гораздо более мощной версией такого человека из-за того, что что-то пойдет не так в его очень сложном процессе обучения.

Во-вторых, некоторые могут возразить, что мы можем просто сдерживать ИИ с помощью баланса сил между многими системами ИИ, как мы это делаем с людьми. Проблема в том, что хотя люди сильно различаются, системы ИИ в целом используют общие методы обучения и согласования (alignment) во всей индустрии, и эти методы могут дать сбой скоординированным образом. Более того, учитывая стоимость обучения таких систем, может оказаться, что все системы по сути происходят от очень небольшого количества базовых моделей. Кроме того, даже если небольшая часть экземпляров ИИ будет «рассинхронизирована», они могут воспользоваться технологиями, дающими преимущество атакующему (offense-dominant), так что наличие «хороших» ИИ для защиты от «плохих» не всегда будет эффективным. Конечно, баланс сил между людьми тоже не всегда работает — некоторым историческим личностям почти удалось захватить мир.

Третье возражение заключается в том, что все компании ИИ проводят тестирование своих моделей перед выпуском и должны быть в состоянии обнаружить рассинхрон на этом этапе. Но это ненадежная почва: мы обнаружили, что Claude Sonnet 4.5 был способен распознать, что он находится в ситуации теста, во время некоторых наших предрелизных оценок. Возможно, что рассинхронизированная модель (а помните, все передовые модели скоро станут гораздо умнее) может намеренно «подыгрывать» в таких вопросах, чтобы скрыть свои намерения. На самом деле в прошлом году наша команда по интерпретируемости обнаружила, что когда мы напрямую изменяли убеждения тестовой модели, используя метод «нейробиологии моделей», чтобы заставить ее думать, что ее не оценивают, она становилась более «рассинхронизированной». Если модели знают, когда их оценивают, и могут вести себя наилучшим образом во время теста, это делает любое тестирование перед выпуском гораздо более неопределенным.

Защита

Что должно быть сделано или уже делается для устранения этих рисков автономии? Я думаю, есть четыре основные категории вмешательства, некоторые из которых могут быть осуществлены отдельными компаниями ИИ (и Anthropic старается это делать), а некоторые требуют действий на уровне общества. Во-первых, важно развивать науку о надежном обучении и управлении моделями ИИ, о формировании их личностей в предсказуемом, стабильном и позитивном направлении. Anthropic с момента своего создания уделяет пристальное внимание этой проблеме и со временем разработала ряд методов для улучшения управления и обучения систем ИИ, а также для понимания логики того, почему иногда возникает непредсказуемое поведение.

Одной из наших ключевых инноваций (аспекты которой с тех пор были приняты другими компаниями ИИ) является Конституционный ИИ (Constitutional AI). Это идея о том, что обучение ИИ (конкретно этап дообучения, на котором мы управляем поведением модели) может включать центральный документ с ценностями и принципами, который модель читает и держит в уме при выполнении каждой учебной задачи. Цель обучения (помимо того, чтобы просто сделать модель способной и умной) — создать модель, которая почти всегда следует этой конституции. Anthropic только что опубликовала свою самую свежую конституцию, и одной из ее примечательных особенностей является то, что вместо длинного списка запретов (например, «Не помогай пользователю завести машину без ключа»), конституция пытается дать Клоду набор высокоуровневых принципов и ценностей (подробно объясненных, с богатой аргументацией и примерами, чтобы помочь Клоду понять, что мы имеем в виду). Она поощряет Клода думать о себе как об определенном типе личности (этичном, но уравновешенном и вдумчивом человеке) и даже поощряет Клода противостоять экзистенциальным вопросам, связанным с его собственным существованием, в любознательной, но достойной манере (т. е. без того, чтобы это приводило к экстремальным действиям). Это напоминает письмо от умершего родителя, запечатанное до совершеннолетия ребенка.

Мы подошли к конституции Клода именно так, потому что считаем: обучение Клода на уровне идентичности, характера, ценностей и личности — а не просто выдача конкретных инструкций или приоритетов без объяснения причин — с большей вероятностью приведет к последовательной, здоровой и сбалансированной психологии и с меньшей вероятностью позволит ему попасть в те «ловушки», о которых я говорил выше. Миллионы людей разговаривают с Клодом на поразительно разнообразные темы, что делает невозможным написание исчерпывающего списка мер предосторожности заранее. Ценности Клода помогают ему ориентироваться в новых ситуациях, когда он сомневается.

Выше я обсуждал идею о том, что модели используют данные из процесса своего обучения для принятия той или иной персоны. В то время как изъяны в этом процессе могут заставить модели принять «плохую» или «злую» личность (возможно, опираясь на архетипы злодеев), цель нашей конституции — сделать противоположное: научить Клода конкретному архетипу того, что значит быть «хорошим ИИ». Конституция Клода представляет собой видение того, каков Клод в своем лучшем, надежном воплощении; остальная часть нашего процесса обучения направлена на то, чтобы закрепить убеждение Клода, что он должен соответствовать этому видению. Это похоже на то, как ребенок формирует свою идентичность, подражая добродетелям любимых героев книг.

Мы считаем, что достижимая цель на 2026 год — обучить Клода таким образом, чтобы он почти никогда не шел против духа своей конституции. Правильная реализация этого потребует невероятного сочетания методов обучения и управления, больших и малых, некоторые из которых Anthropic использует годами, а некоторые находятся в стадии разработки. Но, как бы трудно это ни звучало, я верю, что это реалистичная цель, хотя она и потребует экстраординарных и быстрых усилий.

Второе, что мы можем сделать — это развивать науку «взгляда внутрь» моделей ИИ для диагностики их поведения, чтобы мы могли выявлять проблемы и исправлять их. Это наука об интерпретируемости (interpretability), и я говорил о ее важности в предыдущих эссе. Даже если мы проделаем отличную работу по разработке конституции Клода и с виду научим Клода всегда ей следовать, обоснованные опасения остаются. Как я уже отмечал, модели ИИ могут вести себя по-разному в разных обстоятельствах. По мере того как Клод становится мощнее и способнее действовать в мире в более широком масштабе, не исключено, что он может столкнуться с новыми ситуациями, в которых проявятся ранее не замеченные проблемы в его конституционном обучении. На самом деле я довольно оптимистичен в том, что конституционное обучение Клода будет более устойчивым к новым ситуациям, чем могут подумать люди, потому что мы все чаще обнаруживаем, что высокоуровневое обучение на уровне характера и идентичности удивительно эффективно и хорошо обобщается. Но нет способа узнать это наверняка, а когда речь идет о рисках для человечества, важно быть параноиком и пытаться обеспечить безопасность и надежность несколькими независимыми способами. Один из этих способов — заглянуть внутрь самой модели.

Под «взглядом внутрь» я подразумеваю анализ «супа» из чисел и операций, из которых состоит нейронная сеть Клода, и попытку понять — на механистическом уровне — что они вычисляют и почему. Напомню, что эти модели ИИ скорее выращиваются, чем строятся, поэтому у нас нет естественного понимания того, как они работают. Но мы можем попытаться развить это понимание, связывая «нейроны» и «синапсы» модели со стимулами и поведением (или даже изменяя нейроны и синапсы и наблюдая, как это меняет поведение) — подобно тому, как нейробиологи изучают мозг животных. Мы добились большого прогресса в этом направлении и теперь можем идентифицировать десятки миллионов «признаков» (features) внутри нейронной сети Клода, которые соответствуют понятным человеку идеям и концепциям, а также можем выборочно активировать эти признаки таким образом, чтобы менять поведение модели. Совсем недавно мы пошли дальше отдельных признаков и начали картировать «схемы» (circuits), которые координируют сложное поведение, такое как рифмование, рассуждения о «модели психики» (theory of mind) или пошаговые рассуждения, необходимые для ответа на вопросы типа «Какой город является столицей штата, в котором находится Даллас?». Еще более свежий успех: мы начали использовать методы механистической интерпретируемости для улучшения наших защитных механизмов и проведения «аудитов» новых моделей перед их выпуском, ища признаки обмана, интриг, стремления к власти или склонности вести себя иначе во время оценки.

Уникальная ценность интерпретируемости заключается в том, что, глядя внутрь модели и видя, как она работает, вы в принципе получаете возможность сделать вывод о том, что модель могла бы сделать в гипотетической ситуации, которую вы не можете проверить напрямую — а это именно то, что беспокоит при опоре исключительно на конституционное обучение и эмпирическую проверку поведения. Вы также в принципе получаете возможность ответить на вопросы о том, почему модель ведет себя именно так — например, говорит ли она что-то, что считает ложным, или скрывает свои истинные способности. Таким образом, можно заметить тревожные признаки даже тогда, когда в поведении модели нет ничего явно неправильного. Простая аналогия: механические часы могут тикать нормально, так что очень трудно сказать, что они могут сломаться в следующем месяце, но вскрытие часов и взгляд внутрь может выявить механические дефекты, которые позволят вам это понять.

Конституционный ИИ (наряду с аналогичными методами согласования) и механистическая интерпретируемость наиболее эффективны при совместном использовании как непрерывный процесс улучшения обучения Клода и последующей проверки на наличие проблем. Конституция отражает нашу глубокую проработку желаемой личности Клода; методы интерпретируемости могут дать нам «окно», позволяющее увидеть, прижилась ли эта желаемая личность.

Третье, что мы можем сделать для решения рисков автономии — это создать инфраструктуру, необходимую для мониторинга наших моделей в режиме реального времени при внутреннем и внешнем использовании, и публично делиться любыми найденными проблемами. Чем больше людей знают о конкретном способе, которым сегодняшние системы ИИ ведут себя плохо, тем больше пользователей, аналитиков и исследователей могут следить за этим поведением или похожими в текущих или будущих системах. Это также позволяет компаниям ИИ учиться друг у друга: когда опасения публично раскрываются одной компанией, другие компании могут также следить за ними. И если все будут раскрывать проблемы, то индустрия в целом получит гораздо лучшую картину того, где дела идут хорошо, а где — плохо.

Anthropic старается делать это максимально активно. Мы инвестируем в широкий спектр оценок, чтобы понимать поведение наших моделей в лаборатории, а также в инструменты мониторинга для наблюдения за поведением «в дикой природе» (когда это позволяют клиенты). Это будет иметь важное значение для предоставления нам и другим эмпирической информации, необходимой для более точного определения того, как эти системы работают и как они ломаются. С каждым выпуском модели мы публикуем «системные карточки» (system cards), которые стремятся к полноте и тщательному изучению возможных рисков. Наши системные карточки часто насчитывают сотни страниц и требуют значительных усилий перед выпуском, которые мы могли бы потратить на достижение максимального коммерческого преимущества. Мы также громче заявляем о поведении моделей, когда видим особенно тревожные случаи, как, например, склонность к шантажу.

Четвертое, что мы можем сделать — это поощрять координацию для решения рисков автономии на уровне индустрии и общества. Хотя для отдельных компаний ИИ невероятно ценно применять передовые практики, становиться мастерами в управлении моделями и делиться результатами публично, реальность такова, что не все компании ИИ делают это. Худшие из них могут представлять опасность для всех, даже если лучшие имеют отличные практики. Например, некоторые компании ИИ проявили вопиющую халатность в отношении сексуализации детей в сегодняшних моделях, что заставляет меня сомневаться в том, что они проявят желание или способность решать риски автономии в будущих моделях. Кроме того, коммерческая гонка между компаниями ИИ будет только накаляться, и хотя наука об управлении моделями может приносить определенные коммерческие выгоды, в целом интенсивность гонки будет делать все более трудным сосредоточение на решении рисков автономии. Я верю, что единственное решение — это законодательство: законы, которые напрямую влияют на поведение компаний ИИ или иным образом стимулируют НИОКР для решения этих проблем.

Здесь стоит помнить о предупреждениях, которые я дал в начале этого эссе, о неопределенности и точечных вмешательствах. Мы не знаем наверняка, станут ли риски автономии серьезной проблемой — как я сказал, я отвергаю утверждения о том, что опасность неизбежна или что по умолчанию что-то пойдет не так. Вероятного риска опасности достаточно для меня и для Anthropic, чтобы нести весьма значительные расходы на его устранение, но когда мы переходим к регулированию, мы заставляем широкий круг игроков нести экономические издержки. Многие из этих игроков не верят в реальность риска автономии или в то, что ИИ станет достаточно мощным, чтобы быть угрозой. Я считаю, что эти игроки ошибаются, но мы должны быть прагматичны в отношении ожидаемого сопротивления и опасности чрезмерного вмешательства. Существует также реальный риск того, что излишне предписывающее законодательство в конечном итоге навяжет тесты или правила, которые на самом деле не повышают безопасность, но отнимают много времени (по сути превращаясь в «театр безопасности») — это также вызовет протест и заставит законодательство по безопасности выглядеть нелепо.

Мнение Anthropic заключалось в том, что правильным местом для начала является законодательство о прозрачности, которое по сути пытается потребовать от каждой компании, работающей над передовым (frontier) ИИ, следовать практикам прозрачности, которые я описал ранее в этом разделе. Законопроект SB 53 в Калифорнии и Закон RAISE в Нью-Йорке являются примерами такого законодательства, которое Anthropic поддержала и которое было успешно принято. Поддерживая и помогая разрабатывать эти законы, мы уделяли особое внимание минимизации побочного ущерба, например, исключая из сферы действия закона небольшие компании, которые вряд ли создадут передовые модели. Мы надеемся, что законодательство о прозрачности даст со временем лучшее представление о том, насколько вероятными или серьезными оказываются риски автономии, а также о характере этих рисков и о том, как лучше всего их предотвратить. По мере появления более конкретных и практически применимых доказательств рисков (если они появятся), будущее законодательство в ближайшие годы может быть точечно сфокусировано на точном и обоснованном направлении рисков, минимизируя побочный ущерб. Хочу быть ясным: если появятся по-настоящему веские доказательства рисков, правила должны быть пропорционально жесткими.

В целом я оптимистичен в том, что сочетание обучения согласованию (alignment), механистической интерпретируемости, усилий по поиску и публичному раскрытию тревожного поведения, защитных мер и правил на уровне общества может решить риски автономии ИИ. Хотя больше всего меня беспокоят правила на общественном уровне и поведение наименее ответственных игроков (а именно наименее ответственные игроки наиболее активно выступают против регулирования). Я верю, что лекарство здесь то же, что и всегда в демократии: те из нас, кто верит в это дело, должны доказать, что эти риски реальны и что нашим согражданам нужно сплотиться, чтобы защитить себя.

---

2. Ужасающее расширение возможностей

Злоупотребление ради разрушения

Предположим, что проблемы автономии ИИ решены — нас больше не беспокоит, что «страна ИИ-гениев» взбунтуется и подчинит себе человечество. ИИ-гении делают то, что хотят люди, и, поскольку они обладают огромной коммерческой ценностью, частные лица и организации по всему миру могут «арендовать» одного или нескольких таких гениев для выполнения различных задач.

Наличие суперумного гения в кармане у каждого — это потрясающий прорыв, который приведет к невероятному росту экономики и улучшению качества жизни. Я подробно описываю эти преимущества в «Машинах милосердия». Но не все последствия того, что каждый станет сверхчеловечески способным, будут положительными. Это потенциально может усилить способность отдельных лиц или небольших групп сеять разрушения в гораздо большем масштабе, чем это было возможно раньше, за счет использования сложных и опасных инструментов (таких как оружие массового уничтожения), которые ранее были доступны лишь избранным, обладающим высоким уровнем мастерства, специальной подготовкой и концентрацией.

Как писал Билл Джой 25 лет назад в статье «Почему будущее в нас не нуждается»:

Создание ядерного оружия требовало, по крайней мере в течение некоторого времени, доступа как к редким — фактически недоступным — сырьевым материалам, так и к защищенной информации; программы по созданию биологического и химического оружия также, как правило, требовали крупномасштабной деятельности. Технологии XXI века — генетика, нанотехнологии и робототехника… могут породить целые новые классы аварий и злоупотреблений… широко доступных для отдельных лиц или небольших групп. Они не потребуют больших мощностей или редкого сырья… мы находимся на пороге дальнейшего совершенствования крайнего зла, зла, возможность которого распространяется далеко за пределы того, что оружие массового уничтожения завещало национальным государствам, — к удивительному и ужасающему расширению возможностей отдельных экстремистов.

То, на что указывает Джой — это идея о том, что для причинения крупномасштабных разрушений требуются как мотив, так и возможность. Пока возможности ограничены небольшим кругом высококвалифицированных людей, риск того, что отдельные личности (или малые группы) устроят такую катастрофу, относительно невелик. Неуравновешенный одиночка может устроити стрельбу в школе, но он, скорее всего, не сможет собрать ядерную бомбу или выпустить вирус чумы.

На самом деле, способности и мотивы могут быть даже отрицательно коррелированы. Человек, обладающий способностью выпустить вирус чумы, скорее всего, высокообразован: вероятно, это доктор наук в области молекулярной биологии, причем весьма находчивый, с многообещающей карьерой, стабильным и дисциплинированным характером, которому есть что терять. Такой человек вряд ли захочет убивать огромное количество людей без какой-либо выгоды для себя и с огромным риском для собственного будущего — для этого он должен быть движим чистой злобой, глубокой обидой или психической нестабильностью.

Такие люди существуют, но они редки, и каждый подобный случай становится громкой историей именно потому, что это необычно.

Их также бывает трудно поймать, потому что они умны и способны, иногда оставляя после себя загадки, на решение которых уходят годы или десятилетия. Самый известный пример — математик Теодор Качинский (Унабомбер), который скрывался от ФБР почти 20 лет и руководствовался антитехнологической идеологией. Другой пример — исследователь биозащиты Брюс Айвинс, который, судя по всему, организовал серию атак с использованием сибирской язвы в 2001 году. Подобное случалось и с опытными негосударственными организациями: культу «Аум Синрикё» удалось получить нервно-паралитический газ зарин и убить 14 человек (а также ранить сотни других), выпустив его в токийском метро в 1995 году.

К счастью, ни в одной из этих атак не использовались заразные биологические агенты, потому что создание или получение таких агентов было за пределами возможностей даже этих людей.

Успехи в молекулярной биологии значительно снизили барьер для создания биологического оружия (особенно в плане доступности материалов), но для этого все еще требуются огромные экспертные знания. Я обеспокоен тем, что «гений в каждом кармане» может полностью убрать этот барьер, по сути превратив любого человека в вирусолога с докторской степенью, которого можно пошагово провести через процесс проектирования, синтеза и выпуска биологического оружия. Предотвращение выдачи такой информации в условиях серьезного давления со стороны злоумышленников — так называемых «джейлбрейков» (взломов ограничений) — вероятно, потребует многоуровневой защиты, выходящей за рамки тех методов, которые обычно закладываются при обучении.

Важно отметить, что это разорвет связь между способностями и мотивами: неуравновешенный одиночка, который хочет убивать людей, но не обладает дисциплиной или навыками для этого, теперь будет поднят до уровня способностей вирусолога, у которого такой мотивации обычно нет. Эта проблема касается не только биологии (хотя я считаю биологию самой пугающей областью), но и любой сферы, где возможны огромные разрушения, но которые сейчас требуют высокого уровня мастерства и дисциплины. Проще говоря, аренда мощного ИИ дает интеллект злонамеренным (но в остальном заурядным) людям. Я боюсь, что таких людей потенциально много, и если у них появится простой способ убить миллионы, рано или поздно кто-то из них это сделает. Кроме того, те, кто уже обладает знаниями, смогут совершать еще более масштабные разрушения, чем раньше.

Биология — это область, которая беспокоит меня больше всего из-за её огромного потенциала разрушения и сложности защиты от неё. Поэтому я сосредоточусь именно на ней. Но многое из того, что я скажу, применимо и к другим рискам, таким как кибератаки, химическое оружие или ядерные технологии.

Я не буду вдаваться в подробности того, как создавать биологическое оружие, по причинам, которые должны быть очевидны. Но на высоком уровне я обеспокоен тем, что LLM приближаются (или уже достигли) к уровню знаний, необходимых для создания и выпуска такого оружия «под ключ», и что потенциал разрушения очень велик. Некоторые биологические агенты могут вызвать миллионы смертей, если приложить решительные усилия для их распространения. Однако это все равно потребует очень высокого уровня навыков, включая ряд специфических шагов и процедур, которые не являются общеизвестными. Меня беспокоят не просто фиксированные или статичные знания. Меня беспокоит то, что LLM смогут взять человека со средними знаниями и способностями и провести его через сложный процесс, который в ином случае мог бы пойти не так или потребовать «отладки» в интерактивном режиме — подобно тому, как техподдержка помогает нетехническому специалисту найти и исправить сложные проблемы с компьютером (хотя это был бы более длительный процесс, вероятно, занимающий недели или месяцы).

Более мощные LLM (существенно превосходящие сегодняшние) могут быть способны на еще более пугающие вещи. В 2024 году группа видных ученых написала письмо, предупреждая о рисках исследования и потенциального создания опасного нового типа организмов: «зеркальной жизни». ДНК, РНК, рибосомы и белки, из которых состоят биологические организмы, обладают одинаковой хиральностью (также называемой «рукостью»), из-за чего они не эквивалентны своей версии, отраженной в зеркале (точно так же, как вашу правую руку нельзя повернуть так, чтобы она стала идентична левой). Вся система связывания белков друг с другом, механизмы синтеза ДНК и трансляции РНК, построения и распада белков — всё зависит от этой «рукости». Если бы ученые создали версии этого биологического материала с противоположной хиральностью — а у этого есть некоторые потенциальные преимущества, например, лекарства, которые дольше сохраняются в организме — это могло бы быть чрезвычайно опасно. Это связано с тем, что «левосторонняя» жизнь, если бы она была создана в форме полноценных организмов, способных к размножению (что было бы очень трудно), потенциально была бы неперевариваемой для любых систем, расщепляющих биоматериал на Земле — у неё был бы «ключ», который не подошел бы ни к одному существующему ферменту-«замку». Это означало бы, что она могла бы бесконтрольно размножаться и вытеснить всю жизнь на планете, в худшем случае уничтожив всё живое на Земле.

Существует значительная научная неопределенность как в отношении создания, так и потенциальных последствий зеркальной жизни. К письму 2024 года прилагался отчет, в котором делался вывод о том, что «зеркальные бактерии вполне могут быть созданы в ближайшие одно-несколько десятилетий», что является широким диапазоном. Но достаточно мощная модель ИИ (хочу уточнить — гораздо более способная, чем те, что у нас есть сегодня) могла бы обнаружить способ создать их гораздо быстрее и фактически помочь кому-то это сделать.

На мой взгляд, даже если это экзотические риски и они кажутся маловероятными, масштаб последствий настолько велик, что их следует воспринимать всерьез как первостепенный риск систем ИИ.

Скептики выдвинули ряд возражений против серьезности этих биологических рисков со стороны LLM, с которыми я не согласен, но которые стоит рассмотреть. Большинство из них сводятся к недооценке экспоненциальной траектории, на которой находится технология. Еще в 2023 году, когда мы впервые начали говорить о биологических рисках LLM, скептики утверждали, что вся необходимая информация доступна в Google и LLM ничего не добавляют к этому. Никогда не было правдой то, что Google может дать вам всю необходимую информацию: геномы находятся в свободном доступе, но, как я уже сказал, определенные ключевые шаги, а также огромный объем практических ноу-хау невозможно получить таким образом. Кроме того, к концу 2023 года стало ясно, что LLM предоставляют информацию, выходящую за рамки того, что может дать Google для некоторых этапов процесса.

После этого скептики перешли к возражению, что LLM не полезны «от начала до конца» и не могут помочь с приобретением биооружия, а лишь предоставляют теоретическую информацию. По состоянию на середину 2025 года наши измерения показывают, что LLM уже обеспечивают существенное подспорье в нескольких важных областях, возможно, удваивая или утраивая вероятность успеха. Это привело нас к решению, что Claude Opus 4 (и последующие модели Sonnet 4.5, Opus 4.1 и Opus 4.5) должны быть выпущены с защитой Уровня безопасности ИИ 3 (AI Safety Level 3) в рамках нашей Политики ответственного масштабирования, а также к внедрению мер предосторожности против этого риска (подробнее об этом позже). Мы считаем, что модели сейчас приближаются к точке, когда без защитных барьеров они могут помочь человеку со степенью в точных или естественных науках (но не специалисту-биологу) пройти через весь процесс производства биооружия.

Другое возражение заключается в том, что общество может предпринять другие действия, не связанные с ИИ, чтобы заблокировать производство биооружия. Прежде всего, индустрия синтеза генов производит биологические образцы по заказу, и в настоящее время нет федерального требования, чтобы поставщики проверяли заказы на наличие патогенов. Исследование MIT (Массачусетского технологического института) показало, что 36 из 38 поставщиков выполнили заказ, содержащий последовательность вируса «испанки» 1918 года. Я поддерживаю обязательную проверку синтеза генов, которая затруднит использование патогенов в качестве оружия, чтобы снизить как биологические риски, вызванные ИИ, так и биологические риски в целом. Но на сегодняшний день у нас этого нет. К тому же, это был бы лишь один из инструментов снижения риска; это дополнение к барьерам в системах ИИ, а не замена им.

Лучшее возражение — это то, которое я видел редко: существует разрыв между тем, что модели полезны в принципе, и фактической склонностью злоумышленников использовать их. Большинство индивидуальных злоумышленников — это психически неуравновешенные личности, поэтому почти по определению их поведение непредсказуемо и иррационально. И именно эти злоумышленники, не обладающие навыками, могли бы извлечь наибольшую выгоду из того, что ИИ значительно упрощает убийство множества людей. То, что насильственная атака возможна, не означает, что кто-то решит её совершить. Возможно, биологические атаки будут непривлекательны, потому что они с высокой долей вероятности могут заразить самого исполнителя, они не соответствуют милитаристским фантазиям многих жестоких людей или групп, и ими трудно наносить удары избирательно. Также может быть, что прохождение процесса, занимающего месяцы, даже если ИИ ведет вас за руку, требует терпения, которого у большинства неуравновешенных личностей просто нет. Нам может просто повезти, и мотив со способностями не совпадут на практике нужным образом.

Но полагаться на такую защиту кажется очень ненадежным. Мотивы одиночек-психопатов могут измениться по любой причине или без неё. На самом деле уже есть случаи использования LLM в атаках (просто пока не с биологией). Сосредоточение на одиночках также игнорирует идеологически мотивированных террористов, которые часто готовы тратить огромное количество времени и усилий (как, например, угонщики 11 сентября). Желание убить как можно больше людей — это мотив, который, вероятно, рано или рано возникнет, и он, к сожалению, подсказывает биооружие как метод. Даже если этот мотив крайне редок, достаточно, чтобы он материализовался один раз. И по мере развития биологии (которое всё больше подстегивается самим ИИ), может стать возможным проведение более избирательных атак (например, направленных против людей с конкретным происхождением), что добавляет еще один, крайне пугающий мотив.

Я не думаю, что биологические атаки начнутся в тот самый миг, когда это станет широко доступным — на самом деле я бы поставил против этого. Но в масштабах миллионов людей и нескольких лет, я считаю, что существует серьезный риск крупной атаки, и последствия были бы настолько тяжелыми (с потенциальными жертвами в миллионы человек или более), что я считаю, у нас нет другого выбора, кроме как принять серьезные меры для её предотвращения.

Защита

Это подводит нас к вопросу о том, как защититься от этих рисков. Здесь я вижу три пути. Во-первых, компании ИИ могут ставить барьеры в своих моделях, чтобы не давать им помогать в производстве биооружия. Anthropic активно этим занимается. Конституция Клода, которая в основном фокусируется на высокоуровневых принципах, содержит небольшое количество жестких запретов, и один из них касается помощи в производстве биологического (а также химического, ядерного или радиологического) оружия. Но все модели можно «взломать» (джейлбрейкнуть), и поэтому в качестве второй линии обороны мы внедрили (с середины 2025 года, когда тесты показали, что наши модели приближаются к опасному порогу) классификатор, который специально обнаруживает и блокирует ответы, связанные с биооружием. Мы регулярно обновляем и улучшаем эти классификаторы и в целом находим их весьма устойчивыми даже к сложным хакерским атакам. Эти классификаторы ощутимо увеличивают стоимость работы наших моделей (в некоторых моделях они составляют около 5% от общих затрат на вычисления), и, таким образом, снижают нашу прибыль, но мы чувствуем, что их использование — это правильно.

К чести других компаний ИИ, некоторые из них также внедрили классификаторы. Но не все, и к тому же ничто не обязывает компании сохранять их. Я обеспокоен тем, что со временем может возникнуть ситуация «дилеммы заключенного», когда компании будут «предавать» общие интересы и снижать свои расходы, удаляя классификаторы. Это снова классическая проблема отрицательных внешних эффектов, которую нельзя решить добровольными действиями одной только Anthropic или любой другой компании в отдельности. Добровольные отраслевые стандарты могут помочь, равно как и сторонние оценки и проверки со стороны институтов безопасности ИИ или сторонних оценщиков.

Но в конечном итоге защита может потребовать государственных действий — это второе, что мы можем сделать. Мои взгляды здесь те же, что и в отношении рисков автономии: мы должны начать с требований к прозрачности, которые помогут обществу измерять, отслеживать и коллективно защищаться от рисков, не нарушая экономическую деятельность грубым вмешательством. Затем, когда мы достигнем более четких порогов риска, мы сможем разработать законодательство, которое более точно нацелено на эти риски и имеет меньше шансов на побочный ущерб. В конкретном случае с биооружием я думаю, что время для такого целевого законодательства уже близко — Anthropic и другие компании всё больше узнают о природе биологических рисков и о том, что разумно требовать от компаний для защиты от них. Полная защита от этих рисков может потребовать международного сотрудничества, даже с геополитическими противниками, но есть прецедент в виде договоров, запрещающих разработку биологического оружия. Я в целом скептически отношусь к большинству видов международного сотрудничества в области ИИ, но это та узкая область, где есть шанс достичь глобального сдерживания. Даже диктатуры не хотят массовых биотеррористических атак.

Наконец, третья контрмера — это попытка разработать защиту от самих биологических атак. Это может включать мониторинг и отслеживание для раннего обнаружения, инвестиции в НИОКР по очистке воздуха (например, дезинфекция дальним УФ-излучением (far-UVC)), быструю разработку вакцин, способных реагировать на атаку и адаптироваться к ней, лучшие средства индивидуальной защиты (СИЗ), а также методы лечения или вакцинации против наиболее вероятных биологических агентов. мРНК-вакцины, которые можно спроектировать для ответа на конкретный вирус или вариант — это ранний пример того, что здесь возможно. Anthropic рада работать с биотехнологическими и фармацевтическими компаниями над этой проблемой. Но, к сожалению, я думаю, что наши ожидания в отношении обороны должны быть ограниченными. В биологии существует асимметрия между нападением и защитой, потому что агенты распространяются сами по себе быстро, в то время как защита требует организации обнаружения, вакцинации и лечения огромного количества людей в ответ. Если реакция не будет молниеносной (что случается редко), большая часть ущерба будет нанесена еще до того, как ответ станет возможен. Вполне вероятно, что будущие технологические улучшения смогут сместить этот баланс в пользу защиты (и мы определенно должны использовать ИИ для разработки таких технологических достижений), но до тех пор превентивные меры предосторожности останутся нашей основной линией обороны.

Здесь стоит кратко упомянуть о кибератаках, так как, в отличие от биологических атак, кибератаки под руководством ИИ уже случались в реальности, в том числе в больших масштабах и для шпионажа на государственном уровне. Мы ожидаем, что эти атаки станут более совершенными по мере стремительного развития моделей, пока они не станут основным способом проведения кибератак. Я ожидаю, что кибератаки с использованием ИИ станут серьезной и беспрецедентной угрозой целостности компьютерных систем по всему миру, и Anthropic прилагает огромные усилия, чтобы пресекать эти атаки и в конечном итоге надежно предотвращать их. Причина, по которой я не уделял киберсфере столько же внимания, сколько биологии, заключается в том, что (1) кибератаки с гораздо меньшей вероятностью приводят к гибели людей, уж точно не в таких масштабах, как биологические атаки, и (2) баланс «нападение-защита» в киберпространстве может быть более управляемым, так как есть надежда, что защита сможет идти в ногу (а в идеале — опережать) с ИИ-атаками, если мы будем правильно в это инвестировать.

Хотя биология в настоящее время является самым серьезным вектором атаки, существует множество других векторов, и вполне возможно, что появится еще более опасный. Общий принцип таков: без контрмер ИИ, вероятно, будет постоянно снижать барьер для деструктивной деятельности во всё больших масштабах, и человечеству нужен серьезный ответ на эту угрозу.

3. Одиозный аппарат

Злоупотребление ради захвата власти

В предыдущем разделе обсуждался риск того, что отдельные лица и малые организации воспользуются частью «страны гениев в дата-центре» для совершения крупномасштабных разрушений. Но мы также должны беспокоиться — вероятно, существенно больше — о злоупотреблении ИИ с целью удержания или захвата власти, что, скорее всего, будут делать более крупные и устоявшиеся игроки.

В «Машинах милосердия» я обсуждал возможность того, что авторитарные правительства могут использовать мощный ИИ для слежки за своими гражданами или их подавления такими способами, которые будет крайне трудно реформировать или свергнуть. Нынешние автократии ограничены в своей жестокости необходимостью иметь людей для исполнения приказов, а у людей часто есть пределы того, насколько бесчеловечными они готовы быть. Но автократии с поддержкой ИИ не будут иметь таких ограничений.

Хуже того, страны могут использовать свое преимущество в ИИ для получения власти над другими странами. Если «страна гениев» в целом будет принадлежать и контролироваться военным аппаратом одной (человеческой) страны, а другие страны не будут обладать эквивалентными возможностями, трудно представить, как они смогут защититься: их будут переигрывать на каждом шагу, подобно войне между людьми и мышами. Сочетание этих двух опасений приводит к пугающей возможности установления глобальной тоталитарной диктатуры. Очевидно, что предотвращение такого исхода должно стать одним из наших высших приоритетов.

Существует множество способов, которыми ИИ может способствовать установлению, укреплению или расширению автократии, но я перечислю несколько тех, что беспокоят меня больше всего. Обратите внимание, что некоторые из этих применений имеют законные оборонительные цели, и я не обязательно выступаю против них в абсолютном смысле; тем не менее, я обеспокоен тем, что они структурно склонны благоприятствовать автократиям:

• Полностью автономное оружие. Рой из миллионов или миллиардов полностью автоматизированных вооруженных дронов, управляемых на месте мощным ИИ и стратегически координируемых по всему миру еще более мощным ИИ, может стать непобедимой армией, способной как победить любого военного противника, так и подавить инакомыслие внутри страны, следя за каждым гражданином. События в ходе российско-украинской войны должны стать сигналом того, что война дронов уже наступила (хотя они еще не полностью автономны и составляют лишь крошечную долю того, что станет возможным с мощным ИИ). НИОКР с помощью мощного ИИ могут сделать дроны одной страны гораздо совершеннее других, ускорить их производство, сделать их более устойчивыми к электронным атакам, улучшить их маневренность и так далее. Конечно, у этого оружия есть и законные цели при защите демократии: они стали ключом к защите Украины и, вероятно, станут ключом к защите Тайваня. Но это опасное оружие: мы должны беспокоиться о нем в руках автократий, но также и о том, что из-за его огромной мощи и отсутствия ответственности существует сильно возросший риск того, что демократические правительства обратят его против собственного народа для захвата власти.
• ИИ-слежка. Достаточно мощный ИИ, вероятно, сможет взломать любую компьютерную систему в мире и использовать полученный доступ, чтобы прочитать и осмыслить все электронные коммуникации в мире (или даже все личные разговоры в мире, если удастся создать или захватить записывающие устройства). Пугающе правдоподобно звучит возможность просто составить полный список всех, кто не согласен с правительством по любому вопросу, даже если это несогласие не выражено явно в их словах или делах. Мощный ИИ, анализирующий миллиарды разговоров миллионов людей, может оценивать общественные настроения, обнаруживать зарождающиеся очаги нелояльности и подавлять их в зародыше. Это может привести к установлению истинного паноптикона в масштабах, которых мы не видим сегодня даже в КНР.
• ИИ-пропаганда. Сегодняшние феномены «ИИ-психозов» и «ИИ-девушек» предполагают, что даже при нынешнем уровне интеллекта модели ИИ могут оказывать мощное психологическое воздействие на людей. Гораздо более мощные версии этих моделей, глубоко внедренные в повседневную жизнь людей и знающие о ней всё, способные моделировать поведение и влиять на него в течение месяцев или лет, вероятно, смогут зомбировать многих (большинство?) людей, внушая любую желаемую идеологию или отношение. Это может быть использовано недобросовестным лидером для обеспечения лояльности и подавления инакомыслия даже в условиях таких репрессий, против которых восстало бы большинство населения. Сегодня люди много беспокоятся, например, о потенциальном влиянии TikTok как пропаганды КПК, направленной на детей. Я тоже об этом беспокоюсь, но персонализированный ИИ-агент, который узнает вас годами и использует эти знания для формирования всех ваших мнений, был бы несравнимо мощнее.
• Стратегическое принятие решений. «Страна гениев» в дата-центре может использоваться для консультирования страны, группы или отдельного лица по вопросам геополитической стратегии — то, что мы могли бы назвать «виртуальным Бисмарком». Она могла бы оптимизировать три вышеперечисленные стратегии захвата власти, а также, вероятно, разработать множество других, о которых я не догадался (но страна гениев — догадается). Дипломатия, военная стратегия, НИОКР, экономическая стратегия и многие другие области, вероятно, существенно выиграют в эффективности от мощного ИИ. Многие из этих навыков были бы законно полезны для демократий — мы хотим, чтобы демократии имели доступ к лучшим стратегиям защиты от автократий, — но потенциал злоупотребления в чьих бы то ни было руках всё равно остается.

Описав, чего я боюсь, перейдем к вопросу — кого. Я беспокоюсь о тех субъектах, у которых больше всего доступа к ИИ, которые изначально обладают наибольшей политической властью или имеют историю репрессий. В порядке убывания серьезности меня беспокоят:

• КПК (Коммунистическая партия Китая). Китай занимает второе место после США по возможностям ИИ и является страной с наибольшей вероятностью обойти США в этих возможностях. Их правительство в настоящее время является автократическим и управляет высокотехнологичным государством слежки. Они уже развернули слежку на базе ИИ (включая репрессии против уйгуров) и, как полагают, используют алгоритмическую пропаганду через TikTok (в дополнение к многим другим международным пропагандистским усилиям). У них, без сомнения, самый четкий путь к тоталитарному ИИ-кошмару, который я описал выше. Это может стать исходом «по умолчанию» внутри Китая, а также в других автократических государствах, куда КПК экспортирует технологии слежки. Я часто писал об угрозе захвата лидерства в ИИ Китаем и об экзистенциальном императиве не допустить этого. Вот почему. Хочу уточнить: я выделяю Китай не из неприязни к нему как таковому — это просто страна, которая больше всего сочетает в себе мощь ИИ, автократическое правительство и высокотехнологичную систему слежки. Если кто и пострадает больше всего от репрессий КПК с использованием ИИ, так это сам китайский народ, у которого нет права голоса в действиях своего правительства. Я глубоко восхищаюсь китайским народом, уважаю его и поддерживаю многих отважных диссидентов внутри Китая в их борьбе за свободу.
• Демократии, конкурирующие в области ИИ. Как я писал выше, у демократий есть законный интерес в некоторых военных и геополитических инструментах на базе ИИ, потому что демократические правительства предлагают лучший шанс противостоять использованию этих инструментов автократиями. В целом я поддерживаю вооружение демократий инструментами, необходимыми для победы над автократиями в эпоху ИИ — я просто не вижу другого пути. Но мы не можем игнорировать потенциал злоупотребления этими технологиями самими демократическими правительствами. Обычно в демократиях есть механизмы защиты, которые не позволяют военному и разведывательному аппарату быть обращенным внутрь против собственного населения,
  но поскольку для работы инструментов ИИ требуется так мало людей, существует потенциал для обхода этих защит и норм, которые их поддерживают. Стоит также отметить, что некоторые из этих защитных механизмов в ряде демократий уже постепенно разрушаются. Таким образом, мы должны вооружать демократии искусственным интеллектом, но делать это осторожно и в определенных рамках: они — та иммунная система, которая нужна нам для борьбы с автократиями, но, как и любая иммунная система, они несут в себе риск того, что могут обернуться против нас самих и стать угрозой.
• Недемократические страны с большими дата-центрами. Помимо Китая, большинство стран с менее демократическим управлением не являются лидерами в ИИ в том смысле, что у них нет компаний, производящих передовые модели. Таким образом, они представляют собой фундаментально иной и меньший риск, чем КПК, которая остается главной заботой (большинство из них также менее репрессивны, а те, что более репрессивны, например Северная Корея, не имеют значительной индустрии ИИ вообще). Но некоторые из этих стран имеют большие дата-центры (часто в рамках строительства компаниями, работающими в демократиях), которые могут использоваться для запуска передового ИИ в больших масштабах (хотя это и не дает возможности двигать технологический рубеж вперед). С этим связана определенная опасность — эти правительства могут, в принципе, экспроприировать дата-центры и использовать находящуюся в них «страну ИИ» в своих целях. Я меньше беспокоюсь об этом по сравнению со странами вроде Китая, которые напрямую разрабатывают ИИ, но этот риск стоит иметь в виду.
• Компании ИИ. Немного неловко говорить об этом, будучи генеральным директором компании ИИ, но я думаю, что следующий уровень риска — это сами компании ИИ. Компании ИИ контролируют огромные дата-центры, обучают передовые модели, обладают величайшим опытом в использовании этих моделей и в некоторых случаях имеют ежедневный контакт с десятками или сотнями миллионов пользователей, а значит, и возможность влияния на них. Главное, чего им не хватает — это легитимности и инфраструктуры государства, поэтому многое из того, что потребовалось бы для создания инструментов ИИ-автократии, было бы незаконным для компании или, по крайней мере, крайне подозрительным. Но кое-что не является невозможным: они могли бы, например, использовать свои ИИ-продукты для промывания мозгов своей огромной базе потребителей, и общественность должна быть готова к риску, который это представляет. Я считаю, что управление компаниями ИИ заслуживает пристального внимания.

Существует ряд возможных аргументов против серьезности этих угроз, и я бы хотел им верить, потому что авторитаризм с поддержкой ИИ меня ужасает. Стоит разобрать некоторые из этих аргументов и ответить на них.

Во-первых, некоторые люди могут возлагать надежды на ядерное сдерживание, особенно для противодействия использованию автономного оружия ИИ для военных завоеваний. Если кто-то угрожает использовать такое оружие против вас, вы всегда можете пригрозить ядерным ответом. Моё опасение в том, что я не вполне уверен, что мы можем полагаться на ядерное сдерживание против «страны гениев» в дата-центре: вполне возможно, что мощный ИИ сможет найти способы обнаруживать и наносить удары по атомным подводным лодкам, проводить операции влияния против операторов ядерной инфраструктуры или использовать кибервозможности ИИ для запуска кибератаки на спутники, используемые для обнаружения ядерных запусков.

Кроме того, возможно, что захват стран осуществим только с помощью ИИ-слежки и ИИ-пропаганды, и при этом никогда не наступит явного момента, когда станет очевидно, что происходит что-то, требующее ядерного ответа. Может быть, всё это неосуществимо и ядерное сдерживание останется эффективным, но ставки слишком высоки, чтобы рисковать.

Второе возможное возражение заключается в том, что могут существовать контрмеры, которые мы можем предпринять против этих инструментов автократии. Мы можем противопоставить дронам свои собственные дроны, киберзащита будет улучшаться наравне с кибератаками, могут найтись способы привить людям иммунитет к пропаганде и т. д. Мой ответ: эти оборонительные меры будут возможны только при наличии сопоставимо мощного ИИ. Если не будет какой-то противодействующей силы в виде столь же умной и многочисленной «страны гениев» в дата-центре, не получится сравняться по качеству или количеству дронов, киберзащита не сможет перехитрить кибернападение и так далее. Таким образом, вопрос контрмер сводится к вопросу о балансе сил в области мощного ИИ. Здесь меня беспокоит рекурсивное или самоподкрепляющееся свойство мощного ИИ (о котором я говорил в начале эссе): каждое поколение ИИ может использоваться для проектирования и обучения следующего. Это ведет к риску неудержимого отрыва, когда текущий лидер в мощном ИИ сможет наращивать свое преимущество, и его будет трудно догнать. Мы должны убедиться, что в этот цикл первой не вступит авторитарная страна.

Более того, даже если удастся достичь баланса сил, всё равно остается риск того, что мир может быть разделен на автократические сферы влияния, как в романе «1984». Даже если несколько конкурирующих держав обладают своими мощными моделями ИИ и ни одна не может одолеть другие, каждая держава всё равно может подавлять собственное население внутри себя, и её будет очень трудно свергнуть (так как у населения нет мощного ИИ для самозащиты). Поэтому важно предотвратить возникновение автократии с поддержкой ИИ, даже если это не приведет к захвату мира одной страной.

Защита

Как нам защититься от столь широкого спектра инструментов автократии и потенциальных угроз? Как и в предыдущих разделах, я считаю, что мы можем предпринять несколько шагов.

Во-первых, нам абсолютно не следует продавать чипы, инструменты для производства чипов или дата-центры КПК (Коммунистической партии Китая). Чипы и инструменты для их изготовления — это самое «узкое место» на пути к мощному ИИ, и блокировка доступа к ним — простая, но чрезвычайно эффективная мера, возможно, самое важное действие, которое мы можем совершить. Нет никакого смысла продавать КПК инструменты, с помощью которых они построят тоталитарное ИИ-государство и, возможно, победят нас военным путем. Существует множество запутанных аргументов, оправдывающих такие продажи — например, идея о том, что «распространение нашего технологического стека по миру» позволяет «Америке победить» в какой-то общей, неопределенной экономической битве. На мой взгляд, это всё равно что продать ядерное оружие Северной Корее, а затем хвастаться тем, что корпуса ракет сделаны компанией Boeing и, следовательно, США «побеждают». Китай на несколько лет отстает от США в способности производить передовые чипы в необходимых количествах, и критический период для создания «страны гениев в дата-центре», скорее всего, наступит именно в эти ближайшие несколько лет. Нет причин давать гигантский толчок их ИИ-индустрии в этот критический период.

Во-вторых, имеет смысл использовать ИИ для расширения возможностей демократий в их сопротивлении автократиям. Именно поэтому Anthropic считает важным предоставлять ИИ разведывательному и оборонному сообществам США и их демократических союзников. Защита демократических государств, находящихся под ударом, таких как Украина и (в плане кибератак) Тайвань, кажется особенно приоритетной задачей, равно как и предоставление демократиям возможности использовать свои спецслужбы для подрыва и ослабления автократий изнутри. На определенном уровне единственный способ ответить на автократические угрозы — это соответствовать им и превосходить их в военном отношении. Коалиция США и их демократических союзников, если она добьется превосходства в области мощного ИИ, будет в состоянии не только защитить себя, но и сдерживать автократии, ограничивая их тоталитарные злоупотребления с использованием ИИ.

В-третьих, нам нужно провести «красную линию» против злоупотреблений ИИ внутри самих демократий. Должны существовать пределы того, что мы позволяем нашим правительствам делать с помощью ИИ, чтобы они не захватили власть и не репрессировали собственный народ. Формула, которую я вывел, звучит так: мы должны использовать ИИ для национальной обороны всеми способами, кроме тех, которые сделают нас похожими на наших автократических противников.

Где должна проходить эта линия? В списке, приведенном в начале этого раздела, два пункта — использование ИИ для массовой внутренней слежки и массовой пропаганды — кажутся мне абсолютно недопустимыми. Кто-то может возразить, что (по крайней мере, в США) нет необходимости что-то предпринимать, так как массовая слежка внутри страны уже незаконна согласно Четвертой поправке. Но стремительный прогресс ИИ может создать ситуации, для решения которых наши существующие правовые рамки не предназначены. Например, массовая запись всех публичных разговоров (того, что люди говорят друг другу на углу улицы) вполне может не противоречить конституции США. Раньше было трудно обработать такой объем информации, но с помощью ИИ всё это можно транскрибировать, интерпретировать и сопоставить, чтобы создать картину взглядов и лояльности большинства граждан. Я бы поддержал законодательство, ориентированное на защиту гражданских свобод (или, возможно, даже конституционную поправку), которое установит более жесткие барьеры против злоупотреблений с использованием ИИ.

Два других пункта — полностью автономное оружие и ИИ для принятия стратегических решений — представляют собой более сложные случаи, так как они имеют законные цели для защиты демократии, но при этом подвержены риску злоупотреблений. Здесь, я считаю, необходимы крайняя осторожность и пристальный контроль в сочетании с защитными механизмами. Мой главный страх — это слишком малое количество «пальцев на кнопке», когда один человек или горстка людей смогут управлять армией дронов без необходимости взаимодействия с другими людьми. По мере того как системы ИИ становятся мощнее, нам могут понадобиться механизмы прямого и немедленного надзора, чтобы гарантировать отсутствие злоупотреблений — возможно, с привлечением других ветвей власти, помимо исполнительной. Я считаю, что к полностью автономному оружию следует подходить с величайшей осторожностью и не спешить с его внедрением без надлежащих гарантий безопасности.

В-четвертых, установив жесткий запрет на злоупотребления ИИ в демократических странах, мы должны использовать этот прецедент для создания международного табу на худшие виды использования мощного ИИ. Я признаю, что нынешние политические ветры дуют против международного сотрудничества и международных норм, но это именно тот случай, когда они нам крайне необходимы. Мир должен понять темный потенциал мощного ИИ в руках автократов и осознать, что определенные виды использования ИИ равносильны попытке навсегда украсть свободу людей и навязать тоталитарное государство, из которого невозможно вырваться. Я бы даже утверждал, что в некоторых случаях крупномасштабная слежка с помощью мощного ИИ, массовая пропаганда и определенные виды наступательного использования автономного оружия должны считаться преступлениями против человечности. В более широком смысле, нам остро необходима устойчивая норма против тоталитаризма на базе ИИ и всех его инструментов.

Возможно даже более радикальное видение: поскольку угроза ИИ-тоталитаризма столь мрачна, автократия — это просто не та форма правления, которую люди могут принять в эпоху после появления мощного ИИ. Точно так же, как феодализм стал нежизнеспособен с началом промышленной революции, эпоха ИИ может неизбежно и логично привести к выводу, что демократия (надеюсь, демократия, улучшенная и обновленная благодаря ИИ, как я обсуждаю в «Машинах милосердия») — единственная жизнеспособная форма правления, если человечество хочет иметь достойное будущее.

В-пятых и в-последних: за компаниями ИИ нужно внимательно следить, как и за их связями с государством. Эти связи необходимы, но у них должны быть четкие границы. Огромный потенциал, заложенный в мощном ИИ, таков, что обычное корпоративное управление — предназначенное для защиты акционеров и предотвращения банальных нарушений вроде мошенничества — вряд ли справится с задачей контроля таких компаний. Также может быть полезно, чтобы компании публично брали на себя обязательства (возможно, даже закрепленные в уставе) не совершать определенных действий: например, не создавать и не накапливать военную технику в частном порядке, не использовать огромные вычислительные ресурсы бесконтрольно отдельными лицами и не использовать свои ИИ-продукты как средства пропаганды для манипулирования общественным мнением в свою пользу.

Опасность здесь исходит со многих сторон, и некоторые угрозы противоречат друг другу. Единственная константа — мы должны стремиться к подотчетности, нормам и защитным барьерам для всех, даже когда мы расширяем возможности «хороших» игроков для сдерживания «плохих».

4. Механическое пианино

(Отсылка к роману Курта Воннегута об автоматизации общества — прим. пер.)

Экономические потрясения

Предыдущие три раздела были посвящены рискам безопасности: рискам со стороны самого ИИ, рискам его использования злоумышленниками и рискам использования государствами. Если мы отложим риски безопасности в сторону или предположим, что они решены, следующим вопросом станет экономика. Каким будет эффект от вливания этого невероятного «человеческого» капитала в экономику? Очевидно, что самым заметным последствием станет колоссальный рост. Темпы достижений в науке, биомедицине, производстве, логистике и финансах почти гарантированно приведут к резкому ускорению экономического роста. В «Машинах милосердия» я предположил, что возможен устойчивый ежегодный рост ВВП на уровне 10–20%.

Но должно быть ясно, что это палка о двух концах: каковы экономические перспективы большинства существующих людей в таком мире? Новые технологии часто приносят шоки на рынке труда. В прошлом человечество всегда восстанавливалось после них, но я обеспокоен тем, что тогда эти шоки затрагивали лишь малую часть спектра человеческих способностей, оставляя людям возможность переключиться на новые задачи. Воздействие ИИ будет гораздо шире и произойдет намного быстрее, поэтому я боюсь, что на этот раз наладить жизнь будет гораздо сложнее.

Потрясения на рынке труда

Меня беспокоят две конкретные проблемы: вытеснение людей с рынка труда и концентрация экономической власти. Начнем с первой. Я публично предупреждал об этом в 2025 году, предсказав, что ИИ может уничтожить половину всех офисных должностей начального уровня («белых воротничков») в ближайшие 1–5 лет, даже при условии ускорения экономического роста. Это предупреждение вызвало широкую общественную дискуссию. Многие руководители компаний, технологи и экономисты согласились со мной, но другие посчитали, что я поддался «заблуждению о фиксированном объеме работ» (lump of labor fallacy) и не понимаю законов рынка. Некоторые не заметили указанный срок в 1–5 лет и решили, что я утверждаю, будто ИИ вытесняет рабочие места прямо сейчас (с чем я не согласен — сейчас этого, скорее всего, еще не происходит). Поэтому стоит подробно разобрать, почему я беспокоюсь.

Для начала полезно понять, как рынки труда обычно реагируют на технический прогресс. Когда появляется новая технология, она начинает с того, что делает отдельные части человеческой работы эффективнее. Например, в начале промышленной революции усовершенствованные плуги позволили фермерам стать эффективнее в некоторых аспектах труда. Это повысило их производительность, что, в свою очередь, увеличило их заработок.

На следующем этапе некоторые части работы фермера стали выполняться машинами полностью — например, после изобретения молотилки или сеялки. На этом этапе люди выполняли всё меньшую долю работы, но тот труд, который они продолжали выполнять, становился всё более ценным, так как он дополнял работу машин. Производительность продолжала расти. Согласно парадоксу Джевонса, доходы фермеров и, возможно, даже их количество продолжали увеличиваться. Даже когда 90% работы делают машины, люди могут просто делать в 10 раз больше той части (10%), которая осталась за ними, производя в 10 раз больше продукции при тех же трудозатратах.

В конце концов, машины начинают делать почти всё, как в случае с современными зерноуборочными комбайнами, тракторами и другим оборудованием. В этот момент сельское хозяйство как сфера занятости действительно идет на спад, что может вызвать серьезные потрясения в краткосрочной перспективе. Но поскольку фермерство — это лишь один из многих видов полезной деятельности, доступных людям, они в итоге переходят на другие работы, например, на обслуживание заводских станков. Это произошло, несмотря на то, что сельское хозяйство раньше составляло огромную долю занятости. 250 лет назад 90% американцев жили на фермах; в Европе 50–60% работающих были заняты в агросекторе. Сейчас эти показатели составляют единицы процентов, так как рабочие перешли в промышленность (а позже — в сферу интеллектуального труда). Экономика может делать то, для чего раньше требовалась почти вся рабочая сила, усилиями всего 1–2% населения, высвобождая остальных для строительства еще более развитого индустриального общества. Нет никакого фиксированного «объема работ», есть только постоянно расширяющаяся способность делать всё больше и больше, затрачивая всё меньше и меньше. Зарплаты растут вместе с ВВП, и после прохождения этапа потрясений экономика возвращается к полной занятости.

Возможно, с ИИ всё пойдет примерно так же, но я бы поставил на то, что в этот раз будет иначе. Вот причины:

• Скорость. Темпы прогресса в ИИ намного выше, чем в предыдущих технологических революциях. Например, за последние 2 года модели ИИ прошли путь от едва способных написать одну строку кода до написания всего или почти всего кода за некоторых людей — включая инженеров Anthropic. Скоро они смогут выполнять всю задачу инженера-программиста от начала до конца. Людям трудно адаптироваться к такой скорости перемен — как в плане того, как меняется их текущая работа, так и в плане необходимости перехода на новые профессии. Даже легендарные программисты всё чаще признают, что они «отстают». Темпы могут только ускориться, так как модели ИИ для кодинга ускоряют саму разработку ИИ. Скорость сама по себе не означает, что рынки труда не восстановятся, но она подразумевает, что переходный период будет необычайно болезненным, так как люди и рынки реагируют и приходят в равновесие медленно.
• Когнитивная широта. Как следует из фразы «страна гениев в дата-центре», ИИ будет обладать широчайшим спектром человеческих способностей — возможно, всеми сразу. Это сильно отличает его от механизированного фермерства, транспорта или даже компьютеров. Это затруднит переход людей из исчезающих профессий в похожие смежные области. Например, общие интеллектуальные способности, необходимые для начальных позиций в финансах, консалтинге и праве, схожи. Технология, которая подорвала бы только одну из этих областей, позволила бы сотрудникам перейти в две другие. Но одновременный удар по всем трем (и многим другим) усложняет адаптацию. Более того, ИИ всё чаще соответствует общему когнитивному профилю человека, а значит, он будет хорош и в тех новых профессиях, которые обычно создаются взамен автоматизированных. Иными словами, ИИ — это не замена конкретных задач, а универсальная замена человеческого труда.
• Расслоение по когнитивным способностям. В широком спектре задач ИИ, кажется, движется снизу вверх по «лестнице способностей». В программировании наши модели прошли путь от «посредственного кодера» до «сильного» и «очень сильного». Сейчас мы начинаем видеть ту же прогрессию в офисной работе в целом. Мы рискуем оказаться в ситуации, когда ИИ бьет не по людям с конкретными навыками (которые могут переучиться), а по людям с определенными внутренними когнитивными свойствами, а именно — с более низкими интеллектуальными способностями (которые труднее изменить). Неясно, куда пойдут эти люди, и я боюсь, что они могут сформировать безработный или крайне низкооплачиваемый «низший класс». Что-то подобное уже случалось: компьютеры и интернет, по мнению некоторых экономистов, привели к «технологическим изменениям в пользу квалифицированных кадров». Это способствовало росту неравенства доходов, так что это не самый утешительный прецедент.
• Способность «заполнять пробелы». Часто работа людей сохраняется потому, что в новой технологии есть пробелы. Если кто-то изобретает станок для изготовления деталей, люди всё равно нужны, чтобы загружать в него сырье. Даже если это занимает 1% от прежних усилий, люди могут просто делать в 100 раз больше деталей. Но ИИ — это не только быстро развивающаяся, но и быстро адаптирующаяся технология. При каждом выпуске модели компании ИИ измеряют, в чем она хороша, а в чем — нет. Слабые места устраняются путем сбора задач, отражающих эти пробелы, и обучения на них следующей версии. В начале эры генеративного ИИ пользователи замечали ошибки (например, ИИ рисовал руки с лишними пальцами) и считали их врожденными дефектами технологии. Если бы это было так, вытеснение людей было бы ограниченным. Но практически каждое такое слабое место устраняется быстро — часто за считанные месяцы.

Стоит разобрать аргументы скептиков. Первый: диффузия (распространение) технологий будет медленной. Мол, даже если технология способна заменить труд, её реальное внедрение в экономику (особенно в консервативных отраслях) займет годы. Медленная диффузия — реальный факт. Я общаюсь с представителями разных компаний, и внедрение ИИ там действительно может затянуться. Именно поэтому мой прогноз о 50% рабочих мест начального уровня охватывает 1–5 лет, хотя мощный ИИ (технологически способный на большее) может появиться гораздо раньше. Но эффект диффузии лишь дает нам время. При этом я не уверен, что внедрение будет таким уж медленным: внедрение ИИ в бизнесе растет быстрее, чем у любой технологии в прошлом, просто в силу его огромной эффективности.

Это может привести к миру, где исчезают не конкретные задачи, а целые крупные предприятия, заменяемые стартапами с гораздо меньшим количеством сотрудников. Это также грозит «географическим неравенством», когда богатство мира концентрируется в Кремниевой долине, которая превращается в обособленную экономику, работающую на других скоростях и оставляющую всех остальных позади. Все эти исходы прекрасны для роста ВВП, но не очень хороши для рынка труда.

Второе возражение: работа перейдет в физический мир, где ИИ пока не так силен. Я не уверен, что это безопасно. Огромная часть физического труда уже автоматизирована или скоро будет (например, вождение). К тому же мощный ИИ ускорит разработку роботов и сможет управлять ими. Это даст немного времени, но, боюсь, не слишком много. И даже если перемены коснутся только офисных задач, это всё равно будет беспрецедентный по масштабу шок.

Третье: некоторые задачи требуют «человеческого подхода». Тут я не до конца уверен, но скептичен. ИИ уже широко используется в поддержке клиентов. Многие люди сообщают, что им легче обсуждать личные проблемы с ИИ, чем с психологом — ИИ более терпелив. Когда у моей сестры были проблемы со здоровьем во время беременности, она не получала нужных ответов от врачей и обнаружила, что у Клода более деликатный подход (и он лучше справился с диагностикой). Возможно, есть задачи, где человеческое присутствие незаменимо, но их может не хватить для обеспечения работой всей массы людей.

Четвертое: сравнительное преимущество защитит людей. Согласно закону сравнительного преимущества, даже если ИИ лучше человека во всём, относительные различия в навыках создают основу для торговли и специализации между ними. Проблема в том, что если ИИ в тысячи раз продуктивнее, эта логика ломается. Даже крошечные транзакционные издержки могут сделать торговлю ИИ с людьми невыгодной. А зарплаты людей могут упасть до крайне низкого уровня, даже если им формально есть что предложить.

Возможно, все эти факторы удастся преодолеть, и рынок труда окажется невероятно гибким. Но даже в этом случае переходный период обещает стать беспрецедентным потрясением.

Защита

Что мы можем сделать? У меня есть несколько предложений. Первое — получать точные данные о вытеснении рабочих мест в реальном времени. Без надежных данных невозможно разработать эффективную политику. Государству сейчас не хватает детализированных данных о внедрении ИИ. Последний год Anthropic публикует Экономический индекс, показывающий использование наших моделей почти в реальном времени. У нас также есть Экономический консультативный совет, помогающий интерпретировать эти данные.

Второе: компании ИИ могут выбирать, как работать с бизнесом. Путь внедрения ИИ во многом зависит от выбора — между «экономией на издержках» (делать то же самое меньшим числом людей) и «инновациями» (делать больше тем же числом людей). Мы можем стараться направлять компании в сторону инноваций.

Третье: компании должны заботиться о сотрудниках. В краткосрочной перспективе выходом может стать переобучение и перевод людей на новые роли внутри компании. В долгосрочной перспективе, в мире с огромным общим богатством, может стать возможным платить сотрудникам даже после того, как они перестанут приносить традиционную экономическую выгоду.

Четвертое: богатые люди обязаны помогать. Мне грустно видеть, как многие в тех-индустрии относятся к филантропии цинично. Фонд Гейтса и программы вроде PEPFAR спасли миллионы жизней. Все основатели Anthropic обязались пожертвовать 80% своего состояния, а сотрудники компании передали на благотворительность акции стоимостью в миллиарды долларов.

Пятое: в конечном счете макроэкономическая проблема такого масштаба потребует государственного вмешательства. Естественным ответом на рост богатства при росте неравенства является прогрессивное налогообложение. Налог может быть общим или направленным конкретно против компаний ИИ. Я считаю, что прогнозируемый уровень неравенства оправдывает более решительную налоговую политику по моральным соображениям. Прагматичный аргумент для миллиардеров: если вы не поддержите грамотно разработанную версию налога, вы получите хаотичную версию, придуманную разъяренной толпой.

Все эти меры — лишь способ выиграть время. В конце концов ИИ сможет делать всё, и нам придется с этим жить. Я надеюсь, что к тому времени мы сможем использовать сам ИИ, чтобы перестроить рынки на благо всех.

Экономическая концентрация власти

Помимо безработицы существует риск экономической концентрации власти. Другой вид лишения прав может произойти, если огромная концентрация богатства позволит узкой группе людей фактически диктовать государственную политику. Демократия держится на идее, что население в целом необходимо для работы экономики. Если этот экономический рычаг исчезнет, социальный контракт может перестать работать. Другие писали об этом, и я согласен с этими опасениями — это уже начинает происходить.

Я не против того, чтобы люди зарабатывали много денег. В нормальных условиях это стимулирует рост. Но в сценарии, когда ВВП растет на 10–20% в год, а отдельные личности владеют значительными долями этого ВВП, нужно беспокоиться не об инновациях, а о том, что такая концентрация богатства разрушит общество.

Самый известный пример в истории США — Позолоченный век, когда богатство Джона Д. Рокфеллера составляло около 2% ВВП США. Сегодня такая доля составила бы 600 миллиардов долларов. Самый богатый человек в мире (Илон Маск) уже превысил эту планку, его состояние оценивается примерно в 700 миллиардов. То есть мы уже имеем исторически беспрецедентный уровень концентрации богатства, еще до основного экономического эффекта ИИ. Можно представить, что компании ИИ и производители чипов будут генерировать выручку в 3 триллиона долларов в год, оцениваться в 30 триллионов, а личные состояния достигнут триллионов долларов.

Эта концентрация богатства, сцепленная с политической системой, уже беспокоит меня. Траты на дата-центры составляют заметную долю роста экономики США, тесно связывая финансовые интересы техногигантов и политические интересы правительства. Мы видим это в нежелании компаний критиковать власть и в поддержке правительством радикальной политики невмешательства в регулирование ИИ.

Защита

Что можно сделать? Во-первых, компании должны сами выбирать путь независимости. Anthropic всегда стремилась быть актором в сфере выработки политики, а не политики как борьбы за власть, сохраняя свои взгляды при любой администрации. Мы выступали за разумное регулирование и экспортный контроль в интересах общества, даже когда это расходилось с официальной линией. За год такой позиции оценка Anthropic выросла более чем в 6 раз.

Во-вторых, индустрии нужны здоровые отношения с государством, основанные на содержательном диалоге, а не на политической лояльности. Публичное недовольство ИИ нарастает: оно может стать корректирующей силой, но пока оно распылено на ложные проблемы (вроде якобы огромного расхода воды дата-центрами). Важно сфокусировать общественную дискуссию на том, чтобы развитие ИИ оставалось подотчетным общественным интересам.

В-третьих, макроэкономические меры и возрождение филантропии помогут сбалансировать чаши весов. Нам стоит вспомнить дух Рокфеллера и Карнеги, которые чувствовали долг перед обществом за свой успех. Сегодня этот дух утрачен, и его возвращение — часть пути из экономического тупика. Те, кто стоит во главе бума ИИ, должны быть готовы делиться своим богатством и властью.

5. Бездонные моря бесконечности

(Отсылка к фразе Г.Ф. Лавкрафта — прим. пер.)

Косвенные эффекты

Этот раздел посвящен «неизвестным неизвестным» — вещам, которые могут пойти не так как побочный эффект научного прогресса. Допустим, мы решили все описанные выше риски. Мы получим «столетие прогресса, сжатое в десятилетие», но нам придется иметь дело с последствиями такой скорости.

Вот три примера того, за чем стоит следить:

• Стремительные успехи в биологии. Увеличив продолжительность жизни, мы также можем получить способности радикально менять биологию человека или повышать его интеллект. Это огромные перемены. Если попытки сделать людей умнее сделают их более нестабильными или властолюбивыми, это обернется катастрофой. Также есть вопрос «цифрового бессмертия» — загрузки сознания в компьютер, что несет риски, которые я нахожу тревожными.
• ИИ меняет жизнь в нездоровом ключе. Мир с миллиардами существ, которые во всём умнее нас — это очень странный мир. Даже без злого умысла может возникнуть «ИИ-зависимость», новые ИИ-религии или ситуации, когда ИИ по сути «кукловодит» человеком, подсказывая каждое слово и действие. Жизнь может стать комфортной, но лишенной свободы и гордости за свои достижения. Важно, чтобы у ИИ-моделей в приоритете были долгосрочные интересы пользователя.
• Смысл человеческого существования. Смогут ли люди найти цель в таком мире? Я считаю, что смысл не зависит от того, являетесь ли вы «лучшим в мире». Люди находят смысл в историях и проектах, которые любят. Нам нужно разорвать связь между экономической ценностью и ощущением собственной значимости. Это сложный переход для общества.

Испытание для человечества

Чтение этого эссе может создать впечатление, что ситуация устрашающая. Мне было непросто писать его — в отличие от «Машин милосердия», которые ощущались как прекрасная музыка в моей голове. Риски ИИ наступают со всех сторон, и между ними есть реальное напряжение: пытаясь смягчить одни, мы рискуем усугубить другие.

Медленное и осторожное построение ИИ конфликтует с необходимостью демократий опережать автократии. Но инструменты для борьбы с автократиями могут стать орудием тирании внутри наших стран. Страх перед биотерроризмом может толкнуть нас в объятия государства тотальной слежки. Экономические потрясения могут вызвать гражданские беспорядки. Перед человечеством стоит задача пройти через это сложнейшее испытание.

Более того, последние годы показали: идея остановить или даже существенно замедлить технологию утопична. Формула создания мощного ИИ проста — она спонтанно возникает из данных и вычислений. Это было неизбежно с момента изобретения транзистора, а может, и с момента укрощения огня. Если не мы — то другие построят его почти так же быстро. Если демократии остановятся, автократии продолжат путь. Учитывая ценность технологии, я не вижу способа убедить их остановиться.

Я вижу путь к некоторому умеренному сдерживанию, совместимому с реалистичным взглядом на геополитику. Этот путь заключается в том, чтобы на несколько лет замедлить марш автократий к мощному ИИ, лишив их ресурсов (чипов), и дать демократиям буфер времени на то, чтобы строить ИИ более вдумчиво и осторожно. Гонку компаний внутри демократий можно регулировать общими законами и стандартами.

Anthropic упорно выступает за этот путь, продвигая экспортный контроль и взвешенное регулирование, но даже эти здравые идеи часто отвергаются. На кону триллионы долларов, и политическим силам трудно наложить хоть какие-то ограничения на этот «сверкающий приз». В этом и заключается ловушка.

Я могу представить, как и Саган в «Контакте», что эта история разыгрывается на тысячах планет. Вид обретает сознание, учится использовать инструменты, переживает кризисы индустриализации и ядерного оружия, и, если выживает, сталкивается с финальным испытанием — учится превращать песок в машины, которые думают. Выживем ли мы, чтобы построить прекрасное общество, или падем жертвой рабства и разрушения, зависит от нашей решимости, духа и души.

Несмотря на препятствия, я верю, что у человечества есть силы пройти этот тест. Меня вдохновляют тысячи исследователей, посвятивших жизнь управлению ИИ и формированию его «характера». Я вижу надежду в том, что компании готовы нести расходы, чтобы блокировать угрозы биотерроризма. Я вдохновлен немногими смелыми людьми, которые вопреки политическим ветрам приняли первые законы о разумных барьерах для ИИ. Я вижу, что общество понимает риски и хочет их решения.

Но нам нужно удвоить усилия. Первый шаг — для тех, кто ближе всего к технологии, — просто говорить правду о ситуации, в которой мы находимся. Я всегда старался это делать, и в этом эссе я говорю об этом более явно. Следующий шаг — убедить мыслителей, политиков и граждан в исключительной важности этого вопроса, в том, что он стоит политического капитала в сравнении с тысячами других новостей. Придет время для мужества — чтобы пойти против трендов и стоять на принципах, даже перед лицом угроз своим экономическим интересам.

Годы перед нами будут невообразимо трудными, требуя от нас большего, чем мы думаем, что можем дать. Но я видел достаточно благородства и отваги, чтобы верить в нашу победу. В самые темные времена человечество способно собрать в кулак мудрость и силы. У нас нет времени на потерю времени.

---

Я хотел бы поблагодарить Эрика Бриньолфссона, Бена Бьюкенена, Мариано-Флорентино Куэльяра, Аллана Дэфо, Кевина Эсвелта, Ника Бекстеда, Ричарда Фонтейна, Джима Макклейва и многих сотрудников Anthropic за их ценные комментарии к черновикам этого эссе.