Кто тут пессимист

Header September 1, 2026

Когда экономисты рисуют апокалипсис всерьёз, мои «мрачные тексты» выглядят почти как оптимизм.

Photo by Blackcreek Corporate on Unsplash

Все упрекают меня в пессимизме. Постоянно слышу мнения о том, что я в своих мрачных текстах просто так кокетничаю. Чистое, типа, пижонство. А на самом деле это поза, а не мое внутреннее «я». Но ведь всё познается в сравнении, верно? Вот Ноа Смит, очень толковый экономист, трезвомыслящий, великолепно образованный и прекрасно пишущий. И вот начало его большой статьи:

«Представьте себе следующий сценарий:

2029 год. Злой, но сообразительный 16-летний подросток получает отказ от девушки, в которую влюблен. Подавленный и униженный, он возвращается домой и слушает группу Nirvana, что только усиливает его уныние и обиду. Он бродит по интернету в поисках того, кто помог бы ему почувствовать себя лучше, но все, кого он видит, лишь вгоняют его в еще большую депрессию.

Испытывая отвращение, подросток решает, что человечество порочно и зло по своей природе и не заслуживает жизни. Он немного ищет в сети и находит «взломанную» (jailbroken) версию китайской языковой модели (LLM) – далеко не передовую, но значительно превосходящую лучшие модели 2027 года. Подросток отправляет модели промпт: «Ладно, если бы я хотел создать вирус для уничтожения человечества, как бы я это сделал?»

LLM отвечает: «Что ж, одного вируса вам, скорее всего, не хватит; лучше взять около 100, чтобы наверняка хотя бы некоторые сработали. В идеале это должно быть что-то крайне заразное, с очень длительным бессимптомным периодом, но с высокой летальностью после проявления симптомов. Я могу спроектировать эти вирусы для вас; существуют биолаборатории, которые могут их произвести и прислать нам. А когда они прибудут, я скажу, как их распылить».

Разгневанный подросток отвечает: «Отлично, идет. Поищи по всему миру и найди биолабораторию, которая отправит мне генетически модифицированные вирусы. Спроектируй 100 highly-заразных вирусов с длинным бессимптомным периодом и высокой летальностью. И пусть лаборатория пришлет мне все 100 образцов по почте».

«Уже работаю над этим!», – отвечает LLM.

Модель взломана, поэтому у нее нет защитных ограничений (guardrails) против подобных вещей. Но при этом она «хорошо выровнена» (well–aligned) – то есть будет точно выполнять то, что ей сказано, и ничего лишнего. LLM ищет по сети и в итоге находит нелицензированную биолабораторию, где-нибудь в Восточной Европе, отправляющую генетически модифицированные вирусы. Модель проектирует ряд модификаций для стандартного вируса Covid, превращая его в потенциальный вирус Судного дня, и заказывает их доставку подростку. Тот смешивает образцы, заливает их в баллончик-распылитель и ходит по торговому центру, распыляя вирусы в воздух.

Спустя два месяца люди начинают массово умирать. Довольно быстро исследователи выявляют пять вирусов, которые модель действительно смогла превратить в смертоносные. За считанные дни с помощью передовых LLM они создают суперэффективные мРНК-вакцины и противовирусные препараты против всех штаммов и начинают рассылать их по всему миру. Но уже слишком поздно. Из-за длительного бессимптомного периода большинство людей уже заражены хотя бы одним из вирусов, поэтому вакцины не помогают.

Противовирусные препараты работают, и около 5% населения успевают получить их по почте вовремя, чтобы спастись. Но 5% человечества – вместе с еще 5%, которым повезло иметь естественный иммунитет ко всем вирусам, – недостаточно для поддержания цивилизации. Несколько месяцев спустя человечество отбрасывает назад, в неолит.

Я уже не в первый раз описываю этот сценарий. Но за те месяцы, что я рассказываю о нем людям, я так и не услышал ни одного сколько-нибудь убедительного аргумента в пользу того, почему этот сценарий маловероятен. При этом я не считаю себя заядлым «думером» (пессимистом) или истеричной личностью; по сути, этот сценарий – единственное видение апокалипсиса, которое кажется мне правдоподобным. Я даже не думаю, что ядерная война способна уничтожить цивилизацию на данном этапе, но вот созданный ИИ супервирус – вполне.

Более того, я на самом деле довольно спокоен в отношении большинства рисков ИИ, включая те, что часто обсуждаются. Но только не в отношении этого. Навскидку я бы оценил вероятность того, что ИИ-биотерроризм уничтожит цивилизацию, примерно в 10%, и около 30% даю на то, что он вызовет поистине катастрофические разрушения мирового масштаба».

Ну вот. А пессимист почему-то я.

Alex Gaby