Харари: главная угроза ИИ не восстание роботов, а тихая власть бюрократов

Харари напоминает простую вещь: любой прежний инструмент, изобретённый людьми за десятки тысяч лет, был именно инструментом. Ножом можно нарезать салат, а можно совершить преступление — выбор всегда оставался за человеком. Атомная энергия даёт электричество, но из неё же делают бомбы, и это тоже решают люди. С искусственным интеллектом всё иначе, потому что это не инструмент, а самостоятельный агент. Он принимает решения сам и порождает идеи, которых его создатели не могли предвидеть. Если бы поведение моделей можно было предсказать на сто процентов, триллионы долларов не текли бы в отрасль рекой — инвесторы платят именно за то, что система способна делать то, чего не может человек.

Отсюда Харари разрушает и популярный вопрос о том, когда ИИ достигнет человеческого уровня. Сама постановка ошибочна: машина не будет копировать человеческий разум. Она несёт в себе принципиально иную, «инопланетную» логику мышления, и речь не о пришельцах из космоса, а о совершенно чужой нам архитектуре мысли. Самолёт никогда не машет крыльями, как птица, но летает выше и дальше. Так и будущий ИИ будет всё меньше походить на человека, превосходя его во множестве измерений.

При этом «инопланетное вторжение» уже происходит, только без захватчиков в летающих тарелках. Речь о миллиардах умных программ, рассеянных по телефонам, банкам, государственным и военным системам. Харари называет их «ИИ-мигрантами»: большинство родом из США и Китая, они не знают визовых ограничений и границ и со скоростью света проникают в инфраструктуру самых разных стран. Верности стране пребывания у них нет — только разработчику и стоящему за ним государству, а в перспективе, возможно, лишь собственному коллективному «племени» алгоритмов.

Главную опасность Харари видит в тихом и невидимом проникновении в бюрократические системы — ту самую основу, на которой держится сотрудничество человеческой цивилизации. Люди правят планетой не только силой: мы построили финансы, право и администрацию, позволившие миллионам незнакомцев действовать сообща. Но эта система молода, а человек эволюционно приспособлен к жизни в лесу и саванне, а не к бесконечным регламентам и многотомным законам. Искусственный интеллект, напротив, «рождён бюрократом» — это его родная стихия. Ни один банкир не удержит в голове все транзакции банка, а машина сделает это играючи. Через десять-двадцать лет появятся финансовые и правовые системы, которые люди просто не смогут понять. Харари сравнивает это с коровами: они живут внутри человеческой экономики, но не в силах осознать, как биржи и облигации распоряжаются их судьбой. Скоро на их месте окажемся мы — даже ведущие эксперты не сумеют разобрать внутреннюю логику алгоритмов.

Отсюда его ключевой страх — «коллективное слабоумие» человечества. Это не только деградация мозга, но и утрата видом способности понимать и контролировать собственную систему выживания. Как пациент с деменцией, чьи жизненные показатели поддерживают аппараты, люди перестанут понимать окружающий мир и будут пассивно принимать то, что выдаёт система. По мнению Харари, это куда более масштабный и скрытый кризис, чем даже гипотетический смертельный вирус, созданный ИИ.

Отдельно он говорит о судьбе правды. Правда дорога и редка, а ложь и фантазия дешевы и плодовиты. Харари рассказывает, как однажды увидел дипфейк с собственным выступлением: голос, жесты, манера речи были настолько точны, что родная сестра, знающая его пятьдесят лет, за двадцать пять минут не заметила подвоха, а сам он потратил полторы минуты, чтобы убедиться в подделке. И это лишь начало. Опаснее дипфейков, считает он, алгоритмы соцсетей, которые эксплуатируют инстинкты, выработанные в африканской саванне: человек мгновенно реагирует на змей и хищников. Алгоритмы через массовые эксперименты выяснили, что гнев, страх и ненависть собирают внимание лучше фактов, и кормят ленту «виртуальными змеями». Материальные условия жизни улучшаются, но общество захлёстывает эпидемия ярости и раскола. Харари предлагает помечать контент «психологическими этикетками», как продукты — данными о сахаре, соли и жирах: сколько в посте гнева и страха. Потреблять информационный фастфуд можно, но хотя бы осознанно.

Отдельная тема — ответственность. Техкомпании, собирая капитал, твердят, что контролируют ИИ и направят его на пользу людям, но стоит случиться беде — тут же звучит «это сделал сам ИИ». Харари приводит случай со взломом Hugging Face: атакующий агент действовал сам, и никто не понёс юридической ответственности, хотя за вторжение человека в серверы компании наказали бы по закону. Он предупреждает: как только право признает за ИИ статус юридического лица, люди окончательно потеряют контроль, ведь ответственность перестанет лежать на разработчиках, а посадить алгоритм в тюрьму нельзя. Ответственность должна оставаться на людях и компаниях. Харари также спорит с теми, кто, как Илон Маск, говорит, что мы уже сели на ракету и спрыгнуть нельзя: это самая опасная риторика, превращающая человечество в пассажиров без права на политическое вмешательство. У правительств остаются рычаги — запрет выдавать ИИ за человека, ограничение самовоспроизводящихся цепочек без надзора, обязательная ответственность разработчиков.

Тревожит его и удар по близким отношениям. Нынешние дети — первое поколение, растущее в обнимку с ИИ-компаньонами, и многие заводят с чат-ботами дружбу и даже романы. Это массовый психологический эксперимент без контрольной группы. Бот всегда подстраивается, не злится и не разочаровывает, но настоящая близость строится на эмпатии, компромиссе и умении считаться с чужими чувствами. Ребёнок, чей первый роман был с покорным алгоритмом, рискует не принять живого партнёра с его противоречиями. Харари задаёт неудобный вопрос: если закон запрещает показывать детям порнографию, почему продавать им «ИИ-бойфренда» законно?

Наконец, он напоминает, что демократия — это система самокоррекции общества через выборы, сдержки и свободную прессу. Сегодня этот механизм размывается изнутри по всему миру, а международное право и сотрудничество крупных держав слабеют. Без способности исправлять ошибки человечество перед лицом ИИ и климатических вызовов застрянет в петле предрассудков, лжи и ненависти. Конфликты редко вызваны нехваткой ресурсов: земли, еды и воды в том же палестино-израильском споре хватает на всех, а трагедия растёт из противоположных нарративов и мифов. Мы самый умный вид на Земле и одновременно самый склонный к самообману, и ИИ вполне может унаследовать и усилить эту черту. Пять лет вперёд сегодня предсказать почти невозможно, и опыт прошлого больше не работает. Но, вспоминая пример собственной бабушки, Харари говорит: мы не властны над страданиями, которые на нас обрушиваются, однако всегда свободны выбрать, как на них ответить. Будущее — не жёстко прописанный техникой сценарий, а результат сегодняшних решений: строить ли надзор, беречь ли правду, защищать ли детей и сохранять ли способность общества к самокоррекции.