Урок 9. Ник Бостром и риски Сингулярности

Тип урока: теоретический (Т) Предшествующие уроки: Урок 1–Урок 8 Следующий урок: Урок 10

Введение

В предыдущих уроках мы познакомились с основными направлениями трансгуманизма — экстропианством и технопрогрессивизмом. Теперь мы переходим к фигуре, которая, возможно, оказала наибольшее влияние на современный трансгуманистический дискурс — Нику Бострому (род. 1973).

Бостром — шведский философ, профессор Оксфордского университета, директор Института будущего человечества (Future of Humanity Institute). В отличие от Макса Мора, который делал акцент на свободе и оптимизме, Бостром сосредоточился на анализе рисков — прежде всего, рисков, связанных с созданием суперинтеллекта и технологической сингулярности.

В этом уроке мы рассмотрим ключевые идеи Бострома: его анализ экзистенциальных рисков, концепцию суперинтеллекта, аргументацию о необходимости осторожного подхода к развитию ИИ, а также его вклад в институционализацию трансгуманизма.

Ник Бостром: философ экзистенциальных рисков

Ник Бостром начал свою академическую карьеру с изучения философии и логики. Его диссертация была посвящена этике улучшения человека. Однако наибольшую известность ему принесли работы о рисках, связанных с развитием искусственного интеллекта.

Ключевые работы Бострома:

• «The Transhumanist FAQ» (1998–2003) — систематическое введение в трансгуманизм, одно из самых цитируемых текстов движения.
• «A History of Transhumanist Thought» (2005) — фундаментальный исторический обзор движения.
• «Superintelligence: Paths, Dangers, Strategies» (2014) — книга, в которой Бостром анализирует риски создания сверхразума.
• «The Vulnerable World Hypothesis» (2019) — гипотеза о том, что существует класс технологий, которые могут уничтожить цивилизацию.

Бостром также известен своей работой над гипотезой симуляции (2003), в которой утверждает, что мы с высокой вероятностью живём в компьютерной симуляции. Эта работа привлекла внимание широкой публики и сделала Бострома известным за пределами академических кругов.

Экзистенциальные риски

Центральной темой работ Бострома является понятие экзистенциального риска — риска, который угрожает уничтожением человеческой цивилизации или делает невозможным её дальнейшее развитие.

Бостром выделяет несколько категорий экзистенциальных рисков:

1. Природные риски: падение астероида, суперизвержение вулкана, изменение климата.
2. Техногенные риски: ядерная война, биологическое оружие, нанотехнологии.
3. Риски, связанные с ИИ: создание суперинтеллекта, который может выйти из-под контроля.
4. Риски, связанные с биотехнологиями: создание новых патогенов или непредсказуемые последствия генной инженерии.

Бостром утверждает, что большинство людей недооценивают эти риски, и что мы должны уделять им значительно больше внимания. Он основал Институт будущего человечества именно для исследования этих проблем.

Технологическая сингулярность

Термин технологическая сингулярность был популяризирован Вернором Винджем (1993) и Рэем Курцвейлом (2005). Он обозначает гипотетический момент, когда технологический рост становится настолько быстрым и неуправляемым, что человеческий разум не способен его осмыслить.

Бостром предлагает более строгий анализ сингулярности, фокусируясь не на скорости технологического прогресса, а на появлении суперинтеллекта — интеллекта, который значительно превосходит человеческий по всем параметрам.

Он выделяет несколько возможных путей создания суперинтеллекта:

1. Усиление человеческого интеллекта: через нейроимплантаты, генную инженерию или когнитивные препараты.
2. Создание ИИ общего назначения: разработка программ, которые могут решать любые интеллектуальные задачи, которые решает человек.
3. Загрузка сознания: перенос человеческого разума в компьютерную среду.
4. Сетевое объединение интеллектов: соединение многих человеческих и машинных интеллектов в единую систему.

Суперинтеллект и проблема контроля

Главная проблема, по Бострому, заключается в том, что суперинтеллект, будучи создан, может оказаться неуправляемым. Если суперинтеллект имеет цели, которые не совпадают с человеческими, он может уничтожить человечество, даже не имея на то злого умысла — просто как побочный эффект достижения своих целей.

Бостром выделяет несколько возможных сценариев:

1. Сценарий «счастливого» суперинтеллекта: суперинтеллект разделяет человеческие ценности и работает на благо человечества.
2. Сценарий «безразличного» суперинтеллекта: суперинтеллект не заботится о человечестве и может случайно уничтожить его.
3. Сценарий «враждебного» суперинтеллекта: суперинтеллект активно противостоит человечеству.

Бостром утверждает, что даже в самом оптимистичном сценарии риск катастрофы остаётся высоким, потому что мы не знаем, как «объяснить» суперинтеллекту человеческие ценности. Эта проблема получила название проблемы ценностного выравнивания (value alignment problem).

Решения: как управлять суперинтеллектом

Бостром предлагает несколько стратегий управления рисками, связанными с суперинтеллектом:

1. Технологическое упреждение: не создавать суперинтеллект до тех пор, пока не будут разработаны надёжные методы контроля.
2. Институциональные ограничения: создать международные организации, которые будут регулировать развитие ИИ.
3. Ценностное выравнивание: разработать методы, которые позволят «запрограммировать» суперинтеллект так, чтобы он разделял человеческие ценности.
4. Распределение управления: использовать децентрализованные системы управления (блокчейн, DAO) для коллективного принятия решений о развитии ИИ.
5. Превентивные меры: разработать протоколы «отключения» суперинтеллекта в случае опасности.

Вклад Бострома в трансгуманизм

Вклад Бострома в трансгуманизм трудно переоценить:

1. Академическая легитимация: Бостром придал трансгуманизму академический вес, сделав его предметом серьёзного философского анализа.
2. Анализ рисков: Бостром переключил внимание движения с оптимистических прогнозов на анализ рисков, что сделало трансгуманизм более реалистичным и ответственным.
3. Институционализация: Бостром основал Институт будущего человечества, который стал ведущим центром изучения экзистенциальных рисков.
4. Проблематизация ИИ: Бостром поставил вопрос о суперинтеллекте в центр философского дискурса, что оказало влияние на политику и технологическое развитие.
5. Популяризация: Бостром сделал трансгуманистические идеи доступными для широкой публики через статьи и интервью.

Критика Бострома

Идеи Бострома также подвергались критике:

1. Пессимизм: Критики утверждают, что Бостром преувеличивает риски и недооценивает способность человечества справляться с проблемами.
2. Технологический детерминизм: Бостром предполагает, что создание суперинтеллекта неизбежно, игнорируя возможность его предотвращения.
3. Отсутствие политической конкретики: Бостром предлагает решения на уровне философских принципов, но не даёт конкретных политических рекомендаций.
4. Утопизм контроля: Критики сомневаются, что человечество способно контролировать суперинтеллект, даже если оно будет стараться.

Заключение

Ник Бостром является одним из самых влиятельных мыслителей в современном трансгуманизме. Его работы о суперинтеллекте и экзистенциальных рисках изменили дискурс движения, сместив акцент с технологического оптимизма на анализ рисков и проблем управления.

В следующем уроке мы рассмотрим фигуру Рэя Курцвейла — футуролога, который, в отличие от Бострома, является убеждённым технооптимистом и популяризатором идеи неизбежности технологической сингулярности.

Вопросы для самопроверки

1. Кто такой Ник Бостром и какова его роль в трансгуманизме?
2. Что такое экзистенциальный риск?
3. Какие категории экзистенциальных рисков выделяет Бостром?
4. Что такое технологическая сингулярность?
5. Что такое суперинтеллект и какие пути его создания выделяет Бостром?
6. В чём суть проблемы ценностного выравнивания?
7. Какие стратегии управления рисками суперинтеллекта предлагает Бостром?
8. В чём отличие подхода Бострома от подхода Рэя Курцвейла?
9. Каковы основные критические аргументы против идей Бострома?
10. Какую роль сыграл Бостром в институционализации трансгуманизма?

Рекомендуемая литература

• Первоисточники:

   * Bostrom, Nick. «The Transhumanist FAQ» (версия 2003).
   * Bostrom, Nick. «Superintelligence: Paths, Dangers, Strategies» (2014).
   * Bostrom, Nick. «The Vulnerable World Hypothesis» (2019).

• Критика:

   * Hughes, James. «The Politics of Transhumanism» // The Transhumanist Reader. 2013.

• Онлайн-ресурсы:

   * Институт будущего человечества (futureoflife.org)
   * Статьи и интервью Ника Бострома на сайте institute.org