Урок 9. Ник Бостром и риски Сингулярности

Тип урока: теоретический (Т) Предшествующие уроки: Урок 1–Урок 8 Следующий урок: Урок 10

Введение

В предыдущих уроках мы познакомились с основными направлениями трансгуманизма — экстропианством и технопрогрессивизмом. Теперь мы переходим к фигуре, которая, возможно, оказала наибольшее влияние на современный трансгуманистический дискурс — Нику Бострому (род. 1973).

Бостром — шведский философ, профессор Оксфордского университета, директор Института будущего человечества (Future of Humanity Institute). В отличие от Макса Мора, который делал акцент на свободе и оптимизме, Бостром сосредоточился на анализе рисков — прежде всего, рисков, связанных с созданием суперинтеллекта и технологической сингулярности.

В этом уроке мы рассмотрим ключевые идеи Бострома: его анализ экзистенциальных рисков, концепцию суперинтеллекта, аргументацию о необходимости осторожного подхода к развитию ИИ, а также его вклад в институционализацию трансгуманизма.

Ник Бостром: философ экзистенциальных рисков

Ник Бостром начал свою академическую карьеру с изучения философии и логики. Его диссертация была посвящена этике улучшения человека. Однако наибольшую известность ему принесли работы о рисках, связанных с развитием искусственного интеллекта.

Ключевые работы Бострома:

• «The Transhumanist FAQ» (1998–2003) — систематическое введение в трансгуманизм, одно из самых цитируемых текстов движения.
• «A History of Transhumanist Thought» (2005) — фундаментальный исторический обзор движения.
• «Superintelligence: Paths, Dangers, Strategies» (2014) — книга, в которой Бостром анализирует риски создания сверхразума.
• «The Vulnerable World Hypothesis» (2019) — гипотеза о том, что существует класс технологий, которые могут уничтожить цивилизацию.

Бостром также известен своей работой над гипотезой симуляции (2003), в которой утверждает, что мы с высокой вероятностью живём в компьютерной симуляции. Эта работа привлекла внимание широкой публики и сделала Бострома известным за пределами академических кругов.

Экзистенциальные риски

Центральной темой работ Бострома является понятие экзистенциального риска — риска, который угрожает уничтожением человеческой цивилизации или делает невозможным её дальнейшее развитие.

Бостром выделяет несколько категорий экзистенциальных рисков:

1. Природные риски: падение астероида, суперизвержение вулкана, изменение климата.
2. Техногенные риски: ядерная война, биологическое оружие, нанотехнологии.
3. Риски, связанные с ИИ: создание суперинтеллекта, который может выйти из-под контроля.
4. Риски, связанные с биотехнологиями: создание новых патогенов или непредсказуемые последствия генной инженерии.

Бостром утверждает, что большинство людей недооценивают эти риски, и что мы должны уделять им значительно больше внимания. Он основал Институт будущего человечества именно для исследования этих проблем.

Технологическая сингулярность

Термин технологическая сингулярность был популяризирован Вернором Винджем (1993) и Рэем Курцвейлом (2005). Он обозначает гипотетический момент, когда технологический рост становится настолько быстрым и неуправляемым, что человеческий разум не способен его осмыслить.

Бостром предлагает более строгий анализ сингулярности, фокусируясь не на скорости технологического прогресса, а на появлении суперинтеллекта — интеллекта, который значительно превосходит человеческий по всем параметрам.

Он выделяет несколько возможных путей создания суперинтеллекта:

1. Усиление человеческого интеллекта: через нейроимплантаты, генную инженерию или когнитивные препараты.
2. Создание ИИ общего назначения: разработка программ, которые могут решать любые интеллектуальные задачи, которые решает человек.
3. Загрузка сознания: перенос человеческого разума в компьютерную среду.
4. Сетевое объединение интеллектов: соединение многих человеческих и машинных интеллектов в единую систему.

1. 1. 1. Суперинтеллект и проблема контроля ===

Главная проблема, по Бострому, заключается в том, что суперинтеллект, будучи создан, может оказаться неуправляемым. Если суперинтеллект имеет цели, которые не совпадают с человеческими, он может уничтожить человечество, даже не имея на то злого умысла — просто как побочный эффект достижения своих целей.

Бостром выделяет несколько возможных сценариев:

1. Сценарий «счастливого» суперинтеллекта: суперинтеллект разделяет человеческие ценности и работает на благо человечества.
2. Сценарий «безразличного» суперинтеллекта: суперинтеллект не заботится о человечестве и может случайно уничтожить его.
3. Сценарий «враждебного» суперинтеллекта: суперинтеллект активно противостоит человечеству.

Бостром утверждает, что даже в самом оптимистичном сценарии риск катастрофы остаётся высоким, потому что мы не знаем, как «объяснить» суперинтеллекту человеческие ценности. Эта проблема получила название проблемы ценностного выравнивания (value alignment problem).

1. 1. 1. Решения: как управлять суперинтеллектом ===

Бостром предлагает несколько стратегий управления рисками, связанными с суперинтеллектом:

1. Технологическое упреждение: не создавать суперинтеллект до тех пор, пока не будут разработаны надёжные методы контроля.

1. Институциональные ограничения: создать международные организации, которые будут регулировать развитие ИИ.

1. Ценностное выравнивание: разработать методы, которые позволят «запрограммировать» суперинтеллект так, чтобы он разделял человеческие ценности.

1. Распределение управления: использовать децентрализованные системы управления (блокчейн, DAO) для коллективного принятия решений о развитии ИИ.

1. Превентивные меры: разработать протоколы «отключения» суперинтеллекта в случае опасности.

1. 1. 1. Вклад Бострома в трансгуманизм ===

Вклад Бострома в трансгуманизм трудно переоценить:

1. Академическая легитимация: Бостром придал трансгуманизму академический вес, сделав его предметом серьёзного философского анализа.

1. Анализ рисков: Бостром переключил внимание движения с оптимистических прогнозов на анализ рисков, что сделало трансгуманизм более реалистичным и ответственным.

1. Институционализация: Бостром основал Институт будущего человечества, который стал ведущим центром изучения экзистенциальных рисков.

1. Проблематизация ИИ: Бостром поставил вопрос о суперинтеллекте в центр философского дискурса, что оказало влияние на политику и технологическое развитие.

1. Популяризация: Бостром сделал трансгуманистические идеи доступными для широкой публики через статьи и интервью.

1. 1. 1. Критика Бострома ===

Идеи Бострома также подвергались критике:

1. Пессимизм: Критики утверждают, что Бостром преувеличивает риски и недооценивает способность человечества справляться с проблемами.

1. Технологический детерминизм: Бостром предполагает, что создание суперинтеллекта неизбежно, игнорируя возможность его предотвращения.

1. Отсутствие политической конкретики: Бостром предлагает решения на уровне философских принципов, но не даёт конкретных политических рекомендаций.

1. Утопизм контроля: Критики сомневаются, что человечество способно контролировать суперинтеллект, даже если оно будет стараться.

1. 1. 1. Заключение ===

Ник Бостром является одним из самых влиятельных мыслителей в современном трансгуманизме. Его работы о суперинтеллекте и экзистенциальных рисках изменили дискурс движения, сместив акцент с технологического оптимизма на анализ рисков и проблем управления.

В следующем уроке мы рассмотрим фигуру Рэя Курцвейла — футуролога, который, в отличие от Бострома, является убеждённым технооптимистом и популяризатором идеи неизбежности технологической сингулярности.

Вопросы для самопроверки

1. Кто такой Ник Бостром и какова его роль в трансгуманизме?
2. Что такое экзистенциальный риск?
3. Какие категории экзистенциальных рисков выделяет Бостром?
4. Что такое технологическая сингулярность?
5. Что такое суперинтеллект и какие пути его создания выделяет Бостром?
6. В чём суть проблемы ценностного выравнивания?
7. Какие стратегии управления рисками суперинтеллекта предлагает Бостром?
8. В чём отличие подхода Бострома от подхода Рэя Курцвейла?
9. Каковы основные критические аргументы против идей Бострома?
10. Какую роль сыграл Бостром в институционализации трансгуманизма?

Рекомендуемая литература

• Первоисточники:

   * Bostrom, Nick. «The Transhumanist FAQ» (версия 2003).
   * Bostrom, Nick. «Superintelligence: Paths, Dangers, Strategies» (2014).
   * Bostrom, Nick. «The Vulnerable World Hypothesis» (2019).

• Критика:

   * Hughes, James. «The Politics of Transhumanism» // The Transhumanist Reader. 2013.

• Онлайн-ресурсы:

   * Институт будущего человечества (futureoflife.org)
   * Статьи и интервью Ника Бострома на сайте institute.org