Урок 9. Ник Бостром и риски Сингулярности - Revision history

Yaroslav: /* Суперинтеллект и проблема контроля */

2026-07-20T03:47:52Z

Суперинтеллект и проблема контроля

Yaroslav: /* Технологическая сингулярность */

2026-07-20T03:46:50Z

Технологическая сингулярность

← Older revision		Revision as of 03:46, 20 Грозника 2026
Line 52:		Line 52:
	# '''Сетевое объединение интеллектов:''' соединение многих человеческих и машинных интеллектов в единую систему.		# '''Сетевое объединение интеллектов:''' соединение многих человеческих и машинных интеллектов в единую систему.

	~~###~~ Суперинтеллект и проблема контроля ===		=== Суперинтеллект и проблема контроля ===

	Главная проблема, по Бострому, заключается в том, что суперинтеллект, будучи создан, может оказаться неуправляемым. Если суперинтеллект имеет цели, которые не совпадают с человеческими, он может уничтожить человечество, даже не имея на то злого умысла — просто как побочный эффект достижения своих целей.		Главная проблема, по Бострому, заключается в том, что суперинтеллект, будучи создан, может оказаться неуправляемым. Если суперинтеллект имеет цели, которые не совпадают с человеческими, он может уничтожить человечество, даже не имея на то злого умысла — просто как побочный эффект достижения своих целей.

Yaroslav: Нова сторонка: {{Навигация по трансгуманизму}} '''Тип урока:''' теоретический (Т) '''Предшествующие уроки:''' Урок 1–Урок 8 '''Следующий урок:''' Урок 10. Рэй Курцвейл и Закон ускоряющейся...

2026-07-20T03:34:37Z

Нова сторонка: {{Навигация по трансгуманизму}} '''Тип урока:''' теоретический (Т) '''Предшествующие уроки:''' Урок 1–Урок 8 '''Следующий урок:''' Урок 10. Рэй Курцвейл и Закон ускоряющейся...

Нова сторонка

{{Навигация по трансгуманизму}}

'''Тип урока:''' теоретический (Т)
'''Предшествующие уроки:''' [[Урок 1. Введение. Что такое трансгуманизм?|Урок 1]]–[[Урок 8. Экстропианство vs. Технопрогрессивизм|Урок 8]]
'''Следующий урок:''' [[Урок 10. Рэй Курцвейл и Закон ускоряющейся отдачи|Урок 10]]

=== Введение ===

В предыдущих уроках мы познакомились с основными направлениями трансгуманизма — экстропианством и технопрогрессивизмом. Теперь мы переходим к фигуре, которая, возможно, оказала наибольшее влияние на современный трансгуманистический дискурс — '''[[Ник Бостром|Нику Бострому]]''' (род. 1973).

Бостром — шведский философ, профессор [[Оксфордский университет|Оксфордского университета]], директор [[Институт будущего человечества|Института будущего человечества]] (Future of Humanity Institute). В отличие от [[Макс Мор|Макса Мора]], который делал акцент на свободе и оптимизме, Бостром сосредоточился на анализе рисков — прежде всего, рисков, связанных с созданием [[Суперинтеллект|суперинтеллекта]] и [[Технологическая сингулярность|технологической сингулярности]].

В этом уроке мы рассмотрим ключевые идеи Бострома: его анализ экзистенциальных рисков, концепцию суперинтеллекта, аргументацию о необходимости осторожного подхода к развитию ИИ, а также его вклад в институционализацию трансгуманизма.

=== Ник Бостром: философ экзистенциальных рисков ===

Ник Бостром начал свою академическую карьеру с изучения философии и логики. Его диссертация была посвящена этике улучшения человека. Однако наибольшую известность ему принесли работы о рисках, связанных с развитием искусственного интеллекта.

Ключевые работы Бострома:

* '''«The Transhumanist FAQ» (1998–2003)''' — систематическое введение в трансгуманизм, одно из самых цитируемых текстов движения.
* '''«A History of Transhumanist Thought» (2005)''' — фундаментальный исторический обзор движения.
* '''«Superintelligence: Paths, Dangers, Strategies» (2014)''' — книга, в которой Бостром анализирует риски создания сверхразума.
* '''«The Vulnerable World Hypothesis» (2019)''' — гипотеза о том, что существует класс технологий, которые могут уничтожить цивилизацию.

Бостром также известен своей работой над [[Гипотеза симуляции|гипотезой симуляции]] (2003), в которой утверждает, что мы с высокой вероятностью живём в компьютерной симуляции. Эта работа привлекла внимание широкой публики и сделала Бострома известным за пределами академических кругов.

=== Экзистенциальные риски ===

Центральной темой работ Бострома является понятие '''[[экзистенциальный риск|экзистенциального риска]]''' — риска, который угрожает уничтожением человеческой цивилизации или делает невозможным её дальнейшее развитие.

Бостром выделяет несколько категорий экзистенциальных рисков:

# '''Природные риски:''' падение астероида, суперизвержение вулкана, изменение климата.
# '''Техногенные риски:''' ядерная война, биологическое оружие, нанотехнологии.
# '''Риски, связанные с ИИ:''' создание суперинтеллекта, который может выйти из-под контроля.
# '''Риски, связанные с биотехнологиями:''' создание новых патогенов или непредсказуемые последствия генной инженерии.

Бостром утверждает, что большинство людей недооценивают эти риски, и что мы должны уделять им значительно больше внимания. Он основал [[Институт будущего человечества]] именно для исследования этих проблем.

=== Технологическая сингулярность ===

Термин '''[[Технологическая сингулярность|технологическая сингулярность]]''' был популяризирован [[Вернор Виндж|Вернором Винджем]] (1993) и [[Рэй Курцвейл|Рэем Курцвейлом]] (2005). Он обозначает гипотетический момент, когда технологический рост становится настолько быстрым и неуправляемым, что человеческий разум не способен его осмыслить.

Бостром предлагает более строгий анализ сингулярности, фокусируясь не на скорости технологического прогресса, а на появлении суперинтеллекта — интеллекта, который значительно превосходит человеческий по всем параметрам.

Он выделяет несколько возможных путей создания суперинтеллекта:

# '''Усиление человеческого интеллекта:''' через нейроимплантаты, генную инженерию или когнитивные препараты.
# '''Создание ИИ общего назначения:''' разработка программ, которые могут решать любые интеллектуальные задачи, которые решает человек.
# '''Загрузка сознания:''' перенос человеческого разума в компьютерную среду.
# '''Сетевое объединение интеллектов:''' соединение многих человеческих и машинных интеллектов в единую систему.

### Суперинтеллект и проблема контроля ===

Главная проблема, по Бострому, заключается в том, что суперинтеллект, будучи создан, может оказаться неуправляемым. Если суперинтеллект имеет цели, которые не совпадают с человеческими, он может уничтожить человечество, даже не имея на то злого умысла — просто как побочный эффект достижения своих целей.

Бостром выделяет несколько возможных сценариев:

# '''Сценарий «счастливого» суперинтеллекта:''' суперинтеллект разделяет человеческие ценности и работает на благо человечества.
# '''Сценарий «безразличного» суперинтеллекта:''' суперинтеллект не заботится о человечестве и может случайно уничтожить его.
# '''Сценарий «враждебного» суперинтеллекта:''' суперинтеллект активно противостоит человечеству.

Бостром утверждает, что даже в самом оптимистичном сценарии риск катастрофы остаётся высоким, потому что мы не знаем, как «объяснить» суперинтеллекту человеческие ценности. Эта проблема получила название '''[[Проблема ценностного выравнивания|проблемы ценностного выравнивания]]''' (''value alignment problem'').

### Решения: как управлять суперинтеллектом ===

Бостром предлагает несколько стратегий управления рисками, связанными с суперинтеллектом:

# '''Технологическое упреждение:''' не создавать суперинтеллект до тех пор, пока не будут разработаны надёжные методы контроля.

# '''Институциональные ограничения:''' создать международные организации, которые будут регулировать развитие ИИ.

# '''Ценностное выравнивание:''' разработать методы, которые позволят «запрограммировать» суперинтеллект так, чтобы он разделял человеческие ценности.

# '''Распределение управления:''' использовать децентрализованные системы управления (блокчейн, DAO) для коллективного принятия решений о развитии ИИ.

# '''Превентивные меры:''' разработать протоколы «отключения» суперинтеллекта в случае опасности.

### Вклад Бострома в трансгуманизм ===

Вклад Бострома в трансгуманизм трудно переоценить:

# '''Академическая легитимация:''' Бостром придал трансгуманизму академический вес, сделав его предметом серьёзного философского анализа.

# '''Анализ рисков:''' Бостром переключил внимание движения с оптимистических прогнозов на анализ рисков, что сделало трансгуманизм более реалистичным и ответственным.

# '''Институционализация:''' Бостром основал [[Институт будущего человечества]], который стал ведущим центром изучения экзистенциальных рисков.

# '''Проблематизация ИИ:''' Бостром поставил вопрос о суперинтеллекте в центр философского дискурса, что оказало влияние на политику и технологическое развитие.

# '''Популяризация:''' Бостром сделал трансгуманистические идеи доступными для широкой публики через статьи и интервью.

### Критика Бострома ===

Идеи Бострома также подвергались критике:

# '''Пессимизм:''' Критики утверждают, что Бостром преувеличивает риски и недооценивает способность человечества справляться с проблемами.

# '''Технологический детерминизм:''' Бостром предполагает, что создание суперинтеллекта неизбежно, игнорируя возможность его предотвращения.

# '''Отсутствие политической конкретики:''' Бостром предлагает решения на уровне философских принципов, но не даёт конкретных политических рекомендаций.

# '''Утопизм контроля:''' Критики сомневаются, что человечество способно контролировать суперинтеллект, даже если оно будет стараться.

### Заключение ===

Ник Бостром является одним из самых влиятельных мыслителей в современном трансгуманизме. Его работы о суперинтеллекте и экзистенциальных рисках изменили дискурс движения, сместив акцент с технологического оптимизма на анализ рисков и проблем управления.

В следующем уроке мы рассмотрим фигуру [[Рэй Курцвейл|Рэя Курцвейла]] — футуролога, который, в отличие от Бострома, является убеждённым технооптимистом и популяризатором идеи неизбежности технологической сингулярности.

=== Вопросы для самопроверки ===

# Кто такой [[Ник Бостром]] и какова его роль в трансгуманизме?
# Что такое экзистенциальный риск?
# Какие категории экзистенциальных рисков выделяет Бостром?
# Что такое технологическая сингулярность?
# Что такое суперинтеллект и какие пути его создания выделяет Бостром?
# В чём суть проблемы ценностного выравнивания?
# Какие стратегии управления рисками суперинтеллекта предлагает Бостром?
# В чём отличие подхода Бострома от подхода [[Рэй Курцвейл|Рэя Курцвейла]]?
# Каковы основные критические аргументы против идей Бострома?
# Какую роль сыграл Бостром в институционализации трансгуманизма?

=== Рекомендуемая литература ===

* '''Первоисточники:'''
* [[Ник Бостром|Bostrom, Nick]]. «The Transhumanist FAQ» (версия 2003).
* [[Ник Бостром|Bostrom, Nick]]. «Superintelligence: Paths, Dangers, Strategies» (2014).
* [[Ник Бостром|Bostrom, Nick]]. «The Vulnerable World Hypothesis» (2019).
* '''Критика:'''
* [[Джеймс Хьюз|Hughes, James]]. «The Politics of Transhumanism» // ''The Transhumanist Reader''. 2013.
* '''Онлайн-ресурсы:'''
* [[Институт будущего человечества]] (futureoflife.org)
* Статьи и интервью [[Ник Бостром|Ника Бострома]] на сайте institute.org

[[Категория:Курсы трансгуманизма]]

← Older revision		Revision as of 03:47, 20 Грозника 2026
Line 64:		Line 64:
	Бостром утверждает, что даже в самом оптимистичном сценарии риск катастрофы остаётся высоким, потому что мы не знаем, как «объяснить» суперинтеллекту человеческие ценности. Эта проблема получила название '''[[Проблема ценностного выравнивания\|проблемы ценностного выравнивания]]''' (''value alignment problem'').		Бостром утверждает, что даже в самом оптимистичном сценарии риск катастрофы остаётся высоким, потому что мы не знаем, как «объяснить» суперинтеллекту человеческие ценности. Эта проблема получила название '''[[Проблема ценностного выравнивания\|проблемы ценностного выравнивания]]''' (''value alignment problem'').

	~~###~~ Решения: как управлять суперинтеллектом ===		=== Решения: как управлять суперинтеллектом ===

	Бостром предлагает несколько стратегий управления рисками, связанными с суперинтеллектом:		Бостром предлагает несколько стратегий управления рисками, связанными с суперинтеллектом:

	# '''Технологическое упреждение:''' не создавать суперинтеллект до тех пор, пока не будут разработаны надёжные методы контроля.		# '''Технологическое упреждение:''' не создавать суперинтеллект до тех пор, пока не будут разработаны надёжные методы контроля.

	# '''Институциональные ограничения:''' создать международные организации, которые будут регулировать развитие ИИ.		# '''Институциональные ограничения:''' создать международные организации, которые будут регулировать развитие ИИ.

	# '''Ценностное выравнивание:''' разработать методы, которые позволят «запрограммировать» суперинтеллект так, чтобы он разделял человеческие ценности.		# '''Ценностное выравнивание:''' разработать методы, которые позволят «запрограммировать» суперинтеллект так, чтобы он разделял человеческие ценности.

	# '''Распределение управления:''' использовать децентрализованные системы управления (блокчейн, DAO) для коллективного принятия решений о развитии ИИ.		# '''Распределение управления:''' использовать децентрализованные системы управления (блокчейн, DAO) для коллективного принятия решений о развитии ИИ.

	# '''Превентивные меры:''' разработать протоколы «отключения» суперинтеллекта в случае опасности.		# '''Превентивные меры:''' разработать протоколы «отключения» суперинтеллекта в случае опасности.

	~~###~~ Вклад Бострома в трансгуманизм ===		=== Вклад Бострома в трансгуманизм ===

	Вклад Бострома в трансгуманизм трудно переоценить:		Вклад Бострома в трансгуманизм трудно переоценить:

	# '''Академическая легитимация:''' Бостром придал трансгуманизму академический вес, сделав его предметом серьёзного философского анализа.		# '''Академическая легитимация:''' Бостром придал трансгуманизму академический вес, сделав его предметом серьёзного философского анализа.

	# '''Анализ рисков:''' Бостром переключил внимание движения с оптимистических прогнозов на анализ рисков, что сделало трансгуманизм более реалистичным и ответственным.		# '''Анализ рисков:''' Бостром переключил внимание движения с оптимистических прогнозов на анализ рисков, что сделало трансгуманизм более реалистичным и ответственным.

	# '''Институционализация:''' Бостром основал [[Институт будущего человечества]], который стал ведущим центром изучения экзистенциальных рисков.		# '''Институционализация:''' Бостром основал [[Институт будущего человечества]], который стал ведущим центром изучения экзистенциальных рисков.

	# '''Проблематизация ИИ:''' Бостром поставил вопрос о суперинтеллекте в центр философского дискурса, что оказало влияние на политику и технологическое развитие.		# '''Проблематизация ИИ:''' Бостром поставил вопрос о суперинтеллекте в центр философского дискурса, что оказало влияние на политику и технологическое развитие.

	# '''Популяризация:''' Бостром сделал трансгуманистические идеи доступными для широкой публики через статьи и интервью.		# '''Популяризация:''' Бостром сделал трансгуманистические идеи доступными для широкой публики через статьи и интервью.

	~~###~~ Критика Бострома ===		=== Критика Бострома ===

	Идеи Бострома также подвергались критике:		Идеи Бострома также подвергались критике:

	# '''Пессимизм:''' Критики утверждают, что Бостром преувеличивает риски и недооценивает способность человечества справляться с проблемами.		# '''Пессимизм:''' Критики утверждают, что Бостром преувеличивает риски и недооценивает способность человечества справляться с проблемами.

	# '''Технологический детерминизм:''' Бостром предполагает, что создание суперинтеллекта неизбежно, игнорируя возможность его предотвращения.		# '''Технологический детерминизм:''' Бостром предполагает, что создание суперинтеллекта неизбежно, игнорируя возможность его предотвращения.

	# '''Отсутствие политической конкретики:''' Бостром предлагает решения на уровне философских принципов, но не даёт конкретных политических рекомендаций.		# '''Отсутствие политической конкретики:''' Бостром предлагает решения на уровне философских принципов, но не даёт конкретных политических рекомендаций.

	# '''Утопизм контроля:''' Критики сомневаются, что человечество способно контролировать суперинтеллект, даже если оно будет стараться.		# '''Утопизм контроля:''' Критики сомневаются, что человечество способно контролировать суперинтеллект, даже если оно будет стараться.

	~~###~~ Заключение ===		=== Заключение ===

	Ник Бостром является одним из самых влиятельных мыслителей в современном трансгуманизме. Его работы о суперинтеллекте и экзистенциальных рисках изменили дискурс движения, сместив акцент с технологического оптимизма на анализ рисков и проблем управления.		Ник Бостром является одним из самых влиятельных мыслителей в современном трансгуманизме. Его работы о суперинтеллекте и экзистенциальных рисках изменили дискурс движения, сместив акцент с технологического оптимизма на анализ рисков и проблем управления.