Друзья и друзья друзей. Вы, наверно, знаете, что мы тут постоянно какие-то проекты делаем, где-то что-то двигаем, порядок наводим, и это все потому, что "сингулярность скоро". Но я столкнулся с тем, что народ, в общем-то, не понимает, что такое сингулярность и почему она скоро и что все это будет означать для простых (бес)смертных.

Итак, рассказываю:

Есть три определения сингулярности, Ирвинга Гуда, Вернора Винджа и Рея Курцвейла.

Если объяснять коротко, то Гуд говорил, что возникнет интеллект, который станет себя улучшать. Или компьютер, который будет сам переписывать свои программы. Или улучшенный человек. Или киборг.

Виндж говорил, что сингулярным будет момент в будущем, потому что невозможно предсказать, что будет делать более умное, чем ты, существо. Кстати, это одна из причин, почему в фантастике не встречается сверхразумных персонажей — потому что разумность персонажей ограничена разумностью автора. Поэтому фантасты надолго переставали писать о сверхдалеком будущем, вплоть до появления трансгуманистической фантастики. То есть технологическая сингулярность выражается в том, что мы не можем предсказать поведение тех, кто будет за этой точкой, таким будет рост мощности компьютеров.

Третье понимание предложил Курцвейл, который очень любил графики, и поэтому для него сингулярность это момент, когда экспоненциальный рост переходит в двойной экспоненциальный, в гиперболический и в бесконечный, а вообще-то ничего такого особенного и не происходит, просто рост во всех областях.

Сингулярность имеет много имен: трансцендентность, переход, скачок и так далее.

Итак, в чем суть?

Человек сейчас пытается себя улучшать, но делает это плохо и медленно. Если создать интеллект, который делает те же операции на порядки быстрее, то он и улучшать себя будет быстрее, плюс не будет ограничен сроком жизни биологического тела. Не совсем понятно, будет ли там переход количества в качество.

Тут нужно упомянуть еще одного персонажа: Стивена Вольфрама.

Он пришел вот к какому заключению: любая разумная система одинаково разумна, то есть любая мысль может быть исполнена на любом мозге. Если принять это, то получается, что сверхинтеллект может быть лучше и сильнее человеческого только количественно. Опять же, если это принять, то есть две новости: хорошая в том, что нам не грозит уничтожение; плохая в том, что качественный скачок нам тоже не грозит.

Некоторые, например Элиезер Юдковский и Ник Бостром, от этого огорчаются.

Но человеческий интеллект качественно отличается от интеллекта животных: мы умеем думать принципиально другие мысли, чем животные. Состояния, в которых бывают очень продвинутые математики, очень сильно отличаются от состояний, который доступны мне только потенциально. Большинству людей эти состояния доступны или никогда или через очень долго.

Если Вольфрам прав, то получается, что как бы мы не расширяли (ускоряли/усиливали) свой мозг, человек все равно сможет бывать только в тех состояниях, которые принципиально есть у человечества сейчас.

Что лично я думаю по этому поводу:

Курцвейл не прав, Виндж тоже не прав во всем, что касается закона Мура (потому что закон Мура не работает для софта, а значит проекты по загрузке мозга в компьютер могут оказаться чересчур оптимистичными, а получится это лишь лет через 50-60).

Мне нравится определение Гуда. Создание интеллекта может привести к таким серьезным количественным изменениям, что этого будет достаточно для радикального изменения всей окружающей жизни. Мы не сможем предсказывать что будет делать самое могущественное существо в мире, и цели у него будут непонятные.

Так что вот так, гуглите все имена из этого поста, и отправляйте пост знакомым, которые нуждаются в ликбезе.