livingtomorrow ([info]livingtomorrow) wrote,
@ 2007-01-02 00:00:00
Previous Entry  Add to memories!  Tell a Friend  Next Entry
Необходимость системы глобального управления

Схема со встречи у Владимира Бодякина этой осенью.

Free Image Hosting at www.ImageShack.us


(9 comments) - (Post a new comment)


[info]a_bronx
2007-01-02 04:59 am UTC (link)
Спорно по нескольким пунктам:

1. Не факт, что сингулярность вообще наступит - это пока что лишь экстраполяция, построенная с учётом немодифицированного разума. Непредсказуемость же есть и сейчас - справляемся.
2. Не факт, что система глобального управления справится с сингулярностью лучше остальных (см. например, т.н. "калькуляционный аргумент" Мизеса против глобальных систем управления экономикой, который можно расширять и на другие области) и не будет иметь столь же глобальных побочных эффектов или тупиковых состояний, фатальных для всей цивилизации. Вполне вероятно, что старый добрый естественный отбор будет справляться много лучше.

Кстати, из диаграммы непонятно: система управления КЕМ/ЧЕМ?

(Reply to this) (Thread)

[info]livingtomorrow
2007-01-02 07:59 am UTC (link)
Спорно, конечно. Но:

1) Сингулярность - это как раз совсем не экстраполяция. Это рациональное следствие из появления систем, способных к прямой и полной самомодификации. Поскольку сейчас есть инварианты (наша биологическая природа, социальные системы и т. д.), то есть и значительная предсказуемость.

2) Не факт. Надо разбираться, конечно же.

3) Всем.

(Reply to this) (Parent)(Thread)

[info]a_bronx
2007-01-02 09:06 am UTC (link)
1. Так как это прогноз будущего, а не констатация свершившегося факта, то он по определению является экстраполяцией. Рациональность тут не при чём - футурологи прошлого тоже садились в лужу на основе вполне рациональных рассуждений.

Инварианты наверняка будут и при технологической сингулярности. По крайней мере, физические инварианты никуда не денутся - т.е. физический мир останется предсказуемым. Наверняка останутся и такие экономические инварианты как ограниченность некоторых важных ресурсов (может не тех, что сейчас) - т.е. какой-то вид экономики тоже останется. Наверняка естественный отбор со временем приведёт к появлению новых "биологических", "психологических" и "социальных" инвариантов - алгоритм найдёт новые экстремумы приспособленности к новым условиям (изменчивость которых по-любому ограничена сверху физическими законами).

3. Боюсь, это нереально чисто физически.

(Reply to this) (Parent)(Thread)

[info]livingtomorrow
2007-01-02 11:10 am UTC (link)
1. Просто неверно. Смотрим в словарь. Экстраполяция - "распространение установленных в прошлом тенденций на будущий период". Трансгуманистические прогнозы отталкиваются не от прошлых тенденций, а от технологических возможностей. Что принципиально можно сделать. Тенденции используются обычно только сегодняшние и исключительно для корректировки временных рамок прогнозов. Поэтому наступление сингулярности - не есть экстраполяция.

2. Инвариантов будет намного меньше и они будут другие (в принципе, нельзя исключать даже полное исключение инвариантов - зависит от природы реальности, которую мы пока не знаем). Соответственно, стабильности подобной сегодняшней в будущем не будет. Более подробно советую об этом подумать самостоятельно.

3. Не надо понимать "ВСЕМ" буквально. Имелось в виду всем важным, чем можно/нужно управлять на этой планете.

Отвечаю в этом же посте на вопросы/комментарии, данные ниже:

4. Эшби тут не причём. Речь не идёт о полном конечном математически описанном управлении. Управление - это "элемент, функция организованных систем различной природы, обеспечивающая сохранение их определенной структуры, поддержание режима деятельности, реализацию их программ." Где тут сказано, что оно должно быть абсолютным и непогрешимым? Абсурдно использовать теорему Эшби за пределами (очень ограниченными) её применимости. Мы ведь не говорим об управлении конечными автоматами. Поэтому ваша критика идеи управления сингулярностью некорректна.

5. Последнее замечание частично правильное. Для сверхразума сингулярность может быть в чём-то понятной. Но неверно, что постлюди будут избегать решений, результата которых они не представляют. Иногда будут, иногда рискнут. Но их решение будет идеальным в будущей ситуации. :) А вот про инварианты.... сами правильно говорите, что для живых существ они свойственны, ибо запрограммированы они на это естественным отбором. А вот для постчеловека они вполне могут и не быть инвариантами. И, наверняка, появятся бесстрашные "сверхразумы-эксплореры", которые не будут заботиться о собственном сохранении, считая, что открытия из неизведанного и их следствия гораздо важнее и ценнее сохранения собственной текущей структуры.

(Reply to this) (Parent)(Thread)

[info]a_bronx
2007-01-02 01:32 pm UTC (link)
1. Ок, скорректирую мысль: экстраполяцией является предположение, что сингулярность обязательно повлечёт тотальную непредсказуемость, ибо оно исходит из возможностей современного мозга. Думаю, нужно различать 2 вида непредсказуемости:

- футуристическую: сегодняшний человек пытается оценить будущее постчеловечества, глядя сквозь барьер сингулярности - и ничего не видит. Эта непредсказуемость неустранима по определению.

- локальную: постчеловек оценивает своё настоящее и будущее, пройдя барьер сингулярности - но, по тому же определению, нам не дано знать, что он там увидит, как хорошо он будет справляться с неопределённостью, и какими системами управления будет пользоваться (если вообще будет).

Идея о глобальном управлении выводится из наличия футуристической непредсказуемости (ведь схема нарисована обычным человеком!). Но из самой этой неопределённости следует, что сейчас нет смысла гадать, какая система управления будет наилучшей. Собственно, это основная причина фиаско практически всех футурологов, предсказателей и писателей-фантастов: они тоже глядели через "барьеры" своих "микросингулярностей".

Поэтому я согласен со всей диаграммой, кроме самого последнего ребра - от непредсказуемости к глобальному управлению. Оно просто ниоткуда не следует, и внутренне противоречиво. Если непредсказуемость принципиальная - значит из неё ничего не следует, и граф должен в этом месте оборваться. Тут сингулярность.

2. Мы не знаем, меньше их будет или больше. То, что сократятся имеющиеся, ещё не означает, что не обнаружатся новые. Это лишь гипотеза, тут следует быть осторожным в выводах.

3. Поэтому я и спросил "чем?", что догадался, что не всем. Наука? Технология? Экономика? Мораль?

4. Ок, возможно меня сбило с толку прилагательное "глобальный" - я подумал, что предполагается управлять именно всем подряд. Что-то типа "планетарного супермозга" с людьми-нейронами :)

5. Я поэтому и написал "будут пытаться избегать" - т.е. это правило, но не закон :) Ясно, что у постлюдей будут и ошибки, и подвиги - вопрос, насколько они будут губительны а) для них самих и б) для постчеловечества в целом. Пункт (а) не страшен - это обычный отбор.

(Reply to this) (Parent)(Thread)

[info]livingtomorrow
2007-01-02 02:16 pm UTC (link)
1. Мысль всё равно неправильная. Предположение о непредсказуемости сингулярности не вытекает из возможностей мозга, а из математических положений о сложных самомодифицирующихся системах.
1.1. Футуристическая есть, верно. А локальная возникает именно вследствии возможности менять себя изнутри. Если я могу менять свою целевую функцию, свои механизмы для самоизменения и т. д. и т. п., то как предсказать, куда я приду?
1.2. Глобальное управление нужно для реализации рефлексивного управления ДО сингулярности.
1.3. Тут есть тонкий момент. Непредсказуемость (как я говорю) возникает вследствие появления возможностей самомодификации. Но (как вы говорите) она не обязана быть для сверхразума. Ergo возможно, что она будет наличествовать только в течение ограниченного периода времени. И тогда функция системы глобального управления - именно провести нас через эту неопределённость, жёстко зафиксировав её в некоторых рамках на время, необходимое, чтобы мы "обрели мудрость".
2. Новые инварианты, которых нет сейчас? Ну может быть, но мне это кажется маловероятным. В любом случае, согласен, что пока гипотеза.
3. Всем перечисленным. И ещё чем-нибудь.
4. Глобальный должно означать, что действительно всей планетой. Но не на уровне теплового движения молекул. :)
5. Не факт. Нам это кажется очевидным, но это нам - биологическим homo sapiens. Постчеловек вполне может обходиться без стремления к самосохранению и я кратко описал, почему именно.

(Reply to this) (Parent)(Thread)

[info]a_bronx
2007-01-02 02:52 pm UTC (link)
1.1. Я исхожу из того, что большая часть самоизменений будут целенаправленными. Мне кажется маловероятным, что разумный постчеловек будет менять что-то исходя лишь из наличия такой возможности - наверняка он будет стремиться получить какую-то выгоду: здоровье, долголетие, силу, расширение прогностических возможностей и т.п. Неизвестно, какое общество получится - но наверняка известно, что выживать будут те, кто лучше приспособлены к этим быстрым изменениям.

1.2/3/4. Может быть, хотя всё же сомнительно. Какой-то уровень "мирового правительства" наверняка будет, но не факт, что от него будет много пользы. На мой взгляд, нужна система не управления, а ограничения, причём минимальная - чтобы только не допускать фатальных конфликтов. А всё остальное можно предоставить самому себе.

5. Обходиться-то он может, но, как правило, не долго :)

(Reply to this) (Parent)

[info]a_bronx
2007-01-02 09:20 am UTC (link)
3. Раскрою подробнее. Согласно теореме Эшби о необходимом разнообразии, управляющая система, грубо говоря, должна иметь не меньше степеней свободы, чем управляемая - иначе найдётся такое состояние, к которому управляющая система будет не готова.

По определению, сингулярность - это состояние с неизвестным числом степеней свободы, неопределённой траекторией и т.п. Построить управляющую систему для неё можно лишь искусственно (и весьма сильно) ограничив эту подвижность. При чём нам заранее неизвестно, какие траектории полезны, какие тупиковые и т.п. Волюнтаристски, обрезая "веточки" эволюционного древа, без полного знания о нём, мы рискуем устроить себе глобальный "бонсаи".

(Reply to this) (Parent)

[info]a_bronx
2007-01-02 09:35 am UTC (link)
И, кстати, сингулярность может повлечь непредсказуемость для сегодняшнего разума, но вовсе не означает обязательную непредсказуемость для улучшенного, более мощного разума. Скорее всего, они будут идти бок о бок: на любом этапе своего развития постлюди будут стараться избегать решений, результата которых они в данный момент не представляют. Такие инварианты как инстинкт самосохранения и связанный с ним страх перед неведомым и стремление быть информированным, вряд ли исчезнут - они лежат в основе гомеостаза любого живого существа/популяции.

(Reply to this) (Parent)

(9 comments) - (Post a new comment)

Create an Account
Forgot your login or password?
Login w/ OpenID
English • Español • Deutsch • Русский…