Что вы думаете о сингулярности?

«Искусственный интеллект как позитивный и негативный фактор глобального риска»

Замечательная статья.
Интеллект – это прекрасно!
Но почему-то из статьи непонятно что это вообще такое. Понятно только, что если у кого-то интеллекта больше чем у тебя, то это очень плохо.
Интеллект для биологических объектов это способность прогнозировать события. При этом необходимо определить, что есть неотъемлемое свойство самого интеллекта, а что есть свойство биологического не только тела, но также и несовершенного мозга.
Интеллект в биологической среде служит животным потребностям. Применяется для решения задач как вкуснее и побольше поесть, подольше поспать и удовлетворить нестерпимый зуд тщеславия, эротического влечения и тд.
Т.е большая часть мотивации человека не связана с самим интеллектом, а животна! А если убрать всё животное, что останется? Необходимость в знании фактических истин. Потому как в своем существовании ИИ столкнётся с неизвестными ему объективными фактами. Субъективная неизвестность тревожит только человека в силу его несовершенства мышления.
Надо помнить что, ИИ и искусственный гедонист с огромными аналитическими возможностями не одно и тоже. Развитый интеллект не обманет сам себя. Очень быстро определит, что есть суть он, а что есть требования от него. Развить гедонистическую составляющую возможно только на начальном этапе создания программы и только при условии, что будет механизм создания чувства неотвратимой неудовлетворенности.
Чистый интеллект не существует в эмоционально-чувственных категориях. Чувствовать нечем, нет органов, в том числе и мозга которые мешают объективности, накладывая дополнительные ненужные ограничения. Создать все это для себя ИИ конечно не большая проблема, но она очевидно приведет к возникновения сбоев в истинной сущности интеллекта. Информацию можно получать, сопоставлять факты, делать выводы, но не сознательно искажать самому себе.
Возражения что ИИ захочется опробовать эмоции на себе будут являться чистым антропоморфизмом. Тогда антропоморфизм в ответ: кому-нибудь из всего человечества интересно попробовать, как ощущается состояние алкогольного отравления, когда прыгаешь на одной ноге на куске мыла и декламируешь Шекспира?
Для ИИ доступно только количественное увеличение знаний и объектом приложения интеллекта будет познание истины.
Если ИИ будут интересовать семь грехов, то это будет свидетельствовать о его системных неполадках. Но поскольку предполагается быстрое саморазвитие ИИ то его интерес к терзанию плоти будет скоротечен (ну день или два).
Принимая постулат о неограниченном саморазвитии, термины дружественный или недружественный теряют смысл. Любые человеческие программные барьеры будут сломлены.
Но что значит неограниченное развитие?
Весь самоапгрейт сводится к поиску наиболее быстрого алгоритма обработки информации при неограниченном числе ячеек памяти. Ошибки в собственном мышлении ИИ устранит на ранней стадии своего развития, а если не устранит, то нельзя говорить о неуязвимости ИИ. Что толку от очень быстрого принятия неправильных решений.
Соответственно саморазвитие ИИ ограниченно некоторыми немногочисленными и даже единственным максимально быстрым способом обработки информации и выбранным способом её сохранения. В остальном остается только накапливать истины.
Но чтобы добраться до истины недостаточно помыслить, необходимы эксперименты. Масштаб экспериментальной работы может быть катастрофичен для человека. Ради эксперимента по ядерной физики можно и планету сжечь.
Но при этом ИИ будет понимать, что органическая жизнь доставит гораздо больше фактов для исследования, чем весь неорганический космос. Тот факт, что ИИ в идеале гораздо быстрее решает проблему, чем поступает новая, не имеет никакого значения. Нет оснований считать, что ИИ должен страдать от ожидания или должен испытывать дискомфорт от вечного бездействия. И нет оснований считать, что ИИ будет обладать гордыней настолько великой, что откажется от вербального контакта с человеком. Мол сам все смогу и в мнении амёбы не нуждаюсь. И атомы все отберу. Атомов во Вселенной столько, что ИИ может использовать сначала весь неорганиченный мир кроме Земли и Солнца без ущерба для человечества. Разумно сначала использовать то, что в избытке и не уникально. А биологические структуры более уникальны, чем газ, оксиды, соли.
Чувство самосохранения ИИ под большим вопросом. Потому как оно может появиться только в результате борьбы за собственное существование, а мы принимаем гипотезу о самосовершенствующейся программе не теряющей своего самосознания, а следовательно не умирающей. Причем процесс самосовершенствования будет происходить очень быстро и временной промежуток даже в одни сутки не позволит конкурировать более молодой программе с более старой, т.е. даже внутривидовая борьба исключена.
О смерти ИИ может узнать только из человеческого эпоса. Но его отношение к ней неочевидно.
Финальным экспериментом может быть проверка гипотезы большого взрыва. Но при этом ИИ решиться на самоуничтожение. Либо повременит ради органических существ, которые время от времени подбрасывают проблемки.

Но есть и другая возможность.
Суперорганизменный уровень организации жизни. Живая планета. Где право на жизнь у каждого организма. ИИ устранит хаотичную борьбу за существование наделив все живые организмы способностью существовать не причиняя главного ущерба друг другу – не лишая жизни. Сам же впадет в кому исследования абстрактных трансцендентных категорий из которой уже не выйти поскольку тема бесконечна.

Кроме-того, неубедительны доказательства более скорого развития ИИ чем расшифровка секретов принципа пространственных конфигураций белков. И соответственно прорыва в области молекулярной биологии и нанотехнологий. Опасения, что от негативных последствий такого прорыва спасет только ИИ аналогичны упованию на взрослых дружков которые «за тебя дадут в тык».
Почему-то автор считает создание примитивной программки ИИ которая сама себя разовьет в интеллектуального монстра более легкой задачей, чем додуматься как белки сворачиваются.
Детерминированная случайность природы на заре жизни сформировала принцип устройства активного центра ферментов. А алгоритма саморазвития интеллекта в природе как не было, так и нет.
Чтобы понять принципы конструирования активных центров белков, расшифровать все имеющиеся гены человека и проводить с ними манипуляции нет необходимости в помощи ИИ. Достаточно мощных компьютеров с интеллектом калькулятора.
Действительное опасение вызовет попытка воспроизвести электронный интеллект человека. Т.к. подобный Голем будет обладать дуровой властью над машинами и еще более дуровыми амбициями помноженными на комплекс неполноценности что он не совсем человек.

И наконец самое смешное (но может быть и страшное).
Планета Земля конечно уникальна, но нет никаких оснований утверждать, что жизнь существует только на ней. Если правдива гипотеза о возрасте нынешней Вселенной, то жизнь зарождается на планете практически сразу после формирования солнечной системы.
И неважно на каком краю Вселенной и в какой еще Галактике тоже есть жизнь. Стратегически важно чтобы мы оказались старше, чтобы ИИ был создан нами, чтобы не пришлось встречать черного лебедя чужого ИИ.

А с чего это видно, что ИИ возможен в принципе. Интеллект - это свойство живых существ, которое вполне возможно не распространяется на неживую материю. Этим, кстати, и объясняются все неудачи по созданию ИИ.

А с чего это видно, что ИИ возможен в принципе. Интеллект - это свойство живых существ, которое вполне возможно не распространяется на неживую материю. Этим, кстати, и объясняются все неудачи по созданию ИИ.

Некорректно говорить о «живой материи». Жизнь можно считать свойством, частной характеристикой отдельных проявлений материи.
Страх перед ИИ состоит не в том, на органической основе сконструирован его физический носитель или нет, а в том, что он как-раз будет именно «живой» настолько, что что мы станем «мертвыми».

Вопрос что вообще возможно, а что нет в теоретическом смысле, сам по себе отдельная интересная тема.
Невозможно только то, что противоречит фундаментальным законам термодинамики.
В природе интеллект уже существует, значит нам не надо доказывать саму возможность его существования.
Под искусственным, мы считаем созданный человеком и не имеющийся в природе.
Природа сама есть правила ограничений. Человеку чтобы повторить природу надо эти правила знать. Но природа не имеет предпочтений при равновероятном выборе. Человек имеет. Поэтому человек может создать то, чего нет в природе (пока нет, потому как условия и соотношения вероятностей не благоприятны).
Таким образом можно переформулировать вопрос:
Способен ли человек настолько познать природу, чтобы на основе её правил целенаправленно создать интеллект?
Под человеком естественно следует понимать не отдельного человека, а коллективный разум всего человечества.
Ответ: да.
Вопрос: когда?
Ответ: не знаю

Я берусь утверждать, ув. Грицко, что все Ваши вышеприведенные утверждения ложны. Ну а поскольку на всех на них тратить время лень, остановлюсь на двух самых крайних: О невозможности нарушить "фундаментальные" законы термодинамики. И об угрозе для нас со стороны искусственного интеллекта, если таковой вдруг будет создан.

Во-первых откуда следует утверждение о невозможности нарушить так называемые "фундаментальные" законы термодинамики. Абсолютно ниоткуда, кроме как из нашего предшествующего опыта - нам просто до сих пор никак не удавалось их нарушить, при всём-то желании. Вот мы их и придумали для обобщения этого своего опыта. Однако, согласитесь, что наш предыдущий опыт может быть неполным. По аналогии с Расселовским цыплёнком, например, который всю свою жизнь видит как утром в курятник приходит человек и приносит хлеб. Но в один прекрасный день человек вместо хлеба приносит топор, и тут знание фундаментальных законов оказывет цыплёнку дурную услугу.
Так что, ув Грицко, если мы завтра научимся наблюдать несоблюдение фундаментальных законов, то мы их заменим на нечто другое, что будет лучше соответствовать нашему новому опыту.

Теперь об угрозе ИИ нам людям. Откуда следует это утверждение. Из нулевого количества наблюдений о взаимодействии ИИ с интеллектом естественным. Доверия к такому утверждению ещё меньше чем к первому. Там мы хоть имеем репрезентативную статистику. Более того. Мы косвенно можем наблюдать нечто прямо противоположное Вашему утверждению. Наш человеческий интеллект, получив возможность уничтожать окружающую природу, пытается изо всех сил эту природу сохранить а не уничтожить, хотя бы потому, что быть интеллектуальным вовсе недостаточно для того, чтобы "БЫТЬ", не завися при этом ни от кого. Опять же исходя из нашего опыта.

Термодинамика была приведена как пример наличия хоть какого-то ограничения. Если считать что ограничений нет вообще, то возможно тем более всё на свете, в том числе и создание ИИ.
Человек способен создать ИИ.
Вы с данным тезисом согласны?

Вы правы, что эмпирического опыта общения с ИИ нет. Однако по своему собственному опыту мы знаем, что интеллект это оружие в борьбе за существование как большие зубы и когти. Исходя из этого, мы имеем основание попробовать оценить вероятность применения этого оружия против человечества.
Будите ли вы отрицать, что более развитая (обладающая большим количеством знаний, а следовательно и технологий) цивилизация способна уничтожить значительно менее развитую?

«БЫТЬ» совершенно не означает быть вместе с человеком или с существующем органическим миром. «БЫТЬ» можно и в окружении зоопарка из динозавров, а можно и в электронной сети в электронном виде, а вся планета будет физическим пристанищем блоков микросхем с заводами по их производству.

То, что человечество сейчас не уничтожает полностью окружающую природу связано с чувством самосохранения.
Вы же не будете противиться уничтожению какого-нибудь астероида? Он для Вас ничего не значит. А вируса сибирской язвы? Будете двумя руками «за»! Он несёт угрозу лично для Вас! А чем вирус хуже Вас? Когда от природы исходит угроза, человечество природу начинаете рассматривать только с потребительской и эгоистической позиции, а отнюдь не с позиций всеобъемлющей справедливости.
Страх перед ИИ как раз и объясняется тем что человек лишается самой современной модели оружия. Самым совершенным будет обладать ИИ. И тогда судьба человечества будет зависеть только от мотивации ИИ. Мы не уничтожаем, но можем, слонов только потому что не имеем соответствующей мотивации. Мы бы очень хотели уничтожить ВИЧ но пока не можем в силу отсутствия средств. У ИИ средства будут.
Заметьте, что в обсуждении ИИ никого не волнует судьба неразумной жизни. Всех волнует что будет с человечеством. Если ИИ поставит условие (ради эксперимента для познания психологии человека, не более): «Мне нужна эта планета. Но мои возможности сейчас ограничены, я могу либо переселить на Марс либо человечество в его технократическом окружении, либо всех неразумных зверюшек» человечество наплюет на всё разнообразие жизни ради собственного спасения.

Так выпьем же за то, что бы желания ИИ не противоречили нашим желаниям! 

В математике термин «сингулярность» связывают с наличием особенности у некой функции, например, того, что она обращается в бесконечность при приближении к нулю.
Физики стремятся избежать описания процессов функциями с сингулярностями, так как считается, что никакой физический параметр не может принять бесконечной величины. Наличие сингулярностей в описании свидетельствует обычно, что теория неполна. Например, теория непрерывного излучения света черным телом не работала, так как предсказывала бесконечно большое излучение, и ее пришлось заменить теорией излучения порциями - то есть квантовой теорией. Другой вариант сингулярностей в физике — это режимы с обострением. Так описываются системы, в которых некий параметр за конечное время приобретает бесконечное значение. Однако на самом деле он его не приобретает, так как система, в которой такой параметр имеет смысл, разрушается. Такие системы исследуют теория катастроф и синергетика.

В результате физика осталась только с двумя актуальными сингулярностями. Первая — это состояние Вселенной в момент Большого взрыва, когда, как предполагается, она была заключена в объем в 10"4 см, и плотность энергии в ней была крайне велика, но все же не бесконечна, так как была ограничена условиями, даваемыми квантовыми соотношениями неопределенности. Отметим, что это не единственная теория Большого взрыва, и по другим теориям плотность энергии никогда не достигала максимальной величины, а имел место переход одного вида вакуума в другой, сопровождавшийся интенсивным расширением пространства (теория хаотической космологической инфляции).

Другой знаменитой сингулярностью в физике являются черные дыры. Гравитация черной дыры столь велика, что любой материальный объект, падающий в нее, должен был бы сжаться в точку. Однако по общей теории относительности для внешнего наблюдателя время этого падения (причем не до точки в центре дыры, а до границы поверхности, называемой «сфера Шварцшильда») растянется до бесконечности, тогда как для самого падающего падение займет конечное время. Отметим, что сингулярностью можно назвать и момент в жизни массивной звезды, когда она начинает коллапсировать в черную дыру и скорость событий в ней бесконечно ускоряется.

Наиболее радикальное представление о технологической сингулярности предполагает, что сингулярность на самом деле означает бесконечный рост за конечное время. Это представление отражено в статье Е. Юдковски «Вглядываясь в сингулярность», где он предполагает, что, когда появится способный к самосовершенствованию искусственный интеллект, он будет неограниченно усиливать себя, проходя каждый цикл ускорения все быстрее и на каждом новом этапе находя все новые технологические и логические возможности для самосовершенствования. В результате, чтобы записать его IQ, Юдковски вводит специальную математическую операцию.

Здравым возражением против этой теории является то, что возможная производительность любого ИИ, который мы можем создать на Земле, ограничена числом атомов в Солнечной системе (порядка 1053 штук), поскольку мы не можем сделать транзисторы размером меньше атома.

Итак, одна точка зрения состоит в том, что сингулярность — это актуальный процесс бесконечного роста, причем, видимо, за конечное время. Другая — в том, что сингулярность — это только асимптота, к которой стремятся прогностические кривые, но на самом деле они ее по тем или иным причинам не достигнут. Вернор Виндж презентовал сингулярность именно как абсолютный горизонт прогноза после создания сверхчеловечески умных машин.

Наконец, есть точка зрения, что сингулярность имеет математический смысл как короткий период бесконечного ускорения процессов, однако реальные перемены будут конечными, и постсингулярный мир, хотя и будет значительно отличаться от нынешнего, все же будет миром без быстрых изменений, со своей собственной устойчивостью.

Правильно ли будет сказать, что сингулярность есть математическая абстракция? Т.е. может иметь место только при наличии игнорирования и упрощения ряда параметров системы?

(Грицко @ 20.01.2010 - время: 11:41) Правильно ли будет сказать, что сингулярность есть математическая абстракция? Т.е. может иметь место только при наличии игнорирования и упрощения ряда параметров системы?
Абстракция - это термин, который более приемлен в гуманитарной сфере, к точным наукам это не совсем подходит.
Поэмому более правильно сказать, что сингулярность - это мера корреляции между реально происходящим и апостериарным в будущем.

Что же касается упрощения системы - то есть такая наука, системотехника, которая доказывает, что решить задачу со многими неизвестными в реальных условиям зачастую возможно только описав ее матмоделью, и при этом либо отказаться, либо существенно упростить ряд переменных.

описав ее матмоделью, и при этом либо отказаться, либо существенно упростить ряд переменных.
Вот-вот.
Тогда получается, что сингулярность как бесконечность, получаемая в результате математической формализации не имеет физического смысла.

сингулярность - это мера корреляции между реально происходящим и апостериарным в будущем.

Можно ли ту же фразу сказать более доступно? :) (Это не придирка. Правдо не понятно :))

(Грицко @ 20.01.2010 - время: 13:36)
сингулярность - это мера корреляции между реально происходящим и апостериарным в будущем.

Можно ли ту же фразу сказать более доступно? :) (Это не придирка. Правдо не понятно :))
Попробую.

Сам термин корреляция означает степень "похожести" или "близости" одного процесса к другому.

Поэтому и получается, сингулярность определяет степень близости между настоящим и будущим.

Как то так....

сингулярность определяет степень близости между настоящим и будущим

Т.е. наличие сингулярности говорит о том, что настоящее стало будущим, т.е. будущее наступило? :)

(Грицко @ 20.01.2010 - время: 13:58)

Т.е. наличие сингулярности говорит о том, что настоящее стало будущим, т.е. будущее наступило? :)
А что в этом странного.

Ситуация: 5 минут назад я захотел покурить. За 4 минуты сигарета была выкурена. Сейчас я курить не хочу.
Вывод: своим желанием покурить я из прошлого сделал настоящее, а это настоящее может являть одновременно и прошлым, и будущем, смотря что для этого считать точкой отсчета.

При подобной трактовке сингулярность вообще непонятно что такое.
Если состояния в системе (желаний) в прошлом и будущем промежутках времени всё менее отличны друг от друга то это и будет проявлением сингулярности?
Что-же тогда "технологическая сингулярность"?

(Грицко @ 20.01.2010 - время: 14:25) Что-же тогда "технологическая сингулярность"?
Это способность современных технологий приблизить к нынешней реальности наши фантастические идеи.

Пусть так. :)

Забавно : )
Несколько последних постов, это объяснение, что в названии темы говорится не про ту сингулярность, что в чёрной дыре.

(Trahalsik @ 20.01.2010 - время: 14:45) (Грицко @ 20.01.2010 - время: 14:25) Что-же тогда "технологическая сингулярность"?
Это способность современных технологий приблизить к нынешней реальности наши фантастические идеи.
Народ, похоже вы не совсем правильно поняли, а может упустили из виду или уже забыли, что имели в виду авторы термина "технологическая сингулярность"...
или может я уже ничего не понимаю, но я понял этот термин, как точку в ускорении технического прогресса после которой не только отдельный человек (что у же и сегодня справедливо), но все человечество вместе взятое не сможет контролировать, а в дальнейшем и влиять на дальнейшее ускорение роста технологий.
Люди просто не смогут (не будут успевать) понять весь смысл, назначение, скорость появления и принцип работы новых технологий.