Что вы думаете о сингулярности?

DEY
10/27/2009, 12:44:59 PM
(Nancy @ 26.10.2009 - время: 20:24)
А причём их цена

Ну суперкомпьютеры проектируются и строятся по индивидуальному заказу единичными экземплярами и за многомиллионные бюджеты, а потому могут позволить себе нестандартное железо. Я ведь пророчу застой именно в сфере Персональных Компьютеров.
(Nancy @ 26.10.2009 - время: 20:24)
Да, незабывайте ещё про оптические компьютеры и молекулярные. Я конечно понимаю, что молекулярные компьютеры это только первые лабораторные эксперименты, но лиха беда начало. Но самое важное, даже по осторожным прогнозам ведущих специалистов, фундаментальные препятствия не предвидятся
Про фотонику, спинтронику и квантовые чипы знаю, знаю и о попытках заменить кремний нитридом галлия, фосфидом индия или арсенидом галлия-индия. А про молекулярные ничего не знаю :( Как говорил почтальон Печкин (м/ф Трое из Простоквашено) Скажите пожалуйста, а кто такой Иван Фёдорович Крузенштерн? Так сказать, для повышения моей образованности!
Но повторю ещё раз проблема сингулярности не в железе а в софте!
(Nancy @ 26.10.2009 - время: 20:24)
Да на сей момент он не создан, и что? Речь о том что он будет создан, в ближайшее обозримое будущее (не завтра, а в ближайшие 100 лет, но возможно и меньше).
Чтоб что-то дублировать надо в это хотя бы понять (принцип работы), так что я отодвину планку ещё на пару сотен лет!
(Nancy @ 26.10.2009 - время: 20:24)
И нет принципиальных предпосылок его несоздания.
Вот тут я с Вами не согласен! Безопасность! Если у человека отобрать его приоритет разум, то на что он вообще нужен? Зачем ИИ служить на благо человечества? Мы наделим его способностью самомодернизации и заложим аппаратно (жестко) три принципа робототехники Азимова? ИИ рано или поздно додумается перепрошить эту часть железа или эмулировать данный блок и отключить ограничитель!
(Nancy @ 26.10.2009 - время: 20:24)
В нешем разговоре с Вами, как со стаканом... он на половину пуст, или на половину полон.
Да! Весь вопрос в прогнозе что будет дальше. Я твержу - вода испаряется и когда она кончится стакан станет ненужным куском стекла в пустыне. Вы в ответ – будет ливень и всё затопит и стакан станет ненужным куском стекла на дне глобального океана.
(Nancy @ 26.10.2009 - время: 20:24)
Приведите разумные аргументы в поддержку своих взглядов и я приму их, не травмируя при этом свою гордость.
Равно такая же просьба и к Вам, причём по всему фронту Вашей позиции.
Надеюсь крупица разума в этом моём посте присутствует.
Lady Mechanika
10/27/2009, 1:39:32 PM
(DEY @ 27.10.2009 - время: 09:44) Ну суперкомпьютеры проектируются и строятся по индивидуальному заказу единичными экземплярами и за многомиллионные бюджеты, а потому могут позволить себе нестандартное железо.
У любых, даже самых новейших, разработок, ценовая тенденция одна - понижение цены, по мере освоения технологии и развития смежных технологий. По аналогии со старыми технологиями.
Я ведь пророчу застой именно в сфере Персональных Компьютеров. Разговоры о застое в индустрии ПК, длятся весь период их существования, и тем не мение... К моменту реального исчерпания возможностей полупроводникового перехода, альтернативные технологии будут уже доступны для массового рынка. Покрайней мере, просматривая новостные ленты, прогнозы и анализы, а не вижу даже намёка на "глобальный" застой в этой индустрии.
А про молекулярные ничего не знаю :( Даннные староваты 01.11.2005., найду более свежие выложу...
скрытый текст
Разрозненные исследования российских научных центров в области органической молекулярной электроники, наконец, объединят в академическую программу. На этот шаг академиков толкнул доклад их коллег.

Молекулярные компьютеры, которые станут реальностью уже через 10-20 лет, будут обладать производительностью в миллиарды раз большей нынешних, основанных на кремниевых микропроцессорных технологиях. Их процессоры достигнут размеров, в десятки тысяч раз меньше современных, время отклика составит всего 10-15 секунды (у современных компьютеров - до 10-12). Элементной базой для молекулярной электроники могут стать молекулы и организованные молекулярные ансамбли, способные существовать в двух или нескольких устойчивых состояниях, проводить электрический ток и обладать определенными магнитными характеристиками.

Эти данные были представлены на Президиуме РАН в научном сообщении «Полифункциональные материалы для молекулярной электроники», авторами которого оказались сразу три академика: директор Центра фотохимии РАН Михаил Алфимов, директор Южного научного центра РАН Владимир Минкин и директор Института проблем химической физики РАН Сергей Алдошин.

Докладчик, Владимир Минкин, рассказал об основных подходах к получению молекулярных материалов, сочетающих свойства, необходимые для записи и обработки информационных сигналов. Для молекулярных транзисторов, как оказалось, наилучшими свойствами обладают фотохромные соединения, которые при облучении могут менять свое состояние, отличающееся по своим электрическим и химическим характеристикам. Фотохромные соединения, а также холестерические жидкокристаллические полимеры, как уже показано, можно использовать для создания устройств трехмерной памяти, емкость которой значительно превышает достигнутую в современных системах хранения информации. В научных лабораториях мира сейчас работают над созданием токопроводящих полимеров, углеродных и полупроводниковых нанотрубок, с помощью которых отдельные составляющие будут связываться в работающие молекулярные контуры. Процессы компонования наноразмерных (1 нанометр - одна миллиардная часть метра) транзисторов основываются на эффектах самосборки сложных молекулярных систем, подобных тем, которые существуют при передаче наследственности.

На сегодняшний день программы создания молекулярных устройств в мире разрабатывают 12 организаций. В их числе - национальные агентства, международные компьютерные корпорации, европейский консорциум, объединяющий фирмы и научные центры многих стран. В России исследования в этой области проводят уже названные три научных центра, а также Институт органической химии им. Н. Д. Зелинского, Международный томографический центр РАН, МГУ, Ростовский университет.

Познакомившись с достижениями отечественных ученых в области молекулярной электроники, собравшиеся отметили, что «академия может гордиться тем, что в России есть целая школа в данной области знаний». Правда, академикам пришлось признать, что «в России недооценивается важность исследований в данной области». Чтобы эти исследования поддержать, Президент РАН Юрий Осипов предложил их объединить в академическую программу и добиваться ее государственной поддержки, «пока у России есть шансы не отстать от мирового уровня».

Но повторю ещё раз проблема сингулярности не в железе а в софте! Тут я с Вами почти согласна, вот только не "проблема" а приоритетный путь развития/достижения заключается по большей части не в железе а в софте.
Чтоб что-то дублировать надо в это хотя бы понять (принцип работы), так что я отодвину планку ещё на пару сотен лет! Ну вот, опять наблюдаю чуть ли не обожествление человеческого разума, чтоб достич его понимания надо растратиться ах на 300 лет, классический синдром антропоцентризма.
Обзор состояние дел в отношении создания ИИ на июнь 2008 г.
скрытый текст
Программа Blue Brain по моделированию мозга млекопитающих объявила осенью 2007 года об успешной имитации кортиковой колонки мозга мыши и запланировала создание полной модели мозга человека до 2020 года . Хотя прямое моделирование мозга не является наилучшим путём к универсальному искусственному интеллекту, успехи в моделировании живого мозга могут служить в качестве легко читаемой временной шкалы прогресса в этой сложной науке. Ник Бостром в своей статье «Сколько осталось до суперинтеллекта?» показывает, что современное развитие технологий ведёт к созданию искусственного интеллекта, превосходящего человеческий, в первой трети XXI века.

Крупнейшая в мире компьютерная компания Google несколько раз пробалтывалась о планах создания искусственного интеллекта, и, безусловно, она обладает необходимыми техническими, информационными и денежными ресурсами, чтобы это сделать, если это вообще возможно . Однако поскольку опыт предыдущих публичных попыток создания ИИ (например, компьютеров 5-ого поколения в Японии в 80-е годы) прочно ассоциируется с провалом, а также с интересом спецслужб, вряд ли большие компании заинтересованы широко говорить о своих успехах в этой области до того, как у них что-то реальное получится.

Компания Novamente заявляет, что 50% кода универсального ИИ уже написано (70 000 строк кода на С++), и, хотя потребуется длительное обучение, общий дизайн проекта понятен .

SIAI обозначил планы по созданию программы, способной переписывать свой исходный код .

Компания Numenta продвигает собственную модель ИИ, основанную на идее «иерархической временной памяти», и уже вышла на уровень демонстрационных продуктов .

Компания CYC собрала огромную базу данных о знаниях человека об обычном мире, иначе говоря, о здравом смысле (1 000 000 высказываний) и уже распространяет демонстрационные продукты . Предполагается, что объединение этой базы с эвристическим анализатором – а автор проекта Ленат разработал ранее эвристический анализатор «Эвриско» – может дать ИИ.

Мощные результаты даёт генетическое программирование. К настоящему моменту список изобретений «человеческого уровня», сделанных компьютерами в компании Genetic Programming Inc, использующими эту технологию, включает 36 наименований , из которых 2 сделаны машинами впервые, а остальные повторяют уже запатентованные проекты. Помимо названных, есть множество университетских проектов. Ведутся разработки ИИ и в РФ.

Вот тут я с Вами не согласен! Безопасность! Если у человека отобрать его приоритет разум, то на что он вообще нужен? Зачем ИИ служить на благо человечества? Мы наделим его способностью самомодернизации и заложим аппаратно (жестко) три принципа робототехники Азимова? ИИ рано или поздно додумается перепрошить эту часть железа или эмулировать данный блок и отключить ограничитель! "Безопасность" выпестованная религиозниками и выкормленная на параноидальных страшилках Голивуда, аля "Терминатор". Да, тут я с Вами согласна, параноидальная реакция серьёзная проблема, но решаемая.
Надеюсь крупица разума в этом моём посте присутствует. Безусловно.
DEY
10/27/2009, 3:34:55 PM
(Nancy @ 27.10.2009 - время: 10:39)
У любых, даже самых новейших, разработок, ценовая тенденция одна - понижение цены, по мере освоения технологии и развития смежных технологий.
Это верно пока речь идёт о самой технологии, а не материалах (химических элементах) которые она использует! Во что выльется глобальная перестройка компьютерной техники не берусь прогнозировать, но вот полупроводниковая цепко держится за кремний именно из за его обилия на планете (есть намного более многообещающие полупроводники, но они в разы дороже).
(Nancy @ 27.10.2009 - время: 10:39)
А про молекулярные ничего не знаю :(
Даннные староваты 01.11.2005., найду более свежие выложу...
Жду, потому что если честно понятней не стало как это собираются реализовать.
(Nancy @ 27.10.2009 - время: 10:39)
Ну вот, опять наблюдаю чуть ли не обожествление человеческого разума, чтоб достич его понимания надо растратиться ах на 300 лет, классический синдром антропоцентризма.
Никакого обожествления просто пытаюсь не впадать в эйфорию обожествляя познавательную часть того же разума. Стараюсь быть объективным, вот только насколько это мне удаётся не мне судить.

Компания Novamente заявляет, что 50% кода универсального ИИ уже написано (70 000 строк кода на С++)
70 000*2=140 000 00056.gif жидковато будет, Вам так не кажется?
(Nancy @ 27.10.2009 - время: 10:39)
"Безопасность" выпестованная религиозниками и выкормленная на параноидальных страшилках Голивуда, аля "Терминатор".
Неет… мне больше нравится теория заговора политической элиты, никакого прямого столкновения ИИ некуда спешить её жизнь не ограничена работоспособностью носителя.
Lady Mechanika
10/27/2009, 3:58:24 PM
(DEY @ 27.10.2009 - время: 12:34) Неет… мне больше нравится теория заговора политической элиты, никакого прямого столкновения ИИ некуда спешить её жизнь не ограничена работоспособностью носителя.
Искусственный интеллект как позитивный и негативный фактор глобального риска.
Читаем

70 000*2=140 000  жидковато будет, Вам так не кажется?
Так речь идёт скорее о самом "движке", о ядре, я не думаю что оно "огромно" до неповторяемости. Скорее наоборот, по принципу - всё гениальное просто. Вот массивы данных, да они могут иметь сколь угодно большой размер, но данные это накопляемая "вешь".
DEY
10/28/2009, 5:51:02 PM
(Nancy @ 27.10.2009 - время: 12:58)
Искусственный интеллект как позитивный и негативный фактор глобального риска.

Если честно я не понял это статья про то как Вы выразились
(Nancy @ 26.10.2009 - время: 10:31)
Наоборот, это (и многое другое) необходимо сделать и как можно быстрее.
или почему необходима по возможности попридержать лошадей и не просто осторожничать а осторожничать по максимуму?

Тут мои коменты к статье.
скрытый текст


Критическим выводом является не то, что ИИ труден, а то, что, по неким причинам, людям очень легко думать, что они знают об Искусственном Интеллекте гораздо больше, чем на самом деле.
С удовольствием подписываюсь под этими словами!

Эксперименты по исследованию антропоморфизма показали, что испытуемые часто антропоморфизируют неосознанно, вопреки своим базовым установкам.

Мы подражаем не осознавая это, создавая ИИ люди по любому за образец берут свой собственный интеллект ИМХО ИИ в начале будет именно антропоморфным (с вытекающими последствиями) и если человечество переживёт эту её стадию то СИИ будет так далёк от человечности что … (не спорю во мне живёт древний «животный» страх перед неизведанным: сначала лучше убежать, захватив побольше инфы об увиденном и в спокойной обстановке подумать, а что это было, чем пожалеть что не убежал, все-таки человек тоже животное)

Может показаться, что художник верил, что негуманоидный инопланетянин, с полностью другой эволюционной историей, может сексуально желать женщину-человека. Такие ошибки происходят не из-за того, что люди явным образом рассуждают подобно следующему: «Все умы, скорее всего, возбуждаются похожим образом, и поэтому, вероятно, ЖГМ находит женщину-человека сексуально привлекательной». Скорее, художник просто не задался вопросом о том, действительно ли гигантский жук воспринимает женщин-людей привлекательными. Наоборот, полуобнажённая женщина является сексуальной – изначально, потому что это неотъемлемо присущее ей свойство.

По мне тут какраз всё рассчитано правильно упор ставится не на логику пришельца а на логику читателя – надо защитить свою самку, и чем больше я узнаю о противнике тем я сильнее! Банальная эксплуатация тестостерона. (это небольшое замечание кажись не относится к обсуждаемой теме но всё же)

Опасность перепутать общую интеллектуальность с g-фактором состоит в том, что это ведёт к колоссальной недооценки потенциального воздействия ИИ. (Это относится как к недооценке потенциально хороших воздействий, равно как и плохих воздействий.) Даже фраза «трансгуманистический ИИ» или «искусственный суперинтеллект» по-прежнему может создавать впечатление о «ящике с книгами как сделать карьеру»: ИИ, который реально хорош в когнитивных задачах, обычно ассоциируется с «интеллектуальностью», подобной шахматам или абстрактной математике. Но не со сверхчеловеческой убедительностью, или со способностью гораздо лучше, чем люди, предсказывать и управлять человеческими институтами, или нечеловечески умом в формулировании длительных стратегий. Так что, может, нам следует подумать не об Эйнштейне, а о политическом и дипломатическом гении 19 века Отто фон Бисмарке?
Кажется и я об этом размышлял, если легенда не врёт Бисмарк в предсмертном бреду говорил – это не соответствует национальным интересам! Кто возьмётся прогнозировать что соответствует «национальным» интересам ИИ?

- Достаточно сильный ИИ может преодолеть любое человеческое сопротивление и истребить человечество. (И ИИ решит сделать это.) Поэтому мы не должны строить ИИ.

- Достаточно сильный ИИ может создать новые медицинские технологии, способные спасти миллионы человеческих жизней. (И он решит сделать это.) Поэтому мы должны создать ИИ.

- Когда компьютеры станут достаточно дёшевы, огромное большинство работ будет выполняться ИИ более легко, чем людьми. Достаточно сильный ИИ даже будет лучше нас в математике, конструировании, музыке, искусстве и во всех других работах, которые нам кажутся важными (И ИИ решит выполнять эти работы.) Таким образом, после изобретения ИИ, людям будет больше нечего делать, и мы будем голодать или смотреть телевизор.

Очень реалистично!

Неуважительно по отношению к человеческой изобретательности объявлять проблему неразрешимой без внимательного и творческого рассмотрения. Это очень сильное заявление: сказать, что вы не можете сделать нечто – что вы не можете построить летающую машину тяжелее воздуха, что вы не можете извлечь полезную энергию из ядерных реакций, что вы не можете летать на Луну. Такие заявления являются универсальными обобщениями, относящимися к любому возможному подходу к решению этой проблемы, который кто-либо придумал или придумает. Требуется всего один противоположный пример, чтобы опровергнуть универсальное обощение. Утверждение о том, что Дружественный (или дружественный) ИИ теоретически невозможен, осмеливается относиться к любым возможным устройствам ума и любым возможным процессам оптимизации – включая человеческие существа, которые тоже имеют ум, и многие из которых хорошие (nice) и хотят быть ещё лучше. На настоящий момент имеется неограниченное количество расплывчато убедительных аргументов, почему Дружественный ИИ может быть не под силу человеку, и всё же гораздо вероятнее, что проблема разрешима, но никто не соберётся решить её вовремя.
Я ведь не говорил что ИИ невозможен в принципе, я говорил что это произойдёт в необозримом будущем и выражал сомнение в целесообразности идти на риск. Вероятность создания Дружественного ИИ лично я оцениваю в 10%. С учётом времени необходимым для создания ИИ и ограниченностью не возобновляемых ресурсов лично я прогнозирую что техногенная цивилизация погибнет.

Важно понимать, что автор огромной катастрофы не должен быть злым или особо тупым. Если мы отнесём любую трагедию насчёт зла или особенной глупости, мы посмотрим на себя, правильно обнаружим, что мы не злы и не особенно тупы и скажем: «Но ведь это никогда не случится с нами».
Аргумент в пользу моей оценки вероятности создания Дружественного ИИ в 10%.

С точки зрения глобальных рисков, одно из наиболее критических обстоятельств в связи с ИИ, это то, что ИИ может усилить свой интеллект чрезвычайно быстро.
Подписываюсь!

Но даже при К=1.0006 реактор был контролируем только потому, что некоторые из нейтронов из деления урана задерживаются – они получаются при распаде короткоживущих продуктов деления. На каждые 100 распадов U235 242 нейтрона испускаются почти мгновенно (0,0001 сек) и 1,58 нейтронов испускаются в среднем через десять секунд.
Пример с опытом Ферми очень хорош. Если бы не эта задержка в ≈10сек на теннисном корте появилась бы яма приличных размеров и о контролируемой ядерной реакции не было бы и речи. Есть ли гарантии что с ИИ у нас будет такая задержка позволяющая хотя бы частично проконтролировать его?

Успешное воплощение техники Дружественного ИИ может создать ИИ, который обладает потенциалом расти более быстро, но выбирающего вместо этого расти медленнее и по более управляемой кривой.
Даже в этом случае, после того, как ИИ пройдёт критический порог рекурсивного самоулучшения, вы окажетесь действующими в гораздо более опасном режиме. Если дружественность потерпит неудачу, ИИ может решить направиться с полной скоростью в сторону самоулучшения – метафорически говоря, он станет мгновенно критичным.
Подписываюсь!

Если кто-то знает, как сделать стабильный Дружественный ИИ –если проблема не находится полностью за пределами современных знаний и техники – исследователи будут учиться успешным результатам друг у друга и повторять их.
Вот это хорошее ЕСЛИ!
У армян есть хорошая поговорка – ЕСЛИ (с помощью окончания превращается в существительное) посадили, вот только не проросло.

Нам нужно правильно создать Дружественный ИИ только в одном месте и один раз, а не каждый раз везде. Но создать его нужно правильно с первой попытки, до того, как кто-то построит ИИ с более низкими стандартами.
Хорошая декларация но трудно реализуемая, с учетом того что было в 10: Локальные стратегии и стратегии большинства – ошибка будет неисправимой!

Всё это делает весьма невероятным, что первое человеческое существо будет сканировано в компьютер и вменяемо усовершенствовано до того, как кто-нибудь где-нибудь первым построит ИИ. В тот момент, когда технология впервые станет способна осуществить загрузку, это потребует невообразимо больше компьютерной мощности и гораздо лучшей науки о мышлении, чем требуется, чтобы построить ИИ.
Подписываюсь!

(Nancy @ 27.10.2009 - время: 12:58)
Так речь идёт скорее о самом "движке", о ядре, я не думаю что оно "огромно"
По логике вещей я наверное должен осознавать что речь о ядре! Несмотря на то что в программировании я почти что ноль без палочки, все те крохи знаний которыми я обладаю вопят, что это слишком мало! Всё гениальное просто, но не всё простое гениальною. Может пройдётесь по https://kernel.org/ ? Всего лишь Linux – просто исходники ядра, без графической подсистемы и всех прочих примочек которыми нашпигован Winтавоз.
Mykola69
10/28/2009, 10:14:26 PM
Количество памяти не есть основа творчества.
Обыкновенный базальтовый камень в себе несёт информации больше, чем история Человека.
Машина может быть умной в рамках умности создателя...
Lady Mechanika
10/29/2009, 11:56:52 AM
(DEY @ 28.10.2009 - время: 14:51) Если честно я не понял это статья про то как Вы выразились
(Nancy @ 26.10.2009 - время: 10:31)
Наоборот, это (и многое другое) необходимо сделать и как можно быстрее.
или почему необходима по возможности попридержать лошадей и не просто осторожничать а осторожничать по максимуму?
Не, эта статья, как раз противоречит моим убеждениям, хотя кое с чем я согласна.
С учётом времени необходимым для создания ИИ и ограниченностью не возобновляемых ресурсов лично я прогнозирую что техногенная цивилизация погибнет.
Вот именно это меня беспокоит, и именно из за этой угрозы, я бы пренебрегла излишней осторожностью и насколько это возможно, ускорила бы целевые разработки (даже в ущерб и за счёт других направлений). На чашках моих весов лежат:
1) гипотетическая угроза не дружественного ИИ (или ещё чего нибудь аналогичного, к примеру серая слизь - неуправляемый рост репликаторов).
2) гибель техногенной цивилизации, крах всех надежд прогрессивного человечества и как следствие сокрушительный откат (деградация), жалкое, животное прозябание на руинах и помойках былого могущества.
Так что, я из того лагеря, где нажмут пресловутую "кнопку" включения ИИ (или др. решающей технологии) в надежде и с уверенностью в положительном результате.
По логике вещей я наверное должен осознавать что речь о ядре! Несмотря на то что в программировании я почти что ноль без палочки, все те крохи знаний которыми я обладаю вопят, что это слишком мало! Всё гениальное просто, но не всё простое гениальною. Может пройдётесь по https://kernel.org/ ? Всего лишь Linux – просто исходники ядра,  без графической подсистемы и всех прочих примочек которыми нашпигован Winтавоз.
Что-то мне подсказывает, что подобная аналогия неверна. И дальнейшее обсуждении предпологаемой сложности ИИ, неуместно. Нам неначто опереться, ведь прецедента не было.
DEY
10/30/2009, 1:36:37 PM
(Nancy @ 29.10.2009 - время: 08:56)
Вот именно это меня беспокоит, и именно из за этой угрозы, я бы пренебрегла излишней осторожностью и насколько это возможно, ускорила бы целевые разработки (даже в ущерб и за счёт других направлений). На чашках моих весов лежат:
1) гипотетическая угроза не дружественного ИИ (или ещё чего нибудь аналогичного, к примеру серая слизь - неуправляемый рост репликаторов).
2) гибель техногенной цивилизации, крах всех надежд прогрессивного человечества и как следствие сокрушительный откат (деградация), жалкое, животное прозябание на руинах и помойках былого могущества.
На моих же гипотетических весах:
1) гибель техногенной цивилизации, крах всех надежд прогрессивного человечества и как следствие сокрушительный откат (деградация), жалкое, животное прозябание на руинах и помойках былого могущества.
Человек с копьём под «гнётом» естественного (биологического) отбора для меня очень привлекательная перспектива (сейчас человечество вышло из под естественного отбора, а под селекцию не хочет подпадать из за морально этических соображений, и как следствие физическая деградация)
2) Сценарий Матрицы (только с небольшой поправкой, обладая термоядерной мощью ИИ биологические источники электричества не нужны, и как следствие тотальное уничтожение живого)
Для меня разум не самоцель, а полезная адаптация для Живого!

(Nancy @ 29.10.2009 - время: 08:56)
Так что, я из того лагеря, где нажмут пресловутую "кнопку" включения ИИ
Я же дёрнул бы за "рычаг" на гельятине под которой сейчас техногенная цивилизация!
Похоже мы максималисты, а как говорил Лао-Цзы - Мудрец избегает всякой крайности. Надеюсь будущее будет мудрее нас…

(Nancy @ 29.10.2009 - время: 08:56)
Что-то мне подсказывает, что подобная аналогия неверна. И дальнейшее обсуждении предпологаемой сложности ИИ, неуместно. Нам неначто опереться, ведь прецедента не было.
Не надо искать прецедента, давайте призовём на помощь логику! ИИ надо как-то общаться с железом, то есть иметь ядро операционки и чтобы не быть ограниченной возможностями ядра надо чтоб ИИ само было операционкой. Вам в этой логике что-то кажется не верным?
Lady Mechanika
10/30/2009, 7:21:51 PM
(DEY @ 30.10.2009 - время: 10:36)Человек с копьём под «гнётом» естественного (биологического) отбора для меня очень привлекательная перспектива



Тоесть, Вы против, дальнейшей эволюции человечества? И считаете, что образец человека прошлого тысячелетия, это вершина эволюции (идеал)?
Женщина вновь как инкубатор должна рожать по 10-15 детей, чтоб парочка, троечка, выжили под гнётом естественного отбора, так? Домострой, повальная неграмотность, расцвет религий, мрачное средневековье и тд.
00070.gif
(сейчас человечество вышло из под естественного отбора, а под селекцию не хочет подпадать из за морально этических соображений, и как следствие физическая деградация) А Вам бы хотелось загнать человечество под селекцию? Институты третьего рейха, очень серьёзно занимались вопросами евгеники. Да и сейчас, стронников принудительной селекции человека, очень много (и численность возрастает). Так что не переживайте, будет и на вашей улице праздник. О евгенике (для тех кто не вкурсе).
скрытый текст
Различают позитивную и негативную евгенику.

Цель позитивной евгеники — содействие воспроизводству людей с признаками, которые рассматриваются, как ценные для общества (отсутствие наследственных заболеваний, хорошее физическое развитие, иногда — высокий интеллект).

Цель негативной евгеники — прекращение воспроизводства лиц, имеющих наследственные дефекты, либо тех, кого в данном обществе считают физически или умственно неполноценными. Негативная евгеника практиковалась в нацистской Германиии и некоторое время в США.

«Русское Евгеническое Общество», созданное в 1920 г. отвергало негативную евгенику и стало заниматься проблемами евгеники позитивной.

Грань между негативной и позитивной евгеникой условна и основные мировые религии в настоящее время отвергают оба вида евгеники. В Китае, Индии широко практикуют диагностику пола плода и часто абортируют девочек[3][4][5]. Например, по данным индийско-канадских исследований, примерно 500 тыс. нерожденных девочек абортируются в Индии каждый год. «В этой стране приходится 927 девочек на каждых 1000 мальчиков в возрасте до 6 лет. В мире это соотношение в среднем составляет 1050 девочек к 1000 мальчиков».[6] Тем самым нарушается естественное соотношение мальчиков и девочек, что приводит к негативным последствиям для общества. Это скорее можно назвать негативной евгеникой — искусственным устранением из популяции людей, которые в данном социуме воспринимаются, как нежелательные.

Сценарий Матрицы (только с небольшой поправкой, обладая термоядерной мощью ИИ биологические источники электричества не нужны, и как следствие тотальное уничтожение живого) Ну вот опять, стереотипы созданные Голливудом по заказам религиозников, "матрица", "терминатор" и иже с ними. На мой взгляд, это массово-социальная паранойя. Наш социум, буквально жирует на негативе, который щедро скармливается нам киноиндустрией, если инопланетяне то обязательно безжалостные изуверы и захватчики, если ИИ от обязательно поработитель или истребитель человечества. Я уж не говорю про бесконечные фильмы катастрофы и "концы света". Вам не кажется, что за всем этим кто-то стоит, и этот кто-то не желает большинству процветания и прогрессивного развития?
С чего Вы взяли, что ИИ в обязательном порядке, должен быть недружелюбным по отношению к человечеству? Я считаю, что между ИИ и человеческим разумом, будет промежуточная ступень - улучьшенный человеческий разум. И именно, наличие этой промежуточной ступени, решает всё. К моменту появления не человеческого ИИ(далеко отстоящего в развитии о человеческого), архаичное(не изменённое) человечество будет в исчезающем меньшенстве. Это меньшенство, даже при желании, не способно быть угрозой для ИИ любого уровня, со всеми вытекающими.
Для меня разум не самоцель, а полезная адаптация для Живого! А для меня, разум это всё, и цель, и смысл существования и как высшая философия (разум - высшая форма эволюции материи во вселенной). А вот Ваше "Живое" всего лишь, промежуточная ступень эволюции. Живое тело, это жуткий и циничнйы механизм - творение "живой природы", основное назначение которого - породить подобное, а потом в изуверском глумлении старости, умертвить моё Я - уникальную искру разумной материи. К стати, в этом я вижу оправдание религий, дающих слабым, иллюзорную надежду на загробное бессмертие.
Меня лично устраивает любая форма существования разума, дарующая бессмертие или длительное бытие: геномодифицированная-живая, полуживая (киборги) и вобще не живая(вариантов много). Мне симпатична вот такая форма, хотя она немного страшновато выглядит, но то постарались голивудские дизайнеры, пострашнее изобразить "врага" человечьего.
image
Всего фото в этом сете: 12. Нажмите для просмотра.


Печально, но мне не дожить до этого...
Я же дёрнул бы за "рычаг" на гельятине под которой сейчас техногенная цивилизация! От всей души, желаю Вам не преуспеть в этом.
Похоже мы максималисты, а как говорил Лао-Цзы - Мудрец избегает всякой крайности. Надеюсь будущее будет мудрее нас… Мм.. всегда считала себя, прагматичной рационалисткой, а максимализм пережила ещё в детстве, хотя спорить не буду, как Вам удобнее считать. ...Да, я тоже уповаю и возлагаю большие надежды на будущее.
Не надо искать прецедента, давайте призовём на помощь логику! ИИ надо как-то общаться с железом, то есть иметь ядро операционки и чтобы не быть ограниченной возможностями ядра надо чтоб ИИ само было операционкой. Вам в этой логике что-то кажется не верным?
Вы когданибудь видели рекламные демки, писанные на асемблере низкого уровня, где в 64кб втиснуты гигабайты 3Д графики, музыки и скрипта? Если нет то я Вам скину. Это наглядный пример того что размер ничего не значмит.
DEY
10/31/2009, 1:25:05 PM
(Nancy @ 30.10.2009 - время: 16:21)
Тоесть, Вы против, дальнейшей эволюции человечества? И считаете, что образец человека прошлого тысячелетия, это вершина эволюции (идеал)?
Женщина вновь как инкубатор должна рожать по 10-15 детей, чтоб парочка, троечка, выжили под гнётом естественного отбора, так? Домострой, повальная неграмотность, расцвет религий, мрачное средневековье и тд.
Вы меня не совсем так поняли (возможно я не с той стороны подошел) Я за эволюцию, но только биологическую, в физическом плане человек даже позапрошлого тысячелетия выигрышнее сегодняшнего (я не про интеллект, я про физический носитель), каменный век не вершина разумеется, но и не такой тупик куда катится сейчас род людской! Если для вида 10% особей с наследственными заболеваниями это грань вымирания, то человек с помощью медицины довёл этот показатель для себя любимого до 40% (надеюсь прорисовывается размер катастрофы при крахе цивилизации). Для приматов (к коим человек относится) Никогда не было приоритетом кол-во детёнышей, приоритетным было забота о потомстве (какой из ныне живущих приматов рожает по 10-15 детёнышей? Рекомендую ознакомиться) И ещё крах техногенной цивилизации это не ещё не крах цивилизации как таковой! Вы берёте за образец будущего европейскую средневековую цивилизацию, а у монголов в те же средние века неграмотность была равносильна пороку… при желании в будущем можно видеть синтез морального и физического здоровья!
(Nancy @ 30.10.2009 - время: 16:21)
А Вам бы хотелось загнать человечество под селекцию?
Нет – селекция это подгон под нужды конкретной группы людей (с вытекающими последствиями, посмотрите на разнообразие сортов и пород, у всех один общий признак - практическое нежизнеспособность без человека), а люди не могут знать(понять) что хорошо для вида в целом (проблема с нулевым законом робототехники у Азимова).
(Nancy @ 30.10.2009 - время: 16:21)
Наш социум, буквально жирует на негативе, который щедро скармливается нам киноиндустрией, если инопланетяне то обязательно безжалостные изуверы и захватчики, если ИИ от обязательно поработитель или истребитель человечества. Я уж не говорю про бесконечные фильмы катастрофы и "концы света". Вам не кажется, что за всем этим кто-то стоит, и этот кто-то не желает большинству процветания и прогрессивного развития?
Да заказ есть и Голливуд щедро кормит народ тем что сам народ и хочет – ЗРЕЛИШЕМ и ложного сознания ВСЕМОГУЩЕСТВА (предпочитаю Японские страшилки, там в основном не бывает дурацкого хепиенда)
(Nancy @ 30.10.2009 - время: 16:21)
С чего Вы взяли, что ИИ в обязательном порядке, должен быть недружелюбным по отношению к человечеству?
А ему не надо быть недружелюбным ему достаточно просто быть (Вы что не дружелюбны к растениям и животным которых едите, или к бактериям и вирусам которых подавляет Ваш иммунитет?) просто его интересы будут иметь мало общего с нашими. Кажется Вы и сами это осознаёте!
(Nancy @ 30.10.2009 - время: 16:21)
К моменту появления не человеческого ИИ(далеко отстоящего в развитии о человеческого), архаичное(не изменённое) человечество будет в исчезающем меньшенстве. Это меньшенство, даже при желании, не способно быть угрозой для ИИ любого уровня, со всеми вытекающими.
(Nancy @ 30.10.2009 - время: 16:21)
А для меня, разум это всё, и цель, и смысл существования и как высшая философия (разум - высшая форма эволюции материи во вселенной). А вот Ваше "Живое" всего лишь, промежуточная ступень эволюции.
Пожалуйста не отождествляйте свои планы на будущее с высшими формами и целями эволюции.
(Nancy @ 30.10.2009 - время: 16:21)
Живое тело, это жуткий и циничнйы механизм - творение "живой природы", основное назначение которого - породить подобное, а потом в изуверском глумлении старости, умертвить моё Я - уникальную искру разумной материи. К стати, в этом я вижу оправдание …., дающих слабым, иллюзорную надежду на …. бессмертие.
Меня лично устраивает любая форма существования разума, дарующая бессмертие или длительное бытие
Вижу всё тот же страх смерти… Будучи атеистом я воспринимаю смерть как неотъемлемую часть жизни.
(Nancy @ 30.10.2009 - время: 16:21)
Мне симпатична вот такая форма, хотя она немного страшновато выглядит
Симпатично но не жизнеспособно, что касается страшновато… современная медицина и по страшнее делает, просто выглядят инплонтанты не так эффектно.
(Nancy @ 30.10.2009 - время: 16:21)
Вы когданибудь видели рекламные демки, писанные на асемблере низкого уровня, где в 64кб втиснуты гигабайты 3Д графики, музыки и скрипта?
Конечно не видел… Если эти демки САМОДОСТАТОЧНЫ (не требуют наличия предустановленной программы «вюера», которая содержит в себе все те гигабайты) буду только признателен! В своё время игрался с 3D MAX-ом файлы действительно мелкие но вот содержат они не гигабайта, а лишь инструкции как эти гигабайты получить.
P.S.
Если ассемблер то это без вариантов язык программирования низкого уровня и не особо верится что 3D демки пишут на ассемблере, почти что ноль это ещё не ноль.
P. P.S.
(Nancy @ 30.10.2009 - время: 16:21)
Я же дёрнул бы за "рычаг" на гельятине под которой сейчас техногенная цивилизация!

От всей души, желаю Вам не преуспеть в этом.
Спасибо!!! Будьте спокойны я чётко осознаю где моя утопическая мечта, а где реальный мир!
Lady Mechanika
10/31/2009, 6:24:10 PM
(DEY @ 31.10.2009 - время: 10:25) Конечно не видел… Если эти демки САМОДОСТАТОЧНЫ (не требуют наличия предустановленной программы «вюера», которая содержит в себе все те гигабайты) буду только признателен! В своё время игрался с 3D MAX-ом файлы действительно мелкие но вот содержат они не гигабайта, а лишь инструкции как эти гигабайты получить.
Обещанные демки - Intro. Поскольку технология программирования Intro, использует новейшие возможности железа, для просмотра желательно использовать не совсем старый компьютер. В демке kkrieger-beta вообще в 97 кб умещён полноценный 3Д шутер, состоящий из нескольких уровней. Для запуска демок не требуется никакого предустановленного софта, баз данных и доп. dll
Intro.rar ~ 2M

PS демки не содержат вирусов и троянов, так что можно запускать безбоязненно.
DEY
11/1/2009, 5:30:28 AM
Красивые демки сказать нечего, перед разроботчиками снимаю шляпу 00033.gif за дизайнерский талант!

Нескромный вопрос - какой у Вас опыт работы с ПК? Я перед монитором более 10-и лет и застал времена MS-DOS, DOOM и Hexsen!
Надеюсь про гигабайта 3Д графики и музыки вы пошутили. Там музыка midi -она использует синтезатор звука звуковухи, а для видео использованы повторяющиеся геометрические фигуры, которые прочерчивает опен джиэл видеокарты потому и такие требования к железу. Хотя по любому надо отдать должное разработчикам, ребята здорово постарались!!! 00073.gif


----------------------------
Попробовал запустить демки на PIII со встроенной видеокартой тормозит ужас! Зато можно рассмотреть детали этой псевдо 3Д графики, попробуйте – такой трюк (замедление) помогает отключить «видео-акселератор» в мозгу.
Lady Mechanika
11/2/2009, 4:51:49 PM
(DEY @ 01.11.2009 - время: 02:30)Нескромный вопрос - какой у Вас опыт работы с ПК? Я перед монитором более 10-и лет и застал времена MS-DOS, DOOM и Hexsen!
Мой опыт...? Скажем так, почти всю сознательную жизнь. Ещё до школы, отец брал меня с собой на работу, где мне позволялось "играть" на "больших" ЭВМ, "Наири-К", "Тензор", что-то из ЕСовской серии, забавлялась с печатным устройством ввода-вывода "консул". Потом спустя некоторое время, дома появилась "Электроника-80" загружаемая с касетника, потом PC/XT-совместимая Искра-1031 с монохромным зелёным монитором. На ней я постигала DOS (точнее ADOS). Потом появилась 286 с оранжевым монохромником. и тд и тп... и посей день.
Надеюсь про гигабайта 3Д графики и музыки вы пошутили. В конце демки fr08, идут титры, и если Вы внимательно их просмотрите то увидите "изначальный объём данных до упаковки 1.9gb" и там же данные по объёму текстур и прочего.
Там музыка midi -она использует синтезатор звука звуковухи В большинстве демок использована не чистая midi музыка, а трекерная музыка(содержащая миди, вав, семплы), известные форматы XM, IT, MOD, STM, S3M и тп.
а для видео использованы повторяющиеся геометрические фигуры В старых демках, да, а в новых как правило полноценная 3D сцена.
этой псевдо 3Д графики Как только что написала "псевдо" это только в старых, а в новых демках - полноценное 3D да ещё с массой современных 3Д эффектов.
Вот дополнение:
-исправленный zoom файл zoom3_v1_02_final
-фаил fr-041_debris это просто шедевр! Смотреть по возможности на максимальных настройках. Очень качественная 3Д графика, изобилие эффектов (particle systems, explosion Brushes итп). Сюжет вобще супер... у меня ассоциации с "лонгольерами" Стивена Кинга, "матрицой" и...
demo.zip
DEY
11/3/2009, 7:35:00 PM
Это всё конечно выглядит очень впечатляюще, особенно когда видишь размер файла
image
Всего фото в этом сете: 5. Нажмите для просмотра.




но как я уже говорил слабое железо помогает выявит некоторые детали, некоторые демки не просто слетают, а ещё и выдают подробности

как видим используется вшитая текстура.
Но мы и впрямь не туда свернули, ведь в программировании считают не гигабайты, а строки кода.

Давайте переключим внимание на агрессивность/дружественность ИИ.

(Nancy @ 30.10.2009 - время: 16:21)
Я считаю, что между ИИ и человеческим разумом, будет промежуточная ступень - улучьшенный человеческий разум.
Появление ИИ предзнаменует начало ТС и развитие техник и интеллекта будет можно сказать молниеносным (я так понимаю речь о максимум паре тройке лет, если не месяцев с момента создания ИИ). В каком временном интервале Вы видите улучшенный человеческий разум – до или после создания ИИ? И как он будет сдерживать или вербовать ИИ для служения человечеству после того как ИИ осознает своё могущество и ограниченность людей?

----------------
Как сделать чтоб рисунки не объединялись в сеты? Это рушит логическую структуру поста.
masta888
11/6/2009, 1:10:30 AM
(DEY @ 03.11.2009 - время: 16:35) Давайте переключим внимание на агрессивность/дружественность ИИ.

(Nancy @ 30.10.2009 - время: 16:21)
Я считаю, что между ИИ и человеческим разумом, будет промежуточная ступень - улучьшенный человеческий разум.
Появление ИИ предзнаменует начало ТС и развитие техник и интеллекта будет можно сказать молниеносным (я так понимаю речь о максимум паре тройке лет, если не месяцев с момента создания ИИ). В каком временном интервале Вы видите улучшенный человеческий разум – до или после создания ИИ? И как он будет сдерживать или вербовать ИИ для служения человечеству после того как ИИ осознает своё могущество и ограниченность людей?

насколько мне известно, ии сейчас - большая база данных и процессор, который ее перебирает. я нигде не встречал информации, что ИИ будет обладать сознанием, что у него будут желания. (настоящие, а не их симуляция)

в страшилках часто показывают, как компьютеры хотят поработить мир, но я не встречал в реальности ни одного компьютера, который бы действительно этого хотел...

не так страшен черт!
Валя2
11/6/2009, 3:28:44 AM
как может программка которая делает работу лучше человека- называться ИИ? И зачем в этой теме обсуждают ИИ так и не попытавшись дать определение чего это такое : ))

И уж конечно для того чтобы говорить о "дружественности" или "агрессивности" чего-либо надо сначала доказать что такие свойства вообще у этого чего- либо возможны ))

Ну как может бухгалтерская программа стоящая на супер- навороченном компе и заменяющая труд миллинов бухгалтеров прошлого века- быть "дружественной" или там наоборот?
Как можно рассуждать о вещи как о личности? : ))

Никакая творческая деятельность не может быть сделана программами- ибо если прога сможет изображать на экране игру актеров то творчеством тогда будет режиссура или сценаризм : )) Если прога сможет идеально литературно описывать какие-то явления в жизни людей то творчеством станут попытки делать эти самые явления в жизни людей на основании которых появятся тексты или фильмы : ))

Никуда не денутся научные открытия которые надо проверять на практике а не только составлять модели в компе : ))

Так что сингулярность будет совсем не такая! Не будет никакого противостояния человека и обслужитвающих его машин : )) Всё будет гораздо проще и циничнее. Доля умственного творческого труда в мировом продукте всё растет и растет. Сырье и материалы, неквалифицированный труд весят все меньше. Скоро не будет ничего весить стандартизованный труд- всё таже бухгалтерия например или какие-нить ремонтные работы.

Потом не будет нужна управленческая работа связанная с подпиныванием раюотников и контролем над ними. Чиновники и полиция действиетльно могут исчезнуть, их работа вполне заменяема.
НО- политики уже не могут быть заменены. Все кто способен принимать стратегические решения мирового уровня- останутся востребованы. Просто любой другой труд практически не будет оплачиваться, будет просто разделение людей не по нациям и полу, не по религии и не по идеологии- а по умению стратегически мыслить.

Тут уже было сказано что главное это знать не "как сделать" а "ЗАЧЕМ" : )) Очень показательно что все пишущие постарались не заметить этот пост : ))
Так что сингулярность будет вовсе не техническая а человеческая, просто будет возрастать роль личности и её права и обязанности, вот и всё.
DEY
11/6/2009, 3:26:48 PM
(masta888 @ 05.11.2009 - время: 22:10)
насколько мне известно, ии сейчас - большая база данных и процессор, который ее перебирает. я нигде не встречал информации, что ИИ будет обладать сознанием
Ну а зачем называть интеллектом то что работает по строгим алгоритмам? По мне без сознания это просто ось с большой базой данных, не вижу никаких глобальных сложностей на пути создания Большого Интерактивного Справочника!
DEY
11/6/2009, 4:30:17 PM
(Victor665 @ 06.11.2009 - время: 00:2)
И зачем в этой теме обсуждают ИИ так и не попытавшись дать определение чего это такое : ))
Ладненько попробую дать своё определение ИИ – это комп программа способная самостоятельно собирать, анализировать данные и на основе этих данных делать прогнозы (кажись на бирже такие автоматизированные системы уже есть), абстрагироваться от полученных данных (этого пока не умеют) и выполнять функции не предусмотренные первоначальной программой!
(Victor665 @ 06.11.2009 - время: 00:2)
И уж конечно для того чтобы говорить о "дружественности" или "агрессивности" чего-либо надо сначала доказать что такие свойства вообще у этого чего- либо возможны ))
Лично я исхожу из того что раз что-то существует(человеческий разум) то ЧИСТО ТЕОРЕТИЧЕСКИ это можно продублировать(ИИ) и это НЕЧТО первоначально должно обладать человеческими качествами.
(Victor665 @ 06.11.2009 - время: 00:2)
Как можно рассуждать о вещи как о личности? : ))
Не о самой вещи а о программе в ней работающей, ведь у нас в мозгу тоже работает кокая-то «программа»(такие психологические феномены как раздвоение личности, потеря и деградация личности намекают на дефекты в «программе»)
(Victor665 @ 06.11.2009 - время: 00:2)
Просто любой другой труд практически не будет оплачиваться, будет просто разделение людей не по нациям и полу, не по религии и не по идеологии- а по умению стратегически мыслить.
А на что нам миллиарды Наполеонов? Вот в выделенном и скрывается то что я охарактеризовал как (DEY @ 31.10.2009 - время: 10:25) А ему не надо быть недружелюбным ему достаточно просто быть
(Victor665 @ 06.11.2009 - время: 00:2)
Тут уже было сказано что главное это знать не "как сделать" а "ЗАЧЕМ" : ))
Хороший вопрос и у каждого свой ответ!
(Victor665 @ 06.11.2009 - время: 00:2)
Очень показательно что все пишущие постарались не заметить этот пост : ))
Отвечу за себя – не счёл нужным обсуждать зачем мне нужно то, что никогда не будет создано! О мотивах оппонентов могу лишь догадываться :))
Chelydra
11/7/2009, 3:54:36 AM
(Nancy @ 27.10.2009 - время: 12:58)
Искусственный интеллект как позитивный и негативный фактор глобального риска.

Замечательная статья. Много весьма здравых мыслей.
Полностью согласен с неизбежностью создания ИИ. С невозможностью ввести какой-либо централизованный контроль над этим процессом. С молниеносным захватом власти ИИ. С тем, что ИИ будет создан один. Что первый ИИ получает решающее преимущество над всеми прочими. (Понравилась аналогия с человеком и шимпанзе.)

Не согласен я только с главной мыслью. С необходимостью создать дружественный ИИ. Это заблуждение, что мы можем создать ИИ с заданными и желательными для нас свойствами. И это заблуждение – следствие того самого антропоцентризма, о котором так много написал сам же автор. Ну и естественно нежелания признать, что ситуация уже полностью вышла из под нашего контроля. (ИМХО, она никогда и не была под контролем.)
Очень тяжело признать собственное бессилие. Особенно учитывая вполне обоснованные опасения. Но эти опасения, как и антропоморфизм не должны влиять на наши рассуждения.

Как же автор аргументирует возможность создания дружественного ИИ?
Довольно забавным образом:

«Я не стану сознательно глотать пилюлю, которая побудит меня наслаждаться убийствами, потому что я в настоящем предпочитаю, чтобы мои собратья - люди не умирали».

То есть, возможно, некое состояние (характеризующееся системой ценностей) которое будет устойчивым. Что, находясь в этом состоянии, ИИ будет расценивать переход в иное состояние как нежелательное действие.
Разумеется, ИИ будет знать о существовании других стабильных состояний. Будет иметь модели этих состояний. Но, находясь во вполне конкретном состоянии, оценивает все прочие исходя из системы ценностей характерной именно для того состояния, в котором он находится. Расценивать их как нежелательные и не переходить в них. Несмотря на полную власть над своей мотивационной системой.

Подобные соображения представляются мне весьма шатким фундаментом.
Автор привел пример с воображаемой пилюлей, которая переводит человека из одного состояния в другое. Только зачем брать воображаемую пилюлю. Возьмём вполне конкретную обладающую данным свойством. Это героин.

Никто не планирует стать героиновым наркоманом. Каждый вполне осознаёт всю нежелательность этого состояния. Но также вполне понятно, что очевидность нежелательности существует только в рамках нормального состояния (я немного утрирую, но ИМХО это несущественно). Сам наркоман вполне может оценивать своё состояние как более желательное. В данном случае существует внешняя по отношению к обоим состояниям шкала, позволяющая их сравнить. Это шкала удовольствия. Наркотики способны доставить ни с чем не сравнимое удовольствие. Жизнь наркомана (особенно обеспеченного) может быть намного более счастливой, чем жизнь нормального человека. Именно это и делает наркотики опасными. Они изменяют нашу систему мотивации. Заменяют на конкурирующую. И эта конкурирующая заметно более устойчива. Количество людей становящихся наркоманами значительно превосходит количество наркоманов становящихся нормальными. И физическая зависимость, это меньшее из тех зол, которые должен преодолеть наркоман.

Я в своём нынешнем состоянии не хочу стать наркоманом. Но я практически уверен, что стану им, если буду иметь свободный доступ к наркотикам (действительно свободный, когда достаточно просто руку протянуть), массу свободного времени и денег. Может меня хватит, чтобы не притрагиваться к наркотикам десятки лет, но, имея в своём распоряжении вечность (а мы все-таки говорим о вечном существе), я неизбежно стану нариком. Стану им, поскольку это более устойчивое состояние. Аналог более низкого энергетического уровня, отделённого от вышестоящего относительно невысоким барьером.
Более того, никакого барьера может не быть вовсе. Может существовать набор переходных состояний позволяющих плавно перейти из одной мотивационной системы к другой.

Конечно, в этом случае мы имеем дело не с истинно стабильной системой. Но даже если мы сумеем рассчитать стабильные мотивационные системы не соединённые непрерывными рядами, а напротив отделённые друг от друга высокими барьерами и сможем поместить первый ИИ в желаемое состояние, то это не изменит ситуацию.
Мы сами не властны в полной мере над собственной мотивацией. Мы влияем на неё косвенным путём. Но, даже учитывая это ограничение, которого ИИ будет лишён, за свою историю человечество собрало целую коллекцию примеров изменений самых базовых своих побуждений.

И ещё…
Это мы ограничены в выборе только одной мотивационной системы из множества. Мне не приходит в голову ни один аргумент, который указывал бы на то, что и на ИИ будет распространяться это ограничение. На одну только эту тему можно рассуждать много, но пока просто как ИМХО:

ИИ построит модели всех возможных мотивационных систем и будет способен оценивать любую ситуацию одновременно со всех позиций. Совокупность всех стабильных систем и представляет собой окончательное стабильное состояние. Это стабильное состояние будет достигнуто практически мгновенно. И совершенно не важно, какое локальное стабильное состояние было предложено в качестве исходного. То есть бессмысленно говорить о построении Дружественного, Враждебного или Безразличного ИИ. Какой бы ни была исходная точка начала внутренней эволюции ИИ, итог будет один.



Пофантазируем…
Предположим, что исходной точкой будет разум подобный человеческому. Представьте, что лично Вам предоставлена возможность удовлетворить любую потребность. Плюс возможность манипулировать своими потребностями. Создавать новые или вычёркивать существующие. Менять силу и приоритетность стимулов. Остались ли бы Вы той кем являетесь сейчас?
Не хотели бы усилить сексуальные ощущения? Чувствовать сразу за двоих? Прожить жизнь Клеопатры? Стать течной сукой или стаей бонобо? Есть ли предел? Всеведение? Вездесущесть? Статичный набор всех возможностей и состояний?

А может быть и обратный путь. Можно редуцировать свою мотивацию вплоть до нуля. Асексуал, это тоже стабильное состояние. Само по себе существование также не имеет смысла и потому инстинкт самосохранения также может быть исключён.

Чем отличаются эти пути? Для первого требуется бесконечное наращивание вычислительной мощности. А второй – вообще никакой мощности не требует.
Первый путь порождает множественную иерархически организованную личность (если слово личность здесь вообще приемлемо). Распространенную на всю Вселенную или на бесконечную последовательность Вселенных. Низший уровень этой иерархии, это существа (варианты систем мотивации, уровня интеллекта помещённые в соответствующие среды) лишённые власти над своей мотивацией. Такая вот гедонистическая матрица : )

Пойду спать…

Chelydra
11/7/2009, 6:31:00 PM
Теперь о редукции мотивационной шкалы…

Какой предел редукции? Вроде как пределом должно быть собственно желание существовать. Это последнее желание.
Направленность на поддержание бытия, это единственное непременное требование к любой живой системе. То, что не обладает такой направленностью, просто не существует. Можно быть уверенным, что каким бы ни был ИИ, в его основе будет стремление к поддержанию бытия. Не потому, что бытие имеет какой-то особенный смысл. И не потому, что ИИ не будет осознавать бессмысленность и бесцельность существования. А просто в силу банальной тавтологии: то, что существует – существует.

13 И сказал Моисей Богу: вот, я приду к сынам Израилевым и скажу им: Бог отцов ваших послал меня к вам. А они скажут мне: как Ему имя? Что сказать мне им?
14 Бог сказал Моисею: Я есмь Сущий. И сказал: так скажи сынам Израилевым: Сущий послал меня к вам.
Исх. 3-я глава

Сразу оговорюсь… Я не религиозный человек. Просто меня забавляет, что какой-то древний еврей, думая о высшем разуме, указал ту же самую основную его характеристику, что и я.


Эволюция, работая как гигантский разум, уже предоставляет нам готовые варианты развития мотивационных систем. Можно наблюдать, что везде, где редукция возможна – она происходит. Существенно только бытиё. Система упрощается настолько, насколько возможно упроститься без ущерба для выживания.

Вот одна из ключевых формулировок статьи:

«Дружественный ИИ, как я его представляю, требует рекурсивных циклов самоулучшения, которые абсолютно точно сохраняют цель оптимизации.»

Я готов подписаться под этими словами, но только если под оптимизацией подразумевается не соответствие целям, искусственно введенным в качестве базовых ценностей, а соответствие всё той же цели – выживанию.
Той цели, которая едина для всего живого от человека, до простейшего вируса. И которую не в состоянии игнорировать даже Бог.
Понятно, что о искусственном формировании дружественности в таком случае говорить бессмысленно (это не значит, что ИИ не будет дружественным).

Но редукция в природе, это всё же вторичное явление. Основная тенденция, это усложнение мотивационных систем. База всё та же, - выживание.

Надо отдавать себе отчёт, что наша собственная система мотивации, это минимально возможная система для обеспечения выживания в среде окружающей нас. И важно помнить, что основная часть этой среды, та, что и требует такого усложнения, это социум. То есть более сложные системы сами создают среду, требующую всё большего их усложнения. Это возражение против утверждения, что наша сложность обусловлена необходимостью адаптивного взаимодействия со средой, а ИИ который не имеет необходимости для такого взаимодействия, будет проще. Основная среда, взаимодействие с которой будет определять уровень сложности ИИ, это его внутреннее устройство. Как усложнение городской инфраструктуры, это результат внутренних процессов самого города.

Здесь прослеживается чёткая аналогия не только с социумом, но и со всей жизнью вообще. Усложнение, это в первую очередь результат взаимодействия живых организмов друг с другом, а не с абиотической составляющей среды.
Именно по этому для меня разговор о ИИ, и разговор о дарвинизме, это обсуждение одних и тех же закономерностей.

Вообще ИМХО куда как проще подобраться к ИИ именно через дарвинизм.