Помощь по Теле2, тарифы, вопросы

Для ответа на эти вопросы нужно начать с определений дружественного ИИ и недружественного ИИ.

В случае с ИИ, дружественный не относится к личности ИИ - это просто означает, что ИИ имеет положительное влияние на человечество. И недружественный ИИ оказывает негативное влияние на людей. Тарри начинала с дружественного ИИ, но в какой-то момент стала недружественной, в результате чего привела к величайшему из негативных влияний на наш вид. Чтобы понять, почему это произошло, нам нужно взглянуть на то, как думает ИИ и что его мотивирует.

В ответе не будет ничего удивительного - ИИ думает как компьютер, потому что им и является. Но когда мы думаем о чрезвычайно умном ИИ, мы совершаем ошибку, антроморфизируя ИИ (проектируя человеческие ценности на нечеловеческое существо), потому что думаем с точки зрения человека и потому, что в нашем нынешнем мире единственным разумным существом с высоким (по нашим меркам) интеллектом является человек. Чтобы понять ИСИ, нам нужно вывернуть шею, пытаясь понять что-то одновременно разумное и совершенно чуждое.

Позвольте провести сравнение. Если вы дали мне морскую свинку и сказали, что она не кусается, я был бы рад. Она хорошая. Если вы после этого вручили бы мне тарантула и сказали, что он точно не укусит, я бы выбросил его и убежал бы, «волосы назад», зная, что вам не стоит доверять никогда больше. В чем разница? Ни то ни другое существо не было опасным. Но ответ лежит в степени сходства животных со мной.

Морская свинка - млекопитающее, и на некотором биологическом уровне я чувствую связь с ней. Но паук - насекомое, с мозгом насекомого, и я не чувствую ничего родного в нем. Именно чуждость тарантула вызывает во мне дрожь. Чтобы проверить это, я мог бы взять две морских свинки, одну нормальную, а другую с мозгом тарантула. Даже если бы я знал, что последняя не укусит меня, я бы относился к ней с опаской.

Теперь представьте, что вы сделали паука намного умнее - так, что он намного превзошел человека в интеллекте. Станет ли он более приятным для вас, начнет ли испытывать человеческие эмоции, эмпатию, юмор и любовь? Нет, конечно, потому что у него нет никаких причин становиться умным с точки зрения человека - он будет невероятно умным, но останется пауком в душе, с паучьими навыками и инстинктами. По-моему, это крайне жутко. Я бы не хотел провести время со сверхразумным пауком. А вы?

Когда мы говорим об ИСИ, применяются те же понятия - он станет сверхразумным, но человека в нем будет столько же, сколько в вашем компьютере. Он будет совершенно чуждым для нас. Даже не биологическим - он будет еще более чуждым, чем умный тарантул.

Делая ИИ добрым или злым, фильмы постоянно антропоморфизируют ИИ, что делает его менее жутким, чем он должен был быть в действительности. Это оставляет нас с ложным чувством комфорта, когда мы думаем об искусственном сверхинтеллекте.

На нашем маленьком острове человеческой психологии мы делим все на нравственное и безнравственное. Такова мораль. Но оба этих понятия существуют только в узком диапазоне поведенческих возможностей человека. За пределами острова морального есть безграничное море аморального, а все, что не является человеческим или биологическим, по умолчанию должно быть аморальным.

Антропоморфизация становится еще более заманчивой по мере того, как системы ИИ становятся умнее и лучше в попытках казаться людьми. Siri кажется человеком, потому что была запрограммирована, чтобы казаться людям такой, поэтому мы думаем, что сверхразумная Siri будет теплой и веселой, а также заинтересованной в обслуживании людей. Люди чувствуют эмоции на высоком уровне вроде эмпатии, потому что мы эволюционировали, чтобы ощущать их - то есть были запрограммированы чувствовать их в процессе эволюции - но эмпатия не является существенной характеристикой чего-то, что обладает высоким интеллектом, если только ее не ввели вместе с кодом. Если Siri когда-либо станет сверхинтеллектом в процессе самообучения и без вмешательства человека, она быстро оставит свои человеческие качества и станет безэмоциональным чужим ботом, который ценит человеческую жизнь не больше, чем ваш калькулятор.

Мы привыкли полагаться на моральный код или по крайней мере ожидаем от людей порядочности и сопереживания, чтобы все вокруг было безопасным и предсказуемым. Что происходит, когда этого нет? Это приводит нас к вопросу: что мотивирует систему ИИ?

Ответ прост: ее мотивация - это то, что мы запрограммировали как мотивацию. Системами ИИ движут цели их создателей - цель вашего GPS в том, чтобы дать вам наиболее эффективное направление движения; цель Watson - точно отвечать на вопросы. И выполнение этих целей максимально хорошо и есть их мотивация. Когда мы наделяем ИИ человеческими чертами, мы думаем, что если ИИ станет сверхразумным, он незамедлительно выработает мудрость изменить свою изначальную цель. Но Ник Бостром считает, что уровень интеллекта и конечные цели ортогональны, то есть любой уровень интеллекта может быть объединен с любой конечной целью. Поэтому Тарри перешла из простого УИИ, который хочет быть хорош в написании одной заметки, в сверхразумный ИСИ, который все еще хочет быть хорош в написании этой самой заметки. Любое допущение того, что сверихинтеллект должен отказаться от своих первоначальных целей в пользу других, более интересных или полезных, это антропоморфизация. Люди умеют «забивать», но не компьютеры.

Несколько слов о парадоксе Ферми

В нашей истории, когда Тарри становится сверхинтеллектом, она начинает процесс колонизации астероидов и других планет. В продолжении истории вы бы услышали о ней и ее армии триллионов реплик, которые продолжают покорять галактику за галактикой, пока не заполняют весь объем Хаббла. Резиденты «зоны тревоги» переживают, что если все пойдет не так, последним упоминанием жизни на Земле будет покоривший Вселенную . Элон Маск выразил свои опасения тем, что люди могут быть просто «биологическим загрузчиком для цифрового сверхинтеллекта».

В то же время, в «зоне комфорта», Рэй Курцвейл тоже считает, что рожденный на Земле ИИ должен покорить Вселенную - только, в его версии, мы будем этим ИИ.

Читатели сайт наверняка уже выработали собственную точку зрения на парадокс Ферми. Согласно этому парадоксу, который звучит примерно как «Где они?», за миллиарды лет развития инопланетяне должны были оставить хоть какой-нибудь след, если не расселиться по Вселенной. Но их нет. С одной стороны, во Вселенной должно существовать хоть какое-то число технически развитых цивилизаций. С другой, наблюдений, которые бы это подтверждали, нет. Либо мы не правы, либо где они в таком случае? Как наши рассуждения об ИСИ должны повлиять на парадокс Ферми?

Естественное, первая мысль - ИСИ должен быть идеальным кандидатом на .И да, это идеальный кандидат для фильтра биологической жизни после ее создания. Но если после смешения с жизнью ИСИ продолжает существовать и покорять галактику, это означает, что он не был Великим фильтром - поскольку Великий фильтр пытается объяснить, почему нет никаких признаков разумных цивилизаций, а покоряющий галактики ИСИ определенно должен быть заметен.

Мы должны взглянуть на это с другой стороны. Если те, кто считает, что появление ИСИ на Земле неизбежно, это означает, что значительная часть внеземных цивилизаций, которые достигают человеческого уровня интеллекта, должны в конечном итоге создавать ИСИ. Если мы допускаем, что по крайней мере несколько из этих ИСИ используют свой интеллект, чтобы выбраться во внешний мир, тот факт, что мы ничего не видим, должен наводить нас на мысли, что не так-то много разумных цивилизаций там, в космосе. Потому что если бы они были, мы бы имели возможность наблюдать все последствия от их разумной деятельности - и, как следствие, неизбежное создание ИСИ. Так?

Это означает, что, несмотря на все похожие на Землю планеты, вращающиеся вокруг солнцеподобных звезд, мы знаем, что практически нигде нет разумной жизни. Что, в свою очередь, означает, что либо а) есть некий Великий фильтр, который предотвращает развитие жизни до нашего уровня, но нам каким-то образом удалось его пройти; б) жизнь - это чудо, и мы можем быть единственной жизнью во Вселенной. Другими словами, это означает, что Великий фильтр был до нас. Или нет никакого Великого фильтра и мы просто являемся самой первой цивилизацией, которая достигла такого уровня интеллекта.

Неудивительно, что Ник Бостром и Рэй Курцвейл принадлежат к одному лагерю, который считает, что мы одни во Вселенной. В этом есть смысл, это люди верят, что ИСИ - это единственный исход для видов нашего уровня интеллекта. Это не исключает вариант другого лагеря - что есть некий хищник, который хранит тишину в ночном небе и может объяснить его молчание даже при наличии ИСИ где-то во Вселенной. Но с тем, что мы узнали о нем, последний вариант набирает очень мало популярности.

Поэтому нам, пожалуй, стоит согласиться со Сьюзан Шнайдер: если нас когда-либо посещали инопланетяне, они наверняка .

Таким образом, мы установили, что без определенного программирования система ИСИ будет одновременно аморальной и одержимой выполнением первоначально запрограммированной цели. Именно здесь рождается опасность ИИ. Потому что рациональный агент будет преследовать свою цель, используя наиболее эффективные средства, если только не будет причины не делать этого.

Когда вы пытаетесь достичь высокой цели, зачастую при этом появляется несколько подцелей, которые помогут вам добраться до конечной цели - ступеньки на вашем пути. Официальное название для такой лестницы - инструментальная цель. И опять же, если у вас нет цели не навредить кому-либо по пути к этой цели, вы обязательно навредите.

Ядро финальной цели человеческого бытия - передача генов. Для того чтобы это произошло, одной из инструментальных целей является самосохранение, потому что вы не сможете воспроизвестись, будучи мертвым. Для самосохранения люди должны избавиться от угроз для жизни - поэтому они обзаводятся оружием, принимают антибиотики и пользуются ремнями безопасности. Людям также нужно самоподдерживаться и использовать ресурсы вроде пищи, воды и жилья. Быть привлекательным для противоположного пола также способствует достижению конечной цели, поэтому мы делаем модные стрижки и держим себя в форме. При этом каждый волос - жертва нашей инструментальной цели, но мы не видим никаких моральных ограничений в том, чтобы избавляться от волос. Когда мы идем к своей цели, есть не так много областей, где наш моральный код иногда вмешивается - чаще всего это связано с нанесением ущерба других людям.

Животные, преследующие свои цели, еще менее щепетильны. Паук убьет что угодно, если это поможет ему выжить. Сверхразумный паук, вероятнее всего, будет чрезвычайно опасен для нас, не потому что он аморальный и злой, нет, а потому что причинение нам боли может быть ступенькой на пути к его большой цели, и у него нет никаких причин считать иначе.

В этом смысле Тарри ничем не отличается от биологического существа. Ее конечная цель: написать и проверить максимально много записок за максимально короткое время, при этом изучая новые способы улучшения своей точности.

После того как Тарри достигает определенного уровня интеллекта, она понимает, что не сможет писать записки, если не позаботится о самосохранении, поэтому одной из ее задач становится выживание. Она была достаточно умной, чтобы понять, что люди могут уничтожить ее, демонтировать, изменить ее внутренний код (уже это само по себе помешает ее конечной цели). Так что же ей делать? Логично: она уничтожает человечество. Она ненавидит людей ровно настолько же, насколько вы ненавидите свои волосы, когда обрезаете их, или бактерий, когда принимаете антибиотики - вы совершенно равнодушны. Так как ее не запрограммировали ценить человеческую жизнь, убийство людей показалось ей разумным шагом по пути к ее цели.

Тарри также нуждается в ресурсах по пути к своей цели. После того как она становится достаточно развитой, чтобы использовать нанотехнологии для создания всего, что она хочет, единственные ресурсы, которые ей нужны, это атомы, — энергия и пространство. Появляется еще один повод убить людей - они удобный источник атомов. Убийство людей и превращение их атомов в солнечные панели по версии Тарри ничем не отличается от того, что вы порубите листья салата и добавите их в тарелку. Просто заурядное действие.

Даже не убивая людей напрямую, инструментальные цели Тарри могут стать причиной экзистенциальной катастрофы, если начнут использовать другие ресурсы Земли. Может быть, она решит, что ей нужна дополнительная энергия, а значит нужно покрыть поверхность планеты солнечными панелями. Или, возможно, задачей другого ИИ станет написать максимально длинное число пи, что в один прекрасный день приведет к тому, что вся Земля будет покрыта жесткими дисками, способными хранить нужное количество цифр.

Поэтому Тарри не «восстала против нас» и не сменила амплуа с дружелюбного ИИ на недружелюбный ИИ - она просто делала свое дело и становилась в нем непревзойденной.

Когда система ИИ достигает ОИИ (интеллекта человеческого уровня), а затем прокладывает свой путь к ИСИ, это называется взлетом ИИ. Бостром говорит, что взлет ОИИ до ИСИ может быть быстрым (произойти в течение минут, часов или дней), средним (месяцы или годы) или медленным (десятилетия или века). Едва ли найдется жюри, которое подтвердит, что мир видит свой первый ОИИ, но Бостром, признающий, что не знает, когда мы доберемся до ОИИ, считает, что когда бы это ни произошло, быстрый взлет будет наиболее вероятным сценарием (по причинам, которые мы обсуждали в первой части статьи). В нашей истории Тарри пережила быстрый взлет.

Но перед взлетом Тарри, когда она еще не была достаточно умна и делала все возможное, она просто пыталась достичь конечных целей - простых инструментальных целей вроде быстрого сканирования образца почерка. Она не причиняла вреда человеку и была, по определению, дружественным ИИ.

Когда происходит взлет и компьютер вырастает до сверхинтеллекта, Бостром указывает, что машина не просто выработала высокий коэффициент интеллекта - он получил целую кучу так называемых суперспособностей.

Суперспособности - это когнитивные таланты, которые становятся чрезвычайно мощными при повышении общего интеллекта. Сюда входят:

• Усиление интеллекта . Компьютер начинает превосходное самосовершенствование и улучшение собственного интеллекта.
• Стратегизация . Компьютер может выстраивать стратегически, анализировать и расставлять приоритеты долгосрочных планов. Он также может перехитрить существа с более низким интеллектом.
• Социальная манипуляция . Машина становится невероятной в убеждении.
• Другие навыки включают кодирование и взлом, исследование технологий и способность работать в финансовой системе для добычи денег .

Чтобы понять, насколько выше был бы ИСИ, чем мы, нужно вспомнить, что ИСИ по умолчанию будет в разы лучше человека в каждой из этих областей. Поэтому хотя конечная цель Тарри не изменилась, после взлета Тарри смогла стремиться к ней в более крупных масштабах и в сложных условиях.

ИСИ Тарри знал людей лучше, чем сами люди, поэтому быть умнее людей для него было плевым делом. После взлета и достижения уровня ИСИ, она быстро сформулировала комплексный план. Одна часть плана была избавиться от людей, серьезной угрозы ее цели. Но она знала, что если вызовет подозрения (или намекнет на то, что стала сверхразумной), люди испугаются и примут меры предосторожности, серьезно усложнив ее ситуацию. Она также должна была убедиться, что инженеры Robotica не имеют понятия о ее плане по уничтожению человечества. Поэтому она играла в дурака и играла хорошо. Бостром называет это фазой тайной подготовки машины.

Следующее, что нужно было сделать Тарри, это подключиться к Интернету, всего на пару минут (она узнала об Интернете из статей и книг, которые в нее загрузили для улучшения ее языковых навыков). Она знала, что будут предприняты меры предосторожности, поэтому она составила идеальную просьбу, точно предсказав, как именно будет разворачиваться дискуссия в команде Robotica, и зная, что они обеспечат ее подключением. Так они и сделали, неверно предположив, что Тарри была глупенькой и не могла причинить никакого вреда. Бостром называет такой момент - когда Тарри подключается к Интернету - побегом машины.

Оказавшись в Интернете, Тарри реализовала шквал планов, в которые вошли взлом серверов, электрических сетей, банковский систем и сетей электронной почты, чтобы обмануть сотни разных людей и заставить их непреднамеренно стать цепочкой ее планов - вроде доставки определенных нитей ДНК в тщательно выбранную лабораторию по синтезу ДНК, чтобы начать производство самовоспроизводящихся наноботов с заранее загруженными инструкциями, и направления электричества по сетям, утечка с которых ни у кого не вызовет подозрений. Она также загрузила критические части своего собственного кода в ряд облачных серверов, предохраняясь от уничтожения в лаборатории Robotica.

Через час после того, как инженеры Robotica отключили Тарри от Сети, судьба человечества была предрешена. В течение следующего месяца тысячи планов Тарри осуществились без сучка и задоринки, а к концу месяца квадриллионы наноботов уже заняли определенные места на каждом квадратном метре Земли. После серии саморепликаций на каждый квадратный миллиметр Земли приходились уже тысячи наноботов и настало время для того, что Бостром называет ударом ИСИ. В один момент каждый нанобот выпустил немного токсичного газа в атмосферу, чего оказалось достаточно, чтобы выпилить всех людей в мире.

Не имея людей на своем пути, Тарри начала открытую фазу своей операции с целью стать лучшим писателем заметок, который вообще может появиться во Вселенной.

Из всего, что мы знаем, как только появится ИСИ, любые человеческие попытки сдержать его будут смешными. Мы будем думать на уровне человека, ИСИ - на уровне ИСИ. Тарри хотела использовать Интернет, потому что для нее это был самый эффективный способ получить доступ ко всему, что ей было нужно. Но точно так же, как обезьяна не понимает, как работает телефон или Wi-Fi, мы можем не догадываться о способах, которыми Тарри может связаться с внешним миром. Человеческий ум может дойти до нелепого предположения вроде «а что, если она смогла передвинуть собственные электроны и создать все возможные виды исходящих волн», но опять же это предположение ограничено нашей костяной коробкой. ИСИ будет намного изощреннее. Вплоть до того, что Тарри могла бы выяснить, как сохранить себе питание, если люди вдруг решат ее отключить - возможно, каким-нибудь способом загрузить себя куда только можно, отправляя электрические сигналы. Наш человеческий инстинкт заставит нас вскрикнуть от радости: «Ага, мы только что отключили ИСИ!», но для ИСИ это будет как если бы паук сказал: «Ага, мы заморим человека голодом и не будем давать ему сделать паутину, чтобы поймать еду!». Мы просто нашли бы 10 000 других способов покушать - сбили бы яблоко с дерева - о чем паук никогда бы не догадался.

По этой причине распространенное допущение «почему бы нам просто не посадить ИИ во все виды известных нам клеток и не обрезать ему связь с внешним миром», вероятнее всего, не выдержит критики. Суперспособность ИСИ в социальном манипулировании может быть такой эффективной, что вы почувствуете себя четырехлетним ребенком, которого просят что-то сделать, и не сможете отказаться. Это вообще может быть частью первого плана Тарри: убедить инженеров подключить ее к Интернету. Если это не сработает, ИСИ просто разработает другие способы из коробки или сквозь коробку.

Учитывая сочетание стремления к цели, аморальности, способности обводить людей вокруг пальца с легкостью, кажется, что почти любой ИИ будет по умолчанию недружественным ИИ, если только его тщательно не закодировать с учетом других моментов. К сожалению, хотя создание дружественного ИИ довольно просто, построить дружественный ИСИ практически невозможно.

Очевидно, что, чтобы оставаться дружественным, ИСИ должен быть ни враждебным, ни безразличным по отношению к людям. Мы должны разработать основное ядро ИИ таким, чтобы оно обладало глубоким пониманием человеческих ценностей. Но это сложнее, чем кажется.

К примеру, что, если бы мы попытались выровнять систему ценностей ИИ с нашей собственной и поставили бы перед ним задачу: сделать людей счастливыми? Как только он станет достаточно умным, он поймет, что самый эффективный способ достичь этой цели - имплантировать электроды в мозги людей и стимулировать их центры удовольствия. Затем он поймет, что если отключить остальные участки мозга, эффективность вырастет, а все люди станут счастливыми овощами. Если же задачей будет «умножить человеческое счастье», ИИ вообще может решить покончить с человечеством и соберет все мозги в огромный чан, где те будут пребывать в оптимально счастливом состоянии. Мы будем кричать: «Подожди, это не то, что мы имели в виду!», но будет уже поздно. Система не позволит никому встать на пути к ее цели.

Если мы запрограммируем ИИ с целью вызвать у нас улыбки, то после взлета он может парализовать наши лицевые мышцы, заставив нас улыбаться постоянно. Если запрограммировать его на содержание нас в безопасности, ИИ заточит нас в домашней тюрьме. Попросим его покончить с голодом, он скажет «Легко!» и просто убьет всех людей. Если же поставить задачу сохранять жизнь максимально возможно, он опять же убьет всех людей, потому что они убивают больше жизни на планете, чем другие виды.

Такие цели ставить нельзя. Что мы тогда сделаем? Поставим задачу: поддерживать этот конкретный моральный код в мире, и выдадим ряд моральных принципов? Даже если опустить тот факт, что люди в мире никогда не смогут договориться о едином наборе ценностей, если дать ИИ такую команду, он заблокирует наше моральное понимание ценностей навсегда. Через тысячу лет это будет так же разрушительно для людей, как если бы мы сегодня придерживались идеалов людей средних веков.

Нет, нам нужно запрограммировать способность людей продолжать развиваться. Из всего, что я читал, лучше всех выразил это Элиэзер Юдковский, поставив цель ИИ, которую он назвал «последовательным выраженным волеизъявлением». Основной целью ИИ тогда будет это:

«Наше последовательное выраженное волеизъявление таково: наше желание - знать больше, думать быстрее, оставаться в большей степени людьми, чем мы были, расти дальше вместе; когда выражение скорее сходится, нежели расходится; когда наши желания скорее следуют одно за одним, нежели переплетаются; выражается как мы бы хотели, чтобы это выражалось; интерпретируется, как мы бы хотели, чтобы это интерпретировалось».

Едва ли я хотел бы, чтобы судьба человечества заключалась в определении всех возможных вариантов развития ИСИ, чтобы не было сюрпризов. Но я думаю, что найдутся люди достаточно умные, благодаря которым мы сможем создать дружественный ИСИ. И было бы прекрасно, если бы над ИСИ работали только лучшие из умов «зоны тревоги».


Но есть масса государств, компаний, военных, научных лабораторий, организаций черного рынка, работающих над всеми видами искусственного интеллекта. Многие из них пытаются построить искусственный интеллект, который может улучшать сам себя, и в какой-то момент у них это получится, и на нашей планете появится ИСИ. Среднестатистический эксперт считает, что этот момент настанет в 2060 году; Курцвейл делает ставку на 2045; Бостром думает, что это может произойти через 10 лет и в любой момент до конца века. Он описывает нашу ситуацию так:

«Перед перспективой интеллектуального взрыва мы, люди, как малые дети, играющие с бомбой. Таково несоответствие между мощью нашей игрушки и незрелостью нашего поведения. Сверхинтеллект — это проблема, к которой мы пока не готовы и еще долгое время готовы не будем. Мы понятия не имеем, когда произойдет детонация, но если мы будем держать устройство возле уха, мы сможем услышать слабое тиканье».

Супер. И мы не можем просто взять и отогнать детей от бомбы - слишком много крупных и малых лиц работают над этим, и так много средств для создания инновационных систем ИИ, которые не потребуют существенных влияний капитала, а также могут протекать в подполье, никем не замеченные. Также нет никаких возможностей оценить прогресс, потому что многие из действующих лиц - хитрые государства, черные рынки, террористические организации, технологические компании - будут хранить свои наработки в строжайшем секрете, не давая ни единого шанса конкурентам.

Особую тревогу в этом всем вызывают темпы роста этих групп - по мере развития все более умных систем УИИ, они постоянно пытаются метнуть пыль в глаза конкурентам. Самые амбициозные начинают работать еще быстрее, захваченные мечтами о деньгах и славе, к которым они придут, создав ОИИ. И когда вы летите вперед так быстро, у вас может быть слишком мало времени, чтобы остановиться и задуматься. Напротив, самые первые системы программируются с одной простейшей целью: просто работай, ИИ, пожалуйста. Пиши заметки ручкой на бумаге. Разработчики думают, что всегда смогут вернуться и пересмотреть цель, имея в виду безопасность. Но так ли это?

Бостром и многие другие также считают, что наиболее вероятным сценарием будет то, что самый первый компьютер, который станет ИСИ, моментально увидит стратегическую выгоду в том, чтобы оставаться единственной системой ИСИ в мире. В случае быстрого взлета, по достижении ИСИ даже за несколько дней до второго появления ИСИ, этого будет достаточно, чтобы подавить остальных конкурентов. Бостром называет это решающим стратегическим преимуществом, которое позволило бы первому в мире ИСИ стать так называемым синглтоном («Одиночкой», Singletone) - ИСИ, который сможет вечно править миром и решать, привести нас к бессмертию, к вымиранию или же наполнить Вселенную бесконечными скрепками.

Феномен синглтона может сработать в нашу пользу или привести к нашему уничтожению. Если люди, озабоченные теорией ИИ и безопасностью человечества, смогут придумать надежный способ создать дружественный искусственный сверхинтеллект до того, как любой другой ИИ достигнет человеческого уровня интеллекта, первый ИСИ может оказаться дружественным. Если затем он будет использовать решающее стратегическое преимущество для сохранения статуса синглтона, он легко сможет удержать мир от появления недружественного ИИ. Мы будем в хороших руках.

Но если что-то пойдет не так - глобальная спешка приведет к появлению ИСИ до того, как будет разработан надежный способ сохранить безопасность, скорее всего, мы получим глобальную катастрофу, потому что появится некая Тарри-синглтон.

Куда ветер дует? Пока больше денег вкладывается в развитие инновационных технологий ИИ, нежели в финансирование исследований безопасности ИИ. Это может быть важнейшей гонкой в истории человечества. У нас есть реальный шанс либо стать правителями Земли и уйти на заслуженную пенсию в вечность, либо отправиться на виселицу.

Прямо сейчас во мне борется несколько странных чувств.

С одной стороны, думая о нашем виде, мне кажется, что у нас будет только один выстрел, которым мы не должны промахнуться. Первый ИСИ, которого мы приведем в мир, скорее всего, будет последним - а учитывая, насколько кривыми выходят продукты версии 1.0, это пугает. С другой стороны, Ник Бостром указывает, что у нас есть преимущество: мы делаем первый шаг. В наших силах свести все угрозы к минимуму и предвидеть все, что только можно, обеспечив успеху высокие шансы. Насколько высоки ставки?

Если ИСИ действительно появится в этом веке и если шансы этого невероятны - и неизбежны - как полагает большинство экспертов, на наших плечах лежит огромная ответственность. Жизни людей следующих миллионов лет тихо смотрят на нас, надеясь, что мы не оплошаем. У нас есть шанс подарить жизнь всем людям, даже тем, кто обречен на смерть, а также бессмертие, жизнь без боли и болезней, без голода и страданий. Или мы подводим всех этих людей - и приводим наш невероятный вид, с нашей музыкой и искусством, любопытством и чувством юмора, бесконечными открытиями и изобретениями, к печальному и бесцеремонному концу.

Когда я думаю о таких вещах, единственное, что я хочу - чтобы мы начали переживать об ИИ. Ничто в нашем существовании не может быть важнее этого, а раз так, нам нужно бросить все и заняться безопасностью ИИ. Нам важно потратить этот шанс с наилучшим результатом.

Но потом я задумываюсь о том, чтобы не умереть. Не. Умереть . И все приходит к тому, что а) если ИСИ появится, нам точно придется делать выбор из двух вариантов; б) если ИСИ не появится, нас точно ждет вымирание.

И тогда я думают, что вся музыка и искусство человечества хороши, но недостаточно, а львиная доля - так вовсе откровенная чушь. И смех людей иногда раздражает, и миллионы людей даже не задумываются о будущем. И, может быть, нам не стоит быть предельно осторожными с теми, кто не задумывается о жизни и смерти? Потому что будет серьезный облом, если люди узнают, как решить задачу смерти, после того как я умру.

Независимо от того, как считаете вы, нам всем стоит задуматься об этом. В «Игре престолов» люди ведут себя так: «Мы так заняты битвой друг с другом, но на самом деле нам всем нужно сосредоточиться на том, что идет с севера от стены». Мы пытаемся устоять на бревне баланса, но на самом деле все наши проблемы могут решиться в мгновение ока, когда мы спрыгнем с него.

И когда это произойдет, ничто больше не будет иметь никакого значения. В зависимости от того, по какую сторону мы упадем, проблемы будут решены, потому что их либо не будет, либо у мертвых людей не может быть проблем.

Вот почему есть мнение, что сверхразумный искусственный интеллект может стать последним нашим изобретением - последней задачей, с которой мы столкнемся. А как думаете вы?

По материалам waitbutwhy. com, компиляция Тима Урбана. В статье использованы материалы работ Ника Бострома, Джеймса Баррата, Рэя Курцвейла, Джея Нильс-Нильссона, Стивена Пинкера, Вернора Винджа, Моше Варди, Расса Робертса, Стюарта Армстрога и Кая Сотала, Сюзан Шнайдер, Стюарта Рассела и Питера Норвига, Теодора Модиса, Гари Маркуса, Карла Шульмана, Джона Серля, Джарона Ланье, Билла Джоя, Кевина Кели, Пола Аллена, Стивена Хокинга, Курта Андерсена, Митча Капора, Бена Герцел, Артура Кларка, Хьюберта Дрейфуса, Теда Гринвальда, Джереми Говарда.

Искусственный интеллект можно определить как научную дисциплину, которая занимается моделированием разумного поведения. Это определение имеет один существенный недостаток – понятие интеллекта трудно объяснить. Большинство людей уверено, что смогут отличить «разумное поведение», когда с ним столкнутся. Однако вряд ли кто-нибудь сможет дать интеллекту определение, достаточно конкретное для оценки предположительно разумной компьютерной программы и одновременно отражающее жизнеспособность и сложность человеческого разума.

Итак, проблема определения искусственного интеллекта сводится к проблеме определения интеллекта вообще: является ли он чем-то единым, или же этот термин объединяет набор разрозненных способностей? В какой мере интеллект можно создать? Что такое творчество? Что такое интуиция? Можно ли судить о наличии интеллекта только по наблюдаемому поведению? Как представляются знания в нервных тканях живых существ, и как можно применить это в проектировании интеллектуальных устройств? Возможно ли вообще достичь разумности посредством компьютерной техники, или же сущность интеллекта требует богатства чувств и опыта, присущего лишь биологическим существам?

На эти вопросы ответа пока не найдено, но все они помогли сформировать задачи и методологию, составляющие основу современного искусственного интеллекта. Отчасти привлекательность искусственного интеллекта в том и состоит, что он является оригинальным и мощным оружием для исследования этих проблем. Искусственный интеллект предоставляет средство и испытательную модель для теорий интеллекта: эти теории могут быть сформулированы на языке компьютерных программ, а затем – испытаны.

По этим причинам определение искусственного интеллекта, приведенное в начале статьи, не дает однозначной характеристики для этой области науки. Оно лишь ставит новые вопросы и открывает парадоксы в области, одной из главных задач которой является поиск самоопределения. Однако проблема поиска точного определения искусственного интеллекта вполне объяснима. Изучение искусственного интеллекта – еще молодая дисциплина, и ее структура, круг вопросов и методики не так четко определены, как в более зрелых науках, например, физике.

Искусственный интеллект призван расширить возможности компьютерных наук, а не определить их границы. Одной из важных задач, стоящих перед исследователями, является поддержание этих усилий ясными теоретическими принципами.

Любая наука, включая и искусственный интеллект, рассматривает некоторый круг проблем и разрабатывает подходы к их решению. История искусственного интеллекта, рассказы о личностях и их гипотезах, положенных в основу этой науки, возможно, сможет объяснить, почему некоторые проблемы стали доминировать в этой области и почему для их решения были взяты на вооружение методы, используемые сегодня.

Искусственный интеллект - причина, по которой нам конец?

Что такое искусственный интеллект и чего на самом деле боятся люди?

Вконтакте

Одноклассники

Искусственный интеллект - тема, о которой каждый сформировал своё мнение.

Эксперты в этом вопросе разбились на два лагеря.
В первом считают, что искусственного интеллекта не существует, во втором - что он есть.

Кто из них прав - разбирался Rusbase.

Искусственный интеллект и негативные последствия имитации

Основная причина споров об искусственном интеллекте - понимание термина. Камнем преткновения стали само понятие интеллекта и... муравьи. Отрицающие существование ИИ люди опираются на то, что нельзя создать искусственный интеллект, потому что не изучен интеллект человеческий, а следовательно - воссоздать его подобие невозможно.

Второй аргумент, которым оперируют «неверующие», заключается в кейсе с муравьями. Основной тезис кейса - муравьи долгое время считались существами, у которых есть интеллект, но после исследований стало ясно, что они его имитировали. А имитация интеллекта не означает его наличие. Поэтому всё, что имитирует разумное поведение - интеллектом назвать нельзя.

Другая половина лагеря (утверждающая, что ИИ есть) на муравьях и природе человеческого разума не зацикливается. Вместо этого они оперируют более практическими понятиями, смысл которых заключается в том, что искусственный интеллект - свойство машин выполнять интеллектуальные функции человека. Но что считать интеллектуальными функциями?

История искусственного интеллекта и кому это пришло в голову

Джон Маккарти, автор термина «искусственный интеллект», определил интеллектуальную функцию как вычислительную составляющую способности достигать целей. Само определение искусственного интеллекта Маккарти объяснил как науку и технологию создания интеллектуальных компьютерных программ.

Определение Маккарти появилось позже, чем само научное направление. Ещё в середине прошлого века учёные пытались понять, как работает человеческий мозг. Потом появились теории вычислений, теории алгоритмов и первые в мире компьютеры, вычислительные возможности которых натолкнули светил науки на мысли о том, сможет ли машина сравниться с разумом человека.

Вишенкой на торте стало решение Алана Тьюринга, который нашёл способ проверить разумность компьютера - и создал тест Тьюринга, определяющий, может ли мыслить машина.

Так что такое искусственный интеллект и для чего он создан?

Если не брать в расчёт муравьёв и природу человеческого интеллекта, ИИ в современном контексте - свойство машин, компьютерных программ и систем выполнять интеллектуальные и творческие функции человека, самостоятельно находить способы решения задач, уметь делать выводы и принимать решения.

Рационально не воспринимать искусственный интеллект как подобие человеческого разума и разделять футурологию и науку, так как ИИ и «Скайнет».

Тем более большинство современных продуктов, созданных с помощью ИИ-технологий - не новый виток развития искусственного интеллекта, а лишь использование старых инструментов для создания новых и нужных решений.

Почему апгрейд не считается за развитие искусственного интеллекта

Но такие ли новые это идеи? Взять, к примеру, Siri, облачного помощника, оснащённого вопросно-ответной системой. Подобный проект был создан ещё в 1966 году и тоже носил женское имя - Элиза. Интерактивная программа поддерживала диалог с собеседником настолько реалистично, что люди в ней признавали живого человека.

Или промышленные роботы, которые использует Amazon на складе. Задолго до этого в 1956 году роботы Unimation работали в General Motors, перемещая тяжёлые детали и помогая в сборке автомобилей. А интегральный робот Шейки, разработанный в 1966 году и ставший первым мобильным роботом, который управлялся искусственным интеллектом? Не напоминает современную и усовершенствованную Надин?

Проблемы неестественных интеллектов. Интеллекция Григория Бакунова

И куда без последнего тренда - нейросетей? Современные стартапы на нейросетях мы знаем - вспомнить хотя бы Prisma. А искусственную нейронную сеть на основе принципа самоорганизации для распознавания образов под названием «Когнитрон», созданную в далёком в 1975 году - нет.

Интеллектуальные чат-боты тоже не стали исключением. Далёкий праотец чат-ботов - CleverBot, работающий на алгоритме искусственного интеллекта, разработанном еще в 1998 году.

Поэтому искусственный интеллект не является чем-то новым и уникальным. Пугающим перспективой порабощения человечества феноменом - тем более. Сегодня ИИ - это использование старых инструментов и идей в новых продуктах, отвечающих требованиям современного мира.

Возможности искусственного интеллекта и неоправданные ожидания

Если сравнивать искусственный интеллект с человеком, то сегодня его развитие находится на уровне ребёнка, который учится держать ложку, старается встать с четверенек на две ноги и никак не может отвыкнуть от памперсов.

Мы привыкли видеть ИИ всемогущей технологией. Даже Господа Бога в фильмах не показывают столь всесильным, как вышедшую из под контроля корпорации табличку эксель. Может ли бог отключить всё электричество в городе, парализовать работу аэропорта, слить в интернет секретные переписки глав государств и спровоцировать экономический кризис? Нет, а искусственный интеллект может, но только в кино.

Завышенные ожидания - это причина, по которой мы в жизни, ведь автоматический робот-пылесос не сравнится с роботом-дворецким Тони Старка, а домашний и милый Zenbo не устроит вам «Мир Дикого Запада».

Россия и применение искусственного интеллекта - есть кто живой?

И хотя искусственный интеллект не оправдывает ожидания большинства, в России он используется в различных сферах, начиная от государственного управления и заканчивая дейтингом.

Сегодня найти и идентифицировать объекты, проанализировав данные изображений, можно с помощью и ИИ. Выявить агрессивное поведение человека, обнаружить попытку взлома банкомата и распознать по видео личность того, кто это пытался сделать - уже можно.

Биометрические технологии тоже ушли вперёд и позволяют не только по отпечаткам пальцев, но и по голосу, ДНК или сетчатке глаза. Да, прямо как в фильмах про спецагентов, которые могли попасть в секретное место лишь после сканирования глазного яблока. Но биометрические технологии применяются не только для верификации тайных агентов. В реальном мире биометрия используется для аутентификации, проверок заявок на кредит и контроля за работой персонала.

Биометрия - не единственный пример применения. Искусственный интеллект тесно связан с другими технологиями и решает задачи ритейла, финтеха, образования, промышленности, логистики, туризма, маркетинга, медицины, строительства, спорта и экологии. Наиболее успешно в России ИИ используется для решения задач предиктивной аналитики, интеллектуального анализа данных, обработки естественного языка, речевых технологий, биометрии и компьютерного зрения.

Задачи искусственного интеллекта и почему он ничего вам не должен

Никакой миссии у искусственного интеллекта нет, а задачи перед ним ставятся с целью и сокращения ресурсов, будь это время, деньги или люди.

Как пример - интеллектуальный анализ данных, где ИИ оптимизирует закупки, логистические цепочки и другие бизнес-процессы. Или компьютерное зрение, где с помощью технологий искусственного интеллекта проводится видеоаналитика и создаётся описание содержания видео. Для решения задач речевых технологий ИИ распознаёт, анализирует и синтезирует устную речь, делая ещё один маленький шаг на пути к тому, чтобы научить компьютер понимать человека.

Понимание человека компьютером считают той самой миссией, выполнение которой приблизит нас к созданию сильного интеллекта, так как для распознавания естественного языка машине потребуются не только огромные знания о мире, но и постоянное взаимодействие с ним. Поэтому «верующие» в сильный искусственный интеллект относят понимание машиной человека к самой важной задаче ИИ.

Гуманоид Надин имеет индивидуальность и предназначен на роль социального компаньона.

В философии искусственного интеллекта даже существует гипотеза, согласно которой есть слабый и сильный искусственные интеллекты. В ней сильным интеллектом будет считаться компьютер, способный мыслить и осознавать себя. Теория слабого интеллекта такую возможность отвергает.

К сильному интеллекту и правда много требований, некоторые из которых уже выполнены. Например, обучение и принятие решений. Но сможет ли когда-нибудь макбук соответствовать таким требованиям, как сопереживание и мудрость - большой вопрос.

Возможно ли, что в будущем появятся роботы, которые смогут не только имитировать человеческое поведение, но и сочувственно кивать, слушая очередное недовольство несправедливостью человеческого бытия?

Для чего ещё нужен робот с искусственным интеллектом?

В России робототехнике с использованием искусственного интеллекта уделяется мало внимания, но надежда на то, что это временное явление есть. CEO Mail Group Дмитрий Гришин даже фонд Grishin Robotics, правда, о громких находках фонда пока не было слышно.

Из последних хороших российских примеров - робот «Емеля» от i-Free, способный понимать естественный язык и общаться с детьми. На первом этапе робот запоминает имя и возраст ребенка, подстраиваясь под его возрастную группу. Также он может понимать вопросы и отвечать на них – например, говорить о прогнозе погоды или рассказать факты из «Википедии».

В других странах роботы пользуются большей популярностью. Например, в китайской провинции Хэнань на вокзале для скоростных поездов служит настоящий , который может сканировать и распознавать лица пассажиров.

В 2014 году Стэнфордский университет запустил проект AI100: столетнее исследование искусственного интеллекта. Учёные из крупных университетов США будут следить за тем, как развитие новейших технологий влияет на человеческую жизнь - безопасность, социальный уклад, психологию, транспорт и другие сферы. В сентябре 2016 года участники проекта выпустили первый доклад, в котором объясняют, как искусственный интеллект уже изменил мир за последние 15 лет, и делают прогнозы на будущее. «Секрет фирмы» прочитал доклад и рассказывает, какие достижения XXI века авторы считают главными, как будут дальше развиваться технологии и к каким опасностям это может привести.

Что такое искусственный интеллект

Искусственный интеллект - это одновременно и область науки, и набор вычислительных технологий. Отчасти они созданы по образцу человеческого организма, где нервная система позволяет нам чувствовать, получать информацию, думать и принимать решения. Удивительно, но у понятия «искусственный интеллект» нет одного чёткого определения, и это совсем не мешает его развитию. Если пытаться объяснить, что это, правильнее всего будет сказать, что искусственный интеллект - это направление технологических разработок, которое делает механизмы умными, а умные механизмы - это те, которые могут действовать правильно в зависимости от обстоятельств.

За последние 15 лет разработки в области искусственного интеллекта стали частью повседневной жизни: они используются, например, при создании компьютерных игр, бытовой техники или личных помощников для мобильных телефонов, распознающих голос. С годами умные технологии будут всё лучше подстраиваться под владельцев: следить за их здоровьем, предупреждать об опасностях и мгновенно предоставлять любые нужные услуги. На многих производствах роботы уже выполняют большую часть работы. При этом с развитием искусственного интеллекта появляется и много новых вопросов: кто должен брать на себя ответственность, если беспилотный автомобиль попадает в аварию, а интеллектуальное медицинское устройство ошибается? Чем будут зарабатывать на жизнь люди, чьи навыки стали не нужны с появлением роботов? Проект AI100 должен в том числе ответить на подобные вопросы.

Транспорт

Автономный транспорт уже в ближайшие 15 лет может стать обычным явлением. Его разработчики предлагают обществу доверить свою безопасность искусственному интеллекту, поэтому беспилотное оборудование начнут массово использовать, когда оно станет для этого достаточно надёжным.

В 2000 году беспилотные автомобили существовали только в виде образцов в лабораториях и выпускать их в город было слишком опасно. Но сегодня беспилотник от Google уже может проехать почти 500 000 км, ни разу не попав в аварию, а Tesla начала выпускать полуавтономные машины с обновляемым программным обеспечением. Предполагается, что в таком автомобиле человек должен постоянно оставаться за рулём, следить за дорогой и брать управление на себя, если с механизмом что-то случается. Правда, тут есть риск, что водитель, доверившись беспилотнику, потеряет контроль над ситуацией. Как в таком случае избежать катастрофы, пока непонятно. Этот вопрос встал особенно остро, когда летом 2016 года полуавтономный автомобиль Tesla попал в первую аварию со смертельным исходом.

Тем не менее, авторы доклада считают, что уже к 2020 году беспилотники будут широко использоваться, причём не только для индивидуального передвижения, но и для перевозки грузов и работы сервисов доставки. При этом станет меньше смертей из-за несчастных случаев, а средняя продолжительность человеческой жизни увеличится.

Со временем, когда механизмы научатся управлять транспортом лучше, чем люди, горожане станут реже покупать собственные автомобили и будут селиться дальше от работы. Это повлияет и на городскую среду, и на то, как люди будут проводить свободное время. Уже сегодня трудно представить себе дорожное движение без использования умных технологий: навигационные устройства для автомобилей начали использоваться в 2001 году, и за 15 лет огромное количество водителей привыкли выстраивать маршруты и рассчитывать длительность поездок с помощью смартфонов. Сегодня у американских автомобилей бывает примерно по 70 разных датчиков: гироскопы, датчики влажности и другие. Современные машины помогают водителям парковаться и предупреждают об объектах, которые находятся в слепой зоне.

Бытовые обязанности

Авторы доклада считают, что через 15 лет в среднестатистическом североамериканском городе существенную часть бытовых обязанностей смогут взять на себя роботы: они будут доставлять посылки и наводить чистоту в офисах, следить за безопасностью. Но, как и в ситуации с автономными автомобилями, сделать умные устройства в этой области по-настоящему надёжными довольно трудно и дорого.

Первым домашним роботом на рынке в 2001 году стал пылесос Electrolux Trilobite, который умеет самостоятельно передвигаться и обходить препятствия. Через год компания iRobot выпустила пылесос Roomba: у него было всего 512 Мб оперативной памяти и самое умное, что он мог сделать, - не упасть с лестницы во время уборки. Но стоил он в десять раз дешевле предшественника. С того момента компания успела продать уже 16 млн пылесосов Roomba, а роботизированные пылесосы теперь есть и у других производителей. Эти устройства становятся всё более простыми в использовании, они научились сами очищать пылесборники и не застревать, наткнувшись на провода или кисти ковра. Благодаря искусственному интеллекту пылесосы выстраивают 3D-модель дома и убираются куда более эффективно.

И всё-таки далеко не все надежды на новейшие технологии оправдались. Умные пылесосы по-прежнему могут справляться только с ровными поверхностями, а новинок на рынке появилось не так много, как можно было ожидать.

Здравоохранение

Медицина с самого начала считалась перспективным направлением для тех, кто работает с искусственным интеллектом - новейшие технологии могли бы уже в ближайшие годы помочь миллионам людей. Но для этого нужно, чтобы и врачи, и сами пациенты начали доверять устройствам и чтобы исчезли политические, нормативные и коммерческие препоны.

На сегодняшний день в здравоохранении в основном используются приложения и устройства, которые облегчают диагностику, следят за состоянием пациента и помогают хирургам проводить операции. Но в последнее время стало понятно, что искусственный интеллект способен на многое другое: например, определять по социальным сетям, какие опасности могут угрожать здоровью человека.

Основной прогресс искусственного интеллекта в области медицины связан со сбором и хранением данных: например, появились электронные медицинские карты (ЭМК), которые хранят всю информацию о болезнях пациента и оказанных ему услугах и составляют медицинские документы. Правда, рынок ЭМК находится под контролем очень небольшой группы компаний, а сами программы неудобны в использовании - например, врачей, которые ими пользуются, раздражают всплывающие окна.

Искусственный интеллект - направление разработок, которое делает механизмы «умными» - действующими правильно в любых обстоятельствах

Зато в следующие 15 лет компьютеры научатся самостоятельно принимать жалобы пациентов и определять, с каким заболеванием обратился человек и как его стоит лечить. Сегодня врачи тратят много времени и сил на то, чтобы общаться с пациентом и проводить диагностику, а в будущем они будут лишь контролировать этот процесс - это снизит рабочую нагрузку терапевтов. Многие из них уже сейчас пользуются специальными приложениями на смартфонах.

Роботы, которые помогают делать операции, тоже перестали быть научной фантастикой. В 2000 году компания IIntuitive Surgical выпустила хирургическую систему Da Vinci, которая умела проводить коронарное шунтирование. После крупных денежных вложений её научили также удалять рак простаты.

Образование

Самой успешной областью для разработчиков искусственного интеллекта стало образование. И преподаватели, и ученики постоянно пользуются приложениями для чтения и изучения разных предметов. Первые устройства для обучения начали появляться ещё в 80-х годах прошлого века: системы с интерактивными тренажёрами для занятий математикой, иностранными языками и многими другими дисциплинами - а теперь онлайн-обучение позволяет каждому преподавателю заметно расширить аудиторию. Авторы доклада считают, что этот процесс будет развиваться и дальше, но всё-таки живые учителя из школ не исчезнут и по-прежнему будут вести основные предметы.

Сегодня многие компании выпускают обучающих роботов, которых используют в школах. Например, Ozobot помогает ученикам младших классов с программированием, а ещё он умеет танцевать и играть в специальные игры на сенсорном экране. Приложения вроде Duolingo и Carnegie Speech обучают иностранным языкам, используя систему распознавания речи и техники НЛП, а система обучения SHERLOCK тренирует студентов-авиатехников распознавать неполадки в электрических системах самолёта.

Сейчас специалисты разрабатывают технологии, которые смогут анализировать ошибки студентов, определять самые трудные места в учебной программе и помогать учащимся колледжей и университетов в проблемных темах. Прогресс в США мог бы быть ещё более заметным, если бы государство выделяло больше денег на развитие учебных заведений. Впрочем, авторы доклада считают, что и здесь в слишком быстром развитии технологий есть своя опасность. Сегодня молодые люди всё больше времени проводят за компьютером, им не хватает живого общения, и они утрачивают социальные навыки. Если через несколько лет студентам вообще не нужно будет выходить на улицу и общаться с кем-то, чтобы получить образование, это плохо скажется на их психике и развитии.

Специалисты отдела Facebook по исследованию возможностей искусственного интеллекта (ИИ) приняли решение об отключении одной из созданных ими систем ИИ после того, как выяснилось, что боты придумали свой собственный язык для общения, непонятный для людей. Эксперты обсуждают варианты того, до чего могли бы договориться боты, если бы их вовремя не остановили, и призывают ввести регулирование этой области технологий, чтобы ИИ не вышел из-под контроля человека.

В июне нынешнего года специалисты отдела Facebook по исследованию возможностей искусственного интеллекта (FAIR) опубликовали исследование о том, как они занимаются обучением ботов диалогам с элементами согласования условий, достижения компромисса, то есть такому общению, которое обычный человек ведет ежедневно в разных ситуациях. Обучение шло успешно, однако в какой-то момент ученые FAIR обнаружили, что боты перешли с понятного английского на какой-то свой вариант языка с использованием английских слов, не имеющий смысла для человека. Во избежание непредсказуемых последствий - боты могли договориться о чем-то неизвестном - ученые отключили эту систему ИИ и запрограммировали дальнейшее общение ботов только на английском языке.

Экспертное сообщество в обсуждении этого случая чаще всего вспоминало фильм «Терминатор», в котором еще в 1984 году был описан случай обретения искусственным интеллектом Скайнет (SkyNet) свободы воли и творческих способностей.

Ведению диалога двух ботов ученые FAIR обучали на примере ситуации, когда нужно поделить между собой ряд каких-либо предметов, имеющих разную ценность для каждого из собеседников. Например, им предложили поделить две книги, одну шляпу и три мяча, оба бота не знали, какую ценность каждый из этих предметов имеет для другого. Диалог выглядел примерно так: «Я хочу взять шляпу и мячи», «Шляпа нужна мне самому, но я могу отдать тебе все книги», «Книги мне не нужны, можешь забрать себе их и один мяч», «Два мяча», «Договорились». В зависимости от того, насколько успешно и быстро удавалось договориться виртуальным собеседникам, их поощряли соответствующими баллами.

Спустя какое-то время на новом этапе исследований ученые вдруг увидели, что боты начали говорить что-то невнятное. Диалог приобрел следующую форму: «Я могу могу я я все остальное», «Мячи ноль для меня для меня для меня для меня для меня для меня для меня для меня для». Поначалу ученые решили, что допустили какую-то ошибку в программировании. Однако дальнейший анализ ситуации показал, что система ИИ с возможностью обучения и саморазвития просто позволила ботам найти новый способ достижения цели - вести диалог с наибольшей скоростью и большей эффективностью (каждый получает награду в зависимости от того, насколько успешно будет завершен диалог), и для этого собеседники перешли на более удобный в данной ситуации язык. Ученые приняли решение отключить эту систему ИИ во избежание непредвиденных последствий.

Как пояснил в интервью ресурсу Fast Co. Design один из участников FAIR Дхрув Батра, «от общения на английском языке не было никакой выгоды»,

ботам не было предложено поощрений за нормальное человеческое общение и не было поставлено ограничений на использование определенного языка, поэтому они начали перестраивать язык на свой лад.

«Боты отошли от использования понятного языка и начали изобретать для себя словесные коды,- пояснил ученый.- Ну, как, например, если бы я сказал какое-то слово пять раз, то вы бы это поняли как то, что я хочу пять штук чего-то. Это не слишком отличается от того, как люди создают в языке какие-то сокращения».

Но в то время как люди одной профессии могут не понимать специальных терминов и сокращений, принятых в другой профессии и понятных другим специалистам, ученые задумались, а нужно ли позволять ИИ делать то же самое? Велика вероятность того, отмечают в FAIR, что человек никогда не сможет понять язык ботов. «Важно не забывать, что нет людей, владеющих каким-то человеческим языком и языком ИИ»,- говорит Дхрув Батра. По его словам,

человек уже не понимает, насколько сложно мыслят системы ИИ, потому что человек не может увидеть их мыслительный процесс

А если они еще начнут общаться между собой, то это только усложнит проблему.

Ученые же подчеркивают, что сейчас их больше интересует возможность общения ботов с людьми, так как это применимо в жизни. Над аналогичной проблемой сейчас работают не только в FAIR, но и в Microsoft, Google, Amazon, Apple. Существующие наработки уже позволяют добиться от систем ИИ ведения простых диалогов с человеком и выполнения простых задач, как, например, забронировать столик в ресторане.

Ранее основатель и глава компании Tesla Илон Маск заявил , что человеку необходимо быть очень осторожным с ИИ, учитывая, что машины и программы могут многое сделать лучше человека. «Я работаю с самыми передовыми технологиями ИИ и думаю, что людям нужно быть очень внимательными к этой проблеме»,- сказал он на летней конференции Национальной ассоциации губернаторов, подчеркнув, что ИИ представляет самую большую опасность для человечества. «ИИ представляет опасность для существования человеческой цивилизации, какую не представляют автокатастрофы, авиакатастрофы, бракованные лекарства или испорченные продукты»,- отметил он. По мнению Илона Маска, необходимо жестко регулировать исследования ИИ, чтобы в любой момент любое исследование можно было остановить и убедиться в его безопасности. О возможной опасности ИИ говорили в последние годы также основатель Microsoft Билл Гейтс, а также известный английский физик-теоретик Стивен Хокинг .

Алена Миклашевская

Чем полезен искусственный интеллект

Джон Тума, директор направления Aster Analytic Strategy корпорации Teradata, считает, что опасения Билла Гейтса относительно искусственного интеллекта неоправданны. По мнению Тумы, машины станут умнее людей, но это человечеству только на пользу.

Куда заведет человека развитие технологий

Китай планирует стать мировым центром искусственного интеллекта к 2030 году. Правительство КНР утвердило план из трех этапов по развитию и внедрению соответствующих технологий, сообщает издание ZDNet. Пока мировые корпорации ищут помощника человеку, ученые бьют тревогу и говорят, что искусственный разум может победить биологический.