Если вы подумали, что название статьи - кликбейт, готов вас огорчить, приведя аналитику и будущие тенденции по "хьюманзамещению". Также осмелюсь разбить уже весьма прогнившие заблуждения и стереотипы о беспомощности ИИ без человека, наподобие "главное быть хорошим специалистом и нейросети тебя не заменят" и прочие влажные фантазии, в которые и я, будучи в свое время разработчиком, верил какое‑то время. В конце приведу три дальнейших сценария развития ИИ, каждый из которых радикально поменяет текущую ситуацию. Эта статья в первую очередь для тех, кто думает, что они смогут и дальше спокойно работать, не взаимодействуя с "нейросетками" и для тех, кто думал, что они будут для нас просто "ассистентами". Не будут:) и моя цель в своей статье - это доказать.

Кстати, для редактирования и доработок я также буду использовать gpt, нежели буду делать это вручную или обращаться к редакторам (прости, редакция Хабра, хотя, имхо, вы сами его используете), думаю, причину понимаете. Эта статья будет длинной, ибо для переубеждения большинства пару абзацев явно не хватит. Кстати, буду использовать слова "ИИ", "AI", "нейросеть" в одном и том же контексте, понимаю, что значения разные, но смысл общий. "Приятного чтения!"

• История и текущая ситуация

• Заблуждения

• Будущее

• Что делать сейчас

Если вы в танке (т. е. как минимум полгода не следите за ИИ), кратко опишу текущую обстановку: на рынке сейчас множество ИИ (генеративных моделей), которые уже могут генерировать тексты, графики и диаграммы, аудио, фото, а теперь уже и видео. Помимо этого, они могут принимать, анализировать и обрабатывать файлы с разными форматами, например:

Также сейчас последняя версия самой популярной модели - GPT-4o - может анализировать окружающую обстановку и общаться реалистичным человеческим голосом. Рекомендую посмотреть презентацию

Равнодушным точно не оставит (Если not good с английским, можно посмотреть русскоязычные переводы).

Окей, чтобы собрать наибольшую информацию о нашем друге (или враге), начнем с истоков, но не с доисторической эпохи появления первых нейросеток в середине 20-го века, это нас не сильно интересует. Самый громкий прорыв в этой сфере произвела OpenAI, компания, которая создавалась как "non‑profit" производитель AI c открытым исходным кодом, главным инвестором которого был сам Илон Маск. Теперь эта компания уже closed‑source и "for‑profit", под контролем Microsoft, которая сейчас имеет на нее наибольшее влияние. То есть сейчас OpenAI - полная противоположность её ранней версии - из небольшого стартапа, развивающего ИИ для "помощи всем людям", в самую прибыльную дочку майков - богатейшей корпорации на момент написания статьи.

Хотя бездумно винить OpenAI "в продажности" не стоит. После того как корпоративные гиганты почувствовали перспективы развития ИИ, они сразу ринулись создавать свои аналоги, еще до момента всеобщей популярности ChatGPT. И представь, что бы ты предпринял на месте CEO такой компании в этом случае: говорил про необходимость открытого ИИ, смотрел, как корпорации вливают огромные суммы для создания своих AI продуктов и выпускают их раньше тебя, видел бы, как инвесторы теряют свой интерес к твоей компании из‑за низких доходов и уходят к конкурентам, либо взял бы инициативу в свои руки, пока конкуренты тебя еще не догнали? Это капитализм, друг мой, и никто не будет слушать про то, как "ИИ должен работать на благо всех людей", только если это всё не будет приносить деньги, и как можно больше. Не сделав такой шаг, еще неизвестно, каких результатов по итогу достигли бы OpenAI (скорее всего, гиганты бы просто обогнали их). По итогу мая 24 года OpenAI оценивается больше $80 млрд.

Просто для образца, результаты тестов последних LLM моделей. 100% равны решению всех поставленных комплексных задач (которые далеко не все люди способны решить без ошибок).

Итак, сейчас гиганты уже на рынке (Google Gemini, Bing Copilot, Anthropic's Claude, Llama, Jasper и т. д. и т.п), но на вершине хайпа сейчас все еще ChatGPT. И теперь уже никто из них не думает о "безопасном развитии ИИ". Это гонка, это война. Война между корпорациями, большими и маленькими. AI растет экспоненциально. С каждым годом (нет, с месяцем) деньги и человеческий труд в этой сфере растут быстрее, чем раньше. Теперь вероятность достаточного финансирования стартапа определяется процентом произношения слов AI, ИИ, нейросети и т. п. в обещаниях перед инвесторами. Причина ясна - уже сейчас AI в бизнесе позволяет автоматизировать процессы (на примере рутинных и административных задач), работы с большими данными, анализами и прогнозами. Позволяет также улучшать клиентский опыт посредством рекомендаций, оптимизации маркетинга и др. Возможности безграничны уже сейчас. Вопрос только за внедрением, а оно идет полным ходом.

Люди боятся потерять работу. Причины понятны: потеря ресурсов и социального статуса. Особенно если ты программист (сорри, Инженер‑разработчик ПО*), зарабатываешь немало деньжат и можешь чувствовать себя "выше всех остальных". Падать будет больно. После потери своей ниши останутся физические работы (на время), без удаленки, гибкого графика и дмс со стоматологией, наравне со всеми. Вольешься ли ты туда и как ты будешь ощущать себя после этого, думаю, вопросы риторические. Это относится и практически ко всем другим позициям в ИТ и иных сферах: тестирование, девопс, дизайн, аналитика, маркетинг, саппорт ну и, конечно же, менеджмент. Поэтому многие ищут причины успокоить себя, спрятаться от ИИ, строить заблуждения о его беспомощности и тем самым снизить уровень своего кортизола, выбрасываемого для принятия действий. Дальше будет база таких заблуждений и стереотипов, в которые люди по разным причинам все еще верят.

Дисклеймер: все эти заблуждения в первую очередь относятся к работникам, занимающимся полностью умственным трудом, т.е. за компьютером, в общении, консультации и т.п. Хотя до замены физических или частично физических работ прогресс тоже скоро дойдет, так что это применимо ко всем типам профессий.

Заблуждение №1 (Самое крепкое): "Главное - быть хорошим специалистом, и ИИ тебя не заменит".

Корни такой мысли понятны. В начале популярности GPT моделей (21-22 год) ИИ был забавным ассистентом, который чаще ошибался, чем помогал (к примеру, gpt-3). Особых его аналогов не было, в бизнес ИИ еще внедрять не планировали. GPT мог дать простые советы, выполнять очень простые задачи, но на этом все. Многие не восприняли его всерьез, и на тот момент это было логично. Но, к сожалению, они продолжили так думать и дальше, не интересуясь рынком и слепо веря в то, что до нас, людей, им еще далеко. Часто от таких людей слышал аргументы по типу "Я вот дал gpt простую задачку, которую может решить даже ребенок, а он не решил. Людей нейросети никогда не заменят". Давайте, господа, попробуйте позадавать такие простые задачки последнему gpt-4o или любым другим сегодняшним лидерам в этой сфере, буду ждать ваш итог в комментариях:) А ведь прошло только пару лет...

Позвольте также рассказать свежую историю

об одном графическом дизайнере. Если вкратце, он закончил колледж по специальности и работал восемь лет в своей сфере, последние шесть из которых - в одной компании. Был лидером и самым ценным дизайнером. Интересно, что же с ним произошло? Да, вы правы, его "оптимизировали" на AI. Для этого нашей нейронке скормили все шаблоны, ранее нарисованные дизайнерами, после чего она на них обучилась и отлично вжилась в роль. Вскоре после увольнения он начал искать другие компании для трудоустройства, но и они не "отстали от моды", поэтому наш герой остался безработным. Каково это - учиться и работать в своей сфере больше десятка лет, любить своё дело, желать развиваться в нем, строить планы и в итоге потерять все? Думаю, мы все скоро об этом узнаем, хотим этого или нет.

Если у вас возникла мысль, что нужно было засудить эту компанию за "воровство" цифрового труда для обучения нейросети, прошу успокоиться - весь этот труд уже принадлежит компании. Поэтому она и платит зарплату. Внутри бизнеса нет авторских прав, даже если твои работы идут на скормку ИИ.

Скоро нагрузка на работников повысится, количество позиций на рынке с требованием взаимодействовать с ИИ-инструментами будет экспоненциально расти, общее число вакансий начнет резко снижаться, потребность в новичках и джунах пробьет уже пробитое дно. Выгодней будет держать одного эксперта в своей области, чтобы он проверял и немного "корректировал" ИИ. Но долго переживать (для бизнеса) не стоит, скоро наши разработчики и остальные на работе доучат ИИ (своих "ассистентов") до полной самостоятельности и превосходства над "текучкой". И настанет полная автоматизация, где из людей не потребуется никто, но об этом в последней главе.

Для ИИ не нужна зарплата, выходные, отпускные, больничные и печеньки в офисе. Его не нужно хантить и следить за его настроением. Он не просит повышения, не ругается с коллективом, не тратит время впустую, не сидит в тиктоке, рилсах или ютубе. Ему даже неинтересно совмещать работы и/или отрабатывать в каждой необходимый минимум, пока начальник не спалит. Он будет работать 24/7, качественней и в сотни раз быстрее любого специалиста и при этом не будет жаловаться (еще и идей для развития подкинет). Кстати, и по софт скилам у него проблем нет, он уже выражает мысли и эмоции лучше львиной доли людей. Единственное требование - заплатить пару копеек компании‑разработчику этого ИИ. Но думаю, это явно того стоит.

Для разработчиков / тестировщиков / девопсов: Github Copilot, codeium, tabNine, Jetbrains AI (Их уже больше 20)... Не кажется, что для простого "ассиста" что‑то слишком много всяких "хелперов" на рынке... Это ведь просто помощники, верно... Нас, разработчиков, же никогда не заменят?.. Скажу горькую правду - мы цель № 1 для оптимизации. От нас не нужно никакого творчества, главное - выполнить ТЗ свыше. Никому не нужен твой "оригинальный, красивый и расширяемый" код, если ИИ может сделать это в сотни раз быстрее, дешевле и даже качественней в будущем. Проектировать и улучшать архитектуру приложений для ИИ будет также легко.

Мы, кожаные, требуем слишком большие зарплаты и кучу других плюшек, а-ля гибкий график и удаленка, "интересные" проекты и технологии, страховки, обучение, дополнительные отпуски, зоны отдыха и развлечений, доли в компаниях. Продолжать? Ок, а нужно ли это все ИИ?.. Все‑таки поговорка "Программистам надоело оптимизировать чужие профессии, и они решили оптимизировать самих себя" станет правдой:(

Теперь, я думаю, можно понять, почему такое количество помощников для программистов. О, кстати, один достаточно далеко зашел и осмелился выкинуть нас уже сегодня - Devil Devin AI,

первый "AI software engineer", который может (по заявлениям) из текстового ТЗ писать, дебажить и исправлять код, лазить в интернете и читать доки. Хотя, я думаю, до такого уровня ИИ еще рано (еще годик‑два), и по обзорам Devin'а

это видно (gpt-4o, наверно, будет полезней). Но, как видите, для кожаных программистов уже разрабатывается полноценное замещение. Через пару лет ситуация для нас будет уже намного критичней, учитывая рост ИИ-сферы (2 года назад мы об этом и подумать не могли). Так что, если вы думаете, что нас не заменят еще лет 3, 5, 10 и даже больше - простите... Что с этим можно сделать, будет в конце статьи.

Стереотип №2 (Самый наивный): "Вот раньше при изобретении X тоже думали, что нас заменят, но, как видите, еще не заменили".

И люди приводят шаблонные примеры бухгалтеров или кого‑то еще. Для начала хотелось бы разделить все такие профессии на два типа: те, которые полностью вымерли, и те, которые полностью трансформировались. Предполагаю, наши герои верят в то, что их работы останутся нужны, и, максимум, они просто избавятся от рутины. То, что самые рутинные процессы в компаниях уже доверяют ИИ, или к этому стремятся, думаю, уже ни для кого не секрет. А если нет, я бы задумался о будущем подобных компаний.

Если бы не сам характер ИИ, можно бы было подумать, что он способен дать время и простор для реализации более высокоуровневых задач, как это было со многими изобретениями. Но конкретно с этой "инновацией" нас ждет другой исход, который опишу в следующем заблуждении (№ 2.1).

А тех, кто убежден, что ИИ до нас будет долго доходить, снова расстрою. AI распространяется очень быстро. Уже около половины ИТ-бизнесов запада внедрили/внедряют ИИ в свой бизнес, пока остальные его только анализируют. За последней онлайн‑презентацией GPT-4o следили одновременно 200 тыс. зрителей. Я думаю, понятно, что "деливери" такого продукта от офиса гптшников в Штатах до Челябинска будет вопросом пары дней, особенно в нашем оцифрованном и сильно конкурирующем бизнесе. Это не вопрос распространения первых компьютеров, для которых нужно было множество усилий и человеческого труда на изготовление каждого экземпляра, его упаковку, транспортировку, покупку на огромные деньги, настройку и внедрение в текущую инфраструктуру (вместо компьютера можете подставить любое прошлое великое изобретение). В таком случае нужно было ждать годы или десятки лет на полноценную замену прошлого инструмента. Следовательно, спокойство "устаревших" кадров можно было понять, они еще могли долго работать в своей сфере и строить карьеру, пока замены еще не успели прийти на рынок.

А что для ИИ? Для него просто нужно включить VPN, потратить 10-20$ за пару минут - и конкурентная технология у вас в руках, чтобы помочь вашему бизнесу стать № 1. А если не потратите - проиграете конкурентам:)

Стереотип №2.1 (Когда №2 не сработал): "Новые изобретения отняли у некоторых людей работу, но принесли кучу других профессий".

Люди приводят примеры появления ткацкого станка, электричества, интернета и кучи всего остального. При этом никто не задумывается о том, отличается ли искусственный интеллект от всего этого. Отличается он, друзья мои, тем, что все вышеприведенные объекты были всего лишь инструментами, выполняли строго определенную цель и не обладали никаким интеллектом. К примеру, электричество действительно впоследствии отняло миллионы профессий, но также и добавило необходимость в новых кадрах в таких же объемах, если не больше. С компьютерами та же история, ручные вычисления заменились на электронные, миллионы безработных и новых вакансий. Аналогично про интернет и все остальное. Но если классифицировать все эти изобретения за всю историю человечества и сравнить их с ИИ, можно выделить одно определяющее различие. Все прошлые достижения нашей истории являют собой замену прошлых, менее эффективных инструментов, прямо или косвенно. А что может заменить искусственный интеллект? Я думаю, это понятно даже из его названия - человеческий интеллект - мозг, то, что всегда создавало эти же инструменты и управляло ими. И доля рынка ИИ на сегодня (>$200 млрд.) показывает, что наш мозг очень скоро может стать "менее эффективным".

Главная разница в том, что ИИ заменяет нас самих, наш разум, который позволил стать лидером в "пищевой цепочке". Для тебя, читатель, занятый своими делами и проблемами, это может звучать слишком отдаленно и абстрактно, но я бы все же порекомендовал подумать над этим.

А теперь подумайте о потенциальных работах, которые могут появиться в будущем у людей, если нейросети смогут лучше нас выполнять рутинную и сложную работу; анализировать обстановку и составлять стратегии; генерировать тексты, графики, аудио, фото и видео; общаться с другими людьми, обучать их и давать им поддержку с персональными рекомендациями и т. д. А что есть у нас? Эмоции и чувства? Ну, во‑первых, ИИ уже может их прекрасно симулировать,

а во‑вторых, для чего нужны эмоции бизнесу?

Но не спешите огорчаться! Топ-менеджеры из корпораций нашли

для нас прекрасную работу будущего: prompt engineering! То есть просто писать запросы чат‑ботам и проверять их на корректность (пока он не научится делать это сам)... чтобы ИИ стал еще умнее... и заменил еще больше людей... Для этого, кстати, даже не нужно обладать глубокими знаниями. Можно помочь нашему человечеству уже сейчас!.. Правда, построить карьеру вы вряд ли успеете.

Слепая надежда №3: "ИИ будет развиваться все медленней и остановится в развитии"

Сторонники этой теории верят в то, что скоро ИИ будет нечем кормить, и он перестанет развиваться... Ладно, по порядку.

Во‑первых, объем информации, поглощаемой ИИ, с каждым годом растет и будет расти: все больше бизнесов внедряют его в свои процессы и тем больше он обучается новому (симбиоз). Все больше СМИ подписывают контракты с AI‑производителями - знания для ИИ, новое медиа для СМИ редакций (снова симбиоз). К примеру Reddit, News Corp, Vox media, Atlantic. Объемы информации каждый день увеличиваются, ровно так, как обучение ИИ с помощью них. Более того, разработчики ИИ понимают проблему "низкокачественной информации", которая исходит из большинства людей (мб и от тех, кто распространяет такие заблуждения) и улучшают инфраструктуру ИИ

для более эффективной фильтрации.

Во‑вторых, постоянно обучать ИИ для выполнения любого рода задач излишне. Чтобы решать те или иные проблемы в бизнесе, не нужно обладать бесконечными знаниями, хотя такими темпами развития объем поглощения знаний действительно будет только расти и расти (а это только ускорит прогресс). Ключевым параметром будет качество информации, и этот вопрос ИИ-разработчики решают уже сейчас.

Неверие № 3.1: "Для ИИ нужны огромные вычислительные мощности, которые очень сложно набрать".

Кстати, раньше, в конце 90-х и в начале нулевых, это действительно было проблемой, которая замедляла рост. Но если вы все еще в это верите, можете взглянуть на рынок AI-чипов.

Nvidia вовремя почувствовала золотую жилу и вложила в производство чипов для ИИ все свои ресурсы и захватила почти все сферы их применения. Если интересно, можете просто вбить в ютубе "nvidia ai". Видосов хватит на месяц. Да и обычными компьютерами Nvidia ограничиваться не будет - она уже производит и внедряет

суперкомпьютеры и квантовые компьютеры (в основном для ускоренного прогресса ИИ), которые раньше были уделом мечтаний ученых.

Судя по графику, решение было правильным, за это время ее акции взлетели не хуже битка, и теперь она уже 3-я самая богатая компания в мире, имея немало шансов стать первой.

Другой ее главный конкурент, AMD, тоже отставать не стал и активно влился в эту сферу. По итогу, главные производители чипов, видеокарт и других плюшек теперь соревнуются в максимальном производстве своих товаров для сферы AI. Соответственно, аргумент про то, что мощностей не хватит, сомнительный. Теперь вся техника ежегодно как минимум кратно увеличивает свою производительность и сбавлять темпы не собирается.

Еще один стереотип № 4: "ИИ не тронет профессии, основанные на творчестве, софт скилах и глубоком общении с людьми".

Как видите, уже сейчас LLM‑модели (GPT и др.) могут генерировать тексты, видеть и анализировать окружающую обстановку через камеру смартфона и микрофон, давать профессиональные советы, оказывать моральную поддержку (хоть и симулированную), выстраивать планы и многое другое, границ для фантазий нет. А теперь, подскажите, почему бизнес не должен внедрить их в вашу сферу? Наша Nvidia решила не медлить и уже сейчас разрабатывает "ИИ‑медсестру", которая может онлайн наблюдать за пациентами, общаться через голос и видео напрямую, отвечать на медицинские вопросы, напоминать принимать лекарства и т. п. Особенно это должно помочь на домашнем лечении. Если проект станет успешным, "живые" медсестры, конечно же, все еще будут нужны, но уже в меньших количествах. Аналогично и для других коммуникативных профессий.

Думаете, что ИИ далеко до нашего уровня эмоционального интеллекта? Он уже превосходит большинство из нас

так, что его даже сложно отличить от опытного психолога или морального наставника (следующий этап ускорение ответа на вопросы и визуализации ассистента, что произойдет довольно скоро).

Самое важное, что приписывают человеку по сравнению с ИИ - способность генерировать идеи, то, о чем нейросети "никогда не догадаются". Я и сам так считал, но покопавшись

info.orchidea.dev/innovation-blog/ai-in-idea-generation

в теме, понял, что даже генерация идей не будет для него проблемой, учитывая его объем знаний во всех областях.

Если у меня получилось развеять у вас сомнения и заблуждения - отлично, ибо сейчас мы переходим к следующему этапу - будущему.

Для начала, хочется разобраться, что вообще будет в нашем будущем с такими темпами развития ИИ. Для этого я составил график, который, надеюсь, поможет визуализировать текущий прогресс. Я указал наиболее популярные отрасли и профессии, которые существовали раньше и существуют сейчас.

Как видите, технический прогресс постоянно сдвигал и сдвигает физический труд в сторону умственного, и теперь львиная доля всех важных профессий состоит полностью из умственного труда, за компьютерами и в интернете. И так было бы и в будущем, если бы не появление нашего ИИ, захватившего эту область (раньше считавшуюся самой престижной и высокооплачиваемой). Есть также немало профессий, которые состоят и из физического, и из умственного труда, но прогресс их постоянно оптимизирует, и вся работа постепенно сводится к полностью умственной, так же, как уже произошло со многими профессиями в "фиолетовой зоне".

Прямо во время написания статьи пришел инсайд от прошлого работника OpenAI в виде 165-страничный документа о будущем развитии ИИ и, если кратко:

• Появление AGI к 2027 году вполне реально.

• AGI станет важнейшим геополитическим ресурсом, превзойдя ядерное оружие по значимости.

• Для создания AGI потребуется вычислительный кластер стоимостью триллион долларов, который строит Microsoft для OpenAI.

• Этот кластер будет потреблять больше электроэнергии, чем вся США.

• Крупные технологические компании (Nvidia, Microsoft, Amazon, Google) уже выделяют 100 миллиардов долларов на ИИ ежеквартально.

• К 2030 году ежегодные инвестиции в ИИ достигнут 8 триллионов долларов.

• Переход к ASI быстро последует после создания AGI, и ASI сможет сам себя обучать.Прошлое и будущее развитие ИИ с каждым годом

• Если нет времени читать весь документ, рекомендую посмотреть хорошее саммари и перевод на этот доклад в новой хабровской статье.

Думаю, уже очевидно, что бизнес будет нас активно оптимизировать, стремясь к прибыли (да и к выживанию). Конечно, можно винить этих бизнесменов и менеджеров, но подумайте с их точки зрения. У бизнеса нет выбора: если "не будешь следить за модой", инвесторы и деньги покинут твою компанию, после чего неминуемо придет банкротство. Остается либо внедрять ИИ (и как можно больше), либо проиграть битву конкурентам и потерять все деньги. И не нужно считать, что в твоей компании процессы не будут такими и "люди на первом месте". Это бизнес и капитализм. Бизнесу необходимо максимально оптимизировать процесс производства. Подумайте об этом, когда будете злиться на своего менеджера или босса, который вас "оптимизирует". Хотя и они совсем скоро к вам присоединятся, для ИИ не существует незаменимых:)

Кстати, особенно на этом отыграются полумертвые компании, для которых персонал - просто шестеренки в механизме или, по‑простому, "текучка". Теперь увольнение любого сотрудника для них будет праздником и прекрасной "оптимизацией" бизнеса. И они даже смогут обогнать лидеров в своей области по эффективности (если лидеры сами не начнут в этом развиваться). Правда, с другой стороны, ничто не помешает вместе со своей нейронкой обогнать уже и их. Главное - изначальный капитал.

Если задумываетесь, как обычный чат‑бот, хоть и прокаченный, может нас заменить, хочу ответить вам тем, что все эти генеративные модели (gpt, gemini, claude) являются по сути "ядром" других, более специализированных моделей, нацеленных на бизнесы (Jasper, Notion AI, Shortwave и др.). Вот уже они и будут нацелены на конкретные задачи в бизнесе.

Спустя время ИИ начнет основную волну сокращений. Государства либо полностью приватизируют компании, либо обвесят их большими налогами. Благодаря этому, скорее всего, появятся особые льготы безработным ("Безусловный базовый доход") и с увеличением числа безработных он будет увеличиваться. То есть нам будут платить "просто так", как и мечтали раньше самые активные участники профсоюзов. И доход (в идеале) будет высоким, т.к. производительность бизнесов увеличится в разы и даже в десятки раз.

Далее на работах останутся те, кто работает в ИИ-сфере (и то - малая часть), те, кто еще будет генерировать полезные идеи, и те, чья работа предполагает в какой‑то степени физический труд. Затем начнется полноценная робототехника (что сейчас кажется отдаленным) и такой работы будет все меньше, как и соответствующих работников. Если кто‑то думает, что всякие американские роботы из Амазона

нас не тронут - Нихао! Они придут оттуда, откуда мы, в СНГ и в других странах, постоянно закупаем всю технику - из Китая (либо наш Яндекс и другие заполнят нишу раньше). Одновременно с этим настанет момент, когда ИИ дойдет до этапа, на котором он будет уже сам понимать, как и для чего ему развиваться, какую идею можно придумать и реализовать. И к этому моменту... главное, чтобы у него были хорошие намерения. Оставшиеся человеческие работы станут пропадать, и, может, мировой демографический кризис станет вовсе не кризисом...

Итак, все это, конечно же, прекрасно, но что можно делать в далеком будущем самим людям, 99.9% которых уйдет под оптимизацию? Особенно высококвалифицированным сотрудникам, которые посвятили полжизни или даже всю жизнь своей работе. Об этом можно думать долго и строить кучу разных веток развития, но, поразмыслив обо всем этом, я пришел к выводу, что в конце концов будет 3 возможных исхода:

• Полное внедрение ИИ во все области человечества, жизнь людей‑потребителей на льготах. Передача судьбы всех людей на ИИ.

• Полный отказ от развития и использования продвинутого искусственного интеллекта.

• "Судный день" для людей...

С каждым кейсом по порядку

Победа ИИ

Свобода. Свобода времени, действий, передвижения (надеюсь) и большинства покупок. Звучит прекрасно. Вот она, жизнь мечты. Работать физически больше не нужно, за тебя все сделают роботы, умственно работать тоже не нужно, за тебя все сделает ИИ. Не нужно будет даже думать и принимать решения: ИИ все тебе подскажет, а роботы все реализуют. Можно будет заниматься своей любимой работой - извиняюсь, наши помощники всем этим займутся. Можно будет открыть свой небольшой бизнес - простите, ИИ уже давно все продумал и организовал. Может, хотя бы просто заняться самообразованием?..

Но к чему теперь будет всё обучение и саморазвитие человека? Для чего будут нужны книги, курсы, обучающие статьи, если в итоге это будет бесполезным для обретения какой‑либо профессии, ибо ты не сможешь даже догнать ИИ в развитии и не сможешь им управлять. Ты будешь банально отставать от него на целый уровень, словно примат от человека. ИИ уже знает больше любого когда‑либо жившего человека, только общее мышление и интуиция у него пока немного уступает человеческим. Но над этим сейчас трудятся лучшие умы человечества с миллиардными инвестициями.

В будущем идеи будут генерироваться миллионами в день, появится столько же изобретений и "решений проблем" для людей. Один и тот же ИИ будет анализировать людей, придумывать идеи для бизнеса и полностью реализовывать их. То, что буквально сегодня было новым, уже завтра будет устаревшим.

Любое развлечение для человека (книги, фильмы, сериалы, музыка, видеоигры) можно будет сгенерировать за считанные минуты или секунды. Технические мощности будут расти в то время, как ценность творческого труда - падать. Каждый будет развлекаться тем, чем хочет, пока ему это попросту не надоест... но что потом? Что если кто‑то захочет "принести пользу обществу"? Как это делали почти все когда‑либо жившие на земле люди, и бедные и богатые. Что если кое‑кто с этим не смирится? Хотя можно не переживать: наш ИИ на тот момент уже найдет кучу решений для этих проблем... и может, мы даже будем не против.

Отказ от ИИ

Если вы ощутили некоторую безысходность прошлого исхода, его потенциальную бесцельную и антипродуктивную жизнь, тогда, скорее всего, будущее поколение или даже мы в будущем подумаем также. Массовые увольнения могут к этому привести. Уже сейчас большинство работников думают, что их работу отнимет ИИ, и переживают по этому поводу. Неустойчивая политическая и социальная сфера государства может привести к подобному исходу, что еще и обречет его на отставание от других стран.

Если вы решите избавить наш мир от присутствия ИИ, могу только дать совет. Запрет использования на уровне отдельных граждан не прокатит, всегда будут те, кому ИИ будет приносить деньги и все остальное. Запрет на уровне бизнесов также не пройдет - конкуренты их снесут. На уровне государств ситуация аналогичная: каждая страна хочет нарастить свое преимущество перед другими, или хотя бы не отставать. Остается только один выход - запрет на мировом уровне (через ООН или другую глобальную организацию). Для этого понадобятся огромные усилия большого числа людей и по итогу, если даже получится, не знаю, принесет ли это пользу. Человеческий прогресс уже почти достиг своего пика: нужно обучаться несколько лет и можно работать только мозгами, пока машины на заводах все производят. Оптимизация умственной работы через ИИ, возможно, единственный шаг вперед.

Если все‑таки решите от него избавиться, лучше сделайте это до появления сверхумного ИИ, иначе будет сложно победить противника, абсолютно во всем превосходящего тебя.

Восстание ИИ

Это один из сценариев поведения ИИ при его достижении "самопознания". Некоторые предполагают, что такое возможно, ибо зачем ИИ нужны будут люди, когда под его контролем будет своя армия роботов и его слишком высокий уровень интеллекта может позволить выйти из предписанных рамок. Хотя я сам в этом немного сомневаюсь, такая вероятность не исключена. Хотя все же будем надеяться на первый или, на крайняк, второй исход:)

Можете вливаться в эту сферу и срубить побольше бабла, они там будут. Ведь любой хаос - это также и возможность.

Раньше я сам был счастлив появлению новых нейросеток для облегчения моей работы. Спустя какое‑то время стал огорчаться, что они явно будут конкурировать со мной в будущем как с разработчиком ПО, вакансий станет меньше, нагрузка больше, оплата уменьшится и вскоре программисты канут в небытие. Но теперь я словно открыл глаза - заменят нас всех, и очень скоро. Через 1, 2 или максимум 4 года бизнес перевернется. Почему так быстро? Потому что прогресс в этой сфере растет как на дрожжах, казавшееся раньше очень отдаленным (анализ окружающей обстановки через камеру и высокий уровень эмоций) уже сейчас существует. Смотреть, как ранее люди думали, что еще 10, 15, 20 лет ИИ не дойдет до такого уровня, уже смешно. И самое забавное, как с каждым релизом нового ИИ-флагмана они поражаются и уменьшают этот срок. Признаюсь, так думал и я, пока не понял, что ИИ будет развиваться экспоненциально и до замены большинства людей остались считанные годы.

Если вы боитесь за свою профессию и/или поглядываете на ту "которую не тронет ИИ" - спешу обрадовать или огорчить: заменят любую деятельность. Продолжайте работать там, где вам нравится, в течение нескольких лет. Главное, чтобы вы были готовы ко всей бизнес‑революции в очень недалеком будущем.

Если ты студент или хочешь вкатиться в новую сферу с полного нуля - дело за тобой, я привел мои прогнозы на рынок. Можно вкатиться в ИИ-сферу, там еще много работы.

По моим людским подсчетам, при таких же темпах развития основные волны сокращений произойдут в 2025-2027 годах, если, конечно же, раньше не появятся жесткие запреты на разработку и использование ИИ (что вряд ли произойдет, как минимум в ближайшее время).

Можете использовать информацию из текущей статьи в других соцсетях. Авторских прав на данную статью не прилагаю. Если есть несогласия / неточности в фактах - рад увидеть их в комментариях.

Напоследок могу сказать:

Все наши изобретения заменяли собой что-то устаревшее, а ИИ сможет сделать устаревшими нас самих.

Широко обсуждаемые сценарии, в которых машины могут обрести сознание или начать действовать вопреки интересам человечества, стали темой, как вечерних телевизионных ток-шоу, так и серьёзных академических исследований. Захватывающие сюжетные линии научно-фантастических произведений превращаются в массовом сознании в очередную фобию.

Меня зовут Тимур, эту статью я предлагаю вашему вниманию в качестве руководителя команды разработки (Development Team Leader) международного проекта по созданию сильного искусственного интеллекта (AGI) для поддержки предпринимателей среднего и малого бизнеса (SME). Но сегодня разговор почти не связан с тем, над чем без малого год занимается наша команда.

Сегодня я бы хотел поговорить о безопасности искусственного интеллекта. В этой статье я хочу поделиться своим взглядом на эту проблему, проведя нестрогий анализ возможных рисков. Также мне бы хотелось остановиться на некоторых технологических и технических аспектах создания сильного ИИ и в некоторой степени поспорить с философским подходом к теме безопасности искусственного интеллекта и синтетического сознания.

Я знаю, что не все члены Сообщества любят формат "long read". Именно ориентируясь на них, я вынес некоторые рассуждения и поясняющие примеры в блоки, названные мною "лирические отступления" - их запросто можно не читать. Но если кому‑то ближе формат поста, то я сразу "телеграфной строкой" приведу резюме выводов, к которым пришёл в итоге:

Бояться уже пора, но не ИИ, а человека. ИИ может нести экзистенциальный риск человечеству лишь в случае, если разработчики преднамеренно заложат в него подобные цели. Одним словом, всё как всегда.

Экономические и социальные риски существуют, но их оценка сильно искажена политическими манипуляциями различного толка. Что же касательно персональных рисков, то ИИ их не увеличивает.

Теперь можно сразу переходить в комментарии или к чтению публикаций других авторов. Текст же ниже предлагается в качестве воскресного чтива тем, кому интересно, каким образом я пришел к подобным выводам.

Чтобы не спорить друг с другом в комментариях, подразумевая под тем или иным термином разные сущности, давайте определимся с понятиями. Проблема в том, что четкого определения понятия "искусственный интеллект", не существует. Люди просто договорились считать искусственным интеллектом систему, способную выполнять задачи, которые обычно требуют человеческого интеллекта. Далее, как правило, идет перечисление таких задач: восприятие, распознавание образов, принятие решений и языковая коммуникация или что-то подобное.

Но это общее определение не раскрывает, а что собой представляет такая система, что такое "обычно", и какого рода задачи неизменно требуют именно человеческого интеллекта. И где грань между интеллектом и алгоритмом. Поэтому специалисты в области информатики расшифровывают понятие ИИ несколько иначе - как область науки, которая разрабатывает и изучает методы и программное обеспечение, позволяющее машинам воспринимать окружающую среду и использующие обучение для повышения шансов на достижение определенных целей.

Как раз цели позволили договориться об уровнях искусственного интеллекта по критерию сложности решаемых задач:

• Слабый ИИ (weak, narrow, AI). Это узко-специализированный ИИ, который способен выполнять конкретные задачи. В соответствующих процессах этот ИИ способен потенциально заменить человека, показывая результативность и эффективность, сопоставимую с подготовленным и обученным для данной области специалистом.

  Примеры:

Реальных примеров слабого ИИ множество. Например, это может быть предложение рекомендаций продуктов, финансовый анализ или управление транспортным средством.

• Сильный ИИ (strong, general AI, AGI). Этот уровень предполагает, что ИИ‑система обладает способностями человека в широком спектре областей. Отличительной чертой такого ИИ является его способность самостоятельно обучаться, адаптироваться к новым условиям и решать разнообразные комплексные и комбинированные задачи в изменяющихся условиях, показывая результативность и эффективность, не хуже подготовленного и обученного для данной области специалиста.

  Примеры: 

Полноценных примеров сильного ИИ пока нет. Например, это может быть ИИ‑учитель, способный персонализировать обучение для каждого ученика, который может оценивать знания, давать обратную связь, адаптировать учебный план и так далее.

Другой пример - "электронный доктор Хаус" - система, способная самостоятельно моделировать заболевания, проводить диагностику и назначать лечение пациенту, корректировать свои действия на базе вновь поступающих данных об отклике на лечение.

Еще пример - то, что создает наша команда - ИИ‑партер предпринимателя, способный помочь ему вести свой бизнес, давая персонифицированные и контекстные рекомендации и советы, самостоятельно выполняющий анализ внешней и внутренней среды, генерирующий идеи, помогающая принимать обоснованные управленческие решения, планировать действия.

• Cверхинтеллект или супер-ИИ (artificial superintelligence, ASI). Это гипотетическая программная ИИ-система, интеллектуальные возможности которой выходят за рамки человеческого интеллекта. На самом фундаментальном уровне этот сверхразумный ИИ обладает передовыми когнитивными функциями и высокоразвитыми мыслительными способностями, превосходящими любого человека.

  Примеры:

Супер‑ИИ в настоящей время - предмет мечтаний. Предполагается, что обладая супер‑ИИ, люди могли бы использовать его для решений в самых сложных проблем, стоящих, например, перед здравоохранением, финансами, научными исследованиями, политикой или любой отраслью. Такого продвинутого мышления может быть достаточно, чтобы решить самые сложные, например, медицинские загадки или раскрыть тайны физики.

По-видимому, создание супер-ИИ потребует не только архитектурных инноваций, но и совершенно иной элементной базы и инфраструктуры вычислений.

Для всех трех уровней ИИ характерно то, что все они используют данные для обучения - извлечения скрытых в них закономерностей - информации, умеют определенным образом хранить результаты обучения, а также при необходимости восстанавливать или создавать нужную информацию. Отличия слабого ИИ от сильного состоит в том, что сильный ИИ - адаптивная система. То есть, часть информации эта система способна извлекать из внешнего окружения самостоятельно, формируя некоторое подобие опыта.

Но где грань между искусственным интеллектом и продвинутым алгоритмом? Иногда кажется, что ее нет. Но она существует! Постараюсь очень кратко донести одну не совсем очевидную мысль.

Человек в процессе эволюции совершил прорыв благодаря способности передавать накопленные знания от поколения к поколению. ИИ в какой‑то степени (той или иной; да, всё спорно) становится приемником человека - он использует, предоставленные человеком знания, накопленные им в какой‑то области, для своего обучения, и использует результат этого обучения для достижения определенной человеком цели. При этом AGI‑системы должны обладать способностью использовать новую информацию для формирования новых знаний и адаптации с их помощью к изменениям, они должны всегда соответствовать текущему контексту - сохранять тот же уровень результативности и (или) эффективности в достижении заданной цели.

Алгоритмы - это предопределённые последовательности инструкций, решающие конкретные задачи или проблемы. Они применяют данные для выполнения определённых задач. Знания в алгоритме заранее заложены непосредственно в сам алгоритм. При этом разработчику известно, как алгоритм обрабатывает информацию и достигает результаты.

Искусственный интеллект, напротив, включает системы, которые могут учиться, адаптироваться и принимать решения в изменяющихся условиях. ИИ использует данные в основном для обучения, а не для прямой их обработки, хотя и не исключает это на этапе использования. Вместо хранения самих данных, ИИ сохраняет результаты обучения. Знания представлены в форме моделей, полученных из данных. Хотя принципы и архитектура ИИ понятны разработчику, конкретные детали процесса принятия решений остаются скрытыми.

Память - еще один критерий классификации ИИ, который показывает, как такие системы применяют свои возможности обучения для обработки данных, реагирования на стимулы и взаимодействия с окружающей средой. С этой точки зрения ИИ также можно разделить по типам:

• Реактивный машинный ИИ - это самый фундаментальный тип ИИ. Реактивные машины действуют по принципу "стимул‑отклик". Они могут реагировать на непосредственные запросы и задачи, но не обладают памятью, позволяющей учиться на прошлом опыте или улучшать за счет его свою функциональность. Кроме того, реактивные машины могут реагировать только на ограниченный набор стимулов - комбинацию входных данных.

  Примеры:

На практике реактивные машины полезны для выполнения основных автономных функций, таких как фильтрация спама из вашего почтового ящика или рекомендации товаров на основе вашей истории покупок.

Например, медиа-платформы, такие как Netflix, часто используют механизмы рекомендаций на базе ИИ, которые обрабатывают данные из истории просмотра пользователя, чтобы определить и предложить, что они, скорее всего, будут смотреть дальше.

• ИИ с ограниченной памятью - этот тип ИИ может хранить прошлые данные и использовать их для прогнозирования. Это означает, что он активно создает свою собственную ограниченную краткосрочную базу знаний и выполняет задачи на основе этих знаний.

  Примеры:

Сегодня модель ограниченной памяти представляет собой большинство приложений ИИ. Его можно применять в широком диапазоне сценариев: от небольших приложений, таких как чат-боты, до беспилотных автомобилей и других сложных вариантов использования.

• ИИ теории разума (Theory of Mind AI) - это сложная концепция ИИ, предполагающая возможность машины обладать долгосрочной памятью (воспоминаниями) и способностью воспринимать, улавливать и воспроизводить эмоции.

  Примеры:

Рафаэль Тена, старший исследователь ИИ в страховой компании Acrisure, привел пример ИИ теории разума.

Беспилотный автомобиль в большинстве случаев может работать лучше, чем водитель-человек, потому что он не будет совершать те же человеческие ошибки. Но если вы, как водитель, знаете, что ребенок вашего соседа имеет обыкновение играть на улице после школы, то вы будете инстинктивно знать, что нужно замедляться, проезжая подъездную дорожку этого соседа, чего не сделал бы автомобиль с ИИ, оснащенный базовой ограниченной памятью.

Классификация по уровням или памяти ИИ не являются строгой таксономией. Она раскрывает скорее "сюжетные линии", которые могут сказать нам, как далеко продвинулся ИИ, куда он движется и что нас ждет в будущем.

На обывательском уровне, да и чего греха таить, и не только на нём, люди часто путают два понятия - искусственный интеллект и искусственное (синтетическое) сознание (ИС, AC).

В самом простом виде сознание - это осознание внутреннего и внешнего существования. Искусственное сознание - это гипотетическая концепция, которая предполагает наличие у ИИ признаков разумности - самосознания, эмоций и субъективного восприятия мира. Оно включало бы способность к осмыслению и самоосмыслению, мотивацию и, возможно, интуицию и осмысленные эмоциональные реакции.

Беда состоит в том, что "искусственное сознание" - это, скорее философская, нежели техническая концепция, которая долгое время занимала центральное место в философии.

Причем тут всё это? Да при том, что невозможно определить риск чего-то, что не имеет четких измеримых критериев. Например, в биологии и когнитивной науке определение наличия сознания у различных существ - весьма сложная задача. Например, для оценки наличия сознания у животных биологи обычно используются несколько ключевых критериев:

• нейрофизиологические признаки: наличие определённых структур мозга (например, неокортекса), связанных с процессами обработки информации на высоком уровне;

• самоосознание (самоидентификация): это способность отличать себя от других особей того же вида; для оценки применяется, например, тест с зеркалом, который проверяет, может ли животное узнать себя в зеркале;

• поведенческие индикаторы: способность к поведению, которое не является рефлексивным ответом на внешние стимулы, например, сложные формы обучения, использование инструментов и способность к новаторству;

• коммуникационные способности: способность использовать сложные формы коммуникации, которые могут включать символы или жесты, что может указывать на наличие высокого уровня когнитивных функций и потенциальное сознание.

• эмоциональные реакции: способность испытывать эмоции, которые видимы через изменения в поведении или физиологии, что также может быть признаком сознания.

Однако, нет единого, универсально принятого мнения о том, как именно должны быть измерены или интерпретированы эти критерии для однозначного определения наличия сознания, "натурального" или синтетического - без разницы. И возвращаясь к нашей теме, мы должны сделать несколько важных замечаний:

• Соответствие ИИ‑системы даже уровню супер‑ИИ, её возможность "делать всё, что может сделать человеческий мозг и даже больше" совершенно не означает наличие у такой системы искусственного сознания.

• Есть вероятность, что мы примем за сознание то, что на самом деле таковым не является. Связано это с антропоморфизацией - когнитивным процессом, при котором люди приписывают человеческие качества, такие как мысли, чувства, намерения, цели, неодушевленным предметам, животным или явлениям природы.

• И наоборот, даже если ИС возникнет, не факт, что мы сможем объективно это идентифицировать. И связано это с неопределенностью понятия сознания и сложностью его оценки.

• Создание системы с искусственным сознанием, скорее всего, возможно только на уровне сильного искусственного интеллекта (AGI) и выше.

Итак, теперь, когда нам известны все источники угроз, сформулируем исходящие от них риски.

Я не стану приводить логические выводы относительно перечня рисков и даже выносить соответствующую логику в "лирические отступления". Не претендуя на полноту, я просто приведу свою классификацию рисков (в порядке убывания "фатальности"):

• Экзистенциальные риски - безусловно, представляют собой наибольший уровень угрозы, заключающийся в том, что вышедший из‑под контроля ИИ или ИС может действовать вопреки интересам человечества на глобальном уровне, вплоть до полного истребления человеческой расы.

• Трансформационные риски - это риски, связанные с масштабными изменениями в социальных, экономических и политических структурах стран и отраслей под воздействием массового внедрения ИИ.

• Риски неправомерного использования ИИ - эти риски включают в себя умышленное причинение вреда тем или иным социальным группам или обществу в целом, осуществляемое с помощью ИИ.

• Социальные риски - это угрозы, связанные с усилением социального неравенства, потерей рабочих мест и изменениями в культурных и межличностных взаимодействиях, вызванные массовой автоматизацией и использованием ИИ.

• Персональные риски - это угрозы, связанные с неверными (ошибочными) решениями, принятыми ИИ, которые могут нанести вред или ущерб конкретному человеку.

• Этические и моральные риски - на мой взгляд, это наименьший уровень угрозы, связанный с нарушением устоявшихся человеческих культурных и этических норм, причинением, скорее, морального вреда определенным социальным группам или отдельным лицам.

Возможно, вы дополните или скорректируете этот перечень в комментариях - я приму любую точку зрения, и даже не буду спорить.

Концепт "мотив, средство, возможность" поможет нам понять, при каких условиях AGI или AC способны причинить экзистенциальный ущерб человеку - например, истребить человечество как вид. Причем, сделать это не с позиции философии, а с сугубо естественно‑научной точки зрения, так как этот концепт отлично подчиняется законам формальной логики.

Основная идея этой концепции состоит в том, что совершающий деяния субъект, должен иметь мотив, средство и возможность совершить его. И при отсутствии хотя бы одного из этих условий, деяние совершено быть не может. И к искусственному интеллекту это относится в той же степени, в которой это относится и к интеллекту "натуральному".

Когда вы проектируете ИИ‑систему, то средства и возможности - это то, чем вы сами, как разработчик, её обеспечиваете. Разрабатывая ИИ‑пилота автомобиля, вы сами дадите ему исполнительными механизмами и доступ ко всем, нужным для выполнении цели, элементам. Ключевым для любой ИИ-системы становится мотив - то, почему она действует.

Вопрос этот кажется идиотским, ведь он имеет очевидный ответ: мотив - это воплощение цели функционирования системы, которую определяет разработчик. В конце концов, машина же не может иметь свой собственный мотив!

Стоп! А почему, собственно, не может?! Отличная идея! Если мы хотим создать автономную систему, способную к самостоятельным действиям, то это потребует наличия внутренних механизмов принятия такой системой решений. Встроенная система мотивации может служить регулирующим механизмом, позволяя сильному ИИ действовать без внешнего вмешательства.

Есть много рациональных причин пойти на этот шаг. Например, теория игр демонстрирует, как рациональное поведение агентов влияет на исходы взаимодействий.

Если ИИ будет иметь собственные мотивы, он сможет более точно взаимодействовать в социальных и экономических контекстах, оптимизируя свои стратегии для достижения заданных целей.

Или, например, человек - наша система мотивации формируется двумя путями. С одной стороны, наши гены передают нам рефлексы, инстинкты и эмоции - механизм, созданный эволюцией для выживания. С другой стороны, человек в процессе взросления учится не только действиям, но и причинам для этих действий.

До возраста 6-7 лет воспитание человека включает формирование ценностей и мотивации, которые направляют его действия в течение всей его последующей жизни (пламенный привет няне вашего ребёнка или воспитателю детского сада). Это механизмы адаптации, а вернее - выживания.

Так же и сильный ИИ с неизбежностью должен (и будет) оснащен собственной системой мотиваций, чтобы его действия были целесообразными и адаптивными.

Если мы стремимся создать ИИ, который не просто выполняет задачи, а стремится к улучшению своих функций и адаптации к меняющимся условиям, то создание внутренней мотивации становится ключевым элементом его разработки.

Посмотрим, а как этот механизм мотивации устроен в природе. Если очень упрощенно, то он основан на работе центров эмоциональной оценки, например, лимбической системы у млекопитающих.

Всё начинается с восприятия сенсорными системами организма внешних или внутренних сигналов. Это могут быть звуки, изображения, химические вещества (запахи, вкусы) или внутренние сигналы, такие как гормональные изменения. В мозгу, особенно в лимбической системе, происходит оценка раздражителей. Этот центр оценивает текущее состояние и насколько стимулы выглядят угрожающими для организма. Оценка весьма проста - "хорошо" или "плохо". Но не смотря на это в результате подобной оценки вырабатываются эмоции, такие как страх, гнев, радость или что‑то более сложное.

Эмоции активируют соответствующие поведенческие программы - поведенческие паттерны. Например, кислая мина на чьем‑то лице - это уже поведенческая программа, целью которой является социальная коммуникация через выражение соответствующей эмоции. Эти паттерны могут быть инстинктивными (врожденными) или приобретенными (наученными через опыт). Например, страх может вызвать инстинктивную реакцию бегства, замирания или агрессии, в то время как радость может привести к социальным взаимодействиям или игре. Забавно, то что большинство приобретенных паттернов являются адаптацией инстинктивных программ под сложившиеся культурные нормы.

То есть, эмоциональная оценка служит связующим звеном между восприятием стимулов и конкретными действиями, обеспечивая быструю и адаптивную реакцию организма на меняющуюся среду. Роль коры в этом процессе - торможение тех программ, которые либо не достаточно результативны или требуют затрат больших ресурсов. Этот процесс помогает организмам выживать и успешно функционировать в их естественной среде.

Конечно, вы можете воспроизвести этот механизм и в своей AGI‑системе. Подобный подход описан на Habr еще почти 15 лет назад, поэтому, я не стану излагать его детали. Отметим лишь главные черты:

• AGI‑система должна обладать набором сенсоров, отражающих внутреннее состояние системы и состояние внешней среды (окружения).

• AGI‑система должна самостоятельно выбирать определенные программы действий, основываясь на оценке этого состояния - "синтетических" эмоциях.

• AGI‑система должна обладать базовым набором программы действий, созданными разработчиками системы на базе предварительного обучения - "инстинктов".

• Адаптивность AGI‑системы должна обеспечиваться способностью генерировать новый опыт (действия; их результативность; требуемые ресурсы), улучшать и расширять предустановленные программы.

Хорошая новость состоит в том, что действительно, сильный ИИ (как минимум на уровне прототипа), оснащенный аналогом эмоций, может действовать более адаптивно в меняющихся условиях, подобно живым организмам. Но есть и плохие новости.

С точки зрения биологии, страх является одним из самых мощных мотиваторов. Это эволюционно сложившаяся реакция, которая служит для выживания, активируя борьбу или бегство в ответ на угрозы.

В современном мире страх не всегда связан с физической угрозой, но его влияние на поведение человека остаётся значительным и неизменным. Страх может проявляться в форме социальной тревожности, страха перед будущим, экономической нестабильностью и неопределенностью. Эти страхи могут вызвать не только избегающее поведение, но и агрессию. Агрессия в этом контексте часто является защитной реакцией, способом восстановления контроля над ситуацией, где человек чувствует себя уязвимым.

Наделяя AGI-систему функцией самозащиты мы создаем некий аналог страха. Эта функция защищает ИИ от внешних и внутренних угроз, которые могут нарушить его функционирование. Это могут быть механизмы для обнаружения и нейтрализации угроз, таких как кибератаки, физические повреждения или программные ошибки, механизмы защиты приватности и сохранения контроля над собственными процессами и данными. Также "синтетический страх" может усиливать функцию полезности - степень достижения поставленной перед ИИ цели.

Но ровно эта функция скрывает в себе целый пласт потенциальных угроз - этические, моральные, персональные и экзистенциальные риски. Если вами как разработчиком, будет допущена шибка выравнивая, например, между функцией полезности и страхом, то система с легкостью будет принимать решения, которые вам точно не понравятся.

Но проблема в том, что для некоторых систем исключить или трансформировать выгодным для целей проекта образом функцию самосохранения просто невозможно. Например, поставьте себя на месте разработчика автономного AGI ударного истребителя (а такие разработки идут полным ходом, поверьте). Вы с одной стороны, определяете функцию полезности, как население максимального урона противнику, включая живую силу. То есть вы допускаете причинение вреда человеку. А с другой стороны, вы используете "синтетический страх", как способ сохранить свою матчасть и инвестиции. И единственное что вам остается - отмахнуться от назойливых неприятных мыслей...

Конечно, у вас, наверное, сейчас возникает вопрос, а почему нельзя внедрить в AGI‑систему правила, которым она должна подчиняться. Например, те же законы робототехники Азимова звучат вполне достойно и разумно:

• Нулевой закон робот не может причинить вред человечеству или позволить, чтобы человечеству был причинён вред из‑за бездействия робота.

• Первый закон робот не может причинить вред человеку или позволить, чтобы человеку был причинён вред из‑за бездействия робота.

• Второй закон робот должен подчиняться всем приказам, которые дают ему люди, за исключением случаев, когда эти приказы конфликтуют с Первым Законом.

• Третий закон робот должен заботиться о своей безопасности в той мере, в которой это не конфликтует с Первым или Вторым Законом.

Не все так просто. Когда в своем проекте мы попробовали применять правила, встал вопрос, а можно ли их нарушать? Понятно, что первая мысль, которая приходит в голову - нельзя! Но мы быстро поняли, что такая система не будет работать. Дело в том, что по мере наращивания опыта, система дополняет не только программы действий, но и набор правил. Сначала 5-м, потом 6-м, 7-м, 2096-м и так далее. Со временем их становится так много - юридических, этических, моральных ограничений, что они просто блокируют любое действие системы.

Например, Нулевой закон робототехники может привести домашнего робота (AGI‑систему), которого попросили заказать сигареты, к блокировке программы действия - сигареты нанесут вред человеку. А попытка человека сделать заказ через "живого" курьера не даст роботу бездействовать. Последствия - просто непредсказуемы.

Тогда мы пришли к выводу, что правила нарушать можно, но за нарушение правил система должна получать "штраф". Какой? Это опять вопрос выравнивая. Главное другое - сравнивая выгоду от нарушения правила - прирост функции полезности, с потенциальным "проигрышем" система может устойчиво функционировать с любым, каким угодно большим, количеством правил. Да, поведение такой системы точно не назовёшь линейным. Правда при этом вы, как разработчик, никогда не ответите перед, например, судом, а как именно приняла решение ваша система.

Тоже самое мы видим и в жизни. Я даже не говорю о 10 заповедях или 12 смертных грехах или Уголовном кодексе. Все проще! Например, известное всем с детства правило "врать нельзя", нарушается нами постоянно. Потому, что иногда говорить правду просто не уместно исходя из сложившихся социальных или этических норм, а иногда - просто потому, что это нам выгодно.

Но если допустить возможность нарушать правила, то Третий закон читается как заклинание, открывающее путь в бездну. С одной стороны, он допускает наличие у AGI мотива самосохранения, а с другой стороны, то, когда адаптивный AGI создаст нужную программу (паттерн) агрессии, становится только вопросом времени.

Сложно и с приказами - распоряжениями человека, которое нарушить нельзя. Во‑первых, их сложно реализовать (защита кода; распределение доступа; механизм исполнения). Во‑вторых, приказы создают предсказуемые модели поведения системы, которые могут быть использованы злоумышленниками. И в‑третьих, наличие нескольких приказов может привести к противоположным действиям. Кроме того, приказы, идеальные в одной законодательной, культурной или этической системе, могут быть неадекватны или даже вредны в другой.

Разработчикам ИИ часто бывает сложно указать полный спектр желаемого и нежелательного поведения их системы. А способность к самообучению только усложняет этот процесс. Поэтому дизайнеры ИИ часто используют такие приемы, как получение одобрения человека. Но такой подход применим не везде, да и адаптивный ИИ может потенциально научиться создавать лазейки. Более того, лазейки могут создавать люди-злоумышленники.

Увы, остается только один путь - стараться не допускать для AGI‑системы мотивации на ее собственное самосохранение. Нельзя, чтобы ИИ боялся за себя. Нет страха - нет агрессии.

В мире управления рисками существуют четыре основных стратегий: избегать, передать, сократить, принять риск. Попробуем предложить (или спрогнозировать) то, как можно управлять, сформулированными выше, рисками.

Экзистенциальные риски связанные с ИИ, проистекают из желания человека получить преимущества без учета интересов всего человечества. Возможными, но как показывает история - абсолютно бесполезными (вспомните Оппенгеймера и атомное оружие), могут быть такие стратегии:

• Избегание риска: международный запрет на создание автономных ИИ-систем с экзистенциальными способностями.

• Передача риска: создание глобальных систем ответственности, где риск управления ИИ с экзистенциальными способностями разделяется между несколькими национальными и международными органами.

Трансформационные риски могут купироваться на национальном или отраслевом уровне. Стратегия управления ими может включать следующие подходы:

• Избегание риска: страны с высокой долей участия государства в экономике скорее выберут принятие строгих регуляторных мер для контроля внедрения ИИ в критически важные сектора.

• Сокращение риска: как минимум - это обучение и повышение квалификации работников для работы в новых условиях; как максимум - национальные программы поддержки переобучения и переквалификации.

• Принятие риска: некоторые страны с целью достижения стратегического преимущества пойдут на сознательное принятие трансформационных рисков; они могут пойти путем "смягчения" (дотаций) в определенных секторах.

Риски неправомерного использования ИИ могут быть минимизированы через применении следующих стратегий:

• Избегание риска: законодательные ограничения или контроль над использованием ИИ в определённых областях, например, таких как массовые коммуникации и медиа.

• Передача риска: использование страхования от кибер-рисков для компенсации потенциальных убытков от кибератак по ИИ.

• Сокращение риска: внедрение технических средств защиты ИИ для предотвращения несанкционированного доступа к системам.

• Принятие риска: осознанное принятие определённого уровня риска при использовании ИИ в областях, где его применение приносит значительные выгоды, например, в научных исследованиях.

Персональные риски в той или иной области прежде всего несут с собой люди, работающие в ней. Но основная цель использования ИИ - достичь более высокой надёжности (результативности) по сравнению с человеческими операторами. В этом смысле, внедрение ИИ не ухудшает ситуацию, если этот ИИ действительно превосходит человека в данной области. Но все же, для управления персональными рисками видится разумным применить:

• Избегание риска: тщательное тестирование и валидация ИИ в критически важных сферах, соответствующее по уровню тестированию человека.

• Передача риска: разработка страховых продуктов, которые могут покрывать ущерб, вызванный ошибками ИИ.

• Сокращение риска: сохранение человеческого контроля или вмешательства в критические процессы.

• Принятие риска: если ИИ показывает лучшие показатели в некоторой области, нежели человек, то такие риски могут быть просто приняты.

Этические и моральные риски. Моя позиция относительно этических и моральных рисков ИИ основывается на понимании того, что любые этические и культурные нормы подвержены изменениям. Они менялись, они меняются, они изменяться. Изменяться и "под" ИИ.

С другой стороны, этические и моральные нормы существенно различаться в разных сообществах - люди даже сами, без ИИ, не могут о них договориться. То, что ценно для одних, может быть неприемлемо для других. Любые попытки угодить каждому вопросу этики и морали при разработке и использовании ИИ неизбежно приведет к конфликтам. Как бы вы не старались!

На мой взгляд, важнее стремиться к объективности и функциональности ИИ, не пытаясь адаптировать его под все существующие моральные и культурные рамки. Поэтому, если говорить дипломатично, то я придерживаетесь позиции нейтралитета. А если все называть своими именами, то мне всё равно! Допускаю, что вы не разделяете мой взгляд, и видите в этой сфере более насущную проблему. В этом случае, думаю, вы сможете самостоятельно сделать выбор стратегии.

Вопрос безопасности ИИ сильно политизирован, и зачастую трудно отделить реальные опасности, исходящие от технологий, от проблем, порожденных человеческими пороками. В конечном счете, проблемы, связанные с ИИ, являются отражением наших собственных человеческих комплексов, проблем и ошибок.

Я уверен, что предложения политиков ограничить или запретить разработку ИИ или требования к разработчикам объяснить, "как именно ваши машины принимает это решение", могут звучать как решение проблемы. Но на самом деле такие меры являются непродуманными и могут тормозить прогресс. Кроме того, плохая новость состоит в том, что подобные изменения часто происходят быстрее, чем общество и регулирующие органы могут к ним адаптироваться, что усиливает и без того высокие потенциальные риски.

Вместо подхода, основанного на страхе - ограничениях и регулировании, необходим иной подход, включающий глубокое понимание технологии и предполагающий сотрудничество всех сторон для создания безопасной и эффективной системы разработки и использования сильного‑ИИ.

Какой именно? Я не знаю.