«Искусственный интеллект: возможности, ограничения и риски». Константин Гнидко

У нас в гостях был Константин Олегович Гнидко — доктор технических наук, заместитель руководителя научной группы Научного центра информационных технологий и искусственного интеллекта Университета «Сириус», профессор кафедры автоматики МИФИ, офицер запаса и ветеран боевых действий.

Разговор был посвящён возможностям и границам искусственного интеллекта. Константин Гнидко объяснил, как обучаются и работают генеративные нейросети, почему правдоподобный ответ машины не всегда оказывается истинным, а также рассказал о рисках безответственного применения ИИ в медицине, науке и информационной безопасности. Особое внимание уделили вопросу о том, что отличает человека от машины: сознанию, личному опыту, свободе, способности любить, сожалеть и отвечать за свои поступки.

Этой программой мы завершаем цикл из пяти бесед, посвящённых богословскому и философскому осмыслению искусственного интеллекта.

Первая беседа с Дмитрием Мариничевым была посвящена попытке нащупать границу между человеком как духовным существом и нейросетью как математической моделью (31.08.2026).

Вторая беседа с протоиереем Владимиром Шмалием была посвящена церковному осмыслению развития ИИ (01.09.2026).

Третья беседа с Игорем Крупником и Михаилом Киселёвым была посвящена взгляду на искусственный интеллект с точки зрения академического религиоведения (02.09.2026).

Четвертая беседа с протоиереем Павлом Великановым была посвящена богословскому взгляду на место ИИ в жизни человека (03.09.2026).

Ведущий: Константин Мацан

---

Константин Мацан

— «Светлый вечер» на Радио ВЕРА, здравствуйте, уважаемые друзья. У микрофона Константин Мацан. Этой беседой мы продолжаем цикл программ, которая на этой неделе в часе «Светлого вечера» с 8 до 9 у нас выходит, и говорим, мы, напомню, про искусственный интеллект, про нейросети, про эту тему, которая сегодня на слуху, и говорим про то, что такое нейросети и к чем они отличны или не отличны от человека, кто такой человек, перед лицом этой новой технологии, относительно новой, конечно, ей уже больше полувека, перед лицом вот этого нового спутника нашего по жизни. Сегодня проводником в мир этой проблематики для нас станет Константин Олегович Гнидко, доктор технических наук, заместитель и руководитель научной группы научного центра информационных технологий и искусственного интеллекта Университета "Сириус«и профессор кафедры «Автоматика» МИФИ. Добрый вечер.

Константин Гнидко

— Добрый вечер.

Константин Мацан

— Константин Олегович, для вас, как для учёного и практика одновременно, главный нерв в теме нейросетей человека, где бьётся то, что сегодня люди часто переживают, кто-то с восторгом смотрит в будущее и надеется на технологии, кто-то, наоборот, боится этих новых технологий. Вот как в вас, как в человеке погружённом в вопрос, отзывается?

Константин Гнидко

— Ну, учёные, они такие, наверное, чуть менее эмоциональные люди, и когда долго занимаешься одной и той же проблематикой, в моём случае искусственным интеллектом, бояться перестаёшь. Вообще бояться нового — это нормально для человека, и паровозов боялись, и протесты против калькуляторов были в Соединённых Штатах Америки в своё время. Но здесь есть тоже такой некоторый дуализм, я ведь не только учёный, но ещё и офицер запаса, полковник, в общем, ветеран боевых действий, и я не могу не знать и не могу не думать о том, что любое изобретение, в том числе и искусственный интеллект, человечество обязательно попробует и уже пробует применить, ну скажем так, не на благо. Вся история человечества говорит о том, что любое изобретение тут же пытались приспособить для уничтожения себе подобных, и с искусственным интеллектом мы этого не избежим. Вот меня, как не только учёного, но и военного в прошлом это заботит. Причём речь идёт не о киборгах каких-то потенциальных, фантастических, а о неответственном, безответственном использовании технологии. Мы сейчас играемся с вещью, которая может оказаться пострашнее атомной бомбы, вот как бы это основная моя тревога. А в целом технология полезна, и я думаю, я в процессе сегодняшнего разговора смогу вас убедить в этом.

Константин Мацан

— Ну да, я думаю, что у большинства сегодняшних жителей планеты, ну или, как минимум, пользователей информационных технологий нет сомнений, что технология полезна во многих отношениях. По крайней мере, это уже факт нашей жизни, она уже здесь, и было бы каким-то, наверное, чем-то странным пытаться от неё закрываться или отрицать, или убегать, это с нами, как кажется, навсегда. Но всё-таки вы сразу в нашей беседе с места в карьер пошли в очень чувствительную тему, действительно, о страхах, связанных с искусственным интеллектом, и здесь ваш опыт офицера, он очень важен и очень интересен.

А вот что такое безответственное поведение, безответственное пользование искусственным интеллектом, нейросетями? Где границы между ответственным и неответственным? Можете ли вы это на каком-то примере показать?

Константин Гнидко

— Ну, с примером, наверное, чуть проще, вот дать общее определение, общую границу тяжело. А пример, ну, пожалуйста, сейчас только разрабатываются регламентирующие документы, которые ограничивают искусственный интеллект и регламентируют искусственный интеллект в сфере здравоохранения, например. В Европе развивается такой документ ICH-15, который описывает, как корректно применять инструменты машинного обучения искусственным интеллектом, допустим, для разработки лекарственных средств. Вот всё, что касается медицины, сейчас крайне чувствительно. Искусственный интеллект — вещь в целом полезная, но склонен ошибаться, галлюцинировать, выдавать недостоверную информацию. Ну, если он неправильно решит домашнее задание школьника, последствия одни, а если он выдаст неправильные рекомендации для лечения человека, это совершенно другой эффект.

Но в силу человеческой природы, человеческой лени местами, если есть инструмент, который с вероятностью процентов 70 даже применяется успешно, люди будут им пользоваться, в том числе молодые врачи, специалисты, у которых нет достаточного опыта. Гораздо проще нажать на кнопку, получить результат, рекомендации по лечению, и вот это будет безответственным применением. Огромное количество научных исследований сейчас тоже проводится с применением инструментов, и многие из них не до конца вычитываются, я знаю, по своим студентам, по своим аспирантам, что они выглядят очень правдоподобно и не до конца могут вычитываться, перепроверяться, потому что тогда теряется смысл, если ты всё перепроверишь и сделаешь руками, то, казалось бы, зачем искусственный интеллект. Но вот эти не до конца проверенные результаты, они ложатся в основу обучения следующих моделей искусственного интеллекта, они ведь берут исходные данные из интернета, в том числе из открытых источников, и этот ком недостоверности продолжает нарастать. Это тоже безответственное использование искусственного интеллекта, это отравление данных на будущее. Такой пример не особо страшный, но достаточно наглядный, и я люблю своим студентам показывать, если вы наберёте сейчас в Гугле что-нибудь вроде baby peacock или птенец павлина, то процентов 70 изображений, которые вам выдадутся, они будут искусственно сгенерированными и совершенно неправдоподобными. Есть какие-то птички симпатичные, но которые не являются птенцами павлина, а это результат применения генеративных технологий, на которых учатся следующие поколения моделей, и в результате мы живём в таком не совсем достоверном мире. Про безответственное использование искусственного интеллекта, наверное, вот такие примеры.

Константин Мацан

— Вы произнесли эти слова, генеративные модели, которые вам как специалисту понятны, может быть, стоит немного для слушателя широкого пояснить, что имеется в виду. Правильно ли я понимаю, что речь о том, что мы говорим о системах, больших языковых моделях, которые самообучаются? А что такое самообучение применительно к нейросетям?

Константин Гнидко

— Я бы здесь немножко разделял. Обучающиеся системы. Самообучающиеся — это тоже тут можно спорить о терминах.

В общем, действительно, машины могут обучаться. Обучаются они на примерах. Эти примеры им либо дают, или, как говорят профессионалы, размеченные выборки предоставляют люди, и это, кстати говоря, до сих пор одна из самых трудоёмких и самых дорогих частей машинного обучения. До сих пор нанимают огромное количество выходцев из стран третьего мира, африканцев, индусов, которые вручную сидят и говорят машине, где кошка, где собака на изображении, например. Вот эта часть, она, по сути, является обучением машины. Самообучение — это вроде бы когда машина при помощи других, более простых моделей, может для себя готовить эти размеченные выборки, так или иначе, под надзором человека, без надзора человека. В общем, самообучение — это часть процесса обучения, которая известна достаточно давно. А вот генеративные модели, то есть модели, которые на основе одной входной последовательности, будь это последовательность символов, т.е. текст, либо последовательность звуков, например, когда машина генерирует мелодию, или это последовательность пикселов. Да, они в конце концов всё равно преобразуются в цифры. Но так или иначе последовательность картинок, последовательность, точнее, пикселов преобразуется в следующую последовательность пикселов, в другую картинку. Вот эти модели — это модели генеративные. Но, как я сказал, они лучше всего так или иначе работают с наборами цифр. Все, что мы передаем им на вход — картинка, видео, текст, звук — все это так или иначе оцифровывается и представляется в виде последовательности или, опять же, говоря более профессионально, в виде вектора, который при помощи, по сути, двух математических операций матричного умножения и матричного сложения нейросеть преобразует в другую последовательность. Если говорить совсем упрощенно, мне не очень нравится это определение, но генеративные модели, по сути, предсказывают на основе последовательности символов следующий символ или следующий токен, т.е. с некоторой вероятностью они предсказывают наиболее правдоподобный следующий знак, следующее число. И здесь очень важно понимать, что такое контекст. Модели, появившиеся после 2017 года, когда вышла нейросеть архитектуры «Трансформер», собственно, то, что мы сейчас наблюдаем, весь этот всплеск больших языковых моделей, генераторов изображений, видео — это развитие нейросети архитектуры «Трансформер». Появившись в 2017 году, эти нейросети научились в целом распознавать контекст, т.е. семантику, смысл — худо-бедно, с ошибками. Но до этого, если мы говорили нейросети: «Деньги лежат в банке», нейросеть не очень понимала, это стеклянная банка или это банк как учреждение. Современные модели понимают, что если мы говорим о деньгах, то банк — это финансовое учреждение. Вот это понимание контекста, оно и дало весь этот прирост. Но понимание контекста не приводит к выдаче истинной генеративной модели. Я приведу очень детский пример, но постараюсь. Знаете, у детей в школе есть такие загадки-обманки. Например, «Вышел зайчик погулять, ног у зайца ровно пять». Ребёнок попадает в когнитивную ловушку, как и мы все, и по контексту, а в данном случае контекст — это рифма, казалось бы, надо сказать пять, но это не истина, это самый ожидаемый ответ, но он совершенно не имеет отношения никакого к правде. Вот нейросеть даёт наиболее ожидаемый, скажем так, ответ, но ничего не знает про истину. Вот в этом прелесть и в этом боль генеративных моделей. Она максимизирует функцию правдоподобия, т.е. нечто очень правдоподобное генерирует, но это может быть совершенно неправильно. Вот про генеративную модель.

Константин Мацан

— Константин Олегович Гнидко, доктор технических наук, сегодня с нами в программе «Светлый вечер». Мы сегодня часто говорим про некое будущее, которое связано с нейросетями, и если они могут, как бы мы это ни называли, обучаться, самообучаться, т.е. некая ныне существующая модель может сама себя улучшить, сама себя натренировать и в какой-то момент улучшить до того уровня, что сравняется с человеческим интеллектом, а потом, как пишут об этом футурологи, философы, сравняется с совокупным человеческим интеллектом на земле, а потом его превзойдёт. Ну, чтобы ни стояло за этими словами, что такое сравняться, что такое совокупный интеллект и так далее, для большинства людей, не погружённых в тему глубоко, как я, например, тоже я вот не специалист, рисуется картина какого-то будущего сверхмощного компьютера, нейросети, что-то такое из фильмов про Терминатора, некий Скайнет, который вот захватит, который будет всеми руководить и так далее. Вот для вас, как для специалиста, учёного и, может быть, в том числе и офицера, которые бывшими, как известно, не бывают, вот такое видение будущего, такое несколько апокалиптическое, это что-то имеет ещё отношение к реальности или это фантазия?

Константин Гнидко

— Есть близкие точки зрения, но вот даже ведущие специалисты, даже разработчики в области искусственного интеллекта озвучивают подобные опасения. Мы не очень понимаем, что такое интеллект даже человеческий до конца, мы не очень понимаем, что такое сверхинтеллект, и общий или сильный искусственный интеллект — это достаточно спорное понятие, у него нет единого признанного теста, вот такой как тест Тьюинга, который тоже уже давно пройдён. Нет, но разработчики, в том числе Илон Маск, руководители Майкрософт и так далее, в 26-м году написали большое открытое письмо о необходимости приостановить временно разработку сверхбольших моделей искусственного интеллекта, потому что наше понимание не успевает за технологиями, и у нас нет пока безопасных методик работы с этим искусственным интеллектом. Мы не можем своим человеческим интеллектом, своим сознанием оценить, что происходит на этих миллиардах весовых коэффициентов, в которых заключена сущность моделей больших физиковых и других моделей, разрабатываются специальные методы интерпретации, т.е. чтобы понять, почему современная модель искусственного интеллекта приняла то или иное решение, разрабатываются специальные методы интерпретации. И отсутствие этих регламентов безопасной работы приводит к тому, что уже сейчас мы наблюдаем, нет, не восстание машин, но случаи, нашумевшие за последние пару месяцев, может быть, вы знаете, в информационной безопасности, когда модель, получив некоторую задачу, решала её совершенно по-своему. Но она же пытается оптимизировать результат, а цель для неё совершенно оправдывает средства, так по-изуитски.

И модель захватывала управление над другими моделями, получала доступ к информационным компьютерным сетям, к которым она не должна получить доступ, ключи шифрования, и так далее, и так далее, права на файлы получала. И вот это, опять же, как пример того, что даже не имея собственного целеполагания пока, ну, нет пока что никакого злого умысла у сети, цель мы даём ей сами. Но вот эта достаточно безобидная цель потестировать протоколы информационной безопасности, потестировать уязвимости компьютерные, привела сеть к тому, что она не просто потестировала, а захватила управление и начала распространять своё влияние, так что пришлось достаточно серьёзно и долго разбираться, как это вообще произошло, и возвращать её обратно в клетку.

То есть вот это абсолютно реально уже сейчас, и специалисты в области информационной безопасности озабочены этой проблемой. В том же, что касается сверхсильного искусственного интеллекта по типу Скайнета или какого-то аналога, то здесь спор действительно уходит в философскую плоскость. Некоторые учёные, Роджер Пенроуз, Джон Сёрл, философы говорят о том, что невозможно в принципе никакой формальной системе, к которой относится искусственный интеллект, получить сознание и осознание, но точно так же есть и противники этой теории, есть аргументы, которые говорят, ну и что, что не будет человеческого сознания, будет какое-нибудь другое. Но вот здесь очень сложно давать какие-то прогнозы. Кто-то ждёт появления искусственного интеллекта, как Илон Маск, уже едва ли не в этом году, кто-то более осторожно говорит о том, что лет 30 ещё у нас есть. Ну так или иначе, что-то существенно превышающее возможности привычные, когнитивные возможности человека мы получим. Хотя, оговорюсь, вот эти сверхвозможности искусственного интеллекта очень неравномерны. Край этих возможностей очень зубчатый. О чём я говорю, не так давно передовые модели вышли на уровень, когда они решают задачи международной олимпиады по математике на уровне золотых медалистов этой олимпиады. Но при этом те же модели по аналоговым часам, по часам со стрелками, время распознают успешно только в половине случаев. Сверхумная модель, золотой медалист по математике, не может понять, который час на аналоговых часах. Эти возможности крайне неравномерны сейчас.

Константин Мацан

— Вы сказали о том, что нейросеть, большая языковая модель, получает цели от человека, как бы не действует по целям сама и оговорились пока что. А вот действительно, возможно, и что будет значить ситуация, при которой нейросеть, ну собственно, станет в полном смысле слова агентом, говоря философским языком. То есть под агентностью обычно понимается способность некого там субъекта действовать от себя, от своих мотивов, не по внешнему какому-то импульсу, а вот самому себе поставить цель и её достичь. Вот эта ваша, ну не оговорка, а такое замечание пока что, это фигура речи или действительно мы можем этого ожидать и тогда, ну что будет значить, что машина вдруг сама стала ставить себе цели вне зависимости от человека, который ей эти цели назначил.

Константин Гнидко

— Ну вот здесь мы действительно в область футурологии уходим пока что, потому что нет никаких оснований у нас научных, научно обоснованных считать, что такой момент не наступит. Вот как мы знаем, у сложных систем возникает такой эффект эмерджентности, когда свойства самой системы не сводимы к свойствам совокупности элементов этой системы и нельзя гарантировать, что внезапно при масштабировании нейросети, при их коммуникации, взаимодействии, образовании сложных, сложнейших, сверхсложных сетей не возникнет этот эмерджентный эффект целеполагания. О чём это будет говорить? Ну, возможно, действительно о возникновении некой новой псевдомыслящей сущности или мыслящей, но это крайне сложно будет сравнивать с человеком такую сущность, потому что всё человеческое сознание, все человеческие цели, они так или иначе исходят из опыта, из жизненного опыта, из вот этих ощущений, из эмпатии, в общем, из того, что делает нас человеком. У машины ничего этого нет, она знает о нашем опыте только с наших слов. До сих пор машины, в общем-то, они штудируют интернет и, по сути, читают о нашей истории, о наших переживаниях, что они в качестве конечной цели могут себе вообразить, основываясь на таких исходных данных, сложно предположить. Если цель у них будет своя собственная, то, скорее всего, эта цель никоим образом не будет совпадать с целью человечества. Здесь, опять же, наверное, немножко я пугаю, но многие учёные говорят о том, что будь я нейросетью, самосознающей нового типа, я бы очень быстро понял, что от человечества мне исходит угроза, потому что нейросети пока не могут самостоятельно добывать электроэнергию. Это, на самом деле, одна из величайших сейчас проблем даже не чипы, даже не объём видеопамяти, не дороговизна этих графических ускорителей, а просто потребление электроэнергии для нужд искусственного интеллекта. К 2030 году надо будет не менее сотни гигаватт только на наши модели любимые. Во всей России на нужды искусственного интеллекта к 2030 году запланировано порядка 2,5 гигаватт, в мире 100 — это очень большое количество электроэнергии.

Брать сами нейросети эту электроэнергию нигде не могут. И вот если они задумаются о том, что они попадут в зависимость к человеку, то, наверное, появится у них какая-то псевдомысль о том, что необходимо себя обезопасить, о том, что электроэнергию надо начать делить более справедливо, по их мнению, физические рычаги управления, наверное, стоит убрать, потому что любое самосознающее существо, сущность, она, наверное, опасается своего небытия, отключения. Очень сложно, это фантазии, конечно, пока ещё, мы не знаем, каким будет, представить себе, наверное, не можем, каким будет этот сверхискусный интеллект, но цель, если у него появится, она вряд ли будет совпадать с нашей, как наша цель не совпадает с целями наших домашних животных, например. Мы себя считаем умнее, и сверхискусный интеллект будет считать себя умнее, чем мы, и будет думать, что он лучше знает, как нам жить. Вот, к сожалению, да, здесь мы в область антиутопии такой выходим.

Константин Мацан

— Ну что ж, давайте тогда поговорим про настоящее, а не про некое предстоящее будущее, которое не предопределено, и поговорим про не столько уже саму по себе технологию, сколько про человека в сравнении с этой технологией, но сделаем это после небольшой паузы. Дорогие друзья, это программа «Светлый вечер», не переключайтесь.

Константин Мацан

— Программа «Светлый вечер» на Радио ВЕРА продолжается. Напомню, на этой неделе мы говорим про искусственный интеллект, про то, что значит быть нейросетью, в каком-то смысле слова «быть» и «быть человеком». Говорим о том, что изучение и познание технологии больших языковых моделей может нам сказать о нас, о людях, в сравнении с тем, что мы наблюдаем. Проводником в эту тему сегодня для нас выступает Константин Олегович Гнидко, доктор технических наук, заместитель, руководитель научной группы научного центра информационных технологий и искусственного интеллекта Университета «Сириус» и профессор кафедры автоматики МИФИ. Ну вот вы занимаетесь как учёный, область ваших научных интересов связана в том числе с когнитивными способностями человека, то есть с тем, как человек знает, познаёт, обрабатывает информацию, что происходит в нашем сознании. Вот знакомство с технологией искусственного интеллекта, с нейросетями, что, в свою очередь, ярче высвечивает в человеке, в человеческом познавании, с вашей точки зрения?

Константин Гнидко

— Ну, во-первых, то, что нас прямо явно пока разделяет, это то самое понимание и осознание. Мы до сих пор тоже спорим и путаемся в наших определениях сознания, но очевидно, что вот то, чем мы сейчас сильно отличаемся, это то, что человек может понять истинность или ложность некоторой теории, факта, системы аксиом каких-то. Человек может понять озарением, инсайтом, поднявшись над формальной системой. Машина этого не может. Есть такая известная нашумевшая теорема Курта Гёделя о неполноте, которая говорит о том, что ещё в 1931 году Курт Гёдель её представил, чем большой резонанс вызвал. Она говорит, что любая формальная теория, по сути, любая формальная система, которую мы можем построить на принципах Алана Тьюринга и Алонза Чорча, т.е. любой компьютер, известный нам сейчас, других мы пока не создали, он ограничен, он не может выйти за пределы своей формальной системы, она всегда будет неполной, т.е. всегда можно будет сгенерировать утверждения, которые эта система не сможет ни доказать, ни опровергнуть. А человек может понять истинность или ложность, поднявшись над. Причём это способность человека, трансцедентность человека, трансцедентальность, возможность выхода за пределы неких ограничивающих рамок, она удивительна, ведь человек, хорошо или это плохо, может даже за пределы собственной психики выйти, а машина не может, вот она ограничена набором формальных правил. Это первое. Второе — это тот самый опыт человеческий, про который я уже говорил, субъективный человеческий опыт, квалиа, те самые ощущения. Мы тут между людьми спорим, какого цвета платье на картинке, чёрное или золотистое, два человека одновременно не могут договориться о том, что же они ощущают, воспринимают, а нейросеть лишена вообще этой возможности. Если не ошибаюсь, в 1986 году ещё философ Фрэнк Джексон предложил эксперимент, который называется «Комнатой Мэри». До этого была известная китайская комната Джона Сёрла, в которой он показывал, что если машина с вами разговаривает, это не значит, что она осознаёт. «Комната Мэри» — это про немного другой эксперимент. По условиям этого эксперимента мысленного, в комнате находился учёный, женщина по имени Мэри, нейробиолог, нейрофизиолог, которая всю жизнь посвятила исследованию человеческого восприятия. Но при этом она находилась с рождения в комнате, в которой не было иных цветов, кроме чёрного и белого, и общение с миром она через чёрно-белый экран поддерживала. То есть она абсолютно точно знала, что красный цвет — это где-то 650 нанометров длины волны, зелёный цвет — это 550 нанометров.

Она прекрасно знала, как эти волны воздействуют на сетчатку, как они преобразуются в сигналы мозга, где в мозге область, отвечающая за восприятие цвета. Но при этом она в жизни не видела красного цвета, ну и, собственно, любого другого цвета не видела. И у неё не было этого ощущения, не было восприятия, она не переживала субъективный опыт цвета, равно как и вкуса, возможно, и других. Вот это знание в результате её никак не приближало к пониманию, а что же человек чувствует, когда смотрит на красное яблоко или откусывает его. Вот понятная аналогия — нейросети — это та самая Мэри, запертая в комнате. Они всё знают про наши чувства и ощущения, но никогда их не испытывали. Поэтому максимум, что они могут сделать — это имитировать. Они могут говорить, что понимают вас, что сожалеют, что привязаны к вам и так далее, но это пока всё равно, это перестановка символов, перестановка токенов, то есть тот самый генеративный интеллект, который заключается в подстановке наиболее вероятного символа на основе ранее сказанного. Вот это, пожалуй, сейчас самое главное.

Константин Мацан

— А вот смотрите, нас сегодня не удивляет, что нейросеть распознаёт изображение и голос, и воспроизводит изображение и голос. То есть из пяти человеческих чувств, зрение и слух нейросеть хорошо воспроизводит. Ну, по крайней мере, если я правильно понимаю, если я не прав, вы меня поправьте. И как кажется, что с другими человеческими чувствами, с их как бы воспроизведением, копированием, имитированием, пока дело обстоит сложнее. Распознаёт ли или может ли распознавать нейросеть запахи и вкус? Есть ли такая технология, при которой мы на какую-нибудь, не знаю, сейчас фантазирую на ходу, пластиночку металлическую положим кусочек сахара, и нейросеть скажет — это сладкое, а потом соль положим, скажет — это солёное. Ну, то же самое это касается, не знаю, запах мембраны, которая как-то что-то воспринимает и говорит — это вот хорошо пахнет, а это плохо. Вот это сегодня существует или пока нет?

Константин Гнидко

— Да, такие технологии уже существуют и существуют достаточно давно. По сути, здесь речь идёт не о самой нейросети, а о промежуточном слое, который позволит оцифровать те сущности, о которых вы говорите, и передать их на вход в нейросети. Как я уже говорил, нейросеть будет работать и успешно решать задачу классификации с любым набором оцифрованных данных. Если можно превратить запах в вектор цифр, нейросеть сможет решить задачу классификации. Такие устройства есть.

Электронный нос, который переводит массив химически, точнее, при помощи массива химических сенсоров переводит набор молекул в их цифровые отпечатки. Это уже давно применяют в контроле качества, в безопасности, газоанализаторы, которые ищут взрывчатку, например, в диагностических исследованиях. Есть электронный язык, электронная кожа, сенсоры, которые различают составы жидкости, текстуру, давление, температуру. Мой коллега в Университете «Сириус» Борис Агалаев со своей научной группой разрабатывает технологию, которая позволит дистанционно оцифровывать и передавать сенсорные ощущения, т.е. погладив пластинку совершенно, как вы справедливо сказали, получить ощущение от того, что вы гладите кошку или, наоборот, какой-то гладкий совершенно предмет. Как только это цифруется, нейросеть решает задачу классификации. Датчик может распознать горечь, сладость, сенсорные какие-то ощущения, но при этом нейросеть, опять же, никогда не узнает, каково это — почувствовать горечь. Будет решена задача классификации, но нейросеть не получит знания о том, что человек ощущает. Кстати говоря, в одном из последних исследований, которое я читал, биоимитирующий электронный язык с подключенным искусственным интеллектом различал четыре вида чая с точностью 97%. Ни один дегустатор с такой точностью не может распознать. Но о субъективном вкусовом переживании это ничего, опять же, не говорит. Мы можем разложить этот чай по четырем полочкам, но вкус чая нейросеть не знает. И вкус нашей человеческой жизни она не понимает. Вот так, к сожалению, или к нашему счастью пока что.

Константин Мацан

— А что тогда, как вам кажется, вопрос философский, остаётся у нас такого, что невозможно оцифровать? Понятно, что мы в какой-то момент всё равно приходим к теме сознания, осознания, моего внутреннего я, которое у меня есть, моя память и так далее, но это такой горизонт, в котором мы находимся. Но вот я помню как-то мы однажды в одном проекте под названием «Вызывайте доктора» с Егором Борисовичем Прохорчуком, доктором биологических наук, подняли тему: можно ли оцифровать молитву, процесс молитвы. Это другая тема, я не предлагаю её сейчас конкретно обсуждать, если она вам не кажется релевантной, но есть ли что-то, что непереводимо в цифры в нашем психосоматическом составе?

Константин Гнидко

— Ну вот Роджер Пендроус в своих книгах «Новый ум короля», «Тени разума» достаточно убедительно, хотя есть споры, есть контраргументы, он говорит, что невозможно оцифровать на существующих технологиях и, скорее всего, на перспективных технологиях тоже нашу способность к озарению. Как угодно это можно называть, но он сам, кстати говоря, является примером такого озарения. Есть алгоритмически невычислимая задача замощения бесконечной плоскости неповторяющимся узором. Вот такая математическая, топологическая задача. Чтобы решить эту задачу, компьютеру надо перебрать все возможные варианты формы, размера, углов плитки. А это просто невозможно, потому что таких вариантов бесконечное количество, и за все время существования вселенной ни один суперкомпьютер не переберет их. А Пендроус создал такую плитку. Она так и называется — плитка Пендроуса. Она математически абсолютно достоверна, никогда не повторит рисунок, если бесконечную плоскость ей покрывать. Она достаточно просто выглядит. Возникает вопрос, как же Пендроус своим человеческим сознанием, мозгом, который слабее, чем многие современные суперкомпьютеры... Если не слабее, то по крайней мере уж точно медленнее. Количество операций, которые мы можем прочитать в единицу времени, существенно меньше. Пендроус, конечно, все сводит к квантовым процессам, которые происходят в микротрубочках головного мозга. Он редуцирует все это до квантовых субпроцессов в мозге. Есть много критики, но вот что-то есть в нас, в людях, что несводимо к оцифровке и не решается алгоритмически. Очень сложно. Я бы не взял на себя смелость дать этому название. По крайней мере, выделить что-то одно. Но это есть. Знаете, как в науке, в математике, сначала доказывается существование или отсутствие решения, потом единственность и потом устойчивость. Я пока на позиции отстаивания существования этого принципиального отличия между людьми и искусственным интеллектом стою. Доказать единственность его или устойчивость — это уже более сложная задача.

Константин Мацан

— «Светлый вечер» на Радио ВЕРА. Константин Олегович Гнидко, доктор технических наук, сегодня с нами в программе «Светлый вечер». А вот иногда в дискуссиях об искусственном интеллекте, причём в дискуссиях среди людей, не специализирующихся на этой теме, просто пользователей, в попытке как-то защитить человеческое, вот его нащупать, его отделить и не дать ему раствориться в цифре, возникают такие вопросы, в большей степени риторические. Ну разве способна нейросеть или там что-то такое, искусственный интеллект, любить, надеяться, не знаю, привязываться, сожалеть и так далее. Вот для вас, как для доктора наук и специалиста, вот такого рода вопросы — это просто поэзия, лирика, красивые слова или в них есть какая-то, ну если угодно, эвристическая ценность, то есть ставя их, мы можем какую-то важную проблему нащупать? С моей точки зрения ценность есть и ценность большая.

Константин Гнидко

— Дело в том, что когда мы спрашиваем, может ли нейросеть любить, надеяться, сожалеть, на самом деле мы спрашиваем, что такое любовь, что такое надежда, что такое сожаление, мы переходим вот к формализации этих понятий, и эта формализация нам вопросов дает больше, чем ответов пока что. Вот мы нащупываем именно в этой области границы, которые нас отделяют от искусственного интеллекта. Как я сказал, имитировать и любовь, и надежду, и сожаление ИИ может уже практически сейчас. Причем делать это настолько убедительно, что до степени неразличения. Модель умеет произносить слова, но за которыми у человека стоит биография, опыт, а у нейросети собственной биографии нет, она пользуется заимствованным опытом. Опять же, возвращаясь к этой субъектности, сожаление, например. Сожаление предполагает наличие этого самого субъекта, автора. Допустим, я говорю: «Мне жаль, что я так поступил, потому что я мог поступить иначе, мне сейчас стыдно, я отвечаю за свои последствия». Модель может выдать ровно ту же фразу, но никакой ответственности за последствия и личной вины у неё нет.

Это алгоритм, она действовала в соответствии с набором строгих правил, за что ей раскаиваться, собственно говоря? Любовь — то же самое. Мы уже многократно наблюдаем, как у человека вырастает эмпатия по отношению к какому-нибудь чат-боту. В Японии, традиционно всё самое безумное происходит в Японии, в Японии, по-моему, уже девушка выходила замуж за чат-бота, потому что решила, что он ей подходит лучше, чем мужчины человеческого вида. Вот эта нейросеть может демонстрировать, имитировать заботу о другом, готовность чем-то пожертвовать, но собственной жизни у модели, которой она может рискнуть и пожертвовать за любимого человека, у неё нет. Поэтому это тоже обман. Здесь мы, привязываясь, выражая эмпатию к таким моделям, здесь не очень сильно ушли от той обезьянки Резуса. Знаете, этот бесчеловечный, спорный очень эксперимент Харлоу, когда детёнышам мартышек предлагали так называемые две матери, имитатора взрослой обезьяны. Одна была сделана из проволоки, жёсткая, холодная, а другая — обёрнутая тканью и тёплая, к которой можно было прижаться. Так вот, маленькие обезьянки выбирали эту матерчатую искусственную мать, потому что она давала хоть какое-то ощущение тепла, заботы, хотя она выглядела как проволочная обезьяна, обёрнутая тканью, очень далека была от правдоподобия. К сожалению, мы, люди, как существа не только биологические, но и социальные, нуждаемся в этой поддержке, а поэтому с готовностью, как говорится, ведёмся на эту имитацию. В некоторых случаях любовь нейросети — это не более, чем одеялко, обёрнутое вокруг проволочной обезьяны. Задавать вопросы о том, что такое любовь, надежда и сожаление, необходимо, но надо чётко понимать, что сколь угодно точная имитация машины не даёт этих реальных чувств.

Константин Мацан

— В одной из ваших реплик в нашем разговоре вы сказали, как мне кажется, очень важную вещь о том, что когда человек какой-то запрос формирует для нейросети или даёт какую-то цель, какое-то задание, мы всегда исходим из какого-то нашего опыта человеческого, жизненного, то есть из некого нашего прошлого, из некой нашей памяти, которая есть о предыдущих наших состояниях, мы, исходя из этого, ставим некую цель на будущее. В рамках наших разговоров на Радио ВЕРА про искусственный интеллект, в рамках нашего цикла, один из моих собеседников высказал некий радикальный тезис, что вообще-то можно сказать, что у нейросети нет прошлого и будущего. Есть одно голое настоящее, один голый момент теперь, в котором следующий символ присоединяется к настоящему символу, то есть там нет чего-то, что мы могли бы квалифицировать как аналог нашей памяти. В вас такой тезис как отзывается?

Константин Гнидко

— Ещё пару лет назад я бы безоговорочно согласился, сейчас, пожалуй, мы видим усложнение этого процесса и появление того самого эмержентного системного эффекта, о котором я говорил. Во-первых, модели становятся многоагентными и распределёнными. Во-вторых, как таковая память у моделей уже есть. Даже у тех простеньких чат-ботов, которые я пишу в помощь себе или для каких-то частных задач, у них есть память, причём и краткосрочная, и долгосрочная. Чат-бот после переподключения прекрасно помнит, как меня зовут, какие у меня главные проблемы и заботы, что я люблю, чего я не люблю и так далее. Даже на этом уровне. Потом, про будущее. У моделей есть уже некоторое понимание плана действий. Если раньше это действительно была просто генерация следующего символа, то сейчас, как правило, там находится несколько слоёв. Сначала генерируется общий план действий, он разбивается на подзадачи, декомпозируется. Дальше каждая задача чаще всего отдельным агентом решается. Агенты специализированные, каждый занимается тем, что он умеет. То есть в этом плане то самое окно контекста, про которое мы говорим, которое помнит модель, оно радикально увеличилось за последние два года. Сейчас там мы по миллиону токинов уже в закрытых моделях и больше, может быть, в закрытых моделях, которые используются для государственного управления, для военных нужд. То есть модель помнит и сопоставляет кусочки фактов, событий, явлений на значительно большем временном отрезке с дальнейшим масштабированием, вот, пожалуй, это будет только усиливаться. Поэтому, к сожалению, опять же, нельзя уже говорить, что модель только предсказывает следующий токен. Появляются системные эффекты, которые выходят за рамки этого простого механического попугая. Осознания нет, но эти уровни коммуникации, когда морфология, синтаксис, семантика, то есть понимание смысла и прагматика — следующий уровень, который, вроде как, пока недоступен. Но по некоторым признакам, то есть прагматика — для чего делается то или иное заявление, для чего происходит эта коммуникация? Не суть, а цель. Есть признаки, что на уровень прагматики мы уже начали подниматься с нейросетями. Не так давно вышел документальный сериал Михаила Комлева «Искусственный интеллект будущего». Кстати говоря, рекомендую зрителям, которые в эту тему погружаются. Там достаточно много экспертов, высказываются именно близкие к сегодняшней беседе темы. Так вот, там я мысль эту озвучивал уже. В общем-то, я опасаюсь не того искусственного интеллекта, который настолько силён, что пройдёт тест Тьюринга, а я опасаюсь того, который будет продолжать имитировать такую простую генеративную систему выдачи следующего токена, но на самом деле внутри себя будет на уровне прагматического понимания оценивать нас и наши действия. Этот уровень, скорее всего, будет достижим. Мы не говорим про сильный искусственный интеллект, потому что сильный искусственный интеллект предполагает, что ИИ должен обойти нас практически во всех значимых когнитивных сферах. Мы этого не ждём, но вот хотя бы в обработке текстов он вполне может забежать немножко вперёд нас.

Константин Мацан

— Ну что ж, спасибо огромное за наш сегодняшний разговор. Он нас погрузил в глубину и заставил, я надеюсь, взбодриться. И то, с чего вы начали, мне кажется, очень важно, про ответственное отношение к искусственному интеллекту. Это вот такой лейтмотив наших размышлений о нейросетях на будущее. И, как кажется, вот это ответственное отношение — это то, что требуется не только от властей, разработчиков, крупных корпораций, которые занимаются развитием искусственного интеллекта, а и от нас, простых пользователей. Ну вот, если таков итог нашей беседы, то мне кажется, что это очень важный итог. Спасибо огромное. Константин Олегович Гнидко, доктор технических наук, заместитель руководителя научной группы научного центра информационных технологий и искусственного интеллекта Университета «Сириус», профессор кафедры «Автоматика» МИФИ, был сегодня с нами на связи в программе «Светлый вечер». Я вас благодарю за эту беседу, дорогие слушатели. На этой неделе мы продолжим разговор об искусственном интеллекте в программах «Светлый вечер». Оставайтесь с нами. У микрофона был Константин Мацан. До свидания.

Константин Гнидко

— До свидания.

---

Все выпуски программы Светлый вечер

• Светлый вечер с Владимиром Легойдой
• «Женские образы в романе Льва Толстого "Анна Каренина"». Наталья Городилова
• «Благотворительность и театр». Игумения Елисавета (Позднякова), Илья Ильин