Искусственный интеллект: черный ящик или ящик Пандоры?

Искусственный интеллект называют черным ящиком. Он может решать сложные задачи и давать практические ответы, но как он это делает, как приходит к определенным выводам и результатам, до конца неизвестно. Мы поговорили о том, как работает ИИ с математической точки зрения, в чем его польза и основная опасность, с директором и заведующим лабораторией искусственного интеллекта и информационных технологий Института вычислительной математики и математической геофизики СО РАН профессором РАН, доктором физико-математических наук Михаилом Александровичем Марченко.

— Что такое искусственный интеллект?

— Согласно традиционным представлениям, ИИ — аналог естественного интеллекта человека. Практически — это вычислительный метод, который помогает анализировать данные, делать прогнозы и принимать решения. Но я сужаю понятие ИИ до машинного обучения или нейросетевых вычислений, так как практически всё, что делается сейчас, связано с этой технологией. Хотя существуют и другие направления, например сильный ИИ, то есть машинный разум, по замыслу не уступающий человеческому.

— Есть ли интеллект у искусственного интеллекта?

— Начнем с того, что мы точно не можем сказать, что такое естественный интеллект. Есть разные варианты этого понятия, но цельной картины не получается. Что происходит в голове у людей или даже у животных, до конца непонятно. Я считаю, что у ИИ нет интеллекта и непонятно, будет ли. Но есть хорошо работающие имитационные системы, например нейросеть ChatGPT. Она распознает речь и отвечает на вопросы. Я могу спросить, как работает нейросеть, и она мне ответит. Но бывают сложные вопросы, с которыми ChatGPT не справляется. Однако ответ выдать обязана, поэтому незнакомые места нейросеть заполняет похожими словами. Тем не менее ChatGPT всё равно не интеллект, а программа. 

— Как устроена нейросеть?

— Нейросеть, или нейросетевая модель, — это компьютерная программа, которая с точки зрения математики реализует некоторую приближенную функцию. Для построения такого приближения сначала выбирается так называемая архитектура нейросети, которая определяет алгоритм последовательной обработки входной информации и получения выходной. Если эти этапы алгоритма изобразить на рисунке, то получается структура, чем-то напоминающая цепочки нейронов в мозге, отсюда и название — нейросеть. 

В нейросети присутствуют неизвестные вначале параметры, они численно определяются процедурой, называемой обучением. Обучение производится по заданному набору значений — обучающей выборке, в которую входят известные входные данные и соответствующие им выходные. Данные для обучения должны быть достоверными и, как принято говорить, размеченными – заранее должно быть известно, что они описывают.

Обучение — вычислительно сложный процесс, и есть много способов, как его осуществлять. Математики говорят, что при этом производится нелинейная оптимизация. Обученную в результате этой процедуры нейросетевую модель нужно проверить на независимых от обучающей выборки данных. Так, нейросеть ChatGPT тренировали и проверяли с помощью суперкомпьютеров на огромных массивах данных в течение нескольких месяцев. 

В итоге мы получаем готовую к использованию нейросетевую модель. Она является программным инструментом, численно приближающим неизвестную нам взаимосвязь, которая существует в природе или технической системе. На вход нейросети будут подаваться данные, и путем вычислений получаться выходные, например ChatGPT на заданный вопрос будет давать ответ.

— С чего началась история нейросетей и машинного обучения?

— Работы по нейросетевым моделям начались с результатов исследований выдающихся советских математиков Андрея Николаевича Колмогорова и Владимира Игоревича Арнольда. В 1957 году они решили тринадцатую проблему Гильберта о представлении произвольной функции нескольких переменных с помощью функций с одной или двумя переменными. В математике эта область исследований называется теорией приближений. Эти и последующие работы определили математические основы нейросетевых моделей.

Технологии машинного обучения известны еще с 1950-х годов. Тогда был предложен персептрон, одна из первых нейросетей, которая имитировала работу нейронов в мозге. Дальше ученые конкретизировали задачи, стали взаимодействовать на стыке разных дисциплин: математики, естественных наук и программирования. Широко использовать эти технологии начали совсем недавно, буквально 10—15 лет назад, когда нейросетевые модели научились эффективно реализовывать на доступных графических процессорах. 

Графический процессор состоит из простых вычислительных ядер, объединенных в группы. Для вычислений на нем используются технологии распараллеливания. Тогда ядра решают задачу не последовательно, а некоторое время независимо. Уже впоследствии они обмениваются данными. Математики, инженеры и программисты начали применять нейросети для обработки больших данных, чтобы на их основе прогнозировать динамику природных или технических систем и принимать решения. 

— В чем основная проблема искусственного интеллекта?

— Основная проблема в том, что применение современных нейросетевых моделей с точки зрения математики не обосновано. Нет проверенной информации о вычислительной погрешности и точности прогнозирования. Математически проработанные результаты существуют только для простейших нейросетей. Даже в этом случае приходится строить весьма сложные рассуждения. 

Еще одна проблема — достоверность данных в обучающей выборке и их полнота. Ведь нейросеть чему обучена, то и выдает как результат работы. Например, нейросетевая модель обучена распознавать фотографии кошек. Глядя на картинку, мы понимаем, что перед нами кошка, даже если поменять цвета пикселей, ввести так называемый шум. А вот нейросеть может ее уже не распознать, она работает только с теми данными, на которых обучена. Не исключено, что зашумленное изображение кошки туда не входит. 

— Математика лежит в основе ИИ, но, как наука, она довольно абстрактна. Мешает ли это развитию ИИ или помогает?

— Математика бывает весьма конкретной! В подтверждение я расскажу про методологию математического моделирования, которая имеет прямое отношение к нейросетям.

Что такое математическое моделирование? Рассмотрим такой пример: берем воздух, которым мы все дышим. Никто не видит, из чего он состоит, но ученые разработали атомистическую модель. Свойства воздуха описывает математическое уравнение, которое носит имя великого ученого Людвига Больцмана. Оно хорошо отражает процессы, происходящие в газе, но весьма сложное, решение уравнения не запишешь в аналитическом виде. Поэтому для его приближенного решения записывается алгоритм — последовательность действий с числами. Мы, математики, обосновываем, как алгоритм соответствует решению уравнения и как из него сделать экономичную и эффективную программу для конкретного компьютера. 

Математическая модель, алгоритм, программа — это триада математического моделирования. Ее сформулировали академики Александр Андреевич Самарский и Николай Николаевич Яненко. Очень важно, что с помощью такого подхода можно проводить глубокий анализ сложных физических процессов (в приведенном примере — динамики газа) и прогнозировать их состояние в зависимости от изменений параметров.

Нейросетевая модель строится по другому принципу, поэтому ее можно считать особым видом математической модели. Если в рамках триады математического моделирования мы идем последовательно от уравнения к программе, то при нейросетевом подходе сразу записывается программа, а ее параметры определяются на основе наблюдаемых данных. Они могут сниматься с сенсоров, датчиков и так далее. Получается: вот они данные, а вот она вычислительная модель, и непонятно, есть ли между ними мостик — математическое обоснование. Глубокий анализ физических процессов, особенно при изменении параметров, с помощью нейросетей уже не проведешь. 

Нейросетевые модели не проходят этапы обоснования, как в триаде математического моделирования. Пока математики их не обоснуют, полностью доверять им нельзя. 

Хороший пример приводил академик Сергей Константинович Годунов. При вычислении собственных, заранее известных значений матрицы с помощью пакетов прикладных программ (Matlab, Maple и другие) появляется существенная ошибка. Мы подаем матрицу на вход этим пакетам, и все они выдают отличающиеся от точных значений собственные числа. Нам говорят, раз вы купили пакет, то можете ему доверять. А как доверять, если он даже такой относительно простой тест не проходит? Так и с нейросетями, увы.

— Какова основная опасность искусственного интеллекта?

— Вычислительная техника развивается настолько быстро, что математика за ней не поспевает. Оказалось, что нейросети можно собирать из готовых компонентов, как из деталей конструктора, и получать работающую программу. Помимо этого, нейросетевые модели очень уязвимы. Например, можно в обучающем наборе злонамеренно или по ошибке предоставить недостоверные данные. Из-за этого параметры нейросети будут определены неправильным образом, и нейросеть будет выдавать ошибочный или зловредный ответ при вполне правильных входных данных. 

Чтобы не допустить появления такого рода уязвимостей, нужна методология проверки нейросетей перед использованием. У каждой нейросети должен быть стандартизированный сертификат качества и открытая информация, по которой можно будет судить о качестве ее работы. 

— На каком этапе развития искусственного интеллекта находимся сейчас мы? 

— Сейчас происходит разработка программно-аппаратных систем ИИ для решения сложных задач: распознавания изображений в системах компьютерного зрения транспортных средств, разработки систем принятия решений в промышленности, создания продвинутых медицинских помощников и так далее. Специалисты совершенствуют архитектуры нейросетей, изобретают новые модели и обучают их, придумывают новые методы оптимизации и ускорения работы. Крупные компании активно увеличивают мощности суперкомпьютеров. Например, компания «Яндекс» запустила суперкомпьютеры на графических картах, которые используются для разработки клиентских сервисов, основанных на ИИ.

Еще одно перспективное направление — создание цифровых двойников природных и технических систем. Это программно-аппаратные комплексы, которые в режиме реального времени берут информацию с датчиков. На основе их обработки нейросети дают прогнозы и делают выводы для принятия решений. Наш институт вместе с коллегами из ЦКП «Сибирский кольцевой источник фотонов», ФИЦ «Институт катализа им.  Г. К. Борескова СО РАН» и Конструкторско-технологического института научного приборостроения СО РАН занимается созданием цифрового двойника СКИФа.

Также сейчас происходит этап определения уровня доверия к результатам работы систем ИИ, их сертификация. В Америке норма разработана Национальным институтом стандартов и технологий, а у нас недавно был принят соответствующий ГОСТ. 

— Может ли искусственный интеллект саморазвиваться?

— Нейросети имеют возможность дообучаться и самообучаться. В результате они совершенствуются, улучшаются их прогностические возможности. При правильной постановке дела могут появиться полностью автоматические системы ИИ для принятия решений в промышленности, медицине, транспорте и так далее.

— Могут ли нейросети рассказать что-то новое о работе человеческого мозга?

— Считается, что определенные виды нейросетей — это модели мозга. Пусть они и грубые, но что-то новое о работе мозга мы, возможно, сможем узнать. В истории уже были примеры, когда с помощью грубой модели делали новые открытия. Известно, что модель распространения тепла, или уравнение диффузии, как его еще называют, изначально формулировалась как модель распространения тепла в так называемом теплороде. До начала XIX века считали, что всё пространство заполняет теплород. Казалось бы, грубая модель, но оказалось, что с ее помощью можно описывать распространение тепла. Уже позднее ученые поняли, что теплорода нет, а сама модель в виде уравнения существует и активно используется до сих пор.

— Можно ли обучить искусственный интеллект этическим нормам и сделать его человечнее?

— Можно построить обучающую выборку из объектов с оценками «хорошо» и «плохо», но есть же тонкие ситуации. Например, мы обучаем нейросеть выбирать оптимальный вариант действий, она усваивает ту самую выборку и ею пользуется. Человек в состоянии депрессии задает ей вопрос: «Моя нервная система в очень плохом состоянии, что лучше сделать: умереть или жить?» Не исключено, что нейросеть выберет первый вариант. Потому что она получила на вход состояние человека, которое соответствует оценке «плохо», и выбрала оптимальный вариант действий по ранее заданной шкале значений. Но этическую сторону вопроса нейросеть не примет во внимание.

На мой взгляд, нейросеть никогда не заменит человека. Тут можно вспомнить писателя-фантаста Станислава Лема. Он много писал о том, что ИИ — это бездушная программа, и человек для него ничего не значит. В работе с людьми, их здоровьем и так далее нельзя применять полностью автоматические системы ИИ. Тут важно понимать разницу между автоматическими и автоматизированными алгоритмами. В автоматических компьютер сам принимает решение, в автоматизированных — только помогает человеку принять. Если будет допущена такая ошибка, что человека выведут из контура управления, то ключевые решения будет принимать не человек, а сам компьютер. Тогда могут начаться серьезные проблемы. 

Нет сомнений, что сфера применения ИИ будет дальше расширяться революционными темпами. Я считаю, важно понимать, что вопросам математического обоснования методов ИИ и стандартизованной проверки качества их работы должно уделяться максимум внимания. И уверен, что полностью доверять ИИ неразумно, а валидировать результаты его работы всегда должен только человек.

Полина Щербакова