Демон внутри. Анатомия искусственного интеллекта

Допустим, обучение идет с учителем, который знает, как выглядит кошка. На входе сети действительно кошка, а вот на выходе сеть выдает сигнал ошибки. Неправильно! — говорит учитель, и применяет к сети алгоритм обратного распознавания ошибки. Алгоритм этот впервые был описан в 1974 году преподавателем МФТИ Александром Галушкиным, о котором рассказывалось ранее. Свой вариант метода предложил и канадец Джефф Хинтон, который совсем недавно произвел большой шум в области машинного обучения, когда ввел в оборот продвинутую архитектуру капсульных нейросетей. О них мы еще поговорим.

Что делает алгоритм обратного распознавания ошибки? Он автоматически перенастраивает веса соединений сети для того, чтобы при следующем показе кошки этот результат был получен с меньшей вероятностью. Основная идея этого метода состоит в распространении сигналов ошибки от выходов сети к её входам, в направлении, обратном прямому распространению сигналов в обычном режиме работы. Потом машине снова показывают точно ту же кошку—и сеть опять выдает ошибку. Ее снова автоматически перенастраивают, и так продолжается до тех пор, пока она не выдает правильный сигнал. Сеть запоминает веса соединений при правильном ответе и воспроизводит их уже когда ей показывают следующую кошку. Тут все повторяется снова — и так до тех пор, пока сеть не научится распознавать всех кошек и отличать их от всего остального. Конечно, в этом описании не учтено множество важных аспектов, о некоторых из которых пойдет речь ниже.

Но что же такое свертка, которая помогает нам ориентироваться в этом мире животных? Пока наше описание похоже на определение термина «сепуляция» из «Звездных дневников Ийона Тихого» Станислава Лема. Как он писал, сепуляция — это известный всем процесс, в ходе которого получаются сепульки, для чего непременно нужен хороший сепулятор. Так и сверточные сети — результат известных всем действий по свертыванию того, что худо-бедно свертывается.

Попробуем представить себе свертку визуально — кстати, великие математики часто рисуют в своем воображении картинки самых абстрактных понятий, и даже окрашивают их в разные цвета. Человек думает образами, не случайно именно через распознавание образов сегодня во многом идет процесс создания искусственного интеллекта.

Каждый фильтр в математическом смысле — это матрица. Вид паттернов, которые мы хотим обнаружить, записывается числами в матрице, то есть кодируется. Возьмем простую матрицу три на три с произвольными числами от нуля до единицы в каждой ячейке матрицы. Пусть на вход поступило некое изображение размером триста на триста пикселей. Прокатим каждую матрицу три на три через каждый блок этого изображения —таких блоков будет сто в квадрате, то есть десять тысяч. Прокатим — это значит проведем определенные математические операции с данными в ячейках блока и в матрице, и результат запишем в каждый пиксель сверточного слоя. Таких пикселей будет девятьсот тысяч. Зрительно представить себе эту прокатку матрицы через слой можно как пошаговое обволакивание слоя этой матрицей, или, наоборот, свертывание матрицы внутри каждого пикселя. Или лучше представьте, как дрон-матрица парит над джунглями изображения в поисках там партизан. В итоге матрица просвечивает каждый элемент изображения, выявляя, не сверкнул ли среди пальм гладкий металл автомата Калашникова. Так выявляется, соответствует ли тот или иной элемент паттерну, который мы ищем.