Мозговой трест. 39 ведущих нейробиологов – о том, что мы знаем и чего не знаем о мозге
- Автор: Линден Дэвид
- Год: 2022
- Язык: русский
- Год: Синдбад
- ISBN: 978-5-00131-420-2
- Переводчик: Юрий Яковлевич Гольдберг
- Жанр: Биология
Электронная книга - «Мозговой трест. 39 ведущих нейробиологов – о том, что мы знаем и чего не знаем о мозге». Краткое содержание книги:
Авторы описывают самые удивительные особенности мозга, честно объясняя, что известно, а что пока неизвестно ученым о работе нервной системы. Книга увлечет всех, кто интересуется наукой о мозге.
В нашем подходе для обучения нейросети оценке игровых позиций и выбору ходов использовалось экспертное знание. Недостаток этого подхода состоит в необходимости собрать и хранить множество экспертных оценок; кроме того, программа по определению не могла играть лучше экспертов. Когда Джерри перешел в исследовательский центр IBM имени Томаса Уотсона, он переключился с метода контролируемого обучения на метод временных разностей и заставил программу играть саму с собой. Проблема игры с собой заключается в том, что единственный обучающий сигнал — это выигрыш или проигрыш всей партии, а информация о влиянии на победу или поражение каждого из множества ходов отсутствует.
В начале обучения игре в нарды ходы вычислительной машины были случайными, но в итоге одна из сторон выигрывала. Сначала система вознаграждения обучала программу «выигрывать», то есть снимать все шашки с доски к концу игры. Когда программа освоила завершение игры, функция ценности для выигрыша начала обучать функцию ценности для середины игры, где приходилось принимать сложные решения о взаимодействии с шашками противника. Наконец, после ста тысяч партий, функция ценности научилась разыгрывать дебют, в котором шашки занимают оборону, чтобы помешать продвижению шашек противника. Процесс обучения шел с конца игры, где вознаграждение очевидно, к началу, с использованием неявного вознаграждения, рассчитанного функцией ценности. Таким образом, обратная последовательность функции ценности позволяет слабому обучающему сигналу (такому, как в дофаминовой системе вознаграждения) обучать машину последовательности решений, ведущих к достижению отдаленной цели.
Программа Тезауро, получившая название TD-Gammon, была представлена миру в 1992 году и удивила меня и многих других[470]. Функция ценности использовала несколько сотен смоделированных нейронов — по нынешним меркам это относительно небольшая нейросеть. После ста тысяч партий программа начала выигрывать у Джерри, и он позвонил Биллу Роберти, мастеру игры в нарды из Нью-Йорка, и тот приехал в исследовательский центр IBM, чтобы сыграть с компьютером. Роберти выиграл большинство партий, но был удивлен, проиграв несколько напряженных поединков. Он заявил, что это лучшая программа для игры в нарды из всех, с которыми он имел дело. Некоторые ходы компьютера были необычными, каких он не видел раньше; при тщательном анализе выяснилось, что эта стратегия лучше той, к которой обычно прибегают люди. Роберти вернулся, когда программа сыграла сама с собой миллион партий, и был поражен ничейным исходом серии поединков с TD-Gammon. Возможно, вам покажется, что миллион — это много, но программа ознакомилась лишь с ничтожно малой долей возможных позиций на доске. TD-Gammon приходилось сводить к общим правилам каждую новую позицию почти после каждого хода.
В марте 2016 года кореец Ли Седоль, чемпион мира по игре в го, провел матч с программой AlphaGo, которая обучалась игре в го методом временных разностей[471]. В AlphaGo использовались нейросети с гораздо более мощной функцией ценности, состоящие из миллионов компонентов, которые оценивали позиции на доске и возможные ходы. По сложности го превосходит шахматы примерно настолько же, насколько шахматы превосходят шашки. Даже компания Deep Mind, разработавшая программу AlphaGo, не знала ее силы. Программа сыграла сама с собой сотни миллионов партий, и не было никакого критерия для оценки ее возможностей. Многие были потрясены, когда AlphaGo выиграла первые три партии, продемонстрировав неожиданно высокий уровень мастерства. Некоторые ходы, сделанные программой, были поистине революционными. Возможности AlphaGo значительно превзошли наши ожидания — мои и других специалистов. Процесс объединения биологического интеллекта с искусственным ускоряется, и впереди нас ждет еще много сюрпризов. Урок, который нам нужно усвоить, заключается в том, что природа гораздо умнее нас.
470
G. Tesauro, «Temporal Difference Learning and TD-Gammon», Communications of the ACM 38 (1995): 58–68.
471
D. Silver, A. Huang, C. J. Maddison, A. Guez, L. Sifre, G. van den Driessche, J. Schrittwieser, I. Antonoglou, V. Panneershelvam, M. Lanctot, S. Dieleman, D. Grewe, J. Nham, N. Kalchbrenner, I. Sutskever, T. Lillicrap, M. Leach, K. Kavukcuoglu, T. Graepel, and D. Hassabis, «Mastering the Game of Go with Deep Neural Networks and Tree Search», Nature 529 (2016): 484–489.