DeepMind научила нейросеть интуитивному пониманию физики

Опубликовано автором

Исследователи из компании DeepMind научили модель машинного обучения понимать базовые принципы взаимодействия предметов и «удивляться» в случае физически невозможного поведения, например, если предмет внезапно исчезнет или не появится там, куда он двигался. В отличие от аналогичных алгоритмов, новый выучил базовые физические принципы самостоятельно, посмотрев 28 тысяч часов видео взаимодействия различных предметов.

Модель получила название PLATO (Physics Learning through Auto-encoding and Tracking Object). PLATO состоит из двух основных частей: модуля восприятия, который находит объекты на видео, и динамического модуля, который предсказывает движения объектов.

Модуль восприятия получает кадр, на котором есть объекты, и маски, на которых эти объекты выделены. Затем он кодирует эти изображения в эмбеддинг — сжатое векторное представление тех же данных, достаточное, чтобы из него можно было восстановить ключевые детали. Чтобы алгоритм научился этому, он превращал изображения в эмбеддинг, затем выполнял обратный процесс, реконструируя изображение, и во время обучения менял параметры кодировщика и декодировщика так, чтобы разница между исходным изображением и реконструированным была минимальной.

Динамический модуль работает на базе нейросети с долгой краткосрочной памяти (LSTM), которая «смотрит» на текущий эмбеддинг и все предыдущие, чтобы предсказать следующий, описывающий будущий кадр. Если затем предсказания модели не сошлись с реальным поведением объектов в ролике, это интерпретируется как удивление.

Для обучения используется 300 тысяч видео, еще пять тысяч предназначено для тестирования. Также в нем есть часть для тестирования, в которой есть по пять тысяч роликов (с физически правильными и неправильными примерами) для проверки понимания алгоритмом пяти базовых понятий:

  • Прочность — объекты состоят из вещества и не могут проходить через друг друга.
  • Непрерывность — например, если объект двигается за двумя препятствиями, он будет виден до первого препятствия, после второго и между ними.
  • Постоянство — объект не может просто исчезнуть или появиться из ниоткуда.
  • Неизменность — объект сохраняет свои свойства, например, форму, на протяжении времени.
  • Инерция — объект обладает скоростью и направлением и препятствует их изменению при взаимодействии с другими.

Источник: N+1

Дата публикации: 11.07.2022

Первоисточник: Nature Human Behaviour