⚖ Compare news

Put up to three stories side by side. Pick IDs from any article URL: /compare?id=123&id=456

Эпизод 2. Подсмотрено у мозга: предсказание, азбука, план

habrahabr.ru ·Russian Federation · world
Words
167
Chars
1097
AI summary
Yes
Full story

Mikhail Kocherov continues an RL task in which an agent must learn to play Atari Frostbite from raw video frames to score over 136k points and beat the SOTA model MEME-200. He says he is working on the problem because solving it can help explain how the brain works. The second episode is framed around prediction, an alphabet, and a plan, with Kocherov suggesting that nature offers hints for solving such problems.

Продолжаем решать интересную RL-задачу: агент должен сам научиться играть в Atari Frostbite по сырым видеокадрам, чтобы набрать 136k+ очков и одолеть SOTA модель MEME-200 [4]. Меня зовут Михаил Кочеров. Я занимаюсь этой задачей, потому что по ходу её решения можно лучше понять, как работает наш мозг. Как будто сама природа подкидывает проблемы и намекает на пути их решения, шепча “Загляни в себя, там все ответы”. Разобраться в работе нашего мозга — мой идефикс. Во Frostbite нужно управлять эскимосом, собирать иглу, прыгая по льдинам, уворачиваться от врагов, тикает таймер замерзания. Для перехода на новый уровень эскимос должен зайти в собранный иглу. Игра непростая, в среднем после 2-х часов игры новичок набирает около 4 тысяч очков (2-3 пройденных уровня). В прошлом эпизоде мы собрали простого агента на базе CNN и трансформера. Агент владеет базовыми механиками игры, набирает 779 очков, но не проходит даже первый уровень. При этом улучшения от дальнейших тренировок нет. Очевидно, что агент нащупал локальный минимум и застрял в нём. Его надо как-то вытолкнуть оттуда. Читать далее

Open article