Технология вязки арматуры для фундамента: способы, схемы, нормы и правила вязки для начинающих

Reinforcement Learning (RL) — одна из самых актуальных тем исследований в области современного искусственного интеллекта, и его популярность только растет. Давайте рассмотрим 5 полезных вещей, которые нужно знать, чтобы начать работать с RL.

Reinforcement Learning (RL) — это тип техники машинного обучения, которая позволяет агенту учиться в интерактивной среде методом проб и ошибок, используя обратную связь от своих собственных действий и опыта.

Хотя и контролируемое, и подкрепляющее обучение используют отображение между входом и выходом, в отличие от контролируемого обучения, когда обратная связь, предоставляемая агенту, представляет собой правильный набор действий для выполнения задачи, подкрепляющее обучение использует наград и наказаний в качестве сигналов для положительного и негативное поведение.

По сравнению с обучением без присмотра, обучение с подкреплением отличается с точки зрения целей. В то время как цель обучения без учителя состоит в том, чтобы найти сходства и различия между точками данных, в случае обучения с подкреплением цель состоит в том, чтобы найти подходящую модель действия, которая максимизировала бы общее совокупное вознаграждение агента .На рисунке ниже показан цикл обратной связи за вознаграждение за действие общей модели RL.

Некоторые ключевые термины, которые описывают основные элементы проблемы RL:

1. Окружающая среда — Физический мир, в котором работает агент
2. Состояние — Текущая ситуация агента
3. Вознаграждение — Обратная связь от environment
4. Policy — Метод для сопоставления состояния агента с действиями
5. Value — Будущее вознаграждение, которое агент получит, совершив действие в определенном состоянии

Проблему RL лучше всего объяснить с помощью игр.Давайте возьмем игру PacMan , в которой цель агента (PacMan) состоит в том, чтобы есть еду в сетке, избегая призраков на своем пути. В этом случае мир сетки — это интерактивная среда для агента, в котором он действует. Агент получает награду за еду и наказание, если его убивает призрак (проигрывает игру). Состояния — это расположение агента в мире сетки, а общая совокупная награда — это агент, выигравший игру.

Чтобы построить оптимальную политику, агент сталкивается с дилеммой исследования новых состояний, одновременно получая максимальное вознаграждение.Это называется компромиссом между Exploration и Exploitation . Чтобы сбалансировать оба, лучшая общая стратегия может включать краткосрочные жертвы. Поэтому агент должен собрать достаточно информации, чтобы принять лучшее общее решение в будущем.

Марковские процессы принятия решений (MDP) — это математические основы для описания среды в RL, и почти все проблемы RL могут быть сформулированы с использованием MDP. MDP состоит из набора конечных состояний S среды, набора возможных действий A (s) в каждом состоянии, действительной функции вознаграждения R (s) и модели перехода P (s ’, s | a).Однако в реальных условиях окружающей среды, скорее всего, не хватает каких-либо предварительных знаний о динамике среды. Методы без модели RL пригодятся в таких случаях.

Q-learning — это часто используемый подход без модели, который можно использовать для построения саморазвивающегося агента PacMan. Он вращается вокруг понятия обновления значений Q, которое обозначает значение выполнения действия и в состоянии с . Следующее правило обновления значений является ядром алгоритма Q-learning.

Вот видео-демонстрация агента PacMan, который использует глубокое усиленное обучение.

Q-learning и SARSA (State-Action-Reward-State-Action) — это два часто используемых безмодельных алгоритма RL. Они различаются с точки зрения своих стратегий разведки, в то время как их стратегии эксплуатации похожи. В то время как Q-learning является методом вне политики, в котором агент изучает значение на основе действия a *, полученного из другой политики, SARSA является методом на основе политики, где он изучает значение на основе своего текущего действия и , полученного из его текущая политика.Эти два метода просты в реализации, но им не хватает общности, поскольку они не способны оценивать значения для невидимых состояний.

Это может быть преодолено с помощью более сложных алгоритмов, таких как Deep Q-Networks (DQN) , которые используют нейронные сети для оценки Q-значений. Но DQN могут работать только с дискретными, низкоразмерными пространствами действия.

Глубокий детерминистический градиент политики (DDPG) — это не содержащий моделей алгоритм, не действующий по принципу «актер-критик», который решает эту проблему, изучая политики в многомерных пространствах непрерывного действия.На рисунке ниже представлена ​​архитектура актера-критика .

Поскольку RL требует много данных, поэтому он наиболее применим в областях, где смоделированные данные легко доступны, такие как игровой процесс, робототехника.

1. RL довольно широко используется в искусственном интеллекте для компьютерных игр. AlphaGo Zero — первая компьютерная программа, победившая чемпиона мира в древнекитайской игре Го. Другие включают игры ATARI, нарды и т. Д.
2. В робототехнике и промышленной автоматизации RL используется для того, чтобы робот мог создать для себя эффективную адаптивную систему управления, которая учится на собственном опыте и поведении.Работа DeepMind над Deep Reinforcement Learning для роботизированной манипуляции с асинхронной политикой Обновления являются хорошим примером того же. Посмотрите это интересное демонстрационное видео.

Другие приложения RL включают в себя механизмы абстрагирования абстрактного текста, диалоговые агенты (текст, речь), которые могут извлечь уроки из взаимодействия с пользователем и улучшить со временем, изучая оптимальные политики лечения в здравоохранении и агенты на основе RL для онлайн-торговли акциями.

Для понимания основных понятий RL можно обратиться к следующим ресурсам.

1. Обучение усилению — Введение , книга отца обучения по усилению — Ричарда Саттона и его докторского советника Эндрю Барто . Онлайн-версия книги доступна здесь.
2. Учебный материал от David Silver , включая видеолекции, является отличным вводным курсом по RL.
3. Вот еще одно техническое руководство по по RL от Питера Аббила и Джона Шульман (Open AI / Berkeley AI Research Lab).

Для начала работы со сборкой и тестированием агентов RL могут быть полезны следующие ресурсы.

1. Этот блог о том, как обучить агента нейронной сети ATARI Pong с помощью градиентов политики из необработанных пикселей с помощью Андрей Карпати поможет вам запустить ваш первый агент глубокого обучения и запустить его всего за 130 строк кода Python.
2. DeepMind Lab — это трехмерная игровая платформа с открытым исходным кодом, созданная для исследования искусственного интеллекта на основе агентов в богатой моделируемой среде.
3. Project Malmo — еще одна платформа для экспериментов с искусственным интеллектом для поддержки фундаментальных исследований в области искусственного интеллекта.
4. OpenAI gym — это набор инструментов для построения и сравнения алгоритмов обучения с подкреплением.

Прикладные программы обучения

Вы, возможно, читали об усиленном обучении, просматривая истории об AlphaGo — алгоритме, который научил себя играть в игру GO и побеждать опытного игрока-человека — и, возможно, нашел технологию захватывающей.

Однако, поскольку субъект по своей сути сложен и не выглядит многообещающим с точки зрения бизнеса, вы, возможно, не сочли его полезным для глубокого изучения.

Ну, оказывается, отсутствие практических преимуществ у RL — заблуждение; на самом деле есть несколько способов, которыми компании могут использовать его прямо сейчас.

В этом посте мы перечислим возможные приложения для глубокого подкрепления и объясним без технического жаргона, как работает RL в целом.

контролируемое обучение, неконтролируемое обучение и обучение с подкреплением

Итак, в обычном контролируемом обучении , согласно нашей недавней публикации, у нас есть пары ввода / вывода (x / y) (например, помеченные данные), которые мы используем тренировать машины с. Зная результаты для каждого входа, мы позволяем алгоритму определить функцию, которая отображает Xs-> Ys, и мы продолжаем исправлять модель каждый раз, когда она совершает ошибку прогнозирования / классификации (выполняя обратное распространение и смещение функции.Мы продолжаем обучение такого рода, пока результаты, полученные по алгоритму, не будут удовлетворительными.

В обычном обучении без контроля у нас есть данные без меток, и мы вводим набор данных в наш алгоритм, надеясь, что он раскроет некоторую скрытую структуру внутри него.

Усиленное обучение решает другую проблему. В RL есть агент, который взаимодействует с определенной средой, тем самым изменяя свое состояние, и получает вознаграждения (или штрафы) за свой вклад.Его цель — найти шаблоны действий, попробовав их все и сравнив результаты, которые приносят наибольшее количество наград.

Одной из ключевых особенностей RL является то, что действия агента могут не влиять на непосредственное состояние среды, но влиять на последующие. Поэтому иногда машина не узнает, является ли определенное действие эффективным, намного позже в этом эпизоде.

Кроме того, существует так называемая дилемма компромисса по эксплуатации / разведке .

Стремясь максимизировать числовое вознаграждение, агент должен склоняться к действиям, которые, как он знает, ведут к положительным результатам и избегают тех, которые этого не делают. Это называется эксплуатация знаний агента.

Однако, чтобы выяснить, какие действия являются правильными, в первую очередь, они должны попробовать их и рискнуть получить штраф. Это известно как разведки .

Уравновешивание эксплуатации и разведки является одной из ключевых проблем в обучении с подкреплением и проблемой, которая вообще не возникает в чистых формах обучения под наблюдением и без надзора.

Помимо агента и окружающей среды, в каждой системе RL также есть эти четыре элемента :

Политика. способы действия агента при определенном состоянии окружающей среды; они могут быть определены простой функцией или включать в себя некоторые обширные вычисления. Думайте о них как о правилах стимула-реакции машины или ассоциациях.

Сигналы вознаграждения определяют, следует ли изменить политику. Как мы уже упоминали, единственная цель агента — максимизировать численное вознаграждение, чтобы на основе этого сигнала он мог сделать выводы о том, какие действия являются хорошими или плохими.

Функции значения также играют важную роль в формировании поведения агента, но, в отличие от сигналов вознаграждения, которые оценивают действия в непосредственном смысле, они определяют, является ли событие хорошим в долгосрочной перспективе, принимая во внимание следующие состояния.

Наконец, моделей имитируют среду, в которой находится агент, и, таким образом, позволяют делать выводы о его будущем поведении. Методы в Reinforcement Learning, использующие модели для планирования, называются модельно-ориентированными, а те, которые полностью опираются на метод проб и ошибок, называются безмодельными.

Хорошо, как на самом деле работает RL?

Давайте возьмем в качестве примера игру в понг (старинные игры Atari часто используются для объяснения внутренней работы обучения подкреплению) и представим, что мы пытаемся научить агента играть в нее.

В настройках контролируемого обучения первое, что мы сделаем, это запишем игровые сессии игрока-человека и создадим помеченный набор данных, в который мы будем записывать каждый кадр, показанный на экране (вход), а также каждое действие геймер (выходной).

Затем мы передадим эти входные кадры в наш алгоритм и сделаем так, чтобы он предсказывал правильные действия (нажатие вверх или нажатие) для каждой ситуации (правильность определяется нашими выводами). Мы будем использовать обратное распространение, чтобы настроить функцию до машина делает правильные прогнозы.

Несмотря на высокий уровень точности, которого мы могли бы достичь, у этого подхода есть ряд существенных недостатков. Во-первых, у нас должен быть помеченный набор данных для любого контролируемого обучения, и получение данных (и аннотирование меток) может оказаться довольно дорогостоящим и длительным процессом.Кроме того, применяя этот вид обучения, мы не даем машине возможности победить человека-игрока; по сути, мы просто учим, как им подражать.

В Обучении Усилению, однако, нет таких ограничений.

Мы начинаем таким же образом, то есть, пропуская входные кадры через наш алгоритм и позволяя ему придумывать случайные действия. У нас нет целевых меток для каждой ситуации, поэтому мы не указываем агенту, когда он должен нажать вверх, а когда — вниз.Мы даем возможность исследовать окружающую среду самостоятельно.

Единственная обратная связь, которую мы предоставляем, это от табло. Каждый раз, когда модели удается набрать очко, она получает +1 вознаграждение, а каждый раз, когда она теряет очко, она получает -1 штраф. Исходя из этого, он будет итеративно обновлять свои политики, чтобы действия, приносящие вознаграждение, были более вероятными, а действия, приводящие к штрафу, отфильтровывались.

Нам нужно немного терпения: сначала необразованный агент будет постоянно проигрывать игру.Однако, продолжая исследовать игру, в какой-то момент она случайно наткнется на выигрышную последовательность действий и, соответственно, обновит свою политику.

Проблемы обучения усилению

Не все так хорошо на земле RL. Даже сценарий, который вы только что прочитали — агент становится хорошим в игре Atari — может быть довольно проблематичным.

Предположим, что алгоритм в течение некоторого времени играл в понг против человека и довольно умело отскакивал назад и вперед.Но затем он скользит ближе к концу эпизода и теряет очко. Награда за всю последовательность будет отрицательной (-1), поэтому модель будет предполагать, что каждое предпринятое действие было неправильным, а это не так.

Это называется Проблема присвоения кредита , и это связано с тем, что наш агент не получает обратную связь сразу после каждого действия. В Pong он может видеть результат эпизода только после его окончания на табло. Таким образом, он должен каким-то образом установить, какие действия вызвали конечный результат.

Из-за этого недостаточного вознаграждения приложения с алгоритмами обучения с подкреплением обычно очень неэффективны. Они требуют много данных для обучения, прежде чем они станут эффективными.

Кроме того, в некоторых случаях, когда последовательность действий, необходимых для получения вознаграждения, слишком длинная и сложная, система дефицитных вознаграждений полностью потерпит неудачу. Агент, неспособный получить награду случайными шагами, никогда не научится правильному поведению.

Чтобы бороться с этим, специалисты RL разрабатывают функции вознаграждения вручную, чтобы они могли направлять политику агента к получению вознаграждения.Как правило, эти функции выдают серию мини-вознаграждений по пути к большой выплате, таким образом предоставляя агенту необходимые предложения. Процесс создания этой функции известен как Reward Shaping.

Варианты использования обучения с усилением

Робототехника. RL может использоваться для задач управления большими размерами, а также для различных промышленных применений. Например, Google, по сообщениям, сократил потребление энергии примерно на 50% после внедрения технологий Deep Mind.В космосе есть инновационные стартапы (бонсай и т. Д.), Которые пропагандируют глубокое обучение подкреплению для эффективной настройки машин и оборудования.

Текстовый майнинг. Исследователи из Salesforce, известной компании по облачным вычислениям, использовали RL вместе с продвинутой моделью генерации контекстного текста для разработки системы, способной создавать удобочитаемые сводки длинных текстов. По их словам, их алгоритм можно тренировать на разных типах материалов (новостные статьи, блоги и т. Д.).).

Торговое исполнение. Крупные компании в финансовой индустрии уже некоторое время используют алгоритмы ML для улучшения торговли и акционерного капитала, и некоторые из них, такие как JPMorgan, уже бросили свои шляпы в кольцо RL. В 2017 году компания объявила, что начнет использовать робота для торговли при выполнении крупных заказов. Их модель, обученная на миллиардах исторических транзакций, позволит быстро выполнить торговую процедуру по оптимальным ценам и разгрузить огромные доли, не создавая рыночных колебаний.

Здравоохранение. В последних работах предлагается несколько приложений для RL в отрасли здравоохранения. Среди них — дозирование лекарств, оптимизация политик лечения тех, кто страдает хроническими, клиническими испытаниями и т. Д. и реалистично оцените его сильные и слабые стороны и преимущества, которые он может принести вашему бизнесу.Мы предлагаем сначала найти несколько простых вариантов использования, чтобы проверить, как работает RL.

Если вы хотите узнать больше о том, что такое усиленное обучение и как оно может помочь вашей компании, свяжитесь с нашим специалистом, чтобы получить бесплатную консультацию.