Как многорукий бандит определяет, какие объявления и истории вы видите в Интернете

Представьте, что вы азартный игрок и стоите перед несколькими игровыми автоматами. Ваша цель - максимизировать свой выигрыш, но вы на самом деле ничего не знаете о потенциальных вознаграждениях, предлагаемых каждой машиной. Однако вы понимаете, что рычаги, которые вы нажимаете, и частота, с которой вы делаете это, будут влиять на результаты вашего азартного разгула.

Этот сценарий, с которым каждый день сталкиваются посетители Лас-Вегаса и Атлантик-Сити (до какой степени люди все еще ходят в Атлантик-Сити), также является классической логической головоломкой под названием «Многорукий бандит» - игровые автоматы называются «Однорукими». Бандиты »стареющими Рено-типами, потому что они имеют один рычаг и берут деньги людей. Хотя не существует единственного правильного способа решения ситуаций с несколькими вооруженными бандитами - ближайший кандидат - индекс Гиттинса - есть стратегические подходы к решению этих проблем, которые вы видите без регистрации каждый день, когда вы выходите в интернет. Многие алгоритмы, определяющие способ отображения контента через Google и на веб-сайтах, основаны на стратегиях MAB. Целью почти во всех случаях является объединение обучения и результатов и максимизация потенциала для обоих.

Многорукий бандитский подход используется The Washington Post чтобы выяснить, какие фотографии и заголовки вы чаще всего нажимаете, а с помощью беспроводных сетей выяснить, какие оптимальные, энергосберегающие маршруты являются лучшими. Алгоритмы, основанные на подходах MBA, чрезвычайно важны для этих компаний и многих других, потому что они в основном определяют, когда и какие рекламные объявления появляются в Интернете.

Выяснить, какую рекламу показывать людям, - это сложная проблема, потому что так много одноруких бандитов бегают по Интернету, щелкая мышью. Алгоритмы MAB для рекламы обычно используют быстро меняющуюся «проблему многорукого бандита со смертельным исходом», которая применяется в течение ограниченных периодов времени. Данные о трафике используются для разработки все более эффективных методологий.

Трудно привязать MAB к конкретной цели, потому что можно создать так много вариантов формулы. Например, у бандитов с К-оружием есть «оружие», которое конкурирует за получение самой высокой ожидаемой награды. Контекстуализируйте бандитов, делайте то же самое, но с «советом эксперта» - данными, ранее собранными о пользователе - и готовый к работе веб-сайт под названием «ILOVETOCONBANDITS» работает только по расписанию предварительно определенных раундов. Напротив, классический подход МАБ не имеет никакой дополнительной информации, и результат зависит только от потенциала выбранного действия.

В то время как наиболее полезное приложение для MAB, по-видимому, до сих пор связано с Интернетом, исследователи работают над тем, чтобы найти способ применить их к сценариям «реальной жизни» (также называемым мясным пространством). В статье 2015 года исследователи из Университета Британской Колумбии рассматривают возможность применения МАБ в медицинских исследованиях. Цель, если MABs оказывается здесь возможной, состоит в том, чтобы алгоритм MAB мог измерять эффект конкретного лекарства. Очевидная проблема заключается в том, что, если бы не была создана компьютерно-модулированная версия, использование такого подхода было бы просто слишком трудоемким. Нет никакого способа, которым дизайн MAB мог быть помещен в клиническое испытание.

Идея хороша, но не осуществима как сейчас. Пока будущее не наступит, вы в основном будете ощущать надвигающееся присутствие многорукого бандита, когда отчаянно пытаетесь выбраться из всплывающей рекламы.