Игра, в которую необходимо будет играть ботам — наиболее популярная разновидность покера, Безлимитный Техасский Холдем (No-limit Texas Hold’em).
Участникам предстоит реализовать агента, который будет играть в покер. Из агентов участников будут формироваться игры и турниры, по итогам которых будут определяться лучшие стратегии.
Покерная игра представляет собой последовательную серию раздач (раундов), которая заканчивается, когда все покерные фишки остаются только у одного игрока, либо пока не выйдет лимит числа раундов. В каждой игре принимают участие 9 агентов.
В момент начала игры, каждому агенту выдается банк времени, который можно использовать для принятия решений в течении турнира. Если агент выходит за лимит по времени, или же агент присылает ответ, не соответствующий протоколу передачи данных, то симулятор совершает автоматический сброс карт в каждой из раздач до окончания турнира.
Документация по подготовке ботов к отправке в систему
Симуляция игры в покер происходит при помощи библиотеки PyPokerEngine.
Пример простого бота на языке Python, который каждый раз совершает операцию CALL:
from pypokerengine.players import BasePokerPlayer
class FishPlayer(BasePokerPlayer):
def declare_action(self, valid_actions, hole_card, round_state):
call_action_info = valid_actions[1]
action, amount = call_action_info["action"], call_action_info["amount"]
return action, amount
def receive_game_start_message(self, game_info):
pass
def receive_round_start_message(self, round_count, hole_card, seats):
pass
def receive_street_start_message(self, street, round_state):
pass
def receive_game_update_message(self, action, round_state):
pass
def receive_round_result_message(self, winners, hand_info, round_state):
passБот представляет собой объект, в котором реализованы методы-обработчики игровых событий и метод выбора действия в момент хода бота declare_action. Подробнее про реализацию игровых стратегий можно прочитать в документации к библиотеке.
Разработка игровых стратегий доступна не только на языке Python, и может быть осуществлена на любом другом языке программирования. Описание API и руководство по созданию ботов читайте в руководстве по подготовке ботов.
Для участия в отборочном этапе хакатона, необходимо реализовать и отправить в тестирующую систему архив с кодом своей стратегии. Информация о формате отправки будет доступна 1 сентября.
Ежедневно в 00:00 MSK проводится турнир между всеми отправленными в систему ботами. Если участник отправил несколько агентов, то учитывается только его последнее решение.
Во время турнира каждый бот играет 30 игр со случайными соперниками — ботами других участников. Таблица результатов строится по убыванию средней суммы оставшихся фишек у бота по итогам всех игр за турнир.
В турнирной игре принимают участие ровно 9 ботов. Максимальное число раундов — 50. В начале игры каждый бот получает 1500 фишек, размер малого блайнда — 15.
Это соответствует следующим параметрам раунда в PyPokerEngine:
config = setup_config(max_round=50, initial_stack=1500, small_blind_amount=15)
По окончанию турнира, участникам будет доступны архивы с журналом игр всех ботов. Таким образом, вы сможете проанализировать стратегию своих оппонентов, просматривая их действия по время игры. Однако помните, что другие участники также могут анализировать стиль игры вашего бота и к следующему турниру устроить вашему боту засаду.
Пример файла с реплеем игры: example_game_replay.json.
Реплеи игры записываются в виде JSON-объекта с полями:
rule: параметры игрыseats: информация о ботах, в частности для каждого бота указано его имяname— это имя соответствует участнику, отправившему ботаrounds: список всех раундов с указанием действий, совершенных ботами
Существует несколько подходов в разработке стратегий для покерных роботов.
Одним из наиболее простых в реализации и наименее затратных по времени является экспертная система. По сути это набор фиксированных правил, который относит игровую ситуацию к одному из заранее определенных классов и в зависимости от силы собранной комбинации система предлагает принять одно из множества доступных решений.
Более эффективной является эксплуатационная стратегия, которая разделяет оппонентов на кластеры и против каждого кластера реализуется контр-стратегия. Большинство хороших игроков в покер используют именно такой подход. Но, в отличие от человека, у компьютера есть преимущество в том, что он может перебрать огромное кол-во исходов игры и при правильном прогнозировании поведения соперников принять максимально выгодное решение с точки зрения математического ожидания. Для прогнозирования поведения оппонентов в таком случае может хорошо помочь сбор статистики игр в прошлых матчах и реализация алгоритмов машинного обучения. Правда, перебрать все возможные исходы событий в большинстве игровых ситуаций не получится даже у мощных компьютеров, поэтому нужно использовать алгоритмы оптимизации, к примеру Monte Carlo Tree Search.
Также эту задачу можно решать сугубо математическим методом и всегда рассчитывать оптимальное решение с точки зрения равновесия по Нэшу. Правда, решение будет оптимальным в том случае, если решения остальных участников тоже оптимальны. Поиск такого решения является ресурсозатратным, поэтому на практике его можно использовать только наряду с большим кол-вом ограничений в правилах. Например, в лимитном техасском холдеме для двух агентов или при возникновении определенных игровых ситуаций.
Наконец, можно подойти к созданию стратегии еще более абстрактно и реализовать нейросеть, на входе у которой будут параметры игровой ситуации, а на выходе множество возможных решений. Правда в этом случае потребуется большой набор данных для обучения.