Тех. информация Оффлайн игры утром 13 декабря

нещастливое число нещастливое число нещастливое число нещастливое число

Сегодня утром в ~06:28 MSK игра оказалась недоступна.
Часть игроков отключило от игры, после чего они не могли войти в игру.

Что случилось?
В это время все сервера (не только наши, но и других клиентов) в дата-центре, где сейчас размещается игровой сервер, потеряли связь с хранилищем (дисками) на 40 секунд. Это привело к зависанию игрового сервера во время ближайшей дисковой операции.

По сути, это нештатная ситуация, которая обычно не происходит, поскольку предполагается, что у сервера всегда есть связь с диском. Когда программа должна что-то сделать с диском, но внезапно не получает от него ответа, она пытается дождаться его, останавливая исполнение (зависая) до получения ответа. На этот период игровой сервер перестал отвечать как игрокам, так и внутри себя, между службами.

Для игроков 30~40 секундный оффлайн ведёт к отключению от игры по таймауту.
Для серверов (login, char, map) это ведёт к прерыванию связи друг с другом.

Всё осложнилось тем, что в map-server не предусмотрена процедура самостоятельного переподключения к char-server на ходу в случае, если они теряют связь друг с другом. Если map-server не смог бы возобновить связь с char-server, персонажи и достижения, оставшиеся в памяти игрового мира, не смогли бы сохраниться. Это создало реальный риск отката для персонажей, остававшихся в игре после дисконнекта.

Мы искренне пытались до последнего найти выход из ситуации и предотвратить откат всеми доступными инструментами, но способа извне повлиять на map-server не оказалось.
Уверенно, хоть и с толикой отчаяния, мы настроились на откат и начали подготавливать резервную копию к развёртке. Оставалось лишь выключить map-server (потеряв всю несохранённую память), развернуть резервную копию и перезапустить игровой сервер.

Когда наступил самый ответственный момент - выключение map-server - я увидел то, чего не видел никогда прежде: выключаясь, map-server всё-таки переподключился к char-server самостоятельно и экстренно дослал все несохранённые изменения. Случился настоящий курисмас миракл, дух рождества.

Игра была недоступна с 06:28 до 08:20 MSK, но нам удалось избежать отката.

Что делать?
Обновиться и войти в игру.

Спасибо за ожидание.
При входе, вы получите компенсационный бонус на опыт.