Кейс: как мы подготовили IT-системы для работы 12 тысяч магазинов к высокому сезону

Когда пытаешься настроить перегруженную IT-систему…

Если в конце декабря вы только и делали, что чинили и настраивали перегруженные IT-системы, пытаясь справиться с потоком клиентов,  но во время февральских и мартовских праздников так делать не хотите, то почитайте этот текст.

Так что берите на заметку наш опыт, чтобы воспользоваться им в нужный момент. Мы начали готовить IT-системы к высокому сезону очень заранее – за 6 месяцев.

Наши главные цели:

• Создать запас прочности и надежности
• Устранить возможные риски
• Подготовить запасные ресурсы к периоду пиковых нагрузок

Во время высокого сезона в продуктовой рознице существенно вырастает количество транзакций, а за ним и количество обращений к системам. Параллельно происходит закрытие бухгалтерского года с тысячами контрагентов, что также создает дополнительную нагрузку на системы.  

Итак, как мы готовим наши сани летом.

1. Проверяем инфраструктуру

• Удаленно и локально тестируем работоспособность всего оборудования.

От сканеров на кассах, электронных весов в каждом магазине и серверов в распределительных центрах, до ЦОДов и систем, обрабатывающих  данные программы лояльности, и систем связи. Устаревшие и ломающиеся элементы систем меняем и чиним заранее.

Тут важен такой принцип: если что-то может сломаться, оно сломается. Поэтому для нас не существует оборудования, которое не будет протестировано.

• Нужно тестировать и core-элементы системы.

Так, в прошлом году мы поняли, что ядро сети не обеспечит нам необходимый ресурс для высокого сезона, и заменили его.

• Также мы оценивали мощность оборудования, чтобы иметь «запас прочности» для активной работы.

Оборудование, которое не соответствовало планируемым нагрузкам нужно заранее заменить на более производительное. Так, например, в четырех региональных офисах после нагрузочного тестирования мы полностью поменяли серверы, а новый подход к резервному копированию позволил освободить ресурсы для мгновенного увеличения дискового пространства и оперативной памяти.

• Важно проверить средства и качество связи.

Мы это делаем в удаленном режиме и полуавтоматически, так как количество элементов в системе крайне высоко. Автоматизация процессов и тестирования очень упрощает жизнь и позволяет избежать «ручных ошибок».

С помощью автоматической системы мониторинга мы круглосуточно контролируем около 100 показателей работоспособности систем, оборудования и бизнес-процессов. Часть типовых ошибок фиксируется и устраняется также автоматически, поэтому мы можем сконцентрировать человеческий ресурс на решении нестандартных проблем.

• Важно хорошо скоординировать команды сотрудников, сделать четкий таймплан и контролировать процесс еженедельно.

Так как систем и оборудования много, нужно построить работу так, чтобы можно было одновременно проверять и доработать сразу несколько видов оборудования. Также нужно установить себе ясные критерии эффективности. Для работы в высокий сезон мы считаем целевым показатель 100% доступности систем и оборудования. То есть мы вообще не допускали возможность отказов оборудования и связи.

2. Проверяем программное обеспечение

• В первую очередь мы проверяли и обновляли кассовое ПО.

В магазинах работает порядка 42 тысяч касс. Каждую кассу нужно было протестировать и установить наиболее надежную версию ПО, а также обновить до лучшей версии ПО фискальные регистраторы.

За 6 месяцев мы сделали это несколько раз. Перед установкой новых версий кассовых программ  мы обязательно проверяли их на тестовых объектах и ставили в «продуктив» только  стопроцентно работающие версии. Если все-таки случались ошибки  – «откатывали» ПО на предыдущую версию. У нас для этого есть собственная разработка  — система удаленного управления ПО фискальных регистраторов, с помощью которой можно за ночь обновить все кассы.

• Параллельно мы обновили ПО  на 42 тысяч пин-падов – устройств для безналичной оплаты.

Это оборудование принадлежит и управляется банком-эквайером, поэтому гарантировать его надежность для бизнеса не так просто. В случае с пин-падами мы подключили к работе банк, заранее выработали рабочую схему обновления. Сделали централизованные инструменты по сбору конфигурационной информации о пин-падах, инструменты распределения и балансировки нагрузки на сервера банка при обновлении ПО.

• Отдельно мы занимались ключевыми системами, стабилизируя их работу.

Проверку прошли ERP, TMS, WMS модули, системы планирования товарных запасов, прогнозирования цен и ассортимента и промо. В частности, чтобы снизить возможность отказа и время отклика, мы проверили архитектуру систем и исключили лишние действия и «прослойки» — промежуточные шлюзы между модулями.

3. Проверяем точность работы бизнес-процессов

Так как в прошлом году появились онлайн-кассы, мы начали отслеживать очередь отправки чеков в ФНС на всех кассах и регулировать их работу. Еще одна «превентивная мера» — проверка сертификатов ЭЦП для торговли алкоголем. Суммарно по итогам проверки мы перезаписали 5138 ключей ЕГАИС.

Также важно было убедиться на 100% в  точности работы бизнес-процессов – то есть взаимодействия между бизнес-единицами компании.

Приготовив все системы и процессы к высокому сезону, нам удалось пройти его  без серьезных сбоев и не привлекая дополнительные ресурсы. Удалось значительно сократить количество сбоев относительно 2016 года.

Несмотря на то что сеть магазинов и количество оборудования за год увеличились почти на 30%, мы получили меньше обращений от торговых точек о сбоях в работе оборудования, обеспечив 99,34% доступности сервисов и систем.

Чеклист для поддержки: что проверить перед горячим сезоном

• Работоспособность и  ресурс оборудования в торговых точках, централизованной инфраструктуры и каналов связи
• Архитектуру, обновления, работоспособность и типовые ошибки программного обеспечения и ключевых операционных систем
• Типовые ошибки баз данных и возможности для автоматизации их устранения

Как это сделать

• Сделать ясный таймплан для параллельной проверки систем и скоординировать команду сотрудников
• Установить понятный целевой показатель доступности и безопасности, ориентируясь на плановую нагрузку в высокий сезон
• Всегда учитывать худшие сценарии: все, что может сломаться, сломается в самый неподходящий момент.
• Полагаться на надежные схемы и проверенное оборудование. Горячий сезон – не время для инноваций.
• Автоматизировать все, что можно автоматизировать.
• Даже при отличных показателях доступности оборудования и сервиса приготовить дополнительные ресурсы оборудования и людей

Материалы по теме:

Большие данные в ритейле: что они дают и как с ними работать

Как повысить продажи в e-commerce – пять проверенных способов

Хотите предугадывать будущее ритейла? Следите за рынком Китая

10 необычных технологий в ритейле, которые выходят в мировой топ

Самые горячие инструменты торговли в XXI веке