Причины сбоя в работе сервисов 2 сентября

Вечером 2 сентября произошел сбой в работе части сервисов нашей компании. Около 16:00 система мониторинга просигнализировала о потере связи с одним из дата-центров, в котором размещается часть наших проектов.

Мы рассматривали две наиболее вероятные причины отсутствия связи: выход из строя маршрутизирующего оборудования или повреждение оптического канала. На предполагаемое место разрыва оптики выехала аварийная бригада от компании-провайдера, который обслуживает данный участок оптической трассы. В это же время наши специалисты проверяли версию о сбое на маршрутизаторах и оптических модулях.

Спустя несколько часов аварийная бригада подтвердила худший из сценариев: в результате строительных работ был разорван магистральный оптический кабель. На поврежденном участке оптической трассы наш основной и резервный каналы проходили в одном колодце, поэтому мы вынуждены были срочно организовать дополнительное подключение, используя ресурсы другого оператора связи. К 23:00 связь с дата-центром была восстановлена по временной схеме.

Последствия аварии ликвидировали к 16:00 субботы – потребовалось заново протянуть около 500м. оптики. В промежутке между 16:00-18:00 мы проводили работы по переключению на основной канал, после которых дата-центр заработал в штатном режиме. Также мы организовали дополнительный резервный канал, дабы не допустить подобной ситуации в будущем.

Мы еще раз приносим свои извинения за доставленные неудобства, и благодарим всех клиентов за понимание и поддержку в тот злополучный осенний вечер.