有償監視サービス基盤の設計・構築

背景

IP 電話・PBX を提供する通信系の企業で、お客様向けに「監視」を有償オプションとして提供することになりました。社内に監視の専任担当はおらず、設計から運用までを一人で担当しました。

※ 守秘義務のため、会社名・お客様名・具体的な規模の数値は伏せています。

やったこと

• Zabbix を使い、多数のお客様をまとめて監視するマルチテナントの監視基盤をゼロから設計・構築
• 監視対象のサーバへ zabbix-agent を展開
• 監視サーバを複数台に分けて負荷を分散し、1台が止まると全体が止まる構成（単一障害点）をなくした
• 監視対象が多い拠点には Zabbix proxy を置いて収集を分散し、NAT / ファイアウォール越えと拠点間回線の負荷を同時に解決
• クラウド上の監視対象と双方向に通信できるよう、ファイアウォールを設計
• 監視テンプレート・トリガ（異常の判定条件）・通知を標準化し、他のメンバーが運用できる形に整備

判断の理由

監視間隔は「音声品質」から逆算した

音声サービスは、一般的な監視間隔では品質の劣化を捉えられません。必要な検知の細かさをサービスの要件から逆算し、ping 監視を数秒間隔まで詰めました。

見逃しより誤検知を許容した

まず広めに検知する設計にし、運用しながら誤検知を減らしていく方針を取りました。重大な検知漏れを出さないことを優先した判断です。

結果

• 監視を有償オプションとして商用提供できるようになり、継続課金の収益源として成立した
• 標準化によって運用が業務の流れに組み込まれ、属人化が解消された
• 重大な検知漏れによる障害は発生せず、稼働期間を通じて監視基盤自体の停止もなかった