監視基盤のスケールアウトとクラウド移行（無停止）

背景

立ち上げた監視基盤は、監視対象の増加とともに初期構成のままでは性能の限界に達しました。構成を見直すと同時に、監視サーバをオンプレミスからクラウド（国内 IaaS）へ移すことになりました。

※ 守秘義務のため、会社名・お客様名・具体的な数値は伏せています。

やったこと

• 負荷の状況から水平スケール（台数を増やして分散する方式）を選び、監視サーバを複数台構成に分割
• PostgreSQL のデータ移行を伴うサーバの入れ替え
• 同じタイミングで、監視サーバをオンプレミスからクラウドへ移行
• 移行先に同じ設定の監視サーバを並行して構築し、監視対象側の接続先を切り替える方式を採用
• 接続先を変更する手順を整備し、業務フローとして標準化

判断の理由

「並行構築して切り替える」方式にした

旧サーバを止めてから新サーバを立ち上げる方式では、その間の監視が途切れます。新旧を並行して動かし、監視される側の接続先を順番に切り替えることで、監視の空白を作らないようにしました。

切り替えは既存のメンテナンス時間に合わせた

接続先の切り替えは、音声システムの停止やアップデートなど、もともと予定されていたメンテナンスの時間に合わせて実施しました。移行のためだけにお客様のサービスを止めることはありませんでした。

結果

• 性能の問題を解消しつつ、監視サービスを止めずに基盤を作り直した
• 切り替え手順を業務プロセスにしたことで、以降の運用も属人化せずに回る状態になった