基幹スイッチ更改カットオーバーで発生した全館停止
小売チェーンの中規模物流センターで、基幹L3スイッチ2台（導入9年、ベンダサポート終了）を新款に更改する。稼働系はVRRPで冗長化され、VLANは12、収容端末は約600台、上流はWANルータ2台とOSPFで接続している。制約は次のとおり。停止可能な時間は土曜22:00〜日曜04:00の6時間。新旧機は同一IPアドレス、同一VLAN ID、同一VRRPグループを使用する（IPアドレス体系は変更しない）。リハーサルは1回のみで所要4時間だった。当日の手順書は「①旧機の電源を切る ②新機をラックに搭載し電源を入れる ③コンフィグを投入する ④疎通確認」という順序で、新機のVRRP優先度は旧機と同じ200、STPブリッジ優先度も同一に設定していた。当日、②の段階で新機の電源を入れた直後から全館で通信断が発生し、復旧に90分を要した。その間、入出荷指示システムが停止し、復旧後に手動でのデータ整合確認が必要になった。事後分析では、手順書の順序と重複した識別子の扱いに問題があったと指摘されている。
1. 当日何が起きたのか。手順書の作業順序と設定内容の観点から、障害の発生メカニズムを時系列で説明せよ。
Read the worked answer
時系列での整理
- 旧機は稼働したまま：①の「旧機の電源を切る」が実施される前に、②で新機の電源が投入された。この時点で旧機がVRRPマスタ、OSPFネイバー、STPルートブリッジとして全館のトラフィックを処理している。
- 同一VRRPグループに2台のマスタが出現：新機の優先度は旧機と同じ200である。VRRPでは優先度が同じ場合、IPアドレスの大小でマスタが決まる。新機が上位のIPを持てばマスタを奪い、持てなければバックアップに留まるが、いずれにせよ同一仮想MAC・同一仮想IPを持つ機器が2台存在する状態になる。
- MACアドレステーブルのフラップ：同一仮想MACが2つの物理ポートから学習されるため、各スイッチのMACテーブルが交互に書き換わる。ユニキャストフレームの転送先が定まらず、通信が不安定になる。
- STPの再計算とブロードキャストストーム：新機の起動によりトポロジ変更が通知され、全スイッチでRSTPの再計算が走る。この間にブロードキャストがループする経路が生じると、ストーム化して全館の帯域を消費する。
- OSPFの隣接関係の混乱：同一ルータID／同一IPを持つ機器が現れると、OSPFのネイバーシップがフラップし、経路が不安定になる。上流WANルータ側でも経路が揺れる。
- 復旧に90分：旧機を止めて新機だけにすれば理論上は収束するが、MACテーブルとARPテーブルの再学習、OSPFの再収束、スイッチの再起動待ちが積み重なり、90分を要した。
根本原因
- 作業順序の誤り（旧機停止前に新機を起動した）。
- 識別子（IPアドレス、VRRPグループ、ルータID、STP優先度）が重複する機器を同時に稼働させたこと。
- リハーサルが1回のみで、この「同時稼働」のケースを検証していなかったこと。
2. 6時間の窓口内で安全に更改するための移行計画を再設計せよ。作業順序、事前準備、ロールバック条件を具体的に示すこと。
Read the worked answer
設計原則：同一識別子の機器を同時に稼働させない。
事前準備
- 現行構成の完全なバックアップ（コンフィグ、IOSイメージ、STPトポロジ、VRRP状態、OSPFネイバー、MAC／ARPテーブル）。
- 新機のコンフィグは事前に投入し、識別子を一時的に退避させる。具体的には、VRRPグループと仮想IPは移行時に設定し、IPアドレスは一時的な別アドレスで管理接続だけ可能にしておく。ルータIDも一時的に別値とする。
- リハーサルを本番同等の隔離環境で2回以上実施し、「同時稼働させない手順」そのものを検証する。
- 手順書は1操作ごとに「確認コマンド」と「期待結果」を併記する。
作業順序（例）
- 作業開始宣言、関係部署への連絡、監視の一時停止（アラート抑止）。
- 旧機のコンフィグとテーブルを取得し、疎通の基準値を記録する。
- 旧機のOSPFを停止し、VRRPをバックアップへ降格させて、上流からの経路を計画的に撤退させる（トラフィックを止めてから電源を切る）。
- 旧機の電源を切り、ラックから撤去する。
- 新機を搭載し電源投入。管理用の一時IPで接続確認。
- 本番コンフィグを投入。VRRPを設定し、STP優先度を設定。
- 疎通確認（後述の受入試験）。
- 監視を再開し、1時間の安定監視。
- 作業完了宣言。
ロールバック条件と手段
- 条件：受入試験のいずれかが基準を満たさない、または安定監視中に重大アラートが発生した場合。判断期限は日曜02:00とし、それ以降は「現状で安定させる」方向に切り替える。
- 手段：新機のVRRPを降格してOSPFを停止し、旧機を再投入する。旧機のコンフィグとイメージは作業前の状態で保管しておく。
- ロールバックにも時間がかかるため、判断期限をあらかじめ決めておくことが重要である。
作業時間の見積り リハーサル4時間に対し、実作業は確認と待ち時間で1.5倍程度を見込む。6時間の窓口では余裕が少ないため、撤去・搭載などの物理作業を事前に済ませられないかを検討する。
3. カットオーバー前に実施すべき受入試験項目を、レイヤ2、レイヤ3、冗長性、性能の観点で挙げ、それぞれ合格基準を示せ。
Read the worked answer
レイヤ2
- 全VLANのSTPトポロジが設計どおりであること（ルートブリッジが想定機器、ブロッキングポートが想定どおり、トポロジ変更回数が増加していない）。
- MACアドレステーブルが各スイッチで正しく学習され、フラップが発生していないこと。
- VLAN間の意図しない通信ができないこと（VLAN 10からVLAN 30への到達不可など）。
レイヤ3
- OSPFネイバーが全隣接でFullになり、経路表が設計値と一致すること。
- 上流WANルータへのデフォルトルートが広告され、全セグメントから到達できること。
- 主要サーバ、DHCP、DNS、認証サーバへの疎通と、名前解決が正常であること。
- 端末600台規模のARPテーブルが正しく生成されること（ARPの欠落がないか）。
冗長性
- VRRPのマスタ／バックアップが設計どおりで、preemptの動作が意図どおりであること。
- 片系電源断、片系リンク断、Core機1台停止の各試験で、通信断が設計した目標時間内に収まること。
- 障害復旧後に経路が元に戻り、非対称経路が残らないこと。
性能
- 端末から主要サーバまでのスループットが更改前と同等以上であること（更改前の値をベースラインとして記録しておく）。
- 遅延とロス率が基準内であること（例：遅延10ms以下、ロス0.1%未満）。
- 業務時間帯を想定した同時接続の負荷試験で、CPU利用率とバッファドロップがしきい値内であること。
運用面
- SNMP監視、Syslog転送、NTP同期、コンフィグバックアップが新機で正常に動作すること。ここは見落とされやすいが、障害時に調査できない状態を作らないために必須である。
- 構成管理台帳（機器、IP、ポート結線、VLAN）が新構成に更新されていること。