1年半で100本。イオンネクストが実現したPostmortem文化の作り方

イオンネクストが運営するネット専用スーパー「Green Beans」には、「Ease（簡単であること）」、「Choice（選択肢があること）」、「Reliability（信頼できること）」という3つのモットーがある。

このうちIT部で「Reliability」を推進するリライアビリティグループでは、2023年7月のサービスローンチ当初から、Postmortem（ポストモーテム）を実践している。本記事では、リライアビリティグループにおける運用事例を通して、Postmortem文化を形成するためのヒントを紹介する。

【目次】

Postmortemの運用に取り組むリライアビリティグループ

イオンネクストのIT部リライアビリティグループは、約30名のメンバーがSRE（Site Reliablity Engineering）とCRE（Customer Reliability Engineering）という2つのチームに分かれて活動している。

どちらもカスタマー視点の信頼性向上のために活動するチームで、SREチームはサイトの信頼性を、CREチームはそれ以外をカバーする。CREチームは障害発生時の問い合わせ対応や、新機能に関する要望の吸い上げを担うほか、Postmortemの運用も行っている。

組織とプロダクトを強くするPostmortem

そもそもPostmortemとは、インシデントが発生した際の事後検証を意味する。振り返り、学びを得て、より強くなるための仕組みであり、挑戦の証とも言える。

Postmortemは、Google社のSREチームについての書籍『Site Reliability Engineering』で紹介されているコンセプトであるが、イオンネクストのIT部リライアビリティグループにおいてPostmortemがSREチームではなくCREチームによって運用されているのには理由がある。

それは、カスタマー視点で漏れなくインシデントを検知し、対応するためには、技術のみではカバーできない部分が多いためだ。ステークホルダーも多岐にわたるため、日々カスタマーとコミュニケーションを取っているCREが、SREの領域を含め、サービス全体に目を配りながらPostmortemを運用している。

イオンネクスト流、Postmortem文化の浸透プロセス

リライアビリティグループでは「Green Beans」ローンチ当日からPostmortemを実践しているが、当初メンバーにとって、それは決して書き慣れたものではなかった。元GoogleのエンジニアでありSREのバックグラウンドを持つCTOの樽石がその重要性を説き、自ら1本目のPostmortemを執筆。部長があとに続いた。現在はCREという組織の枠組みで推進できるまでになり、約1年半で100本以上のPostmortemが提出された。

Postmortem文化の浸透のために重要なことは「リーダーが自ら書いて背中を見せること」そして「Postmortemの執筆を挑戦の証と捉え、Postmortemを書くこと自体を評価すること」だと樽石は言う。最初のころは皆恐るおそる対応していたが、樽石や部長たちが先陣を切って執筆、部内共有することで徐々にメンバーにもノウハウがたまってきた。今では知見を持つメンバーが新しく入社したメンバーに教えられるようになり、文化形成に寄与している。

Postmortemで大切なこと

Postmortemの執筆にあたって大切にしている心構えが3つある。

1.コトに向かい、起きた事実に目を向けること

Postmortemの目的は、責任を問うことではなく学びを得ることであり、そのゴールはAction item（やるべきこと）の設定である。この目的とゴールの達成のためには、起きた事象を論理的に整理し、インパクトを定量的に算出することが重要だ。

2.TriggerとRoot causeを分けて考えること

インシデントについて報告をする際に、直接的なきっかけの特定に終始してしまうことは珍しくない。しかし、それではその場しのぎの対応になりかねない。もう一歩深く掘り下げて根本原因を探ることが、Postmortemを資産に変えるための鍵となる。

3.とにかく早く書くこと

インシデント対応直後は心身の疲労もあるだろう。しかし、Postmortemはできるだけ早く、記憶が新しくて温度感が高いうちに着手する方が良い。できれば24時間以内に取り組むこと。体裁が全てきれいに整っている必要はなく、不明な部分は不明であるという事実を明らかにすることが大切である。

Postmortemの運用方法

CREチームでは、以下のスキームでPostmortemを運用している。

作成有無の決定

イオンネクストではP1〜P5のインシデントレベルが定義されており、インシデント発生時にはこの定義に則りインシデントレベルを決定する。このうち、メジャーインシデントとされているP1（緊急性が非常に高く4時間以内に解決が必要）およびP2（緊急性が高く、24時間以内に解決が必要）のインシデントが発生した際にPostmortemを作成する。

これについては、単にルールとして定めるに留まらず、障害発生時のオペレーションにPostmortemの叩きページを作るという項目が含まれており、活動を継続するための仕組み化もされている。

またそれ以外に、プロジェクト進行中にミスコミュニケーションが発生した場合なども、必要に応じてPostmortemを書くことで議論を整理している。

作成のタイミングと執筆者

週に一度Postmortemレビューという任意参加の定例会を実施。一週間の間に起きたインシデントについて、レビュー会までにPostmortemを作成することがルールとなっている。

原則としてインシデントの直接的な関係者がPostmortemを書く。そうすることで、より解像度の高い分析が可能となり、事実に基づいた整理もしやすくなる。

Postmortemの構成

Postmortemの構成は、Google社のSREに倣っており、具体的には下記の項目を順に記載していく。

- Status：現在の状況
- Summary：インシデントの概要
- Impact：影響範囲（できる限り定量的に）
- Root Causes：根本原因
- Trigger：当該インシデントの直接的なきっかけ
- Resolution：解決方法
- Detection：インシデントがどのように発見されたか
- Action Items：やるべきこと
- Lessons Learned：学び（良かったこと、改善すべきこと）
- Timeline：インシデント対応の時系列での整理
- Appendix：調査用付録

Postmortemレビュー

先述の通り、週次でレビュー会を開催し、1回あたり1〜2件のレビューを実施。司会者が翌週の司会者を指名するリレー方式を採用しており、司会者はレビュー会の最後に総括を行う決まりだ。そうすることで、共有された内容をしっかりと理解しようという意識が高まっていく。

マクロ分析

Postmortemを資産として活用していくために、マクロ分析も行っている。ステークホルダーごとのインシデント発生割合や時期的な傾向を把握することで、体制づくりや訓練など、事前の備えが可能となる。イオンネクストでは実際に、障害の少ない領域で障害訓練を実施している。

組織とプロダクトのさらなる進化に向けて

リライアビリティグループで約1年半Postmortemを実践する中で見えてきた課題もある。そのうちの一つが、執筆者による視点の違いだ。リライアビリティグループのPostmortemはシステムの問題に留まらない事案を多く含んでおり、原因が複雑に絡み合って起こるインシデントも少なくない。

そういったケースにおいて、例えばプロジェクトマネージャーとエンジニアでは根本原因を別のところに見出す可能性があり、誰が書くかによって分析の深さやフォーカスの当て方が変わってきてしまう。この揺らぎを解消し、Postmortemの質と価値を上げるための仕組みや、トレーニング方法が模索されている。

挑戦の証であるPostmortemをチームで共有する資産としていくためには、書く人の偏りをなくすことや、レビュー会での意見交流を活発にすることも非常に重要だ。そのために、組織づくりの観点でもアップデートは続く。

今後の取り組みとして検討中の施策に「1日CTO」というものがある。イオンネクストでは、メジャーインシデントが発生した際にシニアマネージャー以上が参加するAMIRT（Aeon Major Incident Response Team）という緊急対応部隊が立ち上がる。1日CTOに任命されたメンバーはこのAMIRTの一員となり、インシデント解消のリードに当たる構想だ。

もちろん意思決定が難しい場面などは樽石のサポートが入るが、まずはインシデント対応の緊張感や解消までのプロセス、スピード感を肌で感じる機会を作ることで、その後のPostmortemの解像度も上げることができるだろう。

まとめ

イオンネクストのIT部リライアビリティグループは、Postmortem Firstをモットーにしている。Google社のアプローチを踏襲しつつ、イオンネクスト流にアレンジを加えながら徹底的にやり切る姿勢を取ることで、Postmortem文化が育ち、挑戦の跡が資産として積み上がりつつある。まずはトップが自ら実践し背中を見せること、そしてメンバーを巻き込み継続していくことが、Postmortemを価値に変えるために最も大切なことだと言えるだろう。

イオンネクストではエンジニアを中心としたデジタル人材の採用を積極的に行っています。樽石と話をしてみたい、Green Beansの事業が気になる…といった方は、カジュアル面談も実施しておりますので、ぜひお気軽にご連絡ください。

【関連記事】

イオンネクストの取り組みについてもっと知りたい方へ、こちらの記事もおすすめです。

物流のラストマイルの効率性を測る指標「DPV」を高めるデータサイエンスとイオンネクストの具体的事例

Design Docsをもとに生成AIでサンプルコードをつくり新機能「線香花火クーポン」実装 ｜イオンの開発生産性

最先端のプラットフォームを創り次世代オンラインスーパーマーケットをつくる、イオンネクストの現在地と未来

AIで冷蔵庫をコンビニに〜50倍に成長、出店数100万店を目指すイオンの新ECサービス「グリーンビーンズ」の舞台裏〜