QA標準化やダイニーの全体の品質保証をするためのリグレッションチーム、各社のQA組織の取り組みと考え方 | AEON TECH HUB開催レポート Session#1

プロダクトをユーザーに届けていく上で不可欠なのが品質保証です。プロダクト品質を支えるためには、QAチームを立ち上げ、テストフローやQAプロセスの構築、品質保証の仕組みづくりが求められるでしょう。

AEON TECH HUB #6では、「大規模サービスを支える品質保証〜QA組織の立ち上げから文化醸成までのノウハウに迫る」と題して、QA業務に関わる登壇者をお招きし、QAチームの体制づくりやQAエンジニアの育成、品質保証で重要なポイントについて語るイベントとなりました。

今回は4回に分けてお届けする開催レポートの1本目であり、登壇者の自己紹介LTと各社の開発規模やQA体制、プロセスルールなどのディスカッション内容をお伝えします。

【目次】

登壇者自己紹介LT

新しいDXの文化を踏まえた品質向上/イオンスマートテクノロジー

イオンスマートテクノロジー株式会社
CTO室QA
白江 大輔

私は家電メーカーで組込開発に関わったあと、転職先の企業では携帯電話における組込ブラウザの品質責任者を務めていました。どのように品質を改善し、より良い状態にしていくかを日々考えていました。

イオンスマートテクノロジーには2024年5月に入社し、現在はQA業務に携わっています。イオンスマートテクノロジーは、イオングループのスーパーで使われているアプリケーションやバックエンドの開発・運用を行っている会社で、これからCTOとともに新しいDXの文化を踏まえて品質向上の活動を推進していければと思っています。

当たり前品質の高速フィードバックを実現し、“マジ価値”を提供/フリー

フリー株式会社
QA Manager
上村 功一

フリーでは、QA Managerとしてグローバルを含む人事労務や統合連携に従事しています。もともとエンジニアからQAへ転身し、MicrosoftやYahoo! JAPANといった企業でQA業務を行ってきました。本日はよろしくお願いいたします。

2012年に設立したフリーは、「freee会計」や「freee人事労務」、「freee販売」などの開発を行っていて、現在は従業員数が1,500名を超える規模感になっています。

「スモールビジネスを、世界の主役に。」をミッションに掲げ、誰もが自由に使える統合型経営プラットフォームを目指しています。弊社のサービスでは会計が一番有名ですが、それ以外にも人事労務や請求管理など、色々なサービスを展開しています。おかげさまで、約54万事業所のお客さまにサービスを使っていただいており、毎年ユーザー数が増えている状況となっています。

ここからfreeeのQAについて簡単に紹介したいと思います。freeeのQAでは、「起こしちゃいけない不具合が起きにくい体質にすることで“マジ価値”を継続的に届け続ける」をミッションに掲げ、当たり前品質の高速フィードバックを実現することでお客様に“マジ価値”を提供できるように取り組んでいます。

（マジ価値：ユーザーにとって本質的に価値があると自信を持って言えること）

プロダクトのリリース頻度が高いため、主にリスクベースドテストを中心に行っていて、アジャイル開発しているチームも多いので、QAエンジニアは上流工程から参加するようにしています。また、リグレッションテストも自動化していて、QAエンジニアが自らプログラムを書いてテストを作っているのもfreeeのQAの特徴です。

freeeのQAエンジニアとして働くやりがいは、社会貢献につながるミッション実現に関われることであり、複雑な業務知識も身につくため、今後のキャリアのプラスにもなると思っています。また、フリーには失敗を許容する文化があって、チャレンジする機会が豊富にあるのも、やりがいのひとつだと言えるでしょう。

freeeのサービス自体がすごく拡大している一方で、サービスによってはブレが出たり、人材の育成や流動性を考えていかなくてはならなかったりするのが現状の課題となっています。また、統合型経営プラットフォームを目指す上で、いろんなサービスが繋がってくるからこそ、テストの難しさがあると思っていて、その辺りをどのように最適化していくかが解決すべき課題だと捉えています。

フリー株式会社 / 株式会社ytte Lab
湯本 剛

フリーでQA Managerをやっており、直近では全社横断で品質を改善していく「品質企画」を立ち上げて活動しています。

社会人1年目からずっとテストをやっていて、財務会計ソフトからプリンタドライバー、携帯、オーディオ、テスト管理ツールなど、さまざまなサービスやプロダクトに関わってきました。フリーには2019年に転職し、今に至ります。

「お客様に提供する価値」をベースに最適なQA組織を目指す/ダイニー

株式会社ダイニー
QAマネージャー
田中 学二

ダイニーには2024年6月にジョインし、「真心を込めてお客様に価値を提供できる組織を作る」ことに挑戦しています。経歴としては大手家電メーカーにてQAエンジニアとしてのキャリアをスタートし、直近ではメルペイやUbieといった企業でQAマネージャーやQAエンジニアをやってきました。

ダイニーは「“飲食”をもっと楽しくおもしろく」というミッションと、「すべての人の“飲食”インフラになる」というビジョンを掲げています。

・真心を込める
・事に向き合う
・魂を燃やす

上記3つの価値を大切にしながら事業に取り組んでおり、「コンパウンドスタートアップ」として複数のプロダクトを開発・運営しています。

現在は基盤となるPOSシステムやモバイルオーダーといったID-POSの開発に注力していますが、将来的にはFinTechやES領域などの開発も進めていき、飲食経営者や従業員、消費者の3方のペインを解決していければと考えています。

現在、事業成長に伴い「お客様に提供する価値」をベースに最適なQA組織にしようと計画しています。今は基本的にプロダクトの開発が終わった後にリリースノートを元にして、変更内容のテストや全プロダクトのリグレッションテストを実施していますが、今後は各チームにQAリードをつけて、チーム全体で品質や顧客価値を高めるQA活動を推進していく予定です。同時に、自動テストの推進担当を置き、リグレッションテストチームやQAリードとともに、テスト最適化も進めていこうと考えています。

それぞれの開発規模と、それに対応するQA体制やプロセスルールの有無などはどうしている？

白江：イオンと言えば、スーパーやイオンモールなどを思い浮かべる人も多く、ネームバリューがあるからこそ開発の規模も大きくなると言えます。私は「プログラムの規模」が小さくても、「サービス利用ユーザー数が多い」ものは大きな規模と考えて良いと思います。

例えば毎月20・30日の「イオンお客さま感謝デー」には同時アクセス数がものすごく増えるのですが、そこでアプリが落ちるようであれば使いものにならないわけです。そのため、2,500万ユーザーを捌き切るサーバーを構築するという目標を立てているのです。

イオンとしてはサービスを立ち上げて安定的に稼働させるために、SREチームがそれを担ってくれていますが、その上で動くサービス自体の品質がよろしくないと、極端な話ひとつでもスロークエリが発生してしまったら、サーバーが落ちることもあったので、品質に関してはすごくセンシティブに捉えています。

SQLの書き方が少し間違っていたり、インデックスの構築ができていなかったりすると、その影響で何が起こるかわからないため、ひとつのミスやエラーでも結構な致命傷になる場合があるんですよ。それをひとつでもなくしていくのがQAのミッションだと思っています。

そうしたことを踏まえて、上流から計画して、その通りにトレースしたものをリリースすることでサービスの稼働を安定させていかないと、なかなか立ちいかないなと感じています。まだサービスがスケールしていない場合は、対処療法でなんとかなるのかもしれませんが、イオンのサービスではそうもいかないわけです。

池田：SREと密な連携をするということは、安定的にサービス展開できると思うんですが、普段はQAとSREはどのくらいコミュニケーションを取っているのでしょうか？

白江：雑談レベルのものも含めて毎日会話するようにしていますね。定例MTGも週次で設定しており、その場でサービスの状況や品質を上げた方がいい部分などを擦り合わせています。

上村：フリーの場合はエンジニア数名とQA1名の小さなチームが複数存在する形で、アジャイル開発を行っています。なので、あまりチームによってQA体制が変わることはないですね。

池田：誰でも同じようにできるようにするということは「QAの型」を作るということでしょうか？


湯本：そうですね。一つひとつのチームの規模感は、新規のサービスを立ち上げるために少人数で構成されるチームもあれば、約50万事業所が使っているfreee会計のチームもあります。

新規サービスの場合は、致命的な欠陥がなければリリースしてしまいますが、それなりに大きいものであれば、マイクロサービスが複数ある関係で少しでも品質不良が起こればバグが発生する原因になりうるので、丁寧にテストする必要性があるわけです。

マイクロサービスを複数チームで見ているからこそ、各チームのQAをひとつに束ねて動かしていかなければならず、PMのようにQAエンジニアをマネジメントしていくことも求められるでしょう。

田中：ダイニーではモバイルオーダー、POSレジ、ハンディキッチン、プリンター、キッチンディスプレイ、ダッシュボードの6つのプロダクトを同時に開発しています。1週間のスプリントで開発が終わったらテストをするというサイクルを回しています。

その一方で、今後は各プロダクトの成長に伴って、プロダクトが増えてチームが拡大してきてるので、一つひとつのプロダクトを早くリリースできるように体制を変える予定です。各プロダクトにQAリードを配置して、スクラムチームの中で改善活動を行い、チーム全体で品質を高める体制へと移行を進めているような状況です。

ダイニーはオールインサービスを目指していることから、全体を束ねるQAも必要になってくるため、横串で品質を担保するリグレッションチームを作って、全体の品質保証をしようと考えています。

白江：フリーさんに質問させていただきたいのですが、大小含めていろんなサービスがあるなかで、標準化や最低限守りたい品質ラインなどの社内ルールはあるのでしょうか？

湯本：フリーのQAは標準化をやっておりまして、最低限作らなければならないアウトプットを決めるように留意しています。 freeeの標準プロセスとして、まずはリスク洗い出し会を実施し、その後に1Pテストプラン（ワンページテストプラン）を書いて、テスト分析を行って、テストチャーターの作成をするところまでは、全部フォーマットを決めておくようにしています。

また、チケットのステータスの遷移などを定義したり、全プロダクトのバグのデータをBigQueryで集計できるようにしたりと、最低限俯瞰して見えるような標準化を行っています。そのため、フリーでは年間で約400の案件にQAが入るのですが、プロダクトのデータを集計して、全体的にどういう状況なのかを把握できるような体制になっていますね。

田中：ちなみにテストプランはどういう風に作られているのでしょうか？

湯本：テストプランはスプレッドシートで管理していますが、リスク洗い出し会や1Pテストプランやテスト分析シートなどは全てテンプレート化しています。実際にQAをやる時は、Googleフォームで新しい案件で起票すると、それがデータとして蓄積されていくような仕組みを構築していますね。

QAとテストの役割を切り分けている？

白江：私はQAとテストの役割を完全に分けて考えています。もちろん、テストの効率性や効果を上げることはテストマネージャーと一緒に考えますが、QAの中のひとつの要素としてテストがあると思っています。

テストを実施したからと言って品質が上がるわけでもありません。テストをやった結果としてわかるのは、あくまでそのプロダクトの品質状況です。その結果から、QAは何をするべきなのかを考えていくのがQAの役割だと言えるでしょう。

田中：答えるのが難しい質問ですが、私の場合はQAとテストの役割は切り分けていません。基本的にダイニーではQAエンジニアでもテストを行っていますし、テストする人もプロダクトのクオリティを考えており、QAとテストの役割は一緒だと捉えています。

湯本：QAとテストは違うことをするのは理解しているものの、フリーでも両者の役割を明確に切り分けているわけではありません。QAエンジニアがプロダクトに詳しくなるには、自分でテストするのが一番早いと言えます。そういうのをやった上で、工数の最適化や品質改善の話が段々できるようにスキルラダーを作っています。

私自身、テストを設計する人とテストを実行する人を分けるのは、個人的に好きではないんですよ。言われたことだけをやっていく働き方は弊社とカルチャーフィットしないと考えていますね。正社員だけでなく、業務委託の人にも、そのカルチャーフィットを求めています。正社員はもちろん、業務委託のメンバーにも「ここはQAが入るべきか否か」を自分で判断できるようになってもらいたいという思いがあるんですよ。

田中：弊社はまだまだ小さいスタートアップなので、各フェーズで立ち回れるようなフルスタックエンジニアが重視されますね。

白江：今だとSETやQC・QMなど言葉が細分化していますが、田中さんがメルペイ時代に、フルスタックQAエンジニアという職種を発信しているのをよく聞いていまして、あれはどこまでの範囲を指しているのでしょうか。

田中：「言われたことしかやらない」というQAは、結構古い考え方だと思っています。プロダクト開発のスピードを上げていくためには、どの役割でもやれる方がいいわけなので、それがフルスタックエンジニアを推奨している理由です。自動化しかやらないのではなく、スクラムチームに入ってQAエンジニアの仕事もやっていくという認識を、チームの中に浸透させていくのを意識していました。

イオンが主催するAEON TECH HUB #6、今回は「大規模サービスを支える品質保証 〜 QA組織の立ち上げから文化醸成までのノウハウに迫る」というテーマでお届けしました！今後も、様々なテーマを取り上げていきますのでAEON TECH HUBをよろしくお願いします。

AEON TECH HUB #6開催レポートのその他記事もございますので、ぜひご覧ください。

スキルラダー作成、新卒OJTでQA業務、営業同行、イベント参加…QAエンジニア育成事例 | AEON TECH HUB開催レポート Session#2

「言わなくてもわかるでしょ」は怠慢。オフショアQA成功の秘訣 | AEON TECH HUB開催レポート Session#3

現状把握が一番難しい。まず可視化からはじめよ | AEON TECH HUB開催レポート Session#4 

イベント詳細ページはこちら

イオングループでは、一緒に変革に挑んでくれる方を募集中です。カジュアル面談も実施しておりますので、少しでも気になった方はお気軽にご連絡ください。まずはざっくばらんにお話しましょう。