1.自己紹介
こんにちは。
ドワンゴ教育事業のN予備校 品質保証チーム(以降「品証」)の栗山です。
冒頭に簡単ではありますが、自己紹介をさせてください。
2023年3月より勤務しています。
前職ではスマホゲームの品証を約5年ほど経験しておりました。
この記事では私がN予備校での品証とスマホゲームでの品証で感じた相違点を紹介したいと思います。
※前職のゲーム会社での品証に限った内容になります。他のゲーム会社における品証とは異なる場合もあるかと思いますので、ご了承ください。
2.一日の業務の流れ
最初にN予備校とスマホゲーム、それぞれの一日の業務の流れについて紹介します。
N予備校
裁量労働制かつテレワークなので、始業と終業の時間は決まっていません。
品証は10:00から朝会があるため、9:00から10:00をめどに出勤し、18:00から20:00の間に退勤しているメンバーがほとんどですね。
朝会が終わる11:00ごろから各自の品証業務に移ります。
テレワークでコミュニケーション不足になりがちなので、日中は比較的ミーティングが多い印象を受けます。
お昼休憩はミーティングの合間やテスト業務がひと段落したタイミングなど、空いている時間に取ることが多いです。
N予備校
スマホゲーム
COVID-19が猛威を振るっていた状況下においてはテレワークでしたが、COVID-19以前と、比較的落ち着いてからは原則出社でした。
8時間労働制のため、10:00までに出勤し、19:00に定時となります。
出勤後すぐに朝会を行い、終わったあとは各自の品証業務に移ります。
定時で帰宅する方はそこまで多くなく、1〜2時間ほど残業する方も比較的多いです。
週に1回から2回ほど、今後のイベント施策などについてのミーティングがありますが、朝会以外のミーティングはほとんどありませんでした。
スマホゲーム
相違点
会社によって異なると思いますが、N予備校品証に参画後、日中に参加するミーティングの数はかなり多いなという印象を受けました。
そんな中でもテスト業務だけでなく、改善活動やシフトレフト活動など、業務内容が多岐にわたっているためやりがいを感じています。
スマホゲームの品証では作業時間確保のためミーティングが少なく、テストに集中できる環境が整っていました。
| N予備校 | スマホゲーム | |
|---|---|---|
| ミーティング | 多い | 少ない |
| 作業時間 | ミーティングの合間にテスト業務を行うことが多い 裁量労働制なので、テスト業務時間はコントロール可能 |
8時間労働制で、業務時間内にテスト時間をしっかり確保できる |
| 業務内容 | テスト業務以外に改善活動やシフトレフト活動も行っている | テスト業務がメインになっている |
3.チームの動き方
続いて、それぞれのチームの動き方について紹介していきたいと思います。
N予備校
案件と呼ばれる新規機能の開発実装があるのですが、全クライアント(iOS、Android、PC web)共通の内容になっています。
開発側から確認依頼が来たタイミングで、朝会でだれが主担当となるかを相談して決めることが多いです。主担当となったメンバーが案件の定例に参加したり、開発側とのコミュニケーションの窓口になっていますね。
併せて、主担当のメンバーがテスト計画、テストケースの設計、テスト実施の全工程を担当します。テスト計画、テストケースにおいてはチーム内のレビューを行い、内容に問題がないか確認しています。
主担当のメンバーが持っていない端末や、OSバージョンごとのテストが必要な場合は、他のメンバーにヘルプでテストに入ってもらったりと、協力して進めることも多いです。
スマホゲーム
定常アップデートのデータ確認チームと、機能アップデートチームの2つに分かれていました。
データ確認チームでは次回メンテナンス時に投入されるイベント内容、ガチャデータ、キャラクターデータなどのテストをしています。
先に機能アップデートチームが実装されるゲーム内の新規機能のテストを行い、のちにテストするデータ確認チームのために気を付けておくべきポイントなどの横連携を行います。
新規機能に問題が無ければ、データ確認を行う環境に新規機能の内容を投入し、データと併せて確認を行っていきます。
スマホゲームのフロー
相違点
N予備校では担当するメンバーが案件の品証を進行するので、成長の機会も多いのではないかと思います。
個人の裁量によるところも大きいですが、チーム内レビューもあるので、不安な点なども解消できる環境にあります。
スマホゲームではチーム全体で動いているため、一体感を感じやすいかもしれません。
| N予備校 | スマホゲーム |
|---|---|
| ・案件の主担当を相談して決めている ・テスト実施以外は主担当のメンバーが一人で対応することが多い ・テスト計画やテストケースでチーム内レビューがある |
・主担当は決めず、開発とのやり取りやテスト実施もメンバー全員で対応する |
4.リリース時対応について
以下の表は、N予備校とスマホゲーム、それぞれのリリース時対応の流れになります。
| N予備校 | スマホゲーム | |
|---|---|---|
| iOS/Android 1.一か月に一回のリリース 2.リリースする直前の週でリグレッションテストを行い、その内容をもってリリース前動作確認としている 3.リリースまでに不具合や懸念事項が解消されない場合は懸念事項となる内容のみ除外し、それ以外はリリースの方針 |
PC Web 1.一週間に一回のリリース 2.品証チームがリグレッションテストを行っておらず、開発チームがリリース前の動作確認を行う 3.不具合や懸念事項があった場合、リリース必須の内容であれば対応方針の検討を行い、そうでない場合は基本的にリリース延期の対応 |
1.基本的に一週間に一回のリリース 2.ゲームをメンテナンス状態に移行させる 3.ユーザーがログインできない状況になったタイミングで、データの投入および投入データの最終チェックを行う 4.メンテナンス中に不具合や懸念事項があった場合、メンテナンス時間を延長して対応する |
N予備校
N予備校では、各クライアント(iOS、Android、PC Web)ごとにリリースサイクルが異なっているのが特徴的です。
下の表にあるリグレッションテストとは別にSREチームや、バックエンドチームから依頼が来たタイミングでテストを行うこともあります。
公開されている最後の授業が終わったあとのタイミングなど、N予備校を閲覧しているユーザーが比較的少ない時間帯で本番環境の更新が行われています。
ユーザー影響が少ないタイミングで更新という点は、スマホゲームと似ているかもしれません。
スマホゲーム
メンテナンス時に投入データの確認を行っています。
N予備校のように「各クライアントによってリリース時の対応が異なる」ということはありません。
不具合や懸念点があった場合、リリース延期をすることはなく、どれだけ時間がかかっても不具合を修正し、メンテナンスを終了させることが最優先になります。
とは言え時間がかかるとその分売上が下がるため、迅速な対応が求められています。
そのあたりは課金要素があるスマホゲームならではと言えるかもしれません。
相違点
スマホゲームではメンテナンスの終了を最優先にするので、ユーザー影響が少なければそのままリリース、多ければメンテナンス中に修正対応をしていました。
リリース日をずらすわけではなく、メンテナンスを延長して修正対応するので、深夜対応があったことも覚えています。
その点Ｎ予備校は自社サービスという点では同じですが、リリース時の対応はかなり柔軟に行っている印象でした。
各クライアントごとにリリースサイクルが異なっているのも、驚きの一つでした。
| N予備校 | スマホゲーム |
|---|---|
| ・各クライアントごとにリリースサイクルが異なる ・リリース必須というわけではなく、内容によって延期など柔軟に対応している ・年に数回ほどメンテナンスを行うことがあるが、スマホゲームのように毎回メンテナンスを入れているわけではない |
・投入データがそのまま売上に直結するので、どれだけ時間がかかってもメンテナンス終了が優先される ・リリースサイクルは週一で固定 ・日中の売上が少ないタイミングでメンテナンスが行われる |
5.テストプロセスについて
N予備校、スマホゲームどちらも確認する案件によってプロセスが異なっています。
それぞれの「機能追加/改修案件」、N予備校での「新規機能案件」とスマホゲームでの「新規イベント」を紹介していきます。
※N予備校の「機能追加/改修案件」については「PC Web」においてのテストプロセスとなります。
| N予備校 | スマホゲーム | |
|---|---|---|
| 機能追加/改修案件 |
|
|
|
新規機能案件/新規イベント |
|
|
相違点
N予備校においては、テスト開始前から終了後までのフローがしっかり構築されていると感じました。
スマホゲームではリリースタイミングがずらせないことに加えて、確認内容が多岐にわたっているため、レビュー工程などに手が回っていないのではないかと思います。
| N予備校 | スマホゲーム | |
|---|---|---|
| フロー | テスト開始前から終了後までのフローがしっかり構築されている | ・明確なフローが構築されているわけではない ・テスト計画の作成をしていない ・テスト計画、ケースのレビューをしていない |
| テストケース | ・機能に対するテストがメインになっている ・非機能周りのテストや、多端末テストは基本的に行っていない |
非機能周りのテストや多端末テストを多く行っている |
| テスト完了後 | 品証完了報告書を作成、共有している | 品証完了報告書を作成していない |
6.N予備校品証業務に移って感じたこと
N予備校での良さ・課題
●良さ
参画して9か月ほどですが、以下の点が良いところだと感じています。
- メンバー全員が同じ方向性で業務に取り組めている
- テスト業務、改善活動やシフトレフト活動についてもチーム内で相談・共有を行い、方針を決めてから実行に移しているため、品証としてのあり方をしっかり考えられている
- 毎朝の定例などでしっかりコミュニケーションを取っており、報告・連絡・相談も適宜行えているため、不明点を1人で抱えることなく業務を進められている
- 形骸化せずに日頃から相談・共有をしっかり行えている
●課題
チームが立ち上がってまだ3年ほどの比較的若い組織のため、以下の分野で課題を感じています。
- 横断的なコミュニケーションの不足による不具合
- 伝達ミスやコミュニケーション不足によって仕様漏れや不具合などが検出されている場合がある
- 普段のテスト業務の取り組み方やテストケースの設計
- テストケースの設計時において項目の粒度が妥当かどうか、多い場合には簡略化や効率化が出来るのではないか
- 改善活動で取り組むべき内容
- 取り組むべき内容は多いものの、案件のテストが並行しているとなかなか改善活動に注力できない
- 既存メンバーでは見えていない視点からほかにも取り組むべき活動があるのではないか
- 開発側とのシフトレフトでの関わり方
- より良いシフトレフト品証活動の模索
スマホゲームでの良さ・課題
●良さ
スマホゲームでは以下が良かった点として挙げられます。
- 自社開発や海外産スマホゲームの日本版パブリッシャー、テスト業務は外部のテスト会社に完全に受託しつつ、リーダーとしてテスト業務の管理・進行などを取りまとめる役割を担うことができた
- チームの規模が比較的小さかったため、モチベーションがあれば様々な品証業務に関わることができ、リーダーを任せてもらえる
- 品証から企画・開発側、ゲーム業界ではいわゆるプランナー職になる土壌ができあがっており、品証側のやり方を熟知している方が多かったため、企画・開発側との横連携が非常にスムーズに行えていた
●課題
一方で、課題点は下記の通りとなります。
- 普段のテスト業務に追われることが多く、どちらかというとテスターという面が強かったように思えた
- N予備校の品証で行えているような改善活動やシフトレフト活動は出来ていなかった
- 定常的な残業も発生しており、プライベートな時間を確保することは難しかった
7.終わりに
N予備校の品証、スマホゲームの品証をそれぞれ紹介してきました。
通常のテスト業務という点では両者の間でさほど大きな相違点はありませんが、全体的な品証業務という点では異なっている点が多くあります。
前述したとおり、私たち品証チームは比較的若い組織なため、改善や効率化など、取り組むべきところも多く残ってると思います。
未来の当たり前の教育、そして「開発者品質、ユーザー品質の保証・向上を通じた、社会品質の実現」のために、N予備校をより良くしていくことに興味がありましたら、ぜひ一緒に働いてみませんか？
We are hiring!
株式会社ドワンゴの教育事業では、一緒に未来の当たり前の教育をつくるメンバーを募集しています。 採用に関係のないカジュアル面談も行っています。 お気軽にご連絡ください！
開発チームの取り組み、教育事業の今後については、他の記事や採用資料をご覧ください。
