株式会社セガゲームス×AIの開発ストーリー対談｜AIが導く「ゲーム開発のイノベーション」

ゲーム開発工程における、テスト作業の負荷を軽減したい

セガゲームス様は、家庭用ゲーム機のほか、PC、スマートデバイス向けのゲームやデジタルサービスの企画・開発・販売・運営を行っています。高いIP力を持つシリーズタイトルを中心に、作品は全世界のゲームファンに熱狂的に支持されています。

こうしたゲームの開発において、欠かすことができない工程がテスト作業です。ゲームを実際にプレイし、バグ（不具合）が発生していないか、適切なゲームバランス（難易度）となっているかをテストします。時間もコストもかかりますが、ゲームの人気、ひいては収益に直結するため、決して疎かにできない重要な開発工程の1つです。

テスト作業はすべてのゲーム開発で行われますが、ビジネスモデルが異なる家庭用ゲームとスマートデバイス向けゲームでは作業の負荷も大きく異なると、研究開発ソリューション統括部 開発技術部 村上様は語ります。

「スマートデバイス向けゲームの多くは、リリース後も“イベント”と称して期間限定のストーリーや、新キャラクターなどのコンテンツを追加配信します。そのサイクルは早いもので1週間程度。このペースにあわせてテストを行う負荷はとても大きなものです。どうにかテスト作業の工数削減や負荷軽減ができないかと考えていました」。

AIシステムを独自開発、もっと機械学習のポテンシャルを引き出したい

こうした課題意識から、セガゲームス様は2017年より、テスト作業を効率化するAIシステムの独自開発を始めました。経緯について、エンタテインメントコンテンツ事業本部 第5事業部 松田様はこのように語ります。

「2017年になると、ゲーム業界の技術発表会のような場でAIが取り上げられ、業務への活用事例も出始めました。私たちもAIの業務活用を検討する中で、テスト作業の効率化・自動化にAIを役立てられないかと考えました。テスト作業の負荷は、どのゲーム開発プロジェクトにも共通の課題だったのです」。

完成した複数の開発支援システムの中には、AIにゲームをプレイさせてその結果を確認し、ゲームバランスの調整をサポートするものがありました。例えば、ゲームのプレイデータを分析し、「このキャラクターの組み合わせだと、ステージの序盤で全滅する傾向がある」などの情報を得ます。これをゲームバランスの調整に活かします。

このAIシステムはテストの効率化に貢献しましたが、「学習に時間がかかる」という大きな課題を抱えていました。例えば、パーティーのメンバー1人を別のキャラクターに変えるなど少しでも条件を変更すると、再びAIシステムが適切なプレイングを学習する時間が必要となります。システムの開発に携わった研究開発ソリューション部 開発技術部 上田様は、以前のAIシステムの課題についてこう語ります。

「ゲーム開発の現場からは、“AIシステムは便利だが、学習時間をもっと短くできないか”という要望が多く寄せられていました。僕らとしても、AIのポテンシャルはこんなものではない、もっと活かす方法が絶対にあるはずだと考えていました」。

「強化学習」を用いたゲーム開発支援AIシステムに挑む

こうしてAIシステムの改善計画が持ち上がりました。方法として検討されたのが、機械学習手法の1つである「強化学習」を利用するものでした。

強化学習とは、AIが実際に行動しながら最適な戦略を見つけていく学習手法の１つで、ゲームの攻略を題材とした研究が盛んです。2016年にGoogle傘下のDeepMindが開発した「AlphaGo」は囲碁の世界チャンピオンを破り話題になりましたが、これにも強化学習が用いられていました。

ほとんどの機械学習手法では、すでにある大量のデータをもとに学習を行いますが、開発段階ではまだ一般ユーザーがプレイしていないため、学習に使えるデータがありません。強化学習では、データが無くても、AIが行動し結果を観測できるような環境があれば学習できます。

しかし、強化学習を用いてゲームの開発支援を行うAIシステムの構築は、日本にも海外にもほとんど事例がありません。自社単独での開発に限界を感じたセガゲームス様は、外部企業に協力を依頼することにしました。

AIシステムの開発を得意とする企業数社との面談・比較検討を経て、セガゲームス様はブレインパッドへの協力依頼を決定しました。選定の決め手は何だったのでしょうか。

「決定的だったのは、ゲームに対する情熱です。このプロジェクトはAIの知識はもちろん、ゲームそのものへの探究心やドメイン知識がないとうまくいきません。“ゲームのことはよく分からない”“ノウハウがないから難しい”という反応の企業がほとんどの中、ブレインパッドだけが、“実に面白そうですね”“これは興味深い”と前のめりな反応を示してくれました。この人達とならうまくやっていけそうだと直感しました」（村上様）。

こうして、セガゲームス様とブレインパッドによる、ゲーム開発支援AIシステムの開発プロジェクトがスタートしました。

高い技術を持つ９名の専門家をAI開発プロジェクトにアサイン

プロジェクトのゴールは、「強化学習を用いてゲームの攻略法を自ら編み出すAIシステムの開発」というものに設定されました。以前のシステムとは違い、パーティーやステージなどの前提条件を変えても再学習時間を設ける必要がなく、より柔軟に、より速くゲームを攻略していくシステムです。そのプレイデータを参照することで、テスト作業をより速く行えることを目指しました。

システムの核となる強化学習エンジンの開発には、セガゲームス様が用意するシミュレーターが利用されました。シミュレーターとは、通常のゲームからグラフィック要素を排し、論理構造だけにしたゲームデータのこと。このシミュレーターの開発言語はC#ですが、強化学習エンジンの開発言語にはPythonが採用されたため、ブレインパッドはまず2つの異なるプログラム言語の連携インターフェースを開発する必要がありました。

連携インターフェースの開発には、AIシステム開発の技術・ノウハウとは異なる、一般的なソフトウェアエンジニアリングの技術・ノウハウが求められます。ブレインパッドでは通常、受託するAIプロジェクトのテーマに応じて、それぞれに専門性を有するデータサイエンティスト、機械学習エンジニア、システム開発を得意とするエンジニアなどで最適なプロジェクトチームを組成します。今回のプロジェクトではその特殊性と難易度ゆえ、様々な技術分野に精通した総勢９名のプロフェッショナルがプロジェクトの進行にあわせてアサインされました。

ブレインパッドとの協働は「同じ会社の仲間と働いているような感覚だった」

連携インターフェースの開発が終わると、プロジェクトはいよいよ強化学習エンジンの開発フェーズへと入りました。

プロジェクトは週1回の対面ミーティングを軸に進行しましたが、強化学習エンジンの開発フェーズに入ると、より緊密で頻度の高いコミュニケーションが必要となります。そこでセガゲームス様とブレインパッド開発陣は、チャットシステムを利用し、随時コミュニケーションを取りながら開発を進めました。

開発作業に関して、エンタテインメントコンテンツ事業本部 第5事業部 ロペス・グアイタ・ダビッドさんはこのように振り返ります。

「開発中はチャットで毎日のようにコミュニケーションを取っていました。ブレインパッドは何か作業を進める前に、しっかり確認や相談をしてくれるので、作業は非常にスムーズでした。時々、同じ会社の仲間と働いているような感覚さえあり、とても仕事がしやすかったです」。

「強化学習」により自律的に攻略法を編み出す新AIシステムが完成

こうして、プロジェクトのキックオフから約6カ月後、強化学習を利用したゲーム開発支援AIシステムは完成しました。

新システムが旧システムと大きく違うのは、ゲームの前提条件が変わっても、それに対応してゲームを攻略できる点です。例えばステージを変更しても、それに対応した攻略法をとることができます。前提条件が変わるたび、もう1度ゼロから攻略法を学習させる必要があった旧システムから大きく進化しました。

これにより、ゲームバランスの調整作業がより短時間で行えるようになりました。この改善がもたらすメリットについて、松田様はこう評価します。

「旧システムでは、条件を1つでも変えると60分程度の再学習時間が必要でした。ゲームバランスのデザインを行うスタッフにとって、60分のアイドルタイムは作業や思考を中断させるもので非常に非効率でした。今回のシステムによって、理想的な作業環境の構築に向けた準備が整いました」。

ブレインパッドは様々なサポートを通じて、AI活用の定着を支援します

今回のプロジェクトを通して、ブレインパッドの「技術力」や「プロジェクトマネジメント力」の高さに驚かされたというセガゲームス様。AIシステムの開発に直接関係しない部分においても、ブレインパッドのサービス対応は印象に残るものが多かったとプロジェクトメンバーの皆様は評価しています。

「プロジェクト最終報告の場で、特別に機械学習の勉強会を開催してくれたことが印象に残っています。機械学習の一般的な知識や、標準的な導入プロセスについて教えてもらったことは、AIの活用定着に向けて大きな糧になりました。持っている知識を惜しみなく提供してくれたことが嬉しかったです」（松田様）。

「週次で提出いただける報告レポートがとても丁寧で、かつ、素人にも内容が理解できるものでとても有難かったです。レポートはそのまま社内に展開できるレベルのものでしたので、私たちの取り組みを上司に把握してもらうのに役立ちました」（上田様）。

本プロジェクトにより完成した新AIシステムは現在、セガゲームス様のゲーム開発の業務プロセス内に実装する作業が進められています。AI導入プロジェクトは、日常的なオペレーションが回りだしてからが本当のスタート。

そのPDCAがスムーズなものとなるよう、ブレインパッドは引き続きサポートを継続していきます。