a16z: 生成 AI とゲームを組み合わせた市場生態学の概要
原題：「The Generative AI Revolution in Games》
原題：「
著者: ジェームズ・グワーツマン、ジャック・ソスロー
オリジナルコンピレーション: アルファラビット
A16Z は最近、生成 AI とゲームを組み合わせる機会について考えている興味深い記事を書きました。著者は内容の一部を翻訳し、注釈を付けました。記事の前半部分が発行されました。「a16z: ゲーム分野における生成 AI の観察と予測」を参照してください。この記事は、ゲーム + 生成 AI 分野の市場生態学に関する A16Z の判断を含む後半部分です (お願いします)注: これらの大きな一部は A16Z のポートフォリオです。客観的かつ合理的に読んでください)。
市場生態学の概要
下の図は全体的な市場の生態を示しており、A16Z がさまざまなカテゴリーで発見したスタートアップについて説明しています。これらの特定のプロジェクトでは、生成人工知能 (AIGC) がゲームに与える影響を発見しました。この記事では、最も特徴的な企業と各企業について説明します。カテゴリ内の機会が提示されます。
テキストから平面画像を生成 (2D 画像)
テキスト キューから 2D 画像を生成することは、生成人工知能の最も広範なアプリケーションの 1 つです。 Midjourney、Stable Diffusion、Dall-E 2 などのツールは、テキストの説明から高品質の 2D イメージを直接生成でき、ゲーム開発および制作ライフ サイクル全体の複数の段階で使用されます。
(注: ここで、Midjourney も使いやすい AI 画像生成ツールであり、使いやすく、画像生成速度が非常に速く、1 分以内に 4 枚の画像を生成できることを説明します)
コンセプトアート
(注: コンセプト アートは予備デザインとも呼ばれます。通常、映画やテレビ、ゲーム業界にはこの専門的なデザイン コンセプトがあります。一般的に言えば、製品の視覚効果のトーンを設定することを指します。ゲームや映画であることを基本とし、本来の核となる作品内容の一つであり、これまでの手法を革新、あるいは覆す全く新しいデザインのアイデアや方向性（形、精神、コンセプトなど）を通じて、新たな造形キャラクターやキャラクターを創造する。イラストレーターとゲームの関係は、ポスターやパッケージの表紙などを描くのを手伝うというよりも、映画やテレビ、ゲーム開発の仕事と非常に密接な関係がある2Dアートの仕事の1つです。コンセプト アートは、私たちがコンセプト アートと呼んでいるものです。コミックと何の関係がありますか? 違いはありますか? コンセプト アートは、マンガとは大きく異なります。マンガは日本では独立したシステムであり、人気のあるライトノベルを視覚化するために使用されます。コンセプト アートは、ゲーム、アニメーション、スタイルなど表現形式に制限はなく、ある程度の高度な設定や設定を完成させることが非常に重要です原画との違いは何ですか?コンセプトアートにはほぼすべてのキャラクターとシーンが含まれていますオリジナルのアーティストとの違いは、コンセプトデザイナーが率先してより興味深いデザインを作成する必要があることです。
コンセプトアートとは、オリジナルのアーティストとは異なり、ゲームやアニメのプロジェクトにおいて、メインプランナーに次ぐアート系の意思決定の立場を担い、プロジェクトのスタイルや視聴者を決定するため、コンセプトを目指すアーティストのことです。芸術家は芸術家とみなされます 風の牢獄は無能です。 ）
参考資料：公式アカウント Yisha Jun: 史上最も完全な! ConceptArt プロの分析 Said University Concept Art プロの Yufei Zhang による共有--2020-02-04 18:00
生成人工知能ツールは、ゲーム デザイナーのような役割がゲームのコンセプトを探索し、インスピレーションを刺激するのに役立ちます。また、これは制作プロセスの重要な部分でもあります。たとえば、あるゲーム スタジオは上記のツールを使用してコンセプト アートの開発プロセスを大幅にスピードアップしており、以前はこのプロセスに時間がかかっていたのに比べて、わずか 1 日でイメージを作成できるようになりました。最長 3 週間ですが、具体的にはどのようにすればよいですか?
まず、ゲーム デザイナーは Midjourney を使用してさまざまなインスピレーションを探索し、必要に応じてコンセプト イメージを生成します。次に、画像はプロのコンセプト アーティストに渡され、画像を組み合わせて関連するテーマの一貫した画像を作成できます。その後、その画像を Stable Diffusion に入力して、一連の画像バリエーションを形成できます。
2 D Production Art
これらのさまざまな画像スタイルについて全員で話し合い、1 つを決定し、ブラシを使用して手動で編集し、全員が作業の結果に満足するまで上記のプロセスを繰り返します。この段階では、この画像を Stable Diffusion に最終的にアップロードすることで、最終的なアートワークが作成されます。
他のゲーム スタジオも、同様の人工知能ツールを使用してゲーム内アートを作成しようとしています。たとえば、下の画像は、Stable Diffusion を使用してゲーム用の 2D アセットを作成する方法に関する Albert Bozesan のチュートリアルからのものです。
3D Artwork
出典: https://www.youtube.com/watch?v=blXnuyVgA_Y
3D ステレオスコピック モジュールは、現在のすべての最新ゲームと今後のメタバースにとって重要な構成要素です。仮想世界とゲーム レベルは、基本的に 3D アセットのコレクションであり、さまざまな組み合わせや配置方法を使用して、さまざまなパラメータを変更してゲーム環境を満たします。ただし、3D 要素の作成は 2D フロア プランの作成よりも複雑で、3D モデルの作成、テクスチャや効果の追加など、複数の手順が必要です。アニメーション化されたキャラクターの場合、内部の「アウトライン」を作成し、そのアウトライン上でアニメーション化することも必要になります。
さまざまなスタートアップが、モデル作成、キャラクター アニメーション、レベル制作など、3D アセット作成プロセスのさまざまな段階でチャンスを模索しているのがわかります。ただし、ビジネスとイノベーションのこの部分はまだ模索中です。
3D アセット
3D モデルの作成を試みているスタートアップには、Kaedim、Mirage、Hypothetic などがあります。 NvidiaのGet3DやAutodeskのClipForgeなどの大企業も注目している。 Kaedim と Get3d は画像から 3D モデルへの変換に重点を置き、ClipForge と Mirage はテキストから 3D への変換に重点を置き、Hypothetic はテキストから 3D 検索と画像から 3D の両方に関心を持っています。
Mirage: https://www.mirageml.com/
Kaedim Company: ロンドンに本社を置き、主に 2D 画像から 3D モデルを生成します。
3D テクスチャ
BariumAI:https://barium.ai/
Ponzu:https://www.ponzu.gg/
ゲーム内で 3D モデルをメッシュベースのテクスチャまたはマテリアル上で使用できる場合、よりリアルに表示できます。たとえば、中世の城の模型に、苔が生えた別の種類の風化した石を使用すると、シーンの外観が完全に変わります。ここで言うテクスチャには、光がマテリアルにどのように反応するか (粗さ、光沢など) に関するメタデータが含まれており、アーティストはテキストや画像の手がかりに基づいてテクスチャを簡単に生成でき、クリエイティブ プロセスの反復速度を上げるのに非常に貴重です。 、BariumAI、Ponzu、ArmorLab などの企業がこの分野に取り組んでいます。
アニメーション
優れたアニメーションの制作は、ゲーム作成プロセスの中で最も時間と費用がかかり、熟練した作業の 1 つです。コストを削減し、よりリアルなアニメーションを作成する方法の 1 つは、モーション キャプチャを使用することです。モーション キャプチャ スーツを着用し、特別な機器を使用して動きを記録します。
現在の生成 AI はビデオからアニメーションを直接キャプチャできることがわかりました。これにより、高価なモーション キャプチャ機器が不要になり、既存のビデオからアニメーションをキャプチャできるため、より効率的になります。
Kinetix
DeepMotion
RADiCAL
人工知能モデルのもう 1 つの興味深い点は、既存のアニメーションをフィルタリングして、ワンクリックでアニメーション キャラクターを酔っ払ったように見せたり、老人にしたり、幸せそうに見せたりするなど、新しい特殊効果を追加するために使用できることです。この分野の企業には、Kinetix、DeepMotion、RADiCAL、Move Ai、Plask などがあります。
レベルデザインとゲーム世界構築 (レベルデザインと世界構築)
ゲーム作成で最も時間のかかる側面の 1 つはゲーム世界の構築ですが、このタスクには生成人工知能を使用できます。 Minecraft、No Man's Sky、Diablo などのゲームは、レベルがランダムに生成され毎回異なりますが、レベル デザイナーが設定したルールに従います。そのレベルは手続き的に生成されることで知られています。新しい Unreal 5 ゲーム エンジンの大きなセールス ポイントは、葉の配置など、オープンワールド デザインのための手続き型ツールのコレクションです。
Promethean、MLXAR、Meta's Builder Bot などの企業はすべて、生成 AI テクノロジーにチャンスがあると考えています。これについては、Minecraft の生成技術や Doom のレベル デザインなど、学術的な研究がしばらく行われてきました。
なぜジェネレーティブ AI ツールがゲーム レベル デザインに可能性があるのか? AI にはさまざまなスタイルのレベルやゲーム世界を作成する能力があるからです。 1920 年代の華やかなニューヨークのゲーム世界、神秘的なディストピアのブレード ランナーのデザイン、トールキン (ロード オブ ザ リングのようなデザインと風景) のファンタジー世界 (対ディストピアのブレードランナー風の未来) を迅速に生成するツールを想像してみてください。 vs. トールキン風のファンタジーの世界。)
次の概念は、ヒントを使用して Midjourney によって生成されるゲーム内のレベルのさまざまなスタイルです。
オーディオ
サウンドとサウンドトラックはゲーム体験の重要な部分です。企業はすでに生成人工知能を使用して音声を生成し、グラフィックスの取り組みを補完しています。
音響効果
音響効果も人工知能にとって魅力的な分野です。人工知能を使用して映画の「フォーリー」（足音など）を生成するというアイデアを研究した学術論文はありますが、ゲームに直接適用できる商用製品はほとんどありません。
著者は、ゲームのインタラクティブな性質により、ゲームが生成人工知能の明らかな応用になるだけでなく、制作の一環として静的な効果音（「ゲームのレーザー銃の効果音」など）も作成できるため、これは時間の問題であると考えています。 ) 、実行時にリアルタイムのインタラクティブなサウンド効果を作成することもできます。
プレイヤー キャラクターの足音 (著者注: CS の足音や鶏肉を食べる音など) を生成する方法を想像してみてください。従来のゲームのほとんどは、事前に録音された少数の足音でこの問題を解決しています。たとえば、草の上を歩く、砂利の上を歩く、草の上を走る、砂利の上を走るなどです。これらのサウンドは公開および管理が面倒で、実行すると反復的で非現実的に聞こえます。
より良い方法は、生成 AI のシミュレートされた音響効果を通じて適切でより現実的な音響効果をリアルタイムで生成し、地面、キャラクター、体重、歩き方、履物などのゲーム内のパラメーターを通じてさまざまな効果を表現することです。メディア、効果音。
音楽（ゲームサウンドトラック）
サウンドトラックは、映画やテレビと同じように、物語のテーマに感情的なトーンを設定するのに役立つため、ゲームにとって重要です。しかし、ゲームは場合によっては数百時間、場合によっては数千時間と長時間続くため、絶えず流れる音楽はすぐに繰り返しになり、プレイヤーにとって飽きてしまう可能性があります。さらに、ゲームのインタラクティブな性質により、ゲームのサウンドトラックが画面上でランダムに発生するシーンやアクションと完全に正確に一致することは困難です。
アダプティブ ミュージックは、インタラクティブな音楽を作成するための Microsoft の「DirectMusic」システムにまで遡り、20 年以上にわたってゲーム サウンドトラックで注目されてきました。ただし、DirectMusic は、主にこの形式で音楽を作成することが難しいため、広く採用されておらず、Monolith の No One Lives など、真にインタラクティブなサウンドトラック (Monolith の No One Lives Forever) などの少数のゲームのみが作成されています。
現在、Soundful、Musico、Harmonai、Infinite Album、Aiva など、AI 生成の音楽を作成しようとしているスタートアップが数多くありますが、Open AI の Jukebox などの現在のツールの多くは高度な計算量を必要とし、リアルタイムで実行できません。ただし、初期モデルの構築に成功すると、リアルタイム操作が可能になります。
Dialogue & Voice (スピーチとダイアログ)
多くの企業がゲーム内のキャラクターのリアルな声を作成しようと試みてきましたが、Sonantic、Coqui、Replica Studios、Resemble.ai、Readspeaker.ai などを含むコンピューター音声合成の長い歴史を考えれば、これは当然のことではありません。音声生成人工知能を使用することには多くの利点がありますが、当然、この分野での競争も熾烈です。
インスタントダイアログ生成。通常、ゲーム内のナレーションは声優によって事前に録音されますが、これは無表情のスピーチ スクリプトに限定されます。生成 AI 対話を使用すると、キャラクターは何でも発言できるため、プレイヤーのアクションに適切に反応できます。
ロールプレイ。多くのゲーマーは、現実世界のアイデンティティとはほとんど似ていない仮想キャラクターとしてプレイしたいと考えています。ただし、プレイヤーが自分の声で話すとすぐに、この幻想は打ち砕かれ、プレイヤーのアバターに一致する生成された音声を使用すると、幻想は維持されます。
効果音をコントロールします。 AI によって音声が生成されると、イントネーション、抑揚、感情的共鳴、音素の長さ、アクセントなど、声のニュアンスを制御できます。ローカリゼーション (簡単な翻訳と海外プロモーション)。会話はあらゆる言語に翻訳でき、同じ声で話すことができ、Deepdub のような企業はこのニッチ分野に特化しています。
NPCとプレイヤーキャラクター
多くのスタートアップ企業が、インタラクティブなキャラクターを作成するための生成人工知能の利用を研究しており、ゲーム内の NPC の市場機会に加えて、仮想アシスタントや受付係にも大きな成長の余地があります。この取り組みは、人工知能研究の初期に遡ります。
多くの企業が汎用チャットボットを構築しており、その多くは GPT-3 に似た言語モデルを利用しています。 Replika や Anima など、バーチャル コンパニオンを作成しようとする少数の企業が、エンターテインメント目的のチャットボットの構築に特に取り組んでいます。映画『Her』（スパイク・ジョーンズ脚本・監督、ホアキン・フェニックス、スカーレット・ヨハンソンほか出演のSF恋愛映画）に登場するバーチャル・ガールフレンドの時代も近いうちに来るかもしれない。
現在、Charisma.ai、Convai.com、Inworld.ai などのチャットボット プラットフォームの次のバージョンが見られます。これらのプラットフォームでは、感情を利用して 3D キャラクターをレンダリングでき、クリエイターがこれらのキャラクターに物語の役割を与えることができるツールが登場します。純粋にショーのためではなく、ゲームやプロットの推進において。
統合プラットフォーム
Runwayml.com のような最も成功した生成 AI ツールには、幅広いクリエイター ツールがまとめられています。しかし、現時点ではゲーム分野にそのような企業は存在せず、A16Z は次のような生成型 AI ゲーム ソリューションへの投資に熱心に取り組んでいます。
制作プロセス全体をカバーする生成 AI ツールの完全なスイート: (コード、アセット生成、テクスチャ、オーディオなど)
典型的なゲーム制作に適合するように設計された汎用シーン スイート ツール
要約する
要約する
元のリンク
