a16z: 생성적 AI와 게임을 결합한 시장 생태계 개요

星球君的朋友们

Odaily资深作者

2022-12-23 08:43

이 기사는 약 5377자로, 전체를 읽는 데 약 8분이 소요됩니다

이 글에서는 이번 트랙에서 a16z의 투자 레이아웃을 소개합니다.

AI 요약

펼치기

이 글에서는 이번 트랙에서 a16z의 투자 레이아웃을 소개합니다.

원래 제목: "The Generative AI Revolution in Games》

원래 제목: "

저자: 제임스 그워츠만, 잭 소슬로

원본 편집: Alpha Rabbit

A16Z는 최근 제너레이티브 AI와 게임을 결합할 수 있는 기회라고 생각하는 흥미로운 기사를 작성했으며, 저자는 일부 콘텐츠를 번역하고 주석을 달았습니다. 기사의 첫 번째 부분이 발행되었습니다. 참조: "a16z: Observations and Predictions of Generative AI in the Game Field", 이 기사는 게임 + Generative AI 분야의 시장 생태계에 대한 A16Z의 판단을 포함하는 두 번째 부분입니다. 참고: 이 큰 일부는 A16Z의 Portofolio입니다. 객관적이고 합리적으로 읽으십시오).

시장 생태계 개요

아래 그림은 전반적인 시장 생태계를 보여주고 A16Z가 다양한 카테고리에서 발굴한 스타트업을 설명합니다. 범주의 기회가 제공됩니다.

텍스트에서 평면 이미지 생성(2D 이미지)

텍스트 큐에서 2D 이미지를 생성하는 것은 생성 인공 지능의 가장 광범위한 응용 프로그램 중 하나입니다. Midjourney, Stable Diffusion 및 Dall-E 2와 같은 도구는 텍스트 설명에서 고품질 2D 이미지를 직접 생성할 수 있으며 게임 개발 및 프로덕션 수명 주기 전반에 걸쳐 여러 단계에서 사용됩니다.

(참고: Midjourney도 사용하기 쉬운 AI 이미지 생성기로, 사용하기 쉽고 이미지 생성 속도가 매우 빠르며 1분 안에 4개의 이미지를 생성할 수 있음을 여기서 설명하겠습니다.)

컨셉 아트

(참고: 컨셉 아트는 예비 디자인이라고도 합니다. 일반적으로 영화 및 TV 또는 게임 산업에는 이러한 전문적인 디자인 개념이 있습니다. 일반적으로 말하자면 제품의 시각적 효과에 대한 톤을 설정하는 것을 말합니다. 게임이나 영화라는 오리지널 핵심 작업 콘텐츠 중 하나 새로운 디자인 아이디어와 방향성(형태, 정신, 컨셉 등)을 통해 과거의 방식을 혁신하거나 전복시키고, 새로운 조형 캐릭터를 만들거나 일러스트레이터와 게임의 관계는 포스터, 패키징 커버 등을 그리는 데 더 많은 도움이 됩니다. 컨셉 아트는 우리가 컨셉 아트라고 부르는 것입니다. 만화와 어떤 관련이 있습니까? 차이점은 컨셉 아트는 만화와 매우 다릅니다. 만화는 일본의 독립 시스템이며 인기 있는 라이트 노벨의 시각화에 더 많이 사용됩니다. 컨셉 아트는 게임, 애니메이션, 스타일 표현의 형식에 제한이 없으며 일부 고급 설정 또는 완전한 설정을 만드는 것이 매우 중요합니다.원화와 차이점은 무엇입니까?컨셉 아트에는 거의 모든 캐릭터와 장면이 포함됩니다. 오리지널 아티스트와 다른 점은 컨셉 디자이너가 주도적으로 좀 더 재미있는 디자인을 만들어 내야 한다는 것입니다.

Concept Art는 원작가와는 다른 개념으로 게임, 애니메이션 프로젝트에서 메인 기획자 다음으로 예술 지향적인 의사 결정의 역할을 하며 프로젝트의 스타일과 관객을 결정합니다. 예술가는 예술가로 간주됩니다. Wind Prison은 무능합니다. )

참고 자료: 공식 계정 Yisha Jun: 역사상 가장 완벽한 ConceptArt 전문 분석 대학 컨셉 아트 전문가 Yufei Zhang의 공유--2020-02-04 18:00

생성 인공 지능 도구는 게임 디자이너와 같은 역할이 게임 개념을 탐색하고 영감을 얻는 데 더 유용합니다. 예를 들어 한 게임 스튜디오는 위의 도구를 사용하여 컨셉 아트 개발 프로세스의 속도를 획기적으로 높이고 있기 때문에 프로덕션 프로세스의 중요한 부분이기도 합니다. 최대 3주, 하지만 정확히 어떻게?

첫째, 게임 디자이너는 Midjourney를 사용하여 다양한 영감을 탐색하고 적합하다고 판단되는 컨셉 이미지를 생성합니다. 그런 다음 이미지는 이미지를 결합하고 관련 주제의 일관된 이미지를 생성할 수 있는 전문 컨셉 아티스트에게 전달되며, 그런 다음 Stable Diffusion에 공급되어 일련의 이미지 변형을 형성할 수 있습니다.

2 D Production Art

이 다양한 이미지 스타일을 모두가 함께 논의한 다음 하나를 결정하고 브러시로 수동으로 편집한 다음 모두가 작업 결과에 만족할 때까지 위의 과정을 계속 반복합니다. 이 단계에서 이 이미지를 Stable Diffusion에 최종 업로드하면 최종 아트워크가 생성됩니다.

다른 게임 스튜디오는 유사한 인공 지능 도구를 사용하여 게임 내 아트를 만들려고 노력하고 있습니다. 예를 들어 아래 이미지는 Stable Diffusion을 사용하여 게임용 2D 자산을 만드는 방법에 대한 Albert Bozesan의 자습서에서 가져온 것입니다.

3D Artwork

출처: https://www.youtube.com/watch?v=blXnuyVgA_Y

3D 입체 모듈, 현재의 모든 최신 게임과 곧 출시될 메타버스의 중요한 구성 요소입니다. 가상 세계와 게임 레벨은 본질적으로 다양한 조합과 배치 방법을 통해 게임 환경을 채우기 위해 다양한 매개 변수를 수정하는 3D 자산 모음입니다. 그러나 3D 요소를 생성하는 것은 2D 평면도를 생성하는 것보다 복잡하며 3D 모델을 만들고 질감과 효과를 추가해야 하는 필요성을 포함하여 여러 단계가 필요합니다. 애니메이션 캐릭터의 경우 내부 "윤곽선"을 만든 다음 윤곽선 위에 애니메이션을 적용하는 작업도 포함됩니다.

모델 생성, 캐릭터 애니메이션, 레벨 제작 등 3D 자산 생성 프로세스의 다양한 단계에서 기회를 모색하는 다양한 스타트업을 볼 수 있습니다. 그러나 비즈니스 및 혁신의 이 부분은 여전히 탐색 중입니다.

3D 자산

3D 모델을 만들려는 스타트업에는 Kaedim, Mirage 및 Hypothetic이 있습니다. 엔비디아의 겟3D, 오토데스크의 클립포지 등 대기업들도 주목하고 있다. Kaedim과 Get3d는 이미지에서 3D 모델로의 변환에 중점을 두고 있으며 ClipForge와 Mirage는 텍스트에서 3D로의 변환에 중점을 두고 있으며 Hypothetic은 텍스트에서 3D로의 검색과 이미지에서 3D로의 변환에 모두 관심이 있습니다.

Mirage: https://www.mirageml.com/

Kaedim Company: 런던에 본사를 두고 있으며 주로 2D 이미지에서 3D 모델을 생성합니다.

3D 텍스처

BariumAI:https://barium.ai/

Ponzu:https://www.ponzu.gg/

게임에서 3D 모델을 메시 기반 텍스처나 재질에 사용할 수 있으면 더 사실적으로 보일 수 있습니다. 예를 들어, 중세 성 모델에 이끼가 있는 다른 유형의 풍화된 돌을 사용하면 장면의 모습을 완전히 바꿀 수 있습니다. 텍스처는 빛이 재료에 어떻게 반응하는지(예: 거칠기, 광택 등)에 대한 메타데이터를 포함하며, 아티스트는 텍스트 또는 이미지 큐를 기반으로 텍스처를 쉽게 생성할 수 있으며 창작 과정에서 반복 속도를 높이는 데 매우 중요합니다. , BariumAI, Ponzu 및 ArmorLab과 같은 회사가 이 공간에서 작업하고 있습니다.

생기

우수한 애니메이션의 제작은 게임 제작 과정에서 가장 시간과 비용이 많이 들고 숙련된 부분 중 하나입니다 비용을 줄이고 보다 사실적인 애니메이션을 만드는 방법 중 하나는 배우나 댄서에게 모션 캡처 수트를 착용하고 특수 장비를 사용하여 움직임을 기록합니다.

우리는 현재 생성 AI가 비디오에서 직접 애니메이션을 캡처할 수 있음을 발견했습니다. 값비싼 모션 캡처 장비가 필요하지 않고 기존 비디오에서 애니메이션을 캡처할 수 있기 때문에 더 효율적입니다.

Kinetix

DeepMotion

RADiCAL

인공지능 모델의 또 다른 흥미로운 점은 기존 애니메이션을 필터링하고 클릭 한 번으로 애니메이션 캐릭터를 취하거나 늙거나 행복하게 만드는 등 새로운 특수 효과를 추가하는 데 사용할 수 있다는 점입니다. 이 분야의 회사로는 Kinetix, DeepMotion, RADiCAL, Move Ai 및 Plask가 있습니다.

레벨 디자인 및 게임 세계 구축 (Level design & world building)

게임 제작에서 가장 시간이 많이 걸리는 측면 중 하나는 게임 세계를 구축하는 것이며, 이 작업에 인공 지능을 사용할 수 있습니다. Minecraft, No Man's Sky, Diablo와 같은 게임은 절차적으로 생성되는 레벨로 유명합니다. 여기서 레벨은 무작위로 생성되고 매번 다르지만 레벨 디자이너가 설정한 규칙을 따릅니다. 새로운 Unreal 5 게임 엔진의 큰 판매 포인트는 리프 배치와 같은 오픈 월드 디자인을 위한 절차적 도구 모음입니다.

Promethean, MLXAR 또는 Meta's Builder Bot과 같은 회사는 모두 생성 AI 기술에서 기회를 봅니다. Minecraft의 생성 기술이나 Doom의 레벨 디자인을 포함하여 한동안 이에 대한 학술 연구가 있었습니다.

생성 AI 도구가 게임 레벨 디자인에 잠재력이 있는 이유는 무엇입니까? AI는 다양한 스타일의 레벨과 게임 세계를 만들 수 있기 때문입니다. 1920년대의 화려한 뉴욕의 게임 세계, 신비한 디스토피아 블레이드 러너의 디자인 또는 톨킨식(반지의 제왕과 같은 디자인 및 풍경) 판타지 세계(vs 디스토피아 블레이드 러너 같은 미래, vs. Tolkien-esque 판타지 세계.).

다음 개념은 힌트를 사용하여 Midjourney에서 생성한 게임의 다양한 스타일의 레벨입니다.

오디오

사운드와 사운드트랙은 게임 경험의 중요한 부분입니다. 회사는 이미 그래픽 작업을 보완하기 위해 오디오를 생성하기 위해 생성 인공 지능을 사용하고 있습니다.

음향 효과

음향 효과는 인공 지능의 또 다른 매력적인 영역입니다. 인공지능을 이용해 영화에서 '폴리'(발자국 등)를 생성하는 아이디어를 탐구하는 학술 논문은 있었지만 게임에 직접 적용할 수 있는 상용 제품은 거의 없다.

저자는 게임의 상호작용 특성으로 인해 생산의 일부로 정적 음향 효과("게임의 레이저 총 음향 효과 등")를 생성하기 위해 제너레이티브 AI를 명백히 적용할 수 있기 때문에 이는 시간 문제일 뿐이라고 믿습니다. 런타임에 실시간 대화형 사운드 효과를 생성할 수도 있습니다.

플레이어 캐릭터의 발자국을 생성하는 방법을 상상해 보십시오(작성자 노트: CS의 발자국과 치킨 먹기 등..). 대부분의 기존 게임은 미리 녹음된 소수의 발자국 소리로 이 문제를 해결합니다. 이러한 사운드는 게시 및 관리가 번거롭고 실행 시 반복적이고 비현실적으로 들립니다.

더 나은 방법은 제너레이티브 AI의 모의 음향 효과를 통해 실시간으로 적절하고 보다 사실적인 음향 효과를 생성하고 게임 내 지면, 캐릭터, 무게, 걸음걸이, 신발 등의 매개 변수를 통해 다양한 효과를 표현하는 것입니다. 미디어 음향 효과.

음악(게임 사운드트랙)

사운드트랙은 영화나 TV에서처럼 스토리의 주제가 감정적인 톤을 설정하는 데 도움이 되기 때문에 게임에서 중요합니다. 그러나 게임이 더 오래 지속되기 때문에 때로는 수백 또는 수천 시간이 걸리기 때문에 일정한 음악이 빠르게 반복되거나 플레이어를 지루하게 만들 수 있습니다. 또한 게임의 상호 작용 특성으로 인해 게임 사운드 트랙이 화면에서 무작위로 발생하는 장면 및 동작과 완전히 일치하는 것은 어렵습니다.

적응형 음악은 20년 이상 게임 사운드트랙에 대한 관심의 대상이었으며 상호작용 음악을 만들기 위한 Microsoft의 "DirectMusic" 시스템까지 거슬러 올라갑니다. 그러나 DirectMusic은 주로 이 형식으로 음악을 작곡하기 어렵기 때문에 널리 채택되지 않았으며 Monolith의 No One Lives와 같은 소수의 게임만이 진정한 대화형 사운드트랙을 만들었습니다(Monolith의 No One Lives Forever).

현재 Soundful, Musico, Harmonai, Infinite Album, Aiva와 같은 AI 생성 음악을 만들려는 많은 스타트업이 있지만 Open AI의 Jukebox와 같은 많은 현재 도구는 계산 집약적이며 실시간으로 실행할 수 없습니다. 그러나 초기 모델이 성공적으로 구축되면 실시간 운영이 가능할 것입니다.

대화 및 음성(음성 및 대화)

많은 회사들이 게임 캐릭터의 사실적인 목소리를 만들려고 노력해 왔으며, 이는 물론 Sonantic, Coqui, Replica Studios, Resemble.ai, Readspeaker.ai 등을 포함한 컴퓨터 음성 합성의 오랜 역사로 인해 드문 일이 아닙니다. . 생성적 인공지능을 음성에 활용하는 것은 많은 이점이 있으며, 물론 이 트랙에서의 경쟁도 치열합니다.

즉각적인 대화 생성. 일반적으로 게임 내 보이스오버는 성우가 미리 녹음하지만 무표정한 음성 스크립트로 제한됩니다. AI 생성 대화를 통해 캐릭터는 무엇이든 말할 수 있습니다. 즉, 플레이어의 행동에 적절하게 반응할 수 있습니다.

역할극. 많은 게이머는 현실 세계의 정체성과 거의 닮지 않은 가상 캐릭터로 플레이하기를 원합니다. 그러나 플레이어가 자신의 목소리로 말하는 순간 이 환상은 깨지고 플레이어의 아바타와 일치하는 생성된 음성을 사용하면 환상이 유지됩니다.

음향 효과를 제어합니다. AI가 음성을 생성할 때 억양, 억양, 감정적 공명, 음소 길이, 억양 등 음성의 뉘앙스를 제어할 수 있습니다. 현지화(쉬운 번역 및 해외 홍보). 대화는 모든 언어로 번역되고 같은 목소리로 말할 수 있으며 Deepdub과 같은 회사는 이 틈새 시장을 전문으로 합니다.

NPC 및 플레이어 캐릭터

많은 신생 기업이 생성 인공 지능을 사용하여 대화형 캐릭터를 만드는 방법을 연구하고 있으며, 게임 내 NPC에 대한 시장 기회 외에도 가상 비서 또는 안내원도 성장할 여지가 많습니다. 이러한 노력은 인공 지능 연구 초기로 거슬러 올라갑니다.

많은 회사에서 범용 챗봇을 구축하고 있으며 그 중 다수는 GPT-3과 유사한 언어 모델로 구동됩니다. 가상 동료를 만들려고 노력하는 Replika 및 Anima와 같은 소수의 회사가 특히 엔터테인먼트 목적으로 챗봇을 구축하려고 시도하고 있습니다. 영화 '허(Her)'(스파이크 존스 감독, 호아킨 피닉스, 스칼렛 요한슨 등 주연의 SF 로맨스 영화)에 등장하는 가상 여자친구의 시대가 곧 도래할지도 모른다.

이제 감정으로 구동되는 3D 캐릭터를 렌더링할 수 있는 Charisma.ai, Convai.com 또는 Inworld.ai와 같은 이러한 챗봇 플랫폼의 다음 반복과 제작자가 이러한 캐릭터에 부여할 수 있는 도구를 볼 수 있습니다. 순전히 쇼를 위한 것이 아니라 게임에서 또는 플롯을 운전할 때.

통합 플랫폼

Runwayml.com과 같은 가장 성공적인 생성 AI 도구는 다양한 제작자 도구를 통합합니다. 그러나 현재 게임 공간에는 그러한 회사가 없으며 A16Z는 다음과 같은 생성 AI 게임 솔루션에 투자하기를 열망합니다.
전체 생산 프로세스를 포괄하는 전체 생성 AI 도구 모음: (코드, 자산 생성, 텍스처, 오디오 등)
일반적인 게임 프로덕션에 적합하도록 설계된 일반 장면 제품군 도구