a16z: Tổng quan về Hệ sinh thái Thị trường Kết hợp AI Sáng tạo và Trò chơi

星球君的朋友们

Odaily资深作者

2022-12-23 08:43

Bài viết này có khoảng 5377 từ, đọc toàn bộ bài viết mất khoảng 8 phút

Bài viết này sẽ giới thiệu bố cục đầu tư của a16z trong track này.

Tóm tắt AI

Mở rộng

Bài viết này sẽ giới thiệu bố cục đầu tư của a16z trong track này.

Tiêu đề ban đầu: "The Generative AI Revolution in Games》

Tiêu đề ban đầu: "

Tác giả: James Gwertzman, Jack Soslow

Biên dịch gốc: Alpha Rabbit

A16Z gần đây đã viết một bài viết thú vị, nói về những gì họ nghĩ là cơ hội để kết hợp giữa AI và game, tác giả đã dịch và chú thích một số nội dung. Phần đầu tiên của bài viết đã được phát hành, xem: "a16z: Quan sát và dự đoán về AI sáng tạo trong lĩnh vực trò chơi", bài viết này là phần thứ hai, bao gồm nhận định của A16Z về hệ sinh thái thị trường trong trò chơi + lĩnh vực AI sáng tạo (vui lòng lưu ý: mấy cái big Some này là Portofolio của A16Z, mong các bạn đọc một cách khách quan và hợp lý).

Tổng quan về hệ sinh thái thị trường

Hình dưới đây cho thấy hệ sinh thái thị trường tổng thể và mô tả các công ty khởi nghiệp mà A16Z đã phát hiện ra trong nhiều danh mục khác nhau. Trong các dự án cụ thể này, chúng tôi đã phát hiện ra tác động của trí tuệ nhân tạo tổng quát (AIGC) đối với trò chơi. Bài viết này sẽ thảo luận về từng công ty đặc trưng nhất và cơ hội trong danh mục được trình bày.

Tạo hình ảnh phẳng từ văn bản (Hình ảnh 2 D)

Tạo hình ảnh 2D từ tín hiệu văn bản là một trong những ứng dụng rộng rãi nhất của trí tuệ nhân tạo tổng quát. Các công cụ như Midjourney, Stable Diffusion và Dall-E 2 có thể trực tiếp tạo hình ảnh 2D chất lượng cao từ mô tả văn bản và chúng được sử dụng ở nhiều giai đoạn trong suốt vòng đời sản xuất và phát triển trò chơi.

(Lưu ý: Ở đây tôi xin giải thích rằng Midjourney cũng là một trình tạo ảnh AI dễ sử dụng, dễ sử dụng hơn và tốc độ tạo ảnh rất nhanh, có thể tạo ra 4 ảnh trong vòng 1 phút)

Ý tưởng nghệ thuật

(Lưu ý: Concept art cũng có thể được gọi là thiết kế sơ bộ. Thông thường, trong ngành điện ảnh và truyền hình hoặc trò chơi đều có khái niệm thiết kế chuyên nghiệp này. Nói chung, nó đề cập đến việc thiết lập tông màu cho hiệu ứng hình ảnh của sản phẩm. Nên nói rằng đó là một trò chơi hoặc một bộ phim. Một trong những nội dung cốt lõi ban đầu của tác phẩm. Thông qua các ý tưởng và hướng thiết kế hoàn toàn mới (bao gồm hình dạng, tinh thần, khái niệm, v.v.), đổi mới hoặc thậm chí phá bỏ các phương pháp trước đây và tạo ra các nhân vật mô hình mới hoặc khái niệm. Sự khác biệt so với hình minh họa là gì? Mối quan hệ giữa người vẽ tranh minh họa và trò chơi nhiều hơn là giúp họ vẽ áp phích, vỏ bao bì, v.v. Một trong những công việc nghệ thuật 2D thực sự liên quan chặt chẽ đến công việc phát triển phim và truyền hình và trò chơi là những gì chúng ta gọi là Concept Art. Nó có liên quan gì đến truyện tranh? Sự khác biệt? Concept Art rất khác so với manga. Manga là một hệ thống độc lập ở Nhật Bản, và nó phục vụ nhiều hơn cho việc hình dung các light novel nổi tiếng. Concept Art là cho trò chơi, hoạt hình và phong cách Không có hạn chế về hình thức thể hiện và điều cực kỳ quan trọng là tạo ra một số cài đặt nâng cao hoặc hoàn chỉnh. Sự khác biệt so với bức tranh gốc là gì? Khái niệm Nghệ thuật bao gồm hầu hết tất cả các nhân vật và cảnh sáng tạo.Sự khác biệt so với nghệ sĩ ban đầu là, các nhà thiết kế ý tưởng phải chủ động tạo ra một số thiết kế thú vị hơn.

Ý tưởng nghệ thuật khác với nghệ sĩ gốc, trong các dự án trò chơi và hoạt hình, nó đóng vai trò quyết định định hướng nghệ thuật chỉ sau người lập kế hoạch chính, đồng thời xác định phong cách và đối tượng của dự án. các nghệ sĩ bị coi là một nghệ sĩ Gió Tù là bất tài. )

Tài liệu tham khảo: Tài khoản chính thức Yisha Jun: Toàn bộ nhất trong lịch sử!

Các công cụ trí tuệ nhân tạo sáng tạo hữu ích hơn trong việc trợ giúp các vai trò như nhà thiết kế trò chơi khám phá các khái niệm trò chơi và truyền cảm hứng. Đây cũng là một phần quan trọng của quy trình sản xuất, chẳng hạn như một studio trò chơi đang sử dụng các công cụ trên để tăng tốc triệt để quy trình phát triển nghệ thuật ý tưởng của họ, vì họ tạo ra một hình ảnh chỉ trong một ngày, so với trước đây, quy trình này mất lên đến 3 tuần, nhưng làm thế nào chính xác?

Đầu tiên, các nhà thiết kế trò chơi sử dụng Midjourney để khám phá những nguồn cảm hứng khác nhau và tạo ra các hình ảnh khái niệm khi họ thấy phù hợp. Sau đó, các hình ảnh được chuyển giao cho các nghệ sĩ khái niệm chuyên nghiệp, những người có thể kết hợp các hình ảnh và tạo ra một hình ảnh nhất quán về một chủ đề liên quan, sau đó có thể được đưa vào Khuếch tán ổn định để tạo thành một loạt các biến thể hình ảnh.

2 D Production Art

Mọi người sẽ cùng nhau thảo luận về các phong cách hình ảnh khác nhau này, sau đó quyết định chọn một kiểu, chỉnh sửa thủ công bằng bút vẽ, sau đó tiếp tục lặp lại quy trình trên cho đến khi mọi người hài lòng với kết quả của tác phẩm. Ở giai đoạn này, lần tải hình ảnh này lên Stable Diffusion sẽ tạo ra tác phẩm nghệ thuật cuối cùng.

Các studio trò chơi khác đang cố gắng sử dụng các công cụ trí tuệ nhân tạo tương tự để tạo nghệ thuật trong trò chơi. Ví dụ: hình ảnh bên dưới là từ hướng dẫn của Albert Bozesan về cách sử dụng Khuếch tán ổn định để tạo nội dung 2D cho trò chơi.

3D Artwork

Nguồn: https://www.youtube.com/watch?v=blXnuyVgA_Y

Mô-đun lập thể 3D, một khối xây dựng quan trọng cho tất cả các trò chơi hiện đại hiện tại và Metaverse sắp tới. Thế giới ảo và cấp độ trò chơi về cơ bản là một tập hợp các nội dung 3D, thông qua các phương pháp kết hợp và sắp xếp khác nhau, sửa đổi các tham số khác nhau để lấp đầy môi trường trò chơi. Tuy nhiên, việc tạo các phần tử 3D phức tạp hơn so với việc tạo sơ đồ tầng 2D và bao gồm nhiều bước, bao gồm nhu cầu tạo mô hình 3D, thêm họa tiết và hiệu ứng. Đối với các nhân vật hoạt hình, nó cũng liên quan đến việc tạo một "đường viền" bên trong và sau đó tạo hoạt ảnh trên đường viền.

Chúng tôi thấy các công ty khởi nghiệp khác nhau đang tìm kiếm cơ hội ở các giai đoạn khác nhau của quy trình tạo nội dung 3D, bao gồm tạo mô hình, hoạt ảnh nhân vật và sản xuất cấp độ, cùng nhiều giai đoạn khác. Tuy nhiên, phần kinh doanh và đổi mới này vẫn đang được khám phá.

nội dung 3D

Các công ty khởi nghiệp đang cố gắng tạo mô hình 3D bao gồm Kaedim, Mirage và Hypothetic. Các công ty lớn cũng đang chú ý, bao gồm cả Get3D của Nvidia và ClipForge của Autodesk. Kaedim và Get3d tập trung vào chuyển đổi mô hình hình ảnh thành 3D; ClipForge và Mirage tập trung vào chuyển đổi văn bản thành 3D và Hypothetic quan tâm đến cả tìm kiếm văn bản thành 3D và hình ảnh thành 3D.

Mirage: https://www.mirageml.com/

Công ty Kaedim: Có trụ sở chính tại London, chủ yếu tạo mô hình 3D từ hình ảnh 2D.

Họa tiết 3D

BariumAI:https://barium.ai/

Ponzu:https://www.ponzu.gg/

Nếu trong trò chơi, mô hình 3D có thể được sử dụng trên các kết cấu hoặc vật liệu dạng lưới, thì nó có thể trông chân thực hơn. Ví dụ, sử dụng một loại đá phong hóa khác với rêu trên mô hình lâu đài thời trung cổ có thể thay đổi hoàn toàn diện mạo của một cảnh. Hoạ tiết, như chúng ta nói ở đây, chứa siêu dữ liệu về cách ánh sáng phản ứng với vật liệu (tức là độ nhám, độ bóng, v.v.), các nghệ sĩ có thể dễ dàng tạo ra các hoạ tiết dựa trên tín hiệu văn bản hoặc hình ảnh và là vô giá để tăng tốc độ lặp lại trong quá trình sáng tạo , các công ty như BariumAI, Ponzu và ArmorLab đang làm việc trong không gian này.

hoạt hình

Sản xuất hoạt hình xuất sắc là một trong những phần tốn thời gian, tốn kém và khéo léo nhất trong quá trình tạo trò chơi. mặc bộ đồ bắt chuyển động và sử dụng thiết bị đặc biệt để ghi lại chuyển động của họ.

Chúng tôi nhận thấy rằng AI tổng quát hiện tại có thể chụp hoạt ảnh trực tiếp từ video. Điều này hiệu quả hơn vì nó loại bỏ nhu cầu sử dụng thiết bị chụp chuyển động tốn kém và có nghĩa là chúng tôi có thể chụp hoạt ảnh từ video hiện có.

Kinetix

DeepMotion

RADiCAL

Một điểm thú vị khác của mô hình trí tuệ nhân tạo là nó có thể được sử dụng để lọc các hoạt ảnh hiện có và thêm các hiệu ứng đặc biệt mới, chẳng hạn như làm cho các nhân vật hoạt hình trông say xỉn, già nua hoặc vui vẻ chỉ bằng một cú nhấp chuột. Các công ty trong không gian này bao gồm Kinetix, DeepMotion, RADiCAL, Move Ai và Plask.

Thiết kế cấp độ và xây dựng thế giới trò chơi (Level design & world building)

Một trong những khía cạnh tốn nhiều thời gian nhất của việc tạo trò chơi là xây dựng thế giới trò chơi và trí tuệ nhân tạo sáng tạo có thể được sử dụng cho nhiệm vụ này. Các trò chơi như Minecraft, No Man's Sky và Diablo được biết đến với các cấp độ được tạo theo thủ tục, trong đó các cấp độ được tạo ngẫu nhiên và khác nhau mỗi lần, nhưng tuân theo các quy tắc do người thiết kế cấp độ đặt ra. Một điểm bán hàng lớn của công cụ trò chơi Unreal 5 mới là bộ sưu tập các công cụ thủ tục dành cho thiết kế thế giới mở, chẳng hạn như vị trí của chiếc lá.

Các công ty như Promethean, MLXAR hay Meta's Builder Bot đều nhìn thấy cơ hội trong các công nghệ AI tổng quát. Đã có nghiên cứu học thuật về vấn đề này trong một thời gian, bao gồm các kỹ thuật tổng quát cho Minecraft hoặc thiết kế cấp độ cho Doom.

Tại sao các công cụ AI sáng tạo có tiềm năng cho thiết kế cấp trò chơi? Bởi vì AI có khả năng tạo ra các phong cách cấp độ và thế giới trò chơi khác nhau. Hãy tưởng tượng việc sử dụng công cụ để nhanh chóng tạo ra một thế giới trò chơi của New York quyến rũ những năm 1920, hoặc thiết kế của Blade Runner đen tối bí ẩn, hoặc một thế giới giả tưởng của Tolkienian (thiết kế và phong cảnh giống như Chúa tể của những chiếc nhẫn) (so với tương lai đậm chất kiếm sĩ đen tối, so với thế giới giả tưởng Tolkien-esque.).

Các khái niệm sau đây là các kiểu cấp độ khác nhau trong trò chơi do Midjourney tạo ra bằng cách sử dụng các gợi ý:

âm thanh

Âm thanh và nhạc phim là một phần quan trọng của trải nghiệm chơi trò chơi. Các công ty đã sử dụng trí tuệ nhân tạo tổng quát để tạo âm thanh nhằm bổ sung cho các nỗ lực đồ họa.

hiệu ứng âm thanh

Hiệu ứng âm thanh là một lĩnh vực hấp dẫn khác của trí tuệ nhân tạo. Đã có những bài báo học thuật khám phá ý tưởng sử dụng trí tuệ nhân tạo để tạo ra những "điểm nhấn" trong phim (chẳng hạn như tiếng bước chân), nhưng có rất ít sản phẩm thương mại có thể được áp dụng trực tiếp trong trò chơi.

Tác giả tin rằng đây chỉ là vấn đề thời gian, vì bản chất tương tác của trò chơi làm cho nó trở thành một ứng dụng rõ ràng của AI tổng quát, vừa để tạo hiệu ứng âm thanh tĩnh như một phần của quá trình sản xuất ("hiệu ứng âm thanh súng laser trong trò chơi, v.v.") , và cũng có thể tạo hiệu ứng âm thanh tương tác thời gian thực khi chạy.

Hãy tưởng tượng làm thế nào để tạo ra tiếng bước chân cho nhân vật người chơi (ghi chú của tác giả: chẳng hạn như tiếng bước chân trong CS và ăn gà..)? Hầu hết các trò chơi truyền thống giải quyết vấn đề này bằng một số lượng nhỏ tiếng bước chân được ghi sẵn: ví dụ: đi trên cỏ, đi trên sỏi, chạy trên cỏ, chạy trên sỏi, v.v. Những âm thanh này rất cồng kềnh để xuất bản và quản lý, đồng thời âm thanh lặp đi lặp lại và không thực khi chạy.

Phương pháp tốt hơn là tạo hiệu ứng âm thanh phù hợp và chân thực hơn thông qua hiệu ứng âm thanh mô phỏng của AI tạo ra trong thời gian thực và thể hiện các hiệu ứng khác nhau thông qua các thông số trong trò chơi, chẳng hạn như mặt đất, nhân vật, trọng lượng, dáng đi, giày dép, v.v. media.hiệu ứng âm thanh.

Âm nhạc (nhạc trò chơi)

Nhạc nền rất quan trọng đối với trò chơi vì nó giúp chủ đề của câu chuyện thiết lập giai điệu cảm xúc, giống như trong phim hoặc truyền hình. Nhưng vì trò chơi kéo dài hơn, đôi khi hàng trăm hoặc thậm chí hàng nghìn giờ, âm nhạc liên tục có thể nhanh chóng trở nên lặp đi lặp lại hoặc gây mệt mỏi cho người chơi. Ngoài ra, do tính chất tương tác của trò chơi, các bản nhạc trong trò chơi khó có thể hoàn toàn khớp chính xác với các cảnh và hành động diễn ra ngẫu nhiên trên màn hình.

Âm nhạc thích ứng đã là một chủ đề được quan tâm trong các bản nhạc trò chơi trong hơn hai thập kỷ, bắt nguồn từ hệ thống "DirectMusic" của Microsoft để tạo nhạc tương tác. Tuy nhiên, DirectMusic đã không được áp dụng rộng rãi, chủ yếu là do khó soạn nhạc ở định dạng này và chỉ một số trò chơi, chẳng hạn như Monolith's No One Lives, đã tạo ra một bản nhạc tương tác thực sự (Monolith's No One Lives Forever,).

Giờ đây, có rất nhiều công ty khởi nghiệp đang cố gắng tạo nhạc do AI tạo ra, chẳng hạn như Soundful, Musico, Harmonai, Infinite Album và Aiva, mặc dù nhiều công cụ hiện tại, chẳng hạn như Jukebox của Open AI, đòi hỏi tính toán cao và không thể chạy trong thời gian thực. , tuy nhiên, một khi mô hình ban đầu được xây dựng thành công, hoạt động thời gian thực sẽ có thể thực hiện được.

Dialogue & Voice (Lời nói và Đối thoại)

Rất nhiều công ty đã cố gắng tạo ra giọng nói chân thực cho các nhân vật trong trò chơi, điều này tất nhiên không phải là hiếm do lịch sử lâu đời của việc tổng hợp giọng nói bằng máy tính, bao gồm Sonantic, Coqui, Replica Studios, Resemble.ai, Readloa.ai, v.v. . Có rất nhiều lợi thế khi sử dụng trí tuệ nhân tạo tổng quát cho bài phát biểu, tất nhiên, sự cạnh tranh trong lĩnh vực này cũng rất khốc liệt.

Tạo hộp thoại tức thì. Thông thường, phần lồng tiếng trong trò chơi được ghi âm trước bởi các diễn viên lồng tiếng, nhưng phần lồng tiếng này chỉ giới hạn ở các kịch bản lời thoại cụt ngủn. Với đối thoại AI tổng quát, các nhân vật có thể nói bất cứ điều gì, nghĩa là họ có thể phản ứng thích hợp với hành động của người chơi.

nhập vai. Nhiều game thủ muốn đóng vai những nhân vật ảo có chút giống với danh tính trong thế giới thực của họ. Tuy nhiên, ngay sau khi người chơi nói bằng giọng nói của chính họ, ảo ảnh này sẽ bị phá vỡ và việc sử dụng giọng nói được tạo phù hợp với hình đại diện của người chơi sẽ duy trì ảo ảnh.

Kiểm soát hiệu ứng âm thanh. Khi giọng nói được tạo ra bởi AI, chúng ta có thể kiểm soát các sắc thái của giọng nói, chẳng hạn như ngữ điệu, cách uốn, độ vang cảm xúc, độ dài âm vị, trọng âm, v.v. Nội địa hóa (dễ dịch thuật và xúc tiến nước ngoài). Các cuộc trò chuyện có thể được dịch sang bất kỳ ngôn ngữ nào và được nói với cùng một giọng nói, và các công ty như Deepdub chuyên về lĩnh vực này.

NPC & Nhân vật người chơi

Nhiều startup đang nghiên cứu sử dụng trí tuệ nhân tạo tổng hợp để tạo ra các nhân vật tương tác, bên cạnh cơ hội thị trường cho các NPC trong game, trợ lý ảo hay nhân viên lễ tân cũng có nhiều dư địa phát triển. Nỗ lực này bắt nguồn từ những ngày đầu nghiên cứu trí tuệ nhân tạo.

Nhiều công ty đang xây dựng các chatbot có mục đích chung, nhiều trong số đó được cung cấp bởi các mô hình ngôn ngữ tương tự như GPT-3. Một số ít công ty đang cố gắng xây dựng chatbot cho mục đích giải trí, chẳng hạn như Replika và Anima, cố gắng tạo ra những người bạn đồng hành ảo. Thời đại của những cô bạn gái ảo xuất hiện trong bộ phim "Her" (phim tình cảm khoa học viễn tưởng do Spike Jones viết kịch bản và đạo diễn, Joaquin Phoenix, Scarlett Johansson, v.v.) có sự tham gia của các diễn viên chính có thể sẽ sớm đến.

Bây giờ chúng ta có thể thấy phiên bản tiếp theo của các nền tảng chatbot này, chẳng hạn như Charisma.ai, Convai.com hoặc Inworld.ai, có thể hiển thị các nhân vật 3D được cung cấp bởi cảm xúc và các công cụ cho phép người tạo cung cấp cho các nhân vật này Mục tiêu có thể có vai trò kể chuyện trong trò chơi hoặc trong việc điều khiển cốt truyện, thay vì chỉ để trưng bày.

nền tảng thống nhất

Các công cụ AI tạo thành công nhất, như Runwayml.com, tập hợp nhiều loại công cụ tạo. Tuy nhiên, hiện tại không có công ty nào như vậy trong lĩnh vực trò chơi và A16Z rất mong muốn đầu tư vào một giải pháp chơi trò chơi AI tổng thể:
Một bộ đầy đủ các công cụ AI tổng quát bao gồm toàn bộ quy trình sản xuất: (mã, tạo nội dung, kết cấu, âm thanh, v.v.)
Công cụ bộ cảnh chung được thiết kế để phù hợp với quá trình sản xuất trò chơi điển hình