IOSG Ventures: LLM trao quyền cho blockchain và mở ra kỷ nguyên mới về trải nghiệm trên chuỗi

星球君的朋友们

Odaily资深作者

2023-08-08 11:45 (UTC+8)

Bài viết này có khoảng 1999 từ, đọc toàn bộ bài viết mất khoảng 3 phút

Thảo luận chiến lược áp dụng mô hình ngôn ngữ lớn (LLM).

Tóm tắt AI

Thảo luận chiến lược áp dụng mô hình ngôn ngữ lớn (LLM).

Được viết bởi: Yiping, IOSG Ventures

được viết ở phía trước

Với sự phổ biến ngày càng tăng của các mô hình ngôn ngữ lớn (LLM), chúng ta đã thấy nhiều dự án tích hợp trí tuệ nhân tạo (AI) và blockchain. Sự kết hợp giữa LLM và blockchain ngày càng tăng và chúng tôi cũng nhìn thấy cơ hội để trí tuệ nhân tạo tái hòa nhập với blockchain. Một điều đáng nói là máy học không kiến thức (ZKML).
Trí tuệ nhân tạo và blockchain là hai công nghệ biến đổi với những đặc điểm cơ bản khác nhau. Trí tuệ nhân tạo đòi hỏi sức mạnh tính toán mạnh mẽ, thường được cung cấp bởi các trung tâm dữ liệu tập trung. Mặc dù blockchain cung cấp khả năng tính toán phi tập trung và bảo vệ quyền riêng tư nhưng nó không hoạt động tốt trong các tác vụ lưu trữ và tính toán quy mô lớn. Chúng tôi vẫn đang khám phá và nghiên cứu các phương pháp hay nhất về trí tuệ nhân tạo và tích hợp blockchain, đồng thời chúng tôi sẽ giới thiệu một số trường hợp dự án hiện tại kết hợp AI + blockchain trong tương lai.

Source: IOSG Ventures

Báo cáo nghiên cứu này được chia thành hai phần, bài viết này là phần trên, chúng tôi sẽ tập trung vào ứng dụng LLM trong lĩnh vực mã hóa và thảo luận về chiến lược hạ cánh ứng dụng.

LLM là gì?

LLM (Mô hình ngôn ngữ lớn) là mô hình ngôn ngữ máy tính bao gồm mạng lưới thần kinh nhân tạo với số lượng lớn tham số (thường là hàng tỷ). Những mô hình này được đào tạo trên một lượng lớn văn bản không được gắn nhãn.

Khoảng năm 2018, sự ra đời của LLM đã cách mạng hóa việc nghiên cứu xử lý ngôn ngữ tự nhiên. Không giống như các phương pháp trước đây yêu cầu đào tạo một mô hình được giám sát cụ thể cho một nhiệm vụ cụ thể, LLM, với tư cách là một mô hình chung, thực hiện tốt nhiều nhiệm vụ khác nhau. Khả năng và ứng dụng của nó bao gồm:

Hiểu và tóm tắt văn bản: LLM có thể hiểu và tóm tắt một lượng lớn dữ liệu văn bản và ngôn ngữ của con người. Họ có thể trích xuất thông tin quan trọng và tạo ra các bản tóm tắt ngắn gọn.
Tạo nội dung mới: LLM có khả năng tạo nội dung dựa trên văn bản. Bằng cách cung cấp lời nhắc cho mô hình, mô hình có thể trả lời các câu hỏi, văn bản mới được tạo, bản tóm tắt hoặc phân tích cảm tính.
Dịch thuật: LLM có thể được sử dụng để dịch giữa các ngôn ngữ khác nhau. Họ sử dụng các thuật toán học sâu và mạng lưới thần kinh để hiểu ngữ cảnh và mối quan hệ giữa các từ.
Dự đoán và tạo văn bản: LLM có thể dự đoán và tạo văn bản dựa trên ngữ cảnh, tương tự như nội dung do con người tạo ra, bao gồm bài hát, bài thơ, câu chuyện, tài liệu tiếp thị, v.v.
Ứng dụng trong nhiều lĩnh vực: Các mô hình ngôn ngữ quy mô lớn có khả năng ứng dụng rộng rãi trong các tác vụ xử lý ngôn ngữ tự nhiên. Chúng được sử dụng trong trí tuệ nhân tạo đàm thoại, chatbot, chăm sóc sức khỏe, phát triển phần mềm, công cụ tìm kiếm, dạy kèm, công cụ viết và nhiều thứ khác.

Điểm mạnh của LLM bao gồm khả năng hiểu lượng lớn dữ liệu, khả năng thực hiện nhiều tác vụ liên quan đến ngôn ngữ và khả năng điều chỉnh kết quả theo nhu cầu của người dùng.

Các ứng dụng mô hình ngôn ngữ quy mô lớn phổ biến

Do khả năng hiểu ngôn ngữ tự nhiên vượt trội, LLM có tiềm năng đáng kể và các nhà phát triển chủ yếu tập trung vào hai khía cạnh sau:

Cung cấp cho người dùng câu trả lời chính xác và cập nhật dựa trên dữ liệu và nội dung theo ngữ cảnh mở rộng
Hoàn thành các nhiệm vụ cụ thể do người dùng giao bằng cách sử dụng các tác nhân và công cụ khác nhau

Chính hai khía cạnh này đã khiến ứng dụng LLM chat với XX bùng nổ như nấm sau mưa. Ví dụ: trò chuyện với tệp PDF, trò chuyện với tài liệu và trò chuyện với các bài báo học thuật.

Sau đó, người ta đã nỗ lực kết hợp LLM với nhiều nguồn dữ liệu khác nhau. Các nhà phát triển đã tích hợp thành công các nền tảng như Github, Notion và một số phần mềm ghi chú với LLM.

Để khắc phục những hạn chế cố hữu của LLM, các công cụ khác nhau đã được tích hợp vào hệ thống. Công cụ đầu tiên như vậy là một công cụ tìm kiếm, cung cấp cho LLM quyền truy cập vào kiến thức cập nhật. Tiến bộ hơn nữa sẽ tích hợp các công cụ như WolframAlpha, Google Suites và Etherscan với các mô hình ngôn ngữ lớn.

Kiến trúc của ứng dụng LLM

Sơ đồ bên dưới phác thảo luồng ứng dụng LLM khi trả lời các truy vấn của người dùng: Đầu tiên, các nguồn dữ liệu liên quan được chuyển đổi thành các vectơ nhúng và được lưu trữ trong cơ sở dữ liệu vectơ. Bộ điều hợp LLM sử dụng truy vấn của người dùng và tìm kiếm tương tự để tìm ngữ cảnh có liên quan từ cơ sở dữ liệu vectơ. Bối cảnh liên quan được đưa vào lời nhắc và gửi đến LLM. LLM sẽ thực hiện những lời nhắc này và sử dụng các công cụ để tạo câu trả lời. Đôi khi LLM được điều chỉnh trên các bộ dữ liệu cụ thể để cải thiện độ chính xác và giảm chi phí.

Quy trình làm việc của ứng dụng LLM có thể được chia thành ba giai đoạn chính:

Chuẩn bị và nhúng dữ liệu: Giai đoạn này liên quan đến việc giữ thông tin bí mật, chẳng hạn như bản ghi nhớ dự án, để truy cập trong tương lai. Thông thường, các tệp được phân đoạn và xử lý thông qua các mô hình nhúng, được lưu giữ trong một loại cơ sở dữ liệu đặc biệt gọi là cơ sở dữ liệu vectơ.
Xây dựng và trích xuất lời nhắc: Khi người dùng gửi yêu cầu tìm kiếm (trong trường hợp này là tìm kiếm thông tin về mặt hàng), phần mềm sẽ tạo một loạt lời nhắc được đưa vào mô hình ngôn ngữ. Lời nhắc cuối cùng thường chứa mẫu lời nhắc được nhà phát triển phần mềm mã hóa cứng, một ví dụ về đầu ra hợp lệ dưới dạng ví dụ về một vài lần chụp và mọi số bắt buộc thu được từ API bên ngoài và các tệp liên quan được lấy từ cơ sở dữ liệu vectơ.
Thực thi và suy luận nhanh chóng: Sau khi hoàn thành các lời nhắc, chúng sẽ được đưa đến các mô hình ngôn ngữ có sẵn để suy luận, có thể bao gồm các API mô hình độc quyền, nguồn mở hoặc các mô hình được tinh chỉnh riêng lẻ. Ở giai đoạn này, một số nhà phát triển cũng có thể kết hợp các hệ điều hành như ghi nhật ký, bộ nhớ đệm và xác thực vào hệ thống.

Đưa LLM vào tiền điện tử

Mặc dù có một số ứng dụng tương tự trong lĩnh vực mã hóa (Web3) và Web2, nhưng việc phát triển các ứng dụng LLM tốt trong lĩnh vực mã hóa đòi hỏi phải có sự quan tâm đặc biệt.

Hệ sinh thái tiền điện tử là duy nhất, có văn hóa, dữ liệu và sự hội tụ riêng. LLM được tinh chỉnh trên các bộ dữ liệu bị hạn chế về mặt mật mã này có thể mang lại kết quả vượt trội với chi phí tương đối thấp. Mặc dù dữ liệu có sẵn rất nhiều nhưng lại thiếu rõ rệt các bộ dữ liệu mở trên các nền tảng như HuggingFace. Hiện tại, chỉ có một bộ dữ liệu liên quan đến hợp đồng thông minh chứa 113.000 hợp đồng thông minh.

Các nhà phát triển cũng phải đối mặt với thách thức tích hợp các công cụ khác nhau vào LLM. Những công cụ này khác với những công cụ được sử dụng trong Web2 ở chỗ cung cấp cho LLM khả năng truy cập dữ liệu liên quan đến giao dịch, tương tác với các ứng dụng phi tập trung (Dapps) và thực hiện giao dịch. Cho đến nay, chúng tôi chưa tìm thấy bất kỳ sự tích hợp Dapp nào trong Langchain.

Mặc dù có thể cần đầu tư bổ sung để phát triển các ứng dụng LLM mật mã chất lượng cao, nhưng LLM hoàn toàn phù hợp với không gian mật mã. Miền này cung cấp dữ liệu có cấu trúc, rõ ràng và phong phú. Điều này, kết hợp với thực tế là mã Solidity thường ngắn gọn, giúp LLM tạo mã chức năng dễ dàng hơn.

Trong Phần 2, chúng ta sẽ thảo luận về 8 hướng tiềm năng trong đó LLM có thể hỗ trợ không gian blockchain, chẳng hạn như: