원저자: hmalviya 9

원본 편집: Frank, Foresight News

편집자 주: 2017년에 출판된 Attention Is All You Need라는 논문은 현재까지 110,000회 이상 인용되었습니다. 이는 오늘날 ChatGPT로 대표되는 대형 모델 기술의 기원 중 하나일 뿐만 아니라 Transformer 아키텍처를 소개합니다. 소라(Sora), 알파폴드(AlphaFold) 등 세상을 바꿀 수 있는 다양한 AI 기술에도 널리 활용되고 있다.

Attention Is All You Need라는 이 연구 논문은 현대 인공 지능(AI)의 미래를 완전히 바꿔 놓습니다. 이번 글에서는 Transformer 모델과 AI의 미래에 대해 알아보겠습니다.

2017년 6월 12일, 8명의 Google 엔지니어는 Attention Is All You Need라는 연구 논문을 발표했습니다. 이 논문은 현대 AI의 미래를 바꿀 신경망 아키텍처에 대해 논의합니다.

2024년 3월 21일 직전 GTC 컨퍼런스에서 NVIDIA 창립자 Huang Jensen은 Google 엔지니어 8명과 그룹 토론을 갖고 현대 AI를 가능하게 하는 Transformer 아키텍처를 도입한 것에 대해 감사를 표했습니다. 놀랍게도 네, NEAR의 창립자가 실제로 이 목록에 있습니다. 8명 중.

변압기 란 무엇입니까?

Transformer는 신경망입니다.

신경망이란 무엇입니까? 인간 두뇌의 구조와 기능에서 영감을 얻어, 서로 연결된 수많은 인공 뉴런을 통해 정보를 처리하지만, 인간 두뇌의 완전한 복제품은 아닙니다.

간단히 말해서, 인간의 두뇌는 아마존 열대 우림과 같아서 다양한 영역과 이 영역을 연결하는 많은 경로가 있습니다. 뉴런은 이러한 경로 사이의 커넥터와 같아서 열대 우림의 어느 부분으로든 신호를 보내고 받을 수 있으므로 연결은 두 개의 서로 다른 뇌 영역을 연결하는 통로 자체입니다.

이는 우리의 두뇌에 매우 강력한 학습 능력을 부여하여 빠르게 학습하고, 패턴을 인식하고, 정확한 결과를 제공할 수 있게 해줍니다. Transformer와 같은 신경망은 인간 두뇌와 동일한 학습 능력을 달성하려고 시도하지만 현재 기술 수준은 인간 두뇌의 1% 미만입니다.

Transformers는 최근 몇 년간 생성 AI 분야에서 인상적인 발전을 이루었습니다. 현대 인공 지능의 진화 과정을 되돌아보면 초기 인공 지능은 주로 Siri 및 기타 음성/인식 응용 프로그램과 유사했음을 알 수 있습니다.

이러한 애플리케이션은 RNN(Recurrent Neural Networks)을 사용하여 구축되었습니다. RNN에는 Transformers에 의해 해결되고 개선된 몇 가지 제한 사항이 있습니다. 이는 모든 시퀀스의 모든 부분을 동시에 분석하여 장거리 종속성과 상황에 맞는 콘텐츠를 캡처할 수 있는 self-attention 메커니즘을 도입합니다.

우리는 아직 Transformer 혁신 주기의 초기 단계에 있습니다. Transformer에는 XLNet, BERT 및 GPT와 같은 여러 가지 파생 상품이 있습니다.

GPT는 가장 잘 알려져 있지만 이벤트 예측 기능에는 여전히 제한적입니다.

대규모 언어 모델(LLM)이 과거 데이터와 패턴을 기반으로 이벤트를 예측할 수 있게 되면 이는 현대 AI의 다음 큰 도약을 의미하며 일반 인공지능(AGI)을 향한 여정을 가속화할 것입니다.

이러한 예측력을 달성하기 위해 LLM(대형 언어 모델)은 다양한 데이터 세트를 기반으로 미래 값을 예측하고 예측을 설명할 수 있는 모델인 TFT(Temporal Fusion Transformer)를 사용합니다.

TFT는 예측에 사용되는 것 외에도 블록체인 분야에서도 사용될 수 있습니다. 모델에 특정 규칙을 정의함으로써 TFT는 합의 프로세스를 효과적으로 관리하고, 블록 생성 속도를 높이고, 정직한 검증자에게 보상하고, 악의적인 검증자를 처벌하는 작업을 자동으로 수행할 수 있습니다.

블록체인 네트워크는 본질적으로 투표 내역, 블록 제안 내역, 슬래시 내역, 스테이킹 금액, 활동 및 기타 여러 매개변수를 기반으로 할 수 있는 더 높은 평판 점수를 가진 검증자에게 더 큰 블록 보상을 제공할 수 있습니다.

퍼블릭 체인의 합의 메커니즘은 본질적으로 검증자 간의 게임으로, 검증자의 2/3 이상이 다음 블록을 생성할 사람에 동의해야 합니다. 이 과정에서 많은 의견 차이와 논쟁이 발생할 수 있으며, 이는 이더리움과 같은 퍼블릭 체인 네트워크의 비효율성을 높이는 요인이기도 합니다.

TFT는 블록 생성 평판을 기반으로 블록 시간을 개선하고 검증자에게 보상을 제공함으로써 효율성을 향상시키는 합의 메커니즘으로 사용될 수 있습니다. 예를 들어 TFT 모델을 합의 프로세스에 적용하는 BasedAI는 이 모델을 사용하여 검증자와 네트워크 참여자 간에 토큰 발행을 할당합니다.

BasedAI는 또한 FHE 기술을 사용하여 개발자가 Brains라는 분산형 AI 인프라에서 개인 정보 보호 대규모 언어 모델(Zk-LLM)을 호스팅할 수 있도록 제안합니다. FHE 기술을 대규모 언어 모델에 통합함으로써 사용자를 보호할 수 있습니다. 개인화된 AI 서비스를 활성화하기로 선택한 경우의 개인정보 데이터입니다.

사람들이 자신의 데이터가 암호화되어 완전히 비공개라는 확신을 가지고 데이터를 기꺼이 제공할 때 아마도 일반 인공 지능(AGI)에서 획기적인 발전을 이룰 수 있을 것입니다. , 영지식 기계 학습(ZkML) 및 동형 암호화(FHE) 기술.

그러나 이러한 모든 개인 정보 보호 중심 기술에는 많은 양의 컴퓨팅 리소스가 필요하므로 적용 초기 단계에 있습니다.