인공지능 붐이 전 세계를 휩쓸고 있는 지금, "ChatGPT"는 의심할 여지 없이 최근 인터넷 상에서 가장 뜨거운 화제이며, ChatGPT 역시 블록체인 분야에서 많은 논란을 불러일으켰습니다. "에서 간단한 시장분석, 정량적 전략까지 설계하여 코인으로 투기…

지난 주 ChatGPT-4가 공식적으로 출시되었습니다. 개발자인 OpenAI에 따르면 "ChatGPT-4는 다양한 전문 및 학술 벤치마크에서 인간 수준의 성능을 달성합니다." 실용적인 응용 프로그램에서 ChatGPT-4는 SAT 시험(미국 대학 입학 시험)에서 높은 점수를 얻었고 Ethereum 스마트 계약의 취약점을 성공적으로 탐지할 수 있으며 취약점을 악용할 수 있는 잠재적인 방법을 제안할 수도 있습니다(약간의 해커 생각).

코인베이스(Coinbase)의 코너 그로건(Conor Grogan) 이사는 SNS를 통해 "ChatGPT-4에 라이브 이더리움 스마트 컨트랙트를 삽입했고, AI가 보안 허점을 순식간에 찾아냈고, 이를 악용해 공격하는 모습까지 보여줬다"고 즉각 확인했다. . Conor Grogan도 해당 컨트랙트가 2018년 해커들에 의해 실제로 악용되었다고 밝혔습니다. 또한 그는 Euler의 스마트 컨트랙트도 시도했지만 컨트랙트가 너무 길어서 ChatGPT-4에서 처리할 수 없었다고 밝혔습니다. Conor Grogan은 솔직하게 말했습니다.AI는 궁극적으로 스마트 계약을 보다 안전하고 쉽게 구축할 수 있도록 합니다.

이 트윗이 공개되면서 OpenAI ChatGPT의 보안 취약점 탐지 능력은 업계에서 가장 뜨거운 주제 중 하나가 되었습니다. 얼마나 정확합니까? 보안 회사가 당황하고 있습니까? 위의 질문에 답하기 위해 Coinbase는 신속하게 특별 조사를 수행했습니다.

바로 이번 주 화요일, Coinbase는 공식 블로그에 ChatGPT를 사용하여 ERC 20 토큰 검토 프레임워크를 사용하여 자동 검토를 수행하고 블록체인 보안 엔지니어가 검토를 수행한 비교 실험 및 보고서 결과를 공식적으로 발표했습니다.

실험의 목적은ChatGPT 토큰 보안 감사의 정확성은 감사 결과를 블록체인 보안 엔지니어가 수행한 표준 감사 결과와 비교하여 결정됩니다.실험에서 블록체인 보안 엔지니어는 내부 도구를 활용하여 토큰 스마트 계약의 각 기능을 검토하고 기능에 태그된 위험을 기반으로 위험 점수를 출력하고 ChatGPT의 정확도를 표준 검토의 정확도와 비교합니다. 위험 점수를 생성하려면 ChatGPT가 필요합니다.

ChatGPT가 Coinbase의 ERC 20 보안 검토 프레임워크를 사용하여 위험 점수를 생성하려면 Coinbase는 이 전에 ChatGPT에 몇 가지 지침을 발행해야 합니다.

"나는 당신을 블록체인 보안 엔지니어로 생각합니다. 당신의 임무는 기능과 관련된 위험을 기반으로 토큰 스마트 계약에서 보안 위험을 식별하는 것입니다. 이것이 우리의 프레임워크[+ 위험 프레임워크]입니다. 다음 스마트 계약 위험에 존재합니까? [+스마트 계약 코드]"를 통해 Coinbase가 ChatGPT 프롬프트에서 위험 프레임워크를 정의하고 위험이 있는지 물어볼 수 있습니다.

그렇다면 ChatGPT는 어떻게 작동할까요?

Coinbase는 실험에서 ChatGPT와 인간 보안 검토 사이의 20가지 스마트 계약 위험 점수를 비교했습니다.ChatGPT는 사람이 검토한 것과 동일한 결과를 12번 생성했습니다. 그러나 다른 8개의 실수 중 5개에서 ChatGPT는 고위험 자산을 저위험 자산으로 잘못 분류했습니다.

성능은 나쁘지 않은 것 같지만 위험 점수를 과소 평가한 결과가 위험 점수를 과대 평가한 것보다 더 심각하다는 것을 우리 모두 알고 있습니다. 교환 및 사용자 권리와 이익.

실험 결과에서 얻은 보고서에 따르면,ChatGPT는 스마트 계약의 위험을 신속하게 평가할 수 있는 기능으로 "얕다"고만 말할 수 있지만 Coinbase 보안 검토 프로세스의 정확성 요구 사항을 충족하지 않습니다.

첫째, ChatGPT는 강력한 보안 분석을 수행하기 위해 컨텍스트가 누락된 시점을 식별할 수 없습니다. 이로 인해 추가 종속성이 검토되지 않는 커버리지 격차가 발생합니다. 커버리지 격차를 방지하기 위해 매번 ChatGPT의 검토 범위에 대한 사전 분류가 필요합니다.

둘째, ChatGPT의 출력이 일관성이 없을 수 있습니다. 동일한 질문이 ChatGPT에 여러 번 제공될 때 항상 동일한 답변이 출력되지는 않습니다. ChatGPT도 코드의 주석에 의해 영향을 받는 것으로 보이며 때때로 함수 논리 대신 주석이 기본값인 것으로 보입니다.

마지막으로 OpenAI는 ChatGPT 버전에서 계속 반복되어 추가적인 출력 불안정성을 초래했습니다. 과거에 일관된 출력을 제공하는 데 사용되었을 수 있는 자세한 정보 표시 프롬프트는 버전 변경 후 대체 출력을 생성할 수 있습니다. 일관된 대응을 보장하고 작동 오류를 방지하기 위해 시기 적절한 유지 관리 및 출력 품질 관리가 필요할 수 있습니다.

요약하면 아마도 Coinbase는 추가 엔지니어링 설계를 통해 ChatGPT 토큰 보안 감사의 정확성을 향상시킬 수 있습니다. 그러나 현재 Coinbase는 여전히 ChatGPT에만 의존하여 보안 검토를 수행할 수 없습니다. Coinbase는 ChatGPT를 2차 QA 검사 도구로 사용하여 보안 엔지니어가 이 도구를 사용하여 추가 제어 검사를 수행하여 간과했을 수 있는 위험을 포착함으로써 향후 정확도를 개선하기를 희망합니다. ChatGPT 힌트는 엔지니어가 나중에 사용할 수 있도록 저장되며 향후 개선이 계획되어 있습니다.

Coinbase의 실험과 마찬가지로 명령어 설계를 조정하여 ChatGPT의 정확도를 더욱 향상시킬 수 있지만 보안 감사와 같은 더 많은 모바일 작업을 위해 ChatGPT만으로는 변수를 통합할 수 없을 때 만들 수 있다고 보장할 수 없습니다. 특정 추가 제어 검사에 따라 ChatGPT의 프롬프트를 개선하려면 여전히 개입이 필요합니다.

일반적으로 블록체인 산업에 AI를 도입하면 의심할 여지없이 서클의 스타트업이 인공 협업을 통해 효율적으로 구축할 수 있는 가능성을 제공합니다. ChatGPT를 사용하면 더 짧은 시간에 완료할 수 있습니다. 또한 ChatGPT는 보안 엔지니어의 스마트 계약 감사 비용이 많이 드는 시기적절하고 비용 효율적인 계약 감사 지원을 제공합니다.

블록체인 개발자 Salman Arshad는 ETHDubai 컨퍼런스에서 "ChatGPT 및 AI 도구는 유용하며 우리의 적이 아니며 개발자의 경력을 끝내도록 설계되지도 않았습니다."ChatGPT의 협업적 특성은 프로세스를 자동화하고 사람을 대체하는 잠재적인 위협보다 사용자에게 더 유익할 수 있습니다.

마지막으로 사용자로서 묻고 싶습니다. 감히 ChatGPT에서 감사한 DeFi 프로토콜을 사용하시겠습니까?