人工知能ブームが世界中を席巻している現在、「ChatGPT」は間違いなく最近インターネット上で最もホットなトピックであり、ChatGPTはブロックチェーン分野でも多くの論争を巻き起こしており、最も基本的な「あなたは私に答えてください」というものから、 「単純な市場分析、さらにはコインを投機するための一連の定量的戦略の設計まで...ChatGPT の「スーパーパワー」は、ブロックチェーン分野の隅々にも浸透しています。

先週、ChatGPT-4 が正式にリリースされました。開発者の OpenAI によると、「ChatGPT-4 は、専門的および学術的なさまざまなベンチマークで人間レベルのパフォーマンスを達成します」とのことです。実際のアプリケーションでは、ChatGPT-4 は SAT 試験 (アメリカの大学入学試験) で高得点を獲得しており、イーサリアム スマート コントラクトの脆弱性を検出することに成功し、脆弱性を悪用する潜在的な方法を提案することもできます (ちょっとしたハッカー思考)。

CoinbaseのディレクターであるConor Grogan氏はすぐにこれを認め、ライブイーサリアムスマートコントラクトをChatGPT-4に挿入したところ、AIが瞬時にセキュリティホールを発見し、それを悪用して攻撃する方法も示したとソーシャルメディアで述べた。 。コナー・グローガン氏はまた、このコントラクトは確かに2018年にハッカーによって悪用されたとも述べた。さらに、オイラーのスマートコントラクトも試したが、コントラクトが長すぎたためChatGPT-4で処理できなかったことを明らかにした。コナー・グローガンは率直にこう言った。AI は最終的に、スマート コントラクトをより安全かつ簡単に構築できるようになります。

このツイートのリリースにより、OpenAI ChatGPT のセキュリティ脆弱性を検出する機能がサークル内で最もホットなトピックの 1 つになりました。ChatGPT は本当に分散型アプリケーションのセキュリティ脆弱性をチェックできるのでしょうか?どのくらい正確ですか?警備会社はパニックになっているのでしょうか？上記の質問に答えるために、Coinbase はすぐに特別な調査を実施しました。

ちょうど今週火曜日、Coinbaseは公式ブログで、ChatGPTを使用してERC 20トークンレビューフレームワークを使用して自動レビューを実行し、ブロックチェーンセキュリティエンジニアがレビューを実行した比較実験とレポート結果を正式にリリースしました。

実験の目的は、ChatGPT トークンのセキュリティ監査の正確さは、監査結果をブロックチェーン セキュリティ エンジニアによって実行された標準監査の結果と比較することによって決定されます。実験では、ブロックチェーン セキュリティ エンジニアが内部ツールを利用して、トークン スマート コントラクトの各機能をレビューし、機能にタグ付けされたリスクに基づいてリスク スコアを出力します。また、ChatGPT の精度を標準レビューの精度と比較するために、リスク スコアを生成するには ChatGPT が必要です。

ChatGPT が Coinbase の ERC 20 セキュリティ レビュー フレームワークを使用してリスク スコアを生成するには、その前に Coinbase は ChatGPT にいくつかの指示を発行する必要があります。

「私はあなたをブロックチェーンセキュリティエンジニアとして想定しています。あなたの仕事は、機能に関連するリスクに基づいてトークンスマートコントラクトのセキュリティリスクを特定することです。これが私たちのフレームワーク[+リスクフレームワーク]です。これらは次のスマートコントラクトのリスクに存在しますか? [+スマート コントラクト コード]」を使用すると、Coinbase は ChatGPT プロンプトでリスク フレームワークを定義し、リスクがあるかどうかを尋ねることができます。

では、ChatGPT はどのように動作するのでしょうか?

Coinbase は実験で ChatGPT と人間の安全保障レビューの間で 20 のスマート コントラクト リスク スコアを比較しました。ChatGPT は人間によるレビューと同じ結果を 12 回生成しました。しかし、他の 8 つの失敗のうち 5 つでは、ChatGPT が高リスク資産を低リスクとして誤ってラベル付けしました。

パフォーマンスは悪くないように見えますが、リスクスコアを過小評価した場合の結果は、リスクスコアを過大評価した場合よりも深刻であることは誰もが知っています。取引所とユーザー、権利と利益。

実験結果から得られた報告によると、ChatGPT は、スマート コントラクトのリスクを迅速に評価する機能を備えた「浅い」としか言えませんが、Coinbase のセキュリティ レビュー プロセスの精度要件を満たしていません。

まず、ChatGPT は、堅牢なセキュリティ分析を実行するためにコンテキストが欠落していることを特定できません。これにより、追加の依存関係がレビューされないカバレッジ ギャップが生じます。カバレッジギャップを防ぐために、ChatGPT のレビュー範囲の事前トリアージが毎回必要です。

第 2 に、ChatGPT の出力には一貫性がない可能性があり、同じ質問が ChatGPT に複数回入力された場合、常に同じ回答が出力されるとは限りません。 ChatGPT もコード内のコメントの影響を受けるようで、場合によっては関数ロジックではなくコメントがデフォルトになるようです。

最後に、OpenAI は ChatGPT バージョンを反復し続けたため、出力がさらに不安定になりました。以前は一貫した出力を提供するために使用されていた冗長プロンプトが、バージョンの変更後に代替出力を生成する場合があります。一貫した応答を確保し、動作上の障害を回避するには、タイムリーなメンテナンスと出力品質管理が必要になる場合があります。

要約すると、おそらく、Coinbase はさらなるエンジニアリング設計を通じて ChatGPT トークンのセキュリティ監査の精度を向上させることができます。ただし、現時点では、Coinbase は依然として ChatGPT のみに依存してセキュリティ レビューを実行することはできません。 Coinbaseは将来、二次QAチェックのツールとしてChatGPTを使用して精度を向上させ、セキュリティエンジニアがこのツールを使用して追加の制御チェックを実行して、見落とされた可能性のあるリスクを発見できるようにしたいと考えています。 ChatGPT ヒントは、エンジニアが将来使用できるように保存され、将来的には改善が計画されています。

Coinbaseの実験のように、命令設計を調整することでChatGPTの精度をさらに向上させることは可能ですが、セキュリティ監査などのよりモバイルな作業の場合、変数が統一できない場合にはChatGPTだけでは実現できるかどうかは保証できません。特定の追加制御チェックに従って ChatGPT のプロンプトを改善するには、依然として介入が必要です。

一般に、ブロックチェーン業界における AI の導入は、間違いなく、サークル内の新興企業が人工的なコラボレーションを通じて効率的に構築できる可能性を提供します。AI-ChatGPT には、広範な知識ベース、特定のビジネス ロジックとプロンプトの手動入力があり、開発者はより多くのことができるようになります。 ChatGPT を使用すると、より短時間で完了できます。さらに、ChatGPT は、セキュリティ エンジニアによる高額なスマート コントラクト監査に対して、タイムリーでコスト効率の高い契約監査支援を提供します。

ブロックチェーン開発者のサルマン・アルシャド氏はETHDubaiカンファレンスでこう答えた。ChatGPT と AI ツールは恩恵をもたらしますが、私たちの敵ではありませんし、開発者のキャリアを終わらせるために設計されたものでもありません。「ChatGPT の協調的な性質は、プロセスを自動化し人間に取って代わるという潜在的な脅威よりもユーザーにとって有益である可能性があります。

最後に、ユーザーとしてあなたに聞きたいのですが、あなたは ChatGPT によって監査された DeFi プロトコルを使用する勇気がありますか?