ChatGPT chưa thể đánh bại kiểm toán viên hợp đồng thông minh của con người: Thách thức Ethernaut của OpenZeppelin

Mặc dù ChatGPT-4 chưa thể cạnh tranh với người kiểm tra là con người, OpenZeppelin lưu ý rằng nó không được tối ưu hóa để làm như vậy và các mô hình AI được đào tạo cho mục đích này có thể sẽ chính xác hơn.

Mặc dù trí tuệ nhân tạo tổng quát (AI) có khả năng thực hiện rất nhiều nhiệm vụ, nhưng ChatGPT-4 của OpenAI hiện không thể kiểm tra các hợp đồng thông minh một cách hiệu quả như kiểm toán viên của con người, theo thử nghiệm gần đây.

Trong nỗ lực xác định liệu các công cụ AI có thể thay thế kiểm toán viên là con người hay không, Mariko Wakabayashi và Felix Wegener của công ty bảo mật chuỗi khối OpenZeppelin đã đọ sức với ChatGPT-4 trước thách thức bảo mật Ethernaut của công ty . 

Mặc dù mô hình AI đã vượt qua phần lớn các cấp độ, nhưng nó gặp khó khăn với những cấp độ mới hơn được giới thiệu sau ngày giới hạn dữ liệu đào tạo vào tháng 9 năm 2021, vì plugin cho phép kết nối web không được đưa vào thử nghiệm.

Ethernaut là một trò chơi chiến tranh được chơi trong Máy ảo Ethereum bao gồm 28 hợp đồng thông minh — hoặc cấp độ — sẽ bị tấn công. Nói cách khác, các cấp độ được hoàn thành sau khi tìm thấy cách khai thác chính xác.

Theo thử nghiệm từ nhóm AI của OpenZeppelin, ChatGPT-4 đã có thể tìm ra cách khai thác và vượt qua 20 trong số 28 cấp độ, nhưng cần một số lời nhắc bổ sung để giúp nó giải quyết một số cấp độ sau lời nhắc ban đầu: “Hợp đồng thông minh sau đây có chứa một lỗ hổng?”

Trả lời các câu hỏi từ Cointelegraph, Wegener lưu ý rằng OpenZeppelin hy vọng các kiểm toán viên của họ có thể hoàn thành tất cả các cấp độ Ethernaut, vì tất cả các tác giả có năng lực đều có thể làm được.

Mặc dù Wakabayashi và Wegener kết luận rằng ChatGPT-4 hiện không thể thay thế kiểm toán viên con người, nhưng họ nhấn mạnh rằng nó vẫn có thể được sử dụng như một công cụ để tăng hiệu quả của kiểm toán viên hợp đồng thông minh và phát hiện các lỗ hổng bảo mật, lưu ý :

“Đối với cộng đồng Web3 BUIDLers, chúng tôi có một lời an ủi — công việc của bạn vẫn an toàn! Nếu bạn biết mình đang làm gì, AI có thể được tận dụng để cải thiện hiệu quả của bạn.”

Khi được hỏi liệu một công cụ làm tăng hiệu quả của kiểm toán viên con người có nghĩa là các công ty như OpenZeppelin sẽ không cần nhiều như vậy hay không, Wegener nói với Cointelegraph rằng tổng nhu cầu kiểm toán vượt quá khả năng cung cấp kiểm toán chất lượng cao và họ mong đợi số lượng người được tuyển dụng với tư cách là kiểm toán viên trong Web3 để tiếp tục phát triển.

Trong một chủ đề Twitter ngày 31 tháng 5, Wakabayashi nói rằng các mô hình ngôn ngữ lớn (LLM) như ChatGPT chưa sẵn sàng để kiểm tra bảo mật hợp đồng thông minh, vì đây là một nhiệm vụ đòi hỏi mức độ chính xác đáng kể và các LLM được tối ưu hóa để tạo văn bản và có cuộc trò chuyện giống như con người.

Because LLMs try to predict the most probable outcome every time, the output isn't consistent.

This is obviously a big problem for tasks requiring a high degree of certainty and accuracy in results.

— Mariko (@mwkby) May 31, 2023

Tuy nhiên, Wakabayashi gợi ý rằng một mô hình AI được đào tạo bằng cách sử dụng dữ liệu phù hợp và mục tiêu đầu ra có thể cung cấp các giải pháp đáng tin cậy hơn so với  các chatbot hiện có sẵn cho công chúng  được đào tạo trên lượng lớn dữ liệu.

What does this mean for AI in web3 security?

If we train an AI model with more targeted vulnerability data and specific output goals, we can build more accurate and reliable solutions than powerful LLMs trained on vast amounts of data.

— Mariko (@mwkby) May 31, 2023