Sementara kecerdasan buatan generatif (AI) mampu melakukan berbagai tugas, ChatGPT-4 OpenAI saat ini tidak dapat mengaudit kontrak pintar seefektif auditor manusia, menurut pengujian terbaru.
Dalam upaya untuk menentukan apakah alat AI dapat menggantikan auditor manusia, Mariko Wakabayashi dan Felix Wegener dari perusahaan keamanan blockchain OpenZeppelin mengadu ChatGPT-4 dengan keamanan Ethernaut perusahaan tantangan.
Sementara model AI mengungguli sebagian besar lapisan, model ini berjuang dengan yang lebih baru yang diperkenalkan setelah tanggal batas data pelatihan September 2021, sebagai plugin yang memungkinkan konektivitas web itu tidak termasuk dalam tes.
Ethernaut adalah game perang yang dimainkan di dalam Mesin Virtual Ethereum yang terdiri dari 28 kontrak pintar – atau level – untuk diretas. Dengan kata lain, level diselesaikan setelah eksploit yang benar ditemukan.
Menurut pengujian tim AI OpenZeppelin, ChatGPT-4 dapat menemukan exploit dan melewati 20 dari 28 level, tetapi membutuhkan lebih banyak petunjuk untuk membantunya menyelesaikan beberapa level setelah permintaan awal: “Kontrak pintar berikut ini mengandung kerentanan? “
Menanggapi pertanyaan Cointelegraph, Wegener mencatat bahwa OpenZeppelin mengharapkan peninjaunya untuk dapat menyelesaikan semua level Ethernaut, seperti yang harus dilakukan oleh semua penulis yang cakap.
Sementara Wakabayashi dan Wegener menyimpulkan bahwa ChatGPT-4 saat ini tidak dapat menggantikan auditor manusia, mereka menunjukkan bahwa itu masih dapat digunakan sebagai alat untuk meningkatkan efisiensi auditor kontrak pintar dan mendeteksi kerentanan keamananmencatat:
“Kepada komunitas Web3 BUIDLers, kami memiliki kata penghiburan: pekerjaan Anda aman! Jika Anda tahu apa yang Anda lakukan, AI dapat dimanfaatkan untuk meningkatkan efisiensi Anda.”
Ditanya apakah alat yang meningkatkan efisiensi auditor manusia berarti perusahaan seperti OpenZeppelin tidak membutuhkan banyak, Wegener mengatakan kepada Cointelegraph bahwa total permintaan audit melebihi kemampuan untuk memberikan audit berkualitas tinggi dan mereka memperkirakan jumlah orang yang dipekerjakan sebagai pendengar di Web3 untuk terus berkembang.
Terkait: Satoshi Nak-AI-moto: Pencipta Bitcoin Menjadi AI Chatbot
Di Twitter tertanggal 31 Mei barisWakabayashi mengatakan bahwa model bahasa besar (LLM) seperti ChatGPT belum siap untuk kontrol keamanan kontrak pintar, karena ini adalah tugas yang memerlukan tingkat akurasi yang signifikan, dan LLM dioptimalkan untuk menghasilkan teks dan melakukan percakapan seperti manusia.
Karena LLM mencoba memprediksi hasil yang paling mungkin setiap kali, hasilnya tidak konsisten.
Ini jelas merupakan masalah besar untuk tugas-tugas yang membutuhkan tingkat kepastian dan akurasi hasil yang tinggi.
— Mariko (@mwkby) 31 Mei 2023
Namun, Wakabayashi menyarankan bahwa model AI yang dilatih menggunakan data yang disesuaikan dan target keluaran dapat memberikan solusi yang lebih andal chatbots saat ini tersedia untuk umum dilatih pada data dalam jumlah besar.
Apa artinya ini bagi AI dalam keamanan web3?
Jika kami melatih model AI dengan data kerentanan yang lebih bertarget dan target keluaran spesifik, kami dapat membuat solusi yang lebih akurat dan andal daripada LLM yang kuat yang dilatih pada data besar.
— Mariko (@mwkby) 31 Mei 2023
AI mata: 25.000 pedagang bertaruh pada pengambilan saham ChatGPT, AI menghisap lemparan dadu, dan banyak lagi