GPT-4, versi terbaru dari chatbot Kecerdasan Buatan (AI), ChatGPT, dapat lulus ujian sekolah menengah dan ujian hukum dengan skor dalam persentil ke-90 dan memiliki kemampuan pemrosesan baru yang tidak mungkin dilakukan dengan versi sebelumnya.
Angka skor tes GPT-4 adalah bersama pada 14 Maret oleh pembuatnya OpenAI mengungkapkan bahwa itu juga dapat mengubah input gambar, audio dan video menjadi teks serta menangani “instruksi yang lebih bernuansa” dengan lebih kreatif dan andal.
“Lulus ujian kualifikasi yang disimulasikan dengan skor sekitar 10% teratas dari peserta tes,” tambah OpenAI. “Sebaliknya, skor GPT-3.5 sekitar 10% lebih rendah.”
Angka-angka menunjukkan bahwa GPT-4 mendapat skor 163 pada persentil ke-88 ujian LSAT, ujian yang harus dilalui mahasiswa di Amerika Serikat untuk diterima di sekolah hukum.
Skor GPT4 akan menempatkannya pada posisi yang baik untuk diterima di 20 sekolah hukum teratas dan hanya beberapa poin di bawah dilaporkan skor yang diperlukan untuk masuk ke sekolah bergengsi seperti Harvard, Stanford, Princeton atau Yale.
Versi ChatGPT sebelumnya hanya mencetak 149 poin di LSAT, menempatkannya di 40% terbawah.
GPT-4 juga memperoleh skor 298 dari 400 pada ujian Uniform Bar, tes yang diambil oleh mahasiswa hukum pascasarjana baru-baru ini yang memungkinkan mereka untuk mempraktikkan hukum di yurisdiksi mana pun di Amerika Serikat.
Versi ChatGPT yang lebih lama kesulitan dalam pengujian ini, finis di 10% terbawah dengan skor 213 dari 400.
Untuk ujian SAT Reading & Writing Berbasis Bukti dan Matematika SAT yang diambil oleh siswa sekolah menengah AS untuk mengukur kesiapan mereka untuk kuliah, skor GPT-4 masing-masing pada persentil ke-93 dan ke-89.
GPT-4 juga unggul dalam sains “keras”, mencatat skor persentil di atas rata-rata dalam Biologi AP (85-100%), Kimia (71-88%) dan Fisika 2 (66-84%).
Namun skor Kalkulus AP-nya cukup rata-rata, berada di peringkat persentil ke-43 hingga ke-59.
Area lain yang kekurangan GPT-4 adalah dalam ujian sastra Inggris, dengan skor antara persentil ke-8 dan ke-44 pada dua tes terpisah.
OpenAI mengatakan bahwa GPT-4 dan GPT-3.5 telah mengikuti tes ini dari ujian praktik 2022-2023 dan bahwa “tidak ada pelatihan khusus” yang dilakukan oleh alat pemrosesan bahasa:
“Kami belum melakukan pelatihan khusus untuk ujian ini. Sebagian kecil masalah dalam ujian dialami oleh model selama pelatihan, tetapi kami yakin hasilnya representatif.
Temuan itu pun memicu ketakutan di komunitas Twitter.
Terkait: Bagaimana ChatGPT akan memengaruhi ruang Web3? Tanggapan industri
Nick Almond, pendiri FactoryDAO dikatakan 14.300 pengikut Twitternya pada 14 Maret bahwa GPT4 akan “menakut-nakuti orang” dan menyebabkan sistem pendidikan global “runtuh”.
Teori penilaian telah menjadi bagian besar dalam hidup saya selama beberapa tahun. Saya terus berbicara tentang hari ini yang akan datang bertahun-tahun yang lalu. Saya benar-benar terdengar seperti orang gila pada saat itu.
Tapi… ini sebenarnya berarti bahwa apa pun selain evaluasi yang diawasi sudah berakhir sejak saat ini.
— drnick ️² (@DrNickA) 14 Maret 2023
Mantan direktur Coinbase, Conor Grogan, mengatakan dia memasukkan kontrak pintar Ethereum langsung ke GPT-4 dan segera menunjukkan beberapa “kerentanan keamanan” dan menguraikan bagaimana kode tersebut dapat dieksploitasi:
Saya mengunduh kontrak Ethereum langsung di GPT-4.
Dalam sekejap, itu menyoroti sejumlah kerentanan keamanan dan menunjuk ke area permukaan di mana kontrak dapat dieksploitasi. Dia kemudian memeriksa cara tertentu agar saya dapat memanfaatkan kontrak pic.twitter.com/its5puakUW
—Conor (@jconorrogan) 14 Maret 2023
Pemeriksaan kontrak pintar sebelumnya di ChatGPT dia menemukan bahwa versi pertamanya juga dapat menemukan bug kode sampai batas yang wajar.
Rowan Cheung, pendiri buletin AI ‘The Rundown’, membagikan video GPT yang mengkodekan situs web palsu yang digambar tangan ke selembar kertas.
Saya baru saja melihat GPT-4 mengubah sketsa gambar tangan menjadi situs web fungsional.
Ini gila. pic.twitter.com/P5nSjrk7Wn
— Rowan Cheung (@rowancheung) 14 Maret 2023