TRIBUNJATIM.COM - Dalam beberapa minggu terakhir, chatbot berbasis Kecerdasan Buatan (AI), Chat GPT telah diuji pada sejumlah tugas seperti mengerjalan ujian di universitas hukum dan bisnis.

Kali ini, tantangan terbarunya menghilangkan kesalahan dalam sebuah kode.

Pemberi tantangan itu adalah para peneliti ilmu komputer dari Universitas Johannes Gutenberg dan University College London.

Mereka berhasil membuat Chat GPT dapat menghilangkan kesalahan dengan kode sampel dan memperbaikinya lebih baik daripada program yang sudah ada dan dirancang untuk melakukan hal yang sama.

Para peneliti menguji kinerja Chat GPT menggunakan tolok ukur perbaikan bug QuixBugs.

Sistem perbaikan program otomatis (APR) tampaknya berada pada posisi yang kurang menguntungkan karena dikembangkan sebelum 2018.

Kemudian, mereka memberikan QuixBugs 40 Python ke empat sistem perbaikan kode yang berbeda, yakni Chat GPT, Codex, CoCoNut, dan Standard APR.

Kemudian secara manual, mereka memeriksa apakah solusi yang disarankan benar atau tidak.

Pada lintasan pertama, Chat GPT bekerja sama baiknya dengan sistem lainnya.

Bot besutan OpenAI itu memecahkan 19 masalah, Codex memecahkan 21, CoCoNut memecahkan 19, dan metode APR standar menemukan tujuh kesalahan.

Tingkat keberhasilan Chat GPT dengan interaksi tindak lanjut yang ditemukan para peneliti mencapai 77,5 persen.

Namun, Codex dan Chat GPT memiliki jawaban paling mirip.

Hal ini tidak mengherankan, karena Chat GPT dan Codex berasal dikatakan para peneliti adalah dari keluarga model bahasa yang sama.

Namun, kemampuan untuk mengobrol dengan Chat GPT setelah menerima jawaban awal membuat perbedaan, yang pada akhirnya menyebabkan Chat GPT menyelesaikan 31 pertanyaan, dan dengan mudah mengungguli yang lain, memberikan lebih banyak jawaban statis.

"Keuntungan kuat dari Chat GPT adalah kami dapat berinteraksi dengan sistem dalam dialog untuk menentukan permintaan secara lebih detail," ungkap para peneliti dalam makalah arXiv baru, yang pertama kali ditemukan oleh New Scientist.