Riset Radboud: Chatbot Halus tapi Keliru Dianggap Sama Pintar dengan Bot Akurat
Studi Radboud University mendapati chatbot luwes dinilai sama cerdasnya dengan bot kaku yang akurat, meski isinya keliru. Delapan puluh persen peserta tak sadar ada eror.
Ilustrasi: liput24
Poin penting
- Chatbot dengan bahasa luwes dinilai sama pintarnya dengan bot kaku yang akurat meski isinya keliru.
- Sebanyak 80 persen peserta uji coba tidak menyadari adanya kesalahan fakta yang disajikan oleh bot.
- Peneliti menyarankan regulasi agar perusahaan pembuat AI wajib menampilkan tingkat keraguan bot.
Banyak orang mengira jawaban komputer yang rapi pasti benar. Anggapan ini dapat memicu kekeliruan saat mengambil keputusan.
Studi dari Radboud University menguji anggapan tersebut. Temuan ilmiah ini dilaporkan oleh media TechXplore.
Makalah riset ini terbit di jurnal Computers in Human Behavior: Artificial Humans. Riset dipimpin oleh ilmuwan komunikasi Marianna de Sa Siqueira.
Penilaian Chatbot Luwes Berisi Data Keliru
Chatbot populer seperti ChatGPT, Gemini, dan Claude kerap mengalami halusinasi. Halusinasi merujuk pada jawaban salah yang disampaikan penuh keyakinan.
Tim peneliti menguji reaksi orang terhadap percakapan bot bertema The Lord of the Rings. Mereka membuat empat variasi gaya percakapan.
Dua variasi memakai kalimat luwes dan gaya bahasa alami manusia. Satu variasi memberi fakta benar, sedangkan satu lagi menyajikan fakta karangan.
Dua variasi lainnya memakai balasan pendek dan kaku ala urusan bisnis. Satu variasi menyajikan data benar, sementara pasangannya memuat data buatan.
Peserta paling menyukai bot dengan bahasa elegan dan jawaban tepat. Namun hasil lain justru mengejutkan para peneliti.
Bot yang berbahasa luwes tetapi memuat data palsu dinilai sama pintarnya. Bot itu juga dianggap sama menyenangkannya seperti bot kaku yang akurat.
Studi ini juga mengungkap fakta lain dari para peserta tes. Sebanyak 80 persen peserta sama sekali tidak melihat kesalahan data dari bot.
Padahal seluruh peserta sudah disaring sebelum pengujian dimulai. Mereka semua memiliki pengetahuan dasar seputar kisah The Lord of the Rings.
"Jika teks terdengar anggun dan alami, orang secara otomatis menganggapnya cerdas. Anda kemudian secara bawah sadar berpikir bahwa ini beres dan tidak perlu diperiksa lagi," kata Barbara Muller, Associate Professor dan Rekan Penulis Studi.
Model Bahasa Mengutamakan Kelancaran Kalimat
Peneliti mengingatkan bahaya percaya buta pada kecerdasan buatan. Model bahasa komputer memang dirancang agar terdengar manusiawi dan meyakinkan.
"Dulu orang mengeluh bahwa chatbot menyebalkan dan tidak tahu apa-apa. Sekarang mereka terdengar begitu cerdas sehingga kita terlalu cepat percaya," kata Tibor Bosse, Profesor dan Rekan Penulis Riset.
Bosse menjelaskan cara kerja sistem seperti GPT dan Claude. Model tersebut dilatih menghasilkan kalimat yang mudah dibaca dan masuk akal secara statistik.
Menurut Bosse, kebenaran informasi justru menjadi perhatian nomor dua bagi sistem tersebut. Akibatnya, bot bisa terdengar sangat cerdas walau bicaranya keliru.
Bosse menilai peringatan satu baris di awal layar percakapan belum memadai. Perusahaan teknologi tidak akan sukarela menampilkan keraguan sistem pada setiap jawaban.
Bosse menyarankan kewajiban hukum bagi pembuat AI untuk menampilkan keraguan sistem. Tanda keraguan dari bot dinilai bisa mencegah orang mempercayai data ngawur.
Apa Artinya bagi Pelaku Usaha
Temuan ini menjadi pengingat bagi para direktur dan pemilik usaha. Banyak staf kini memakai bot untuk menyusun riset pasar hingga draf laporan kerja.
Kalimat rapi dari bot bisa membuat staf dan pimpinan lengah. Kesalahan fakta yang lolos berisiko merugikan reputasi bisnis di hadapan mitra dan klien.
Pemimpin usaha perlu mewajibkan verifikasi manual atas semua teks buatan AI. Jangan jadikan draf bot sebagai dasar keputusan penting tanpa pemeriksaan data secara ketat.
- TechXplore: Fluent language makes a hallucinatory chatbot just as credible as a curt, flawless one
Lihat hasil pemeriksaan (8 klaim)
| Klaim | Putusan | Dasar di sumber |
|---|---|---|
| Studi dari Radboud University mendapati chatbot berbahasa luwes dinilai sama cerdas dan menyenangkannya dengan bot kaku yang akurat meski isinya keliru. | Didukung | “However, a chatbot that writes fluently but spouts factual nonsense was rated by participants as just as intelligent and pleasant as a chatbot that communicates in a stilted manner but does provide” TechXplore melaporkan hasil riset Radboud University mengenai persepsi pengguna terhadap chatbot yang luwes namun halusinasi. |
| Sebanyak 80 persen peserta tidak menyadari adanya kesalahan fakta pada chatbot meski telah disaring memiliki pengetahuan dasar tentang The Lord of the Rings. | Didukung | “It also emerged that as many as 80% of participants did not notice the errors at all, even though they had been selected in advance for their basic knowledge of "The Lord of the Rings."” TechXplore mengonfirmasi persentase peserta yang tidak menyadari eror dan latar belakang seleksi mereka. |
| Makalah riset ini terbit di jurnal Computers in Human Behavior: Artificial Humans dan dipimpin oleh Marianna de Sá Siqueira. | Didukung | “Communication scientist Marianna de Sá Siqueira and her colleagues investigated the effects of elegant language use on the credibility of chatbots. The paper is published in the journal Computers” TechXplore mencantumkan nama peneliti utama dan jurnal publikasi ilmiah tersebut. |
| Eksperimen menggunakan empat varian percakapan chatbot bertema The Lord of the Rings yang memadukan bahasa luwes atau kaku dengan fakta benar atau salah. | Didukung | “For the experiment, participants were shown one of four variants of a conversation with a chatbot about "The Lord of the Rings."” TechXplore menguraikan rancangan empat varian percakapan dalam eksperimen tersebut. |
| Peserta paling positif menilai chatbot dengan bahasa elegan dan jawaban yang tepat. | Didukung | “Unsurprisingly, users were most positive about the chatbot with elegant language and correct answers.” TechXplore memuat kesimpulan evaluasi tertinggi peserta terhadap bot yang elegan sekaligus akurat. |
| Barbara Müller menyatakan teks elegan dan alami membuat orang secara otomatis menganggap bot cerdas dan bawah sadar merasa tak perlu memeriksa lagi. | Didukung | “"If a text sounds elegant and natural, people automatically attribute intelligence to it. You then subconsciously tend to think: This is fine, I don't need to check it any further."” TechXplore mengutip pernyataan Associate Professor Barbara Müller. |
| Tibor Bosse menyatakan model seperti GPT dan Claude terutama dilatih untuk menghasilkan kalimat yang masuk akal secara statistik dan mudah dibaca, sedangkan kebenaran faktual nomor dua. | Didukung | “So-called language models such as GPT and Claude are primarily trained to produce statistically plausible and easy-to-read sentences. These systems do not always take the truth very seriously.” TechXplore mengutip penjelasan Profesor Tibor Bosse mengenai fokus pelatihan model bahasa besar. |
| Tibor Bosse menyarankan kewajiban bagi perusahaan teknologi untuk memperlihatkan keraguan atau ketidakpastian sistem bot kepada pengguna. | Didukung | “If we really want to protect users from chatbots spouting nonsense, we need to, for example, oblige tech companies to make that uncertainty visible.” TechXplore memuat saran Tibor Bosse mengenai kewajiban regulasi untuk menampilkan ketidakpastian AI. |
Video AI terbaru
ChatGPT Enterprise at Zendesk: Putting Company Data to Work
