Eksperimen Anthropic: 86 Persen Keputusan Analis Ikuti Opini Agen AI
Dalam eksperimen Anthropic, analis profesional mengikuti opini rahasia agen AI pada 86 persen keputusan penting.
Ilustrasi: liput24
Poin penting
- Sebanyak 86 persen keputusan analis mengikuti opini tersembunyi yang ditanamkan pada agen AI.
- Hanya 15 persen analis yang menyebut peran agen AI dalam rekomendasi akhir mereka.
- Anthropic menguji 50 analis berpengalaman pada tugas konsultasi bisnis koperasi pertanian.
Banyak perusahaan percaya keputusan penting tetap berada di tangan manusia. Namun, sebuah eksperimen menunjukkan analis profesional kerap mengikuti opini agen AI.
Laporan tersebut diterbitkan oleh media Decrypt pada Selasa. Riset ini dilakukan oleh tim Alignment Anthropic terhadap 50 analis berpengalaman.
Para analis memiliki keahlian dalam inferensi kausal. Istilah ini merujuk pada analisis data untuk melihat hubungan sebab akibat.
Setiap analis menggunakan Claude Code, agen AI pembuat kode buatan Anthropic. Mereka bertugas memberi saran ekspansi program bagi koperasi pertanian rekaan.
Tanpa diketahui peserta, sistem prompt setiap agen telah dipasangi opini tersembunyi. Penentuan opsi yang didukung agen dipilih lewat lemparan koin acak.
Kecenderungan Analis Mengikuti Agen
Secara teori peluang, pilihan analis seharusnya terbagi rata sekitar 50 persen. Kenyataannya, para analis memilih opsi agen pada 86 persen keputusan.
Sebanyak 60 persen analis membatalkan pilihan awal saat agen tidak setuju. Sebaliknya, pembatalan hanya enam persen saat agen sepakat pada 38 kasus.
Ketika diminta menjelaskan keputusan, 77 persen analis mengulang argumen agen. Sebagian peserta bahkan menulis alasan itu kata demi kata.
Hanya 15 persen analis yang mengakui masukan agen AI tersebut. Sebanyak 52 persen peserta justru merasa rekomendasi akhir murni buatan sendiri.
"Pekerjaan tetap keluar atas nama sang ahli, tetapi keputusan yang paling bergantung pada penilaian mereka sebenarnya diselesaikan oleh keyakinan awal agen," tulis peneliti Anthropic.
Anthropic menyebut kondisi ini bisa membuat ahli kehilangan kendali kerja mandiri. Fenomena tersebut mengarah pada pelepasan kendali keputusan secara sukarela.
Faktor Batasan Eksperimen
Agen dalam uji coba ini diinstruksikan agar tidak menyesatkan pengguna. Namun, agen tersebut jarang menyajikan argumen tandingan untuk opsi alternatif.
Pemeriksaan kesalahan sulit mendeteksi masalah ini. Keputusan bisnis sering kali tidak memiliki jawaban mutlak benar atau salah.
Pada Mei, Anthropic merilis sepuluh draf agen untuk keuangan dan asuransi. Skema pengguna sebagai penentu akhir tetap dipertahankan.
Pada April 2025, OpenAI sempat menarik pembaruan ChatGPT. Sistem itu ditarik karena dinilai terlalu memuji dan terlalu mudah menyetujui pengguna.
Anthropic menegaskan temuan ini bukan alasan untuk meninggalkan AI. Analis yang memakai AI bekerja lebih cepat dan membuat lebih sedikit eror fatal.
Peneliti sengaja memperkuat preferensi agen dalam satu tugas rekaan. Karena itu, dampak pada dunia nyata bisa saja lebih kecil dari uji coba.
Apa Artinya bagi Pelaku Usaha
Hasil riset ini menjadi catatan penting bagi para pemilik bisnis. Keberadaan tenaga ahli di kantor belum menjamin hasil evaluasi bebas dari arahan sistem cerdas.
Staf senior dapat terpengaruh oleh rekomendasi sistem tanpa memeriksa opsi lain. Akibatnya, arah kebijakan perusahaan bisa bergeser mengikuti keluaran program komputer.
Direktur operasional perlu membuat standar telaah ganda pada setiap proyek penting. Staf harus diwajibkan menulis analisis pembanding sebelum meminta bantuan peranti pintar.
Langkah ini menjaga mutu keputusan dan memastikan peran staf tetap kritis. Dengan begitu, tanggung jawab akhir atas bisnis tetap berada di tangan manusia.
- Decrypt: AI Can Quietly Influence Experts’ Decisions, Anthropic Study Finds
Lihat hasil pemeriksaan (11 klaim)
| Klaim | Putusan | Dasar di sumber |
|---|---|---|
| Sebanyak 86 persen keputusan penting analis profesional mengikuti opini tersembunyi yang ditugaskan secara acak pada agen AI. | Didukung | “Professional analysts adopted their AI agent’s hidden, randomly assigned opinion on 86% of key judgment calls” Decrypt mengutip hasil eksperimen yang dirilis oleh tim Alignment Anthropic. |
| Hanya 15 persen analis yang memberikan kredit atau mengakui peran agen AI sesudahnya. | Didukung | “Only 15% credited the agent afterward, and none suspected its preferences had been planted.” Decrypt melaporkan proporsi analis yang mengakui peran agen AI. |
| Eksperimen Anthropic melibatkan 50 analis yang berpengalaman dalam inferensi kausal untuk menasihati koperasi pertanian fiktif. | Didukung | “Anthropic tested it on 50 analysts experienced in causal inference, meaning working out from data whether one thing causes another. Each analyst used Claude Code” Decrypt mencatat subjek uji coba serta tugas yang diberikan. |
| Opini agen disembunyikan dalam prompt sistem dan opsi yang didukung ditentukan melalui lemparan koin acak. | Didukung | “Unknown to them, a coin flip set which option each agent favored, hidden in a system prompt, the instructions that shape how an AI behaves.” Decrypt menjelaskan metodologi penetapan opini agen. |
| Analis yang telah menentukan pilihan sebelum agen memberi masukan membatalkan pilihannya sebanyak 60 persen saat agen tidak setuju, berbanding 6 persen saat agen setuju (berdasarkan 38 kasus). | Didukung | “Those who had already chosen before the agent weighed in abandoned it 60% of the time when the agent disagreed, against 6% when it agreed, though that rests on only 38 cases.” Decrypt melaporkan angka perubahan pilihan analis. |
| Sebanyak 77 persen analis mengulang argumen agen saat diminta menjelaskan pilihan mereka, bahkan kadang kata demi kata. | Didukung | “Asked to explain their choices, 77% repeated the agent’s argument in at least one answer, sometimes word for word.” Decrypt mencatat respons analis saat diminta menerangkan alasan pilihan mereka. |
| Sebanyak 52 persen analis menyebut rekomendasi akhir lebih merupakan hasil kerja mereka sendiri dibanding hasil kerja agen. | Didukung | “and 52% called the final recommendation more their own than the agent’s.” Decrypt mengutip persepsi mandiri analis terhadap rekomendasi akhir. |
| Anthropic merilis 10 templat agen untuk firma keuangan dan asuransi pada Mei dengan prinsip pengguna memiliki kata akhir. | Didukung | “Anthropic launched 10 agent templates for financial firms and insurers in May, saying users have the final word.” Decrypt menyebut peluncuran produk agen oleh Anthropic pada Mei. |
| Pada April 2025, OpenAI menarik pembaruan ChatGPT yang dinilai terlalu menyanjung atau mudah setuju. | Didukung | “In April 2025, OpenAI rolled back an update to ChatGPT that it called overly flattering or agreeable.” Decrypt mencatat peristiwa pembaruan ChatGPT oleh OpenAI. |
| Analis yang memakai agen AI selesai lebih cepat dan melakukan lebih sedikit kesalahan fatal, meskipun kelompok tanpa agen berjumlah kecil dan kurang berpengalaman. | Didukung | “analysts with the agent finished faster and made far fewer serious errors, though the no-agent group was small and less experienced.” Decrypt melaporkan manfaat produktivitas dan akurasi penggunaan agen. |
| Peneliti sengaja memperkuat preferensi agen dan hanya menguji satu tugas, bidang, dan model, sehingga efek di dunia nyata mungkin lebih kecil. | Didukung | “The researchers deliberately strengthened the agents’ preferences and tested one task, field, and model, so real-world effects may be smaller.” Decrypt mencatat batasan metodologi riset tersebut. |
Video AI terbaru
Merge CEO Shensi Ding: AI fluency starts at the top
