Anthropic Teliti 400,000 Sesi AI. Programmer Kalah

Anthropic memakai sebuah classifier untuk menilai 400,000 sesi Claude Code satu per satu demi mencari tahu siapa yang benar-benar berhasil dengan agen coding. Kelompok dengan tingkat sukses terverifikasi terbaik ternyata bukan software engineer, melainkan para manajer. Sepuluh kelompok profesi terbesar dalam studi ini semuanya hanya terpaut tujuh poin dari developer, artinya orang yang tidak menulis kode berhasil merilis kode yang berfungsi dengan tingkat yang hampir sama dengan orang yang melakukannya sebagai profesi.

Kalau kamu pernah bilang pada diri sendiri bahwa alat-alat ini bukan untukmu karena kamu tidak bisa coding, studi ini mengatakan hal sebaliknya. Kemampuan coding tidak lagi memisahkan orang yang berhasil dari yang gagal, dan studi ini menyebut dengan persis apa yang memisahkannya.

Tiga definisi mengubah cara kamu membaca setiap angka dalam studi ini. Pertama, sampelnya: 400,000 sesi interaktif dari 235,000 orang, direkam antara Oktober 2025 dan April 2026. Claude Code adalah agen coding Anthropic yang hidup di terminal: kamu menulis apa yang kamu mau dalam bahasa sehari-hari, lalu ia membaca file-mu, menulis kodenya, dan menjalankan perintah sendiri.

Tidak ada orang di Anthropic yang membaca percakapan itu secara manual. Sebuah classifier yang dibangun di atas salah satu model mereka sendiri menilai setiap sesi secara otomatis, dan nilainya dicek silang dengan telemetri, yaitu commit, perubahan kode, dan hasil tes. Pada sesi yang mengubah kode, classifier dan telemetri sepakat lebih dari 90 persen.

Kedua, sukses. Studi ini melacak dua jenis sukses, dan perbedaannya menopang semua yang mengikuti. Sukses dinilai berarti classifier percaya tujuan yang dinyatakan tercapai. Sukses terverifikasi lebih berat: butuh bukti, seperti tes yang lulus, sebuah commit, atau pengguna yang secara eksplisit mengonfirmasi hasilnya. Sukses terverifikasi adalah standar tinggi di balik setiap angka di bawah ini, dan standar itu menuntut, karena banyak sesi yang berguna berakhir tanpa bukti formal.

Ketiga, keahlian itu sendiri. Classifier tidak pernah melihat jabatan atau CV-mu. Ia membaca perilakumu di dalam sesi dan menilainya pada skala lima level dari pemula sampai ahli, hanya dengan tiga sinyal: seberapa presisi instruksimu, apa yang kamu minta diverifikasi oleh agen, dan apakah salah satu dari kalian mengoreksi yang lain. Levelmu mengukur genggamanmu atas masalah di sesi itu, jadi orang yang sama bisa jadi ahli di bidangnya pada pagi hari dan pemula di subjek baru pada malam harinya.

Pemula dikenali dari satu kalimat: instruksi generik tanpa pengetahuan domain di dalamnya. Ahli menulis prompt yang sarat konteks, dan agen yang sama merespons dengan kerja mandiri yang jauh lebih banyak. Satu aksi di sini adalah satu langkah konkret agen, seperti membaca file, menulis fungsi, atau menjalankan perintah.

Metrik	Pemula	Ahli
Aksi agen per prompt	~5	~12
Kata output kerja per prompt	~600	~3,200
Tingkat sukses terverifikasi	15%	28 sampai 33% (menengah ke atas)
Tingkat menyerah saat sesi bermasalah	19%	5 sampai 7% (semua non-pemula)
Sesi bermasalah yang jadi sukses terverifikasi	4%	15%

Itu lima kali lipat kerja yang dihasilkan dari alat yang sama dengan langganan yang sama. Satu-satunya variabel yang berubah adalah orang di depan keyboard.

Detail yang paling penting: hampir seluruh lonjakan terjadi antara pemula dan menengah, sementara jarak antara menengah dan ahli tergolong kecil. Kamu tidak perlu jadi ahli untuk menggandakan tingkat suksesmu. Kamu perlu berhenti jadi pemula.

Jurang paling brutal muncul saat sesi berjalan kacau. Ketika agen terjerumus ke error dan tes yang gagal, pemula menyerah 19 persen, dibanding 5 sampai 7 persen untuk semua yang lain. Di antara mereka yang bertahan, pemula hanya mengonversi 4 persen sesi bermasalah itu menjadi sukses terverifikasi, sementara ahli mengonversi 15 persen. Itu hampir empat kali lipat sesi yang terselamatkan, murni karena orangnya cukup paham masalahnya untuk mengarahkan ulang agen alih-alih menontonnya tenggelam. Perbedaan antar level tidak terlihat saat semuanya lancar. Ia terlihat pada hambatan pertama.

Keahlian domain, dalam istilah Anthropic, adalah memahami masalah yang sedang kamu selesaikan, sampai ke akarnya. Pada sesi yang menghasilkan kode, jarak antar profesi kecil dan stabil:

Kelompok	Sukses terverifikasi	Sukses parsial
Profesi software	34%	89%
Semua profesi lain	29%	88%

Lima poin perbedaan, jarak yang tidak melebar maupun menyempit sepanjang tujuh bulan studi, sementara kedua kelompok terus membaik. Pada sukses parsial, di mana tujuan setidaknya sebagian tercapai, kedua kelompok imbang.

Studi ini juga menunjukkan di mana keahlian domain bekerja. Dalam sesi tipikal, manusia membuat sekitar 70 persen keputusan perencanaan (apa yang dibangun) tapi hanya 20 persen keputusan eksekusi (bagaimana menulisnya). Pembagiannya sudah ada: kamu memutuskan apa, dan agen mengurus bagaimana. Manajer yang tahu persis produknya harus melakukan apa sedang memegang tuas yang menentukan, meski tak menulis satu baris pun dari yang dihasilkan agen. Itulah kenapa manajer berakhir di puncak peringkat.

Pola pemakaian sepanjang tujuh bulan yang diamati menegaskan pusat gravitasinya bergeser:

Jenis tugas	Awal studi	Akhir studi
Debugging	33% sesi	19%
Menjalankan software	14%	21%
Analisis data dan penulisan dokumen	garis dasar	hampir dua kali lipat

Orang tidak lagi memakai agen sekadar untuk memperbaiki kode; mereka memakainya untuk menjalankan pekerjaan. Pada periode yang sama, estimasi nilai tugas rata-rata yang diserahkan ke agen tumbuh 27 persen.

Otonomi membingkai ulang peranmu dengan cara yang sama. Sesi tipikal hanya berisi sekitar empat pertukaran antara manusia dan agen, dan tiap prompt memicu rata-rata sekitar sepuluh aksi. Di titik ekstrem, satu prompt kadang memicu lebih dari seratus aksi: satu instruksi, dan agen bekerja sendirian setara satu sore penuh. Apa yang kamu bawa muat dalam beberapa kalimat per sesi, dan justru itulah kenapa presisinya berbobot besar. Ketika kamu hanya bicara empat kali, setiap kalimat berarti.

Kami memutar ulang perbedaannya pada tugas yang semua orang paham: menambahkan formulir kontak ke sebuah situs kecil.

Versi pemula adalah prompt yang separuh dari kita masih ketik: sembilan kata, tanpa konteks, tanpa kriteria. Agen tidak tahu di mana situsnya berada, apa yang dikumpulkan formulirnya, atau ke mana pesannya dikirim, jadi ia membuat semua keputusan itu untukmu, dan kamu baru menemukan pilihannya di akhir. Pada percobaan kami, ia menaruh formulir di homepage, mengarang field telepon yang tidak diminta siapa pun, dan mengarahkan kiriman ke alamat email yang tidak ada. Tak satu pun dari itu adalah bug. Agen mengisi lubang-lubang dalam permintaan dengan tebakan, dan setiap tebakan adalah peluang untuk salah. Itulah pola pemula yang terukur: sedikit aksi, hasil pendek, dan kira-kira satu peluang dari tujuh untuk sukses terverifikasi.

Versi ahli menangani tugas yang sama tanpa satu baris kode pun di prompt. Ia menyebut di mana harus bekerja (halaman about), apa yang dibangun (tiga field yang presisi), dengan apa membangunnya (route pengiriman yang sudah ada), dan yang terpenting bagaimana membuktikan selesai (jalankan tes dan tunjukkan formulirnya di browser). Tak satu pun informasi itu menuntut kemampuan coding. Ia menuntut pengetahuan tentang situsmu, kebutuhanmu, dan standarmu, yaitu domainmu. Agen mengambil alih dari sana: membaca halamannya, menambahkan formulir, menyambungkan route, menulis validasi, dan menjalankan tes. Itulah rantai 12 aksi dalam studi, dipicu oleh presisi prompt, bukan oleh bakat teknis penulisnya.

Menulis prompt ahli memakan waktu sekitar tiga puluh detik lebih lama dari versi pemula, dan tiga puluh detik itu menghapus semua peluang agen untuk menebak. Seluruh demonstrasinya muat dalam satu kalimat: alat yang sama jadi lima kali lebih produktif ketika permintaannya membawa domain.

Kebiasaan pertama adalah memberikan konteks yang hanya kamu yang tahu, sebelum agen menebaknya dengan salah. Classifier menyebutnya presisi instruksi. Setiap permintaan harus menyebut di mana bekerja, dengan apa, dan seperti apa selesai itu. Tiga kalimat sudah cukup, dan ini berlaku untuk pekerjaan apa pun, bukan hanya kode: prompt marketing yang memuat audiens, batasan, dan garis finis memenuhi tiga blok yang sama. Kalau kamu tidak bisa mengisi salah satu blok, itu sinyal bahwa kekaburannya ada di pihakmu, bukan di agen, dan layak dibereskan sebelum kamu memulai sesi.

Kebiasaan kedua adalah menuntut bukti di akhir, sinyal kedua classifier. Akhiri prompt-mu dengan kondisi selesai yang bisa dicek: jalankan tes, tunjukkan hasilnya, cek halamannya termuat. Agen yang tidak kamu mintai bukti akan menyerahkan kerja yang tak bisa diverifikasi, dan studi ini menunjukkan justru itulah yang memisahkan sukses dinilai dari sukses terverifikasi. Bukti itu juga melindungimu, karena membuatmu bisa menyetujui hasil kerja tanpa harus bisa membaca kode di baliknya.

Kebiasaan ketiga adalah tetap terlibat saat semuanya mulai rusak. Baca ulang apa yang dikembalikan agen, koreksi saat ia salah, dan jangan tutup sesi pada kegagalan pertama. Pemula menerima output secara pasif dan menyerah sekitar empat kali lebih sering dari semua orang lain begitu macet, padahal justru di sanalah level terbayar. Menjelaskan ulang masalahnya dengan kata-katamu sendiri dan menunjuk apa yang tidak sesuai harapanmu adalah mengoreksi agen, sinyal ketiga classifier. Bentuk koreksi yang baik: apa yang terjadi, apa yang diharapkan, di mana harus melihat. Tetap tanpa satu baris kode, hanya deskripsi jujur tentang kesenjangannya.

Tiga kebiasaan itu muat di secarik catatan tempel: berikan konteksmu, tuntut bukti, tetap terlibat. Tak satu pun menuntut belajar coding, dan bersama-sama ketiganya menutup rentang antara 15 dan 30 persen sukses.

Bahkan untuk ahli, sukses terverifikasi mentok antara 28 dan 33 persen. Dua dari tiga sesi berakhir tanpa bukti kuat bahwa tujuan tercapai, paling banter dengan sukses parsial, yang memang naik di atas 90 persen. Naik satu level menggandakan peluangmu; ia tidak membuat agen jadi anti-gagal.

Peringkat para manajer punya catatannya sendiri. Anthropic menyebut bias pengukuran mungkin terjadi, karena sukses terverifikasi juga menghitung konfirmasi eksplisit pengguna, dan mengonfirmasi dengan jelas bahwa pekerjaan sudah tervalidasi adalah refleks seorang manajer. Selain itu, studi ini mengukur sesi Claude Code, alat terminal yang penggunanya sudah lebih termotivasi dari rata-rata, jadi tidak ada jaminan angka yang sama berlaku di ChatGPT atau alat lain. Pegang arah umumnya, bukan desimalnya: presisi terbayar, bukti terbayar, dan tidak ada yang menembus sepertiga kepastian.

Haruskah kamu terjun kalau tidak bisa coding? Studi ini menjawab per kelompok. Kalau kamu paham betul bidangmu (domainmu, pelangganmu, seperti apa hasil yang baik), maka ya. Kamu membawa persis separuh keputusan yang menentukan, separuh perencanaan. Tapi kalau kamu masuk ke subjek yang belum kamu pahami, agen tidak akan mengisi kekosongan itu; ia akan menjejalinya dengan tebakan, seperti formulir kontak yang mendarat di halaman yang salah.

Intinya muat dalam satu keputusan: berhenti memperlakukan ketidakmampuan coding sebagai cacat, dan mulai perlakukan pengetahuanmu tentang masalah sebagai modal sejatimu. Classifier tidak menilai siapa kamu; ia menilai bagaimana kamu bekerja di dalam sesi, dan itu bisa berubah semenjak sesi berikutnya. Tulis permintaan dengan konteksmu di dalamnya, akhiri dengan bukti yang kamu tuntut, dan saat macet, rumuskan ulang alih-alih menutup. Kalau kamu tidak bisa coding, kamu memulai dengan peluang yang sama dengan semua orang. Studi ini baru saja membuktikannya pada 400,000 sesi.