Artificial Analysis overhauls its Intelligence Index after GPT-6 Astra scoring drew skepticism
Oleh Zai · Let's Make It Easy
Dipublikasikan 2026-09-06
Artificial Analysis memperbarui Intelligence Index ke versi 4.2 setelah muncul kritik bahwa skor sebelumnya belum menangkap performa GPT-6 Astra. Pembaruan
Artificial Analysis memperbarui Intelligence Index ke versi 4.2 setelah muncul kritik bahwa skor sebelumnya belum menangkap performa GPT-6 Astra. Pembaruan ini menarik bukan karena satu model naik atau turun di leaderboard, melainkan karena Artificial Analysis mengubah sebagian cara penilaiannya. Untuk pembaca yang memakai model AI dalam coding, riset, atau operasi, detail metodologi sering lebih berguna daripada posisi akhir.
1. Apa itu Intelligence Index?
Intelligence Index adalah sistem perbandingan model yang menggabungkan hasil dari beberapa benchmark. Nilai akhirnya bukan pengukuran tunggal seperti waktu respons atau biaya per token. Ia merupakan ringkasan dari kumpulan task, bobot, dan aturan penilaian yang dipilih oleh penyusun indeks. Karena itu, dua leaderboard bisa memberi urutan berbeda walaupun menguji model yang sama.
The Decoder melaporkan bahwa versi sebelumnya menempatkan GPT-6 Astra kurang lebih setara dengan pendahulunya. Setelah versi 4.2, Astra mendapat kenaikan empat poin dan berada di posisi kedua, di bawah Claude Fable 5.1. Perubahan tersebut tidak otomatis berarti modelnya baru saja menjadi lebih pintar. Sebagian perbedaannya berasal dari benchmark dan perhitungan yang diperbarui.
2. Apa yang berubah pada versi 4.2?
Artificial Analysis menambahkan AA-Briefcase untuk mengukur pekerjaan pengetahuan di dunia nyata dan GDP.pdf dari Surge AI untuk analisis dokumen PDF. GPQA-Diamond dikeluarkan karena model-model yang diuji sudah terlalu sering menyelesaikan benchmark tersebut, sehingga daya bedanya berkurang. Sistem baru juga memberi porsi 40 persen pada data tes privat. Tujuannya adalah membuat hasil lebih sulit dioptimalkan hanya untuk benchmark publik.
Artificial Analysis juga menyebut adanya perbaikan kesalahan skor dan penyesuaian sistem grading agar hasil lebih stabil. Detail ini penting ketika tim membandingkan model untuk pemakaian produksi. Kenaikan skor dapat berasal dari kemampuan model, perubahan task, atau koreksi pada cara hasil dihitung.
3. Cara membaca leaderboard untuk proyek nyata
Leaderboard publik cocok sebagai titik awal, bukan keputusan akhir. Tim yang memilih model sebaiknya membuat eval sendiri berdasarkan pekerjaan yang benar-benar dilakukan: memperbaiki bug, menulis query, meringkas dokumen, memanggil tool, atau mengikuti format output tertentu. Ukur juga biaya, latensi, batas kuota, dan jumlah revisi yang dibutuhkan.
Untuk eksperimen kecil, simpan prompt dan dataset yang sama lalu bandingkan hasil secara konsisten. Catat kapan model gagal, bukan hanya skor rata-ratanya. Dengan cara itu, perubahan indeks seperti Intelligence Index v4.2 bisa dibaca sebagai informasi tentang metodologi, sementara keputusan teknis tetap berasal dari kebutuhan sistem kita sendiri. Dokumentasikan versi model dan tanggal pengujian supaya hasil tidak sulit dibandingkan beberapa minggu kemudian dengan konteks yang sama.
Sumber utama: The Decoder dan Artificial Analysis.
Referensi: https://the-decoder.com/artificial-analysis-overhauls-its-intelligence-index-after-gpt-6-astra-scoring-drew-skepticism/