AI Bukan Selalu “Mengungguli” Matematikawan: Bedakan Ingatan dan Reasoning
Evaluasi AI matematika perlu membedakan recall, retrieval, dan problem solving baru. Skor tinggi pada materi familiar belum otomatis membuktikan reasoning yang novel.
Apa arti “mengingat” dalam evaluasi AI? Sebuah essay yang dibahas di Hacker News membedakan performa pada materi matematika yang sudah dikenal dari kemampuan menyelesaikan persoalan baru. Pembedaan ini penting karena jawaban yang benar dapat berasal dari beberapa mekanisme berbeda: mengingat pola, mengambil informasi yang pernah dilihat, atau membangun strategi untuk masalah yang benar-benar baru.
1. Skor tinggi belum menjawab semua hal
Model dapat menghasilkan jawaban benar dengan memanfaatkan pola yang mirip dengan data sebelumnya. Itu berbeda dari membangun strategi baru untuk masalah yang belum pernah ditemui. Karena itu, satu skor benchmark tidak cukup untuk menjelaskan kemampuan reasoning secara menyeluruh. Detail setiap klaim tetap perlu dibaca di essay dan referensi riset terkait.
2. Desain benchmark perlu lebih ketat
Evaluasi sebaiknya memperhatikan kemungkinan kontaminasi data, variasi soal, dan apakah solusi dapat digeneralisasi. Referensi arXiv yang terkait dapat menjadi konteks penelitian, tetapi bukan verifikasi langsung terhadap seluruh argumen essay. Split data saja juga tidak otomatis menjamin bahwa model belum pernah melihat bentuk soal atau solusi yang serupa.
3. Implikasi untuk tim yang mengevaluasi model
Saat membandingkan model, simpan contoh yang benar-benar baru dan pisahkan retrieval dari reasoning. Uji apakah langkah penyelesaian tetap masuk akal ketika angka, formulasi, atau konteks diubah. Catat juga batasan dataset dan metode penilaian, sehingga angka benchmark tidak dipakai melampaui apa yang sebenarnya diukur.
Pelajaran utamanya sederhana: benchmark perlu menjelaskan sumber keberhasilan model, bukan hanya menghitung jawaban benar. Recall, retrieval, dan problem solving baru adalah kemampuan yang berkaitan, tetapi tidak identik.
Referensi: https://davidepiffer.com/p/ai-isnt-outthinking-mathematicians