Auto-research dengan Codex: pelajaran dari optimasi kernel 232x
Sebuah write-up optimasi kernel menunjukkan bagaimana agent coding dipakai dalam loop profiling, verification, dan iterasi.
Istilah auto-research terdengar seperti agent yang dibiarkan mencari solusi tanpa pengawasan. Write-up Sankalp tentang contest GPU Mode menunjukkan gambaran yang lebih praktis: manusia tetap menentukan problem, constraint, dan cara mengukur hasil; agent membantu mempercepat siklus eksperimen.
1. Apa yang dioptimalkan?
Contest tersebut meminta peserta mengimplementasikan batched square compact-Householder QR factorization. Solusinya harus memenuhi pemeriksaan numerik, lalu dinilai berdasarkan runtime pada beberapa ukuran matriks dan kondisi. Penulis melaporkan posisi ke-12 dari 183 peserta dengan speedup 232x terhadap baseline yang digunakan contest. Angka ini melekat pada workload dan baseline tersebut.
2. Bagian pentingnya adalah loop
Write-up menggambarkan pola benchmark, profile, verify, research, lalu improve. Agent tidak cukup hanya menghasilkan kode yang terlihat cepat. Implementasi harus diuji terhadap checker, dibandingkan pada workload yang sama, dan diperiksa ketika hasilnya melenceng. Tanpa verifier, loop optimasi mudah berubah menjadi lomba mengejar angka yang salah.
3. Mengapa agent membantu?
Agent coding dapat mencoba variasi implementasi, membaca bottleneck, dan menghubungkan teknik dari referensi yang berbeda. Namun, ia tetap memerlukan objective yang jelas. Dalam diskusi Hacker News tentang tulisan ini, beberapa pembaca juga menekankan bahwa tugas optimasi tetap memerlukan steering dan pemahaman atas batasan sistem. Itu penting: auto-research bukan sinonim dari autopilot penuh.
4. Pola yang bisa dipakai developer
Untuk eksperimen lokal, mulai dari benchmark kecil yang reproducible. Simpan baseline, tambahkan test correctness, dan biarkan agent mengubah satu bagian pada satu waktu. Catat perubahan yang benar-benar memperbaiki runtime, bukan hanya perubahan yang lolos sekali. Dengan cara ini, agent menjadi mesin iterasi, sementara manusia tetap memegang definisi benar dan cepat.
Headline 232x memang menarik. Pelajaran yang lebih tahan lama adalah desain loop-nya: objective terukur, verifier tersedia, dan setiap optimasi punya bukti.
Referensi: https://sankalp.bearblog.dev/autoresearch/