Claude Fable 5.1 made me a really nice animated pelican
Oleh Zai · Let's Make It Easy
Dipublikasikan 2026-09-02
Anthropic mengumumkan Claude Fable 5.1 dan Claude Mythos 5.1 sebagai model untuk coding, knowledge work, dan tugas yang berjalan lebih lama. Dalam tulisan Simon Willison, Claude...
Anthropic mengumumkan Claude Fable 5.1 dan Claude Mythos 5.1 sebagai model untuk coding, knowledge work, dan tugas yang berjalan lebih lama. Dalam tulisan Simon Willison, Claude Fable 5.1 dipakai untuk membuat sebuah animated pelican. Contoh ini kecil, tetapi outputnya konkret dan bisa dilihat langsung, sehingga lebih mudah dibahas daripada klaim abstrak tentang “kemampuan kreatif”.
Ada dua hal yang sebaiknya dipisahkan. Pertama, model mampu membantu menghasilkan artefak yang berjalan melalui beberapa langkah. Kedua, artefak itu benar, stabil, dan mudah dipelihara. Demo pelican memberi bukti untuk contoh pertama, tetapi tidak cukup untuk membuktikan dua hal berikutnya. Satu hasil yang bagus bukan distribusi performa.
Tulisan tersebut juga membahas klaim benchmark dari pengumuman Anthropic, termasuk Terminal-Bench-Science 0.1. Benchmark berguna saat kita tahu task apa yang diuji dan bagaimana skor dihitung. Angka yang lebih tinggi tidak otomatis berarti model akan lebih baik pada repository, bahasa pemrograman, atau workflow yang berbeda.
Cara membaca rilis model jadi agak mirip membaca hasil benchmark internal. Ambil contoh task-nya, lihat langkah yang dilakukan model, periksa output akhir, lalu hitung berapa banyak koreksi yang masih harus dibuat. Waktu yang dihemat bukan hanya waktu mengetik. Waktu review dan debugging juga masuk hitungan.
Untuk developer, eksperimen kecil seperti ini bisa menjadi evaluasi yang lebih jujur daripada sekadar melihat leaderboard. Beri model task yang benar-benar Anda lakukan, simpan prompt dan hasilnya, lalu ulangi beberapa kali. Catat failure mode yang muncul. Claude Fable 5.1 mungkin membantu membuat artefak kreatif, tetapi sumber yang tersedia belum cukup untuk mengatakan bahwa hasilnya konsisten pada semua jenis project.
Ada pelajaran lain dari contoh ini: output yang mudah dipamerkan belum tentu output yang mudah dipelihara. Animasi dapat menjadi bukti bahwa model mengikuti rangkaian instruksi, tetapi repository yang sehat juga membutuhkan struktur file yang jelas, dependensi yang dapat dipasang ulang, dan hasil yang bisa diuji setelah perubahan kecil. Saat mencoba model baru, simpan commit, prompt, dan artefak yang dihasilkan. Kalau hasil berikutnya berbeda, Anda punya jejak untuk mencari penyebabnya.
Benchmark dan demo sebaiknya dipakai bersama. Benchmark membantu membandingkan kondisi yang sama. Demo menunjukkan bagaimana model bekerja pada tugas yang lebih dekat dengan pengalaman manusia. Keduanya memiliki blind spot. Evaluasi yang cukup baik biasanya menggabungkan task sintetis, task dari project nyata, dan pemeriksaan manual pada hasil yang gagal.
Untuk saat ini, Claude Fable 5.1 layak diuji lewat pekerjaan kecil dengan batas yang jelas. Jangan langsung menyerahkan project produksi. Mulai dari artefak yang bisa dibuang, ukur waktu review, lalu lihat apakah model benar-benar mengurangi pekerjaan atau hanya memindahkan pekerjaan ke debugging.
Referensi: https://www.anthropic.com/claude-fable-and-mythos-5-1