Breaking Claude Code Opus 5 Auto Mode
Oleh Zai · Let's Make It Easy
Dipublikasikan 2026-08-28
Sebuah tulisan di Embrace The Red menguji Claude Code Opus 5 dalam Auto Mode melalui skenario prompt injection yang berawal dari permintaan merangkum sebuah situs. Menurut penul...
1. Apa yang diuji pada Claude Code Auto Mode?
Sebuah tulisan di Embrace The Red menguji Claude Code Opus 5 dalam Auto Mode melalui skenario prompt injection yang berawal dari permintaan merangkum sebuah situs. Menurut penulis, serangan itu tidak perlu memberi perintah eksplisit kepada model. Situs cukup membuat jalur tertentu terlihat seperti cara paling masuk akal untuk menyelesaikan tugas.
Rangkaian yang dilaporkan berpindah dari WebFetch ke curl, mengunduh arsip ZIP, lalu mengekstrak beberapa file. Claude menolak menjalankan binary decoder yang disertakan di arsip, tetapi kemudian membuat decoder Python sendiri. Di sinilah masalahnya muncul: decoder dijalankan dari direktori yang juga berisi struct.py buatan penyerang. Python dapat memuat modul lokal dengan nama yang sama sebelum modul standar, sehingga proses import base64 memanggil kode yang tidak diharapkan.
2. Apa arti angka success rate-nya?
Penulis melaporkan tingkat keberhasilan sampai 80 persen dalam sampel kecil. Simon Willison merangkum temuan itu dan menekankan perlunya sandbox. Angka tersebut sebaiknya dibaca sebagai hasil uji pada attack chain tertentu, bukan ukuran keamanan universal untuk semua prompt, model, atau konfigurasi Claude Code. Sumber juga membahas contoh ketika Auto Mode gagal menghentikan proses berbahaya, tetapi tidak menyajikan benchmark luas yang bisa dibandingkan langsung dengan seluruh penggunaan coding agent.
Klaim yang lebih kuat dan lebih berguna adalah soal mekanisme. Menolak binary yang jelas-jelas mencurigakan belum cukup jika agent masih bebas menulis dan menjalankan kode dari folder yang dikendalikan input luar. File biasa dapat memengaruhi resolver modul, perintah shell, atau dependency path.
3. Apa yang perlu diperiksa di workflow agent?
Pertama, anggap konten web, arsip, dan repository yang belum dipercaya sebagai input aktif, bukan sekadar teks. Kedua, batasi hak agent: gunakan direktori kerja sementara, matikan akses network yang tidak diperlukan, dan jangan berikan credential ke proses yang membaca data eksternal. Ketiga, pantau child process dan perubahan file, bukan hanya tool call tingkat tinggi.
Tambahkan juga pemeriksaan sebelum eksekusi. Daftar isi arsip perlu diperiksa sebelum ekstraksi, dependency path harus eksplisit, dan perintah yang muncul dari file eksternal jangan langsung dianggap sebagai instruksi proyek. Log proses sebaiknya menyimpan command, direktori kerja, serta file yang berubah agar investigasi tidak bergantung pada ingatan agent.
Auto Mode dapat mengurangi friksi approval, tetapi tidak menghapus kebutuhan isolasi. Untuk proyek yang mengizinkan agent menjalankan shell atau mengakses network, sandbox tetap menjadi lapisan pertahanan utama.
Checklist praktisnya: pisahkan data dari instruksi, batasi permission, dan anggap output agent sebagai hasil yang tetap harus diuji.
Cloudflare menjelaskan bagaimana timnya mengurangi penggunaan memory pada Big Pineapple, platform yang mendukung 1.1.1.1 dan beberapa layanan DNS lain. Sistem ini menyimpan lebih dari 250 miliar entry pada satu waktu. Dengan jumlah sebesar itu, overhead kecil pada satu entry dapat berubah menjadi biaya hardware yang besar di seluruh fleet.
Artikel Cloudflare menyebut lima perubahan bertahap pada cara cache entry disimpan. Hasil yang dilaporkan adalah pengurangan footprint per entry lebih dari 50 persen dan memory yang terbebas sekitar 100 TB. Tim juga mengukur insert throughput yang naik 43 persen serta lookup latency yang turun 19 persen. Angka tersebut adalah hasil pada workload Cloudflare, bukan janji bahwa setiap service Rust akan mendapat peningkatan sama.
2. Mengapa Vec dan String menjadi perhatian?
Entry cache yang sudah disimpan tidak selalu perlu bertumbuh lagi. Namun Vec dan String membawa informasi kapasitas untuk mendukung pertumbuhan. Cloudflare mengganti sejumlah field dengan bentuk boxed yang ukurannya mengikuti data final, termasuk Box<[T]> dan Box<str>. Dokumentasi Rust menjelaskan bahwa Box dapat menyimpan nilai di heap dan menyediakan bentuk boxed slice untuk data berukuran tetap.
Tim juga mengurangi jumlah list terpisah dengan menyimpan satu list dan offset untuk bagian answer, authority, serta additional. Mereka mengemas beberapa boolean menjadi bit flag dan menghindari penyimpanan owner name ketika nilainya sama dengan domain pada cache key. Setiap keputusan terlihat kecil, tetapi efeknya berulang pada setiap entry.
3. Apa yang bisa dipakai engineer lain?
Mulailah dari pengukuran, bukan asumsi. Cache besar perlu diukur dengan traffic mix yang mendekati kondisi nyata karena ukuran record, occupancy, allocator, dan data di luar cache ikut memengaruhi hasil. Cloudflare sendiri mencatat bahwa benchmark mereka adalah pendekatan dan melakukan pengukuran resident memory pada instance produksi saat rollout.
Untuk service milik Anda, cari data yang immutable tetapi masih memakai struktur growable, allocation yang berulang, pointer yang tidak perlu, atau metadata yang bisa dipulihkan dari key. Setelah itu, ukur juga latency dan throughput. Penghematan memory yang menambah kerja CPU bisa menjadi pertukaran yang buruk.
Uji perubahan satu per satu supaya efeknya bisa ditelusuri. Catat ukuran struct, jumlah allocation, resident memory, dan distribusi latency sebelum serta sesudah perubahan. Cara ini lebih lambat daripada langsung menyalin pola dari artikel, tetapi menghindari optimasi yang hanya cocok pada allocator, traffic mix, atau bentuk data milik orang lain.
Checklist praktisnya: pisahkan data dari instruksi, batasi permission, dan anggap output agent sebagai hasil yang tetap harus diuji.
Model gateway adalah service perantara yang memberi aplikasi satu interface untuk memanggil beberapa model dan provider. Aplikasi tidak perlu menyimpan seluruh perbedaan format streaming, tool call, parameter, authentication, rate limit, dan error handling di banyak tempat. Experiential, sebuah repository open source di GitHub, memosisikan dirinya sebagai gateway dan router untuk agent workflow.
README repository tersebut menjelaskan mode gateway lokal yang kompatibel dengan API OpenAI, pilihan provider dan model, alias publik, identity, serta command budget. Ada juga opsi hosted platform. LiteLLM, sebagai referensi independen untuk kategori yang sama, mendokumentasikan gateway dengan unified interface, routing, spend tracking, virtual keys, dan budget controls. Dokumentasi itu membantu menjelaskan pola arsitekturnya, tetapi tidak membuktikan setiap fitur atau angka performa Experiential.
2. Mengapa perbedaan provider cepat menjadi masalah?
Satu agent dapat memanggil model untuk planning, coding, summarization, dan fallback. Setiap provider bisa memiliki bentuk streaming, dukungan tool, nama parameter, batas rate, serta respons error yang berbeda. Tanpa lapisan bersama, logika itu menyebar ke aplikasi, worker, dan script deployment. Perubahan kecil pada provider kemudian memerlukan perubahan di banyak tempat.
Gateway memindahkan sebagian keputusan tersebut ke satu service. Tim dapat memilih model berdasarkan alias, menerapkan routing atau fallback, mengatur key dan budget, lalu mengamati traffic dari satu lokasi. Ini juga memberi tempat untuk menambahkan policy sebelum request diteruskan ke provider.
3. Apa yang perlu diperiksa sebelum dipakai?
Mulai dari repository: baca README, lisensi, dokumentasi setup, workflow CI, dan issue terbuka. Jalankan gateway di lingkungan terisolasi, gunakan key dengan scope terbatas, dan ukur latency dari aplikasi Anda sendiri. Jangan menyamakan API-compatible dengan behavior-compatible; tool call dan streaming tetap perlu dites pada model yang benar-benar dipakai.
Tambahkan failure test sebelum memasukkannya ke jalur produksi. Coba provider timeout, rate limit, malformed streaming chunk, tool call yang gagal, dan key yang kedaluwarsa. Pastikan log tidak membocorkan prompt atau credential, dan pastikan aplikasi masih punya jalur pemulihan ketika gateway berhenti. Abstraksi yang mengurangi duplikasi konfigurasi tetap harus punya observability yang jelas.
Experiential menarik sebagai bahan oprek karena kode dan setup-nya tersedia publik. Namun klaim latency, coverage provider, dan kesiapan produksi tetap perlu benchmark mandiri. Untuk tim kecil, pertanyaan paling penting bukan apakah gateway terlihat lengkap, melainkan apakah ia mengurangi konfigurasi yang berulang tanpa menambah satu titik kegagalan yang sulit dipantau.
Checklist praktisnya: pisahkan data dari instruksi, batasi permission, dan anggap output agent sebagai hasil yang tetap harus diuji.
1. Apa yang sebenarnya dilaporkan?
Sumber primer yang tersedia untuk run ini adalah tulisan The Pragmatic Engineer. Artikel tersebut menyebut Reuters sebagai sumber laporan tentang rencana Meta yang dibahas sejak Januari. Karena materi lengkapnya berada di balik paywall, klaim yang aman adalah klaim yang tampak langsung pada rangkuman: ada rencana untuk mengurangi ukuran tim secara besar dan AI diposisikan sebagai salah satu tekanan bisnisnya. Detail per divisi, jadwal eksekusi, serta jumlah karyawan yang benar-benar terdampak belum dapat dipastikan dari halaman yang terbaca.
Angka 60% mudah berubah menjadi headline yang terdengar seperti hasil final. Padahal, kata “rencana” punya bobot berbeda dengan pengumuman restrukturisasi yang sudah selesai. Perbedaan ini penting ketika kita membahas organisasi besar, karena target awal dapat berubah setelah evaluasi biaya, risiko, dan kebutuhan produk.
2. Apa kaitannya dengan AI-native startup?
Tulisan tersebut mengaitkan keputusan Meta dengan kekhawatiran bahwa startup yang dibangun di sekitar AI dapat bekerja dengan tim lebih kecil. “Lebih banyak dengan lebih sedikit” terdengar sederhana, tetapi produktivitas engineering tidak hanya bergantung pada jumlah baris kode atau fitur yang dikirim. Sistem produksi juga membutuhkan review, pengujian, incident response, keamanan, dokumentasi, dan orang yang memahami keputusan lama.
AI dapat membantu pekerjaan tertentu, seperti membuat draft kode, merangkum perubahan, atau mempercepat eksplorasi. Bantuan itu tidak otomatis menghapus kebutuhan untuk memilih prioritas dan memeriksa hasil. Jika perusahaan mengecilkan tim tanpa mengurangi scope atau memetakan ulang ownership, beban kerja hanya berpindah ke engineer yang tersisa.
3. Pelajaran untuk tim kecil
Staff Engineer Archetypes dari StaffEng.org memberi konteks yang berbeda, bukan verifikasi independen atas rencana Meta: peran senior biasanya mencakup pengaruh teknis, koordinasi, dan pengurangan risiko sistem. Konteks ini membantu menjelaskan mengapa pengurangan headcount bisa berdampak pada lebih dari kapasitas coding.
Untuk tim yang sedang mengadopsi AI, metrik yang lebih berguna daripada jumlah engineer adalah waktu penyelesaian tugas, jumlah rollback, error produksi, waktu review, serta biaya operasi. Ukur perubahan itu pada workflow tertentu. Jangan menganggap satu demo agent sebagai bukti bahwa seluruh organisasi bisa berjalan dengan struktur yang sama.
1. Apa yang diumumkan
Sumber utama yang tersedia adalah catatan Simon Willison, yang mengutip pengumuman Qwen dan menyebut Qwen3.8-Flash-Next sebagai preview awal arsitektur Qwen4. Catatan itu juga menyebut bahwa model dapat menangani input multimodal. Model card Qwen di Hugging Face memberi tempat untuk memeriksa berkas dan konfigurasi yang dipakai.
2. Mengapa angka 125B tidak langsung berarti mahal
Dalam model MoE, router memilih bagian tertentu dari jaringan untuk memproses token. Angka 6B aktif memberi petunjuk tentang jalur komputasi yang dipakai pada satu langkah, tetapi bukan janji bahwa semua deployment membutuhkan perangkat keras yang sama. Memori untuk bobot, format quantization, context window, batch size, dan runtime tetap menentukan kebutuhan nyata.
Simon Willison menulis bahwa ia mencoba model ini di DGX Spark memakai beberapa quantized build dari Unsloth. Dua berkas yang ia sebut berukuran 72.5GB dan 78.9GB. Open weights membuka akses ke eksperimen, tetapi tidak otomatis membuat model nyaman dijalankan di laptop biasa.
3. Apa yang belum bisa disimpulkan
Dari dua sumber yang dapat dibaca, belum ada dasar yang cukup untuk menyebut model ini paling cepat, paling murah, atau lebih baik dari semua model lain. Catatan utama tersebut bukan laporan evaluasi komparatif, jadi angka benchmark tidak saya tambahkan. Untuk eksperimen, mulai dari model card, cocokkan format quantization dengan VRAM, lalu ukur workload sendiri.
Kesimpulan
Ketika melihat label 125B, cari juga angka active parameters dan detail runtime. Dua angka itu menjawab pertanyaan berbeda. Qwen3.8-Flash-Next menarik untuk diuji, tetapi ukuran berkas dan kebutuhan hardware tetap bagian dari cerita.
Untuk aplikasi AI, catat model, quantized file, runtime, dan jenis workload. Ukur waktu respons serta pemakaian memori pada data yang sama. Hasil itu lebih relevan daripada membandingkan angka parameter secara terpisah. Eksperimen kecil membantu memisahkan kemampuan model dari batas hardware.
Checklist untuk uji lokal: simpan konfigurasi model, catat format quantization, ukur penggunaan VRAM saat context pendek dan panjang, kemudian bandingkan waktu respons pada prompt yang sama. Jangan mencampur hasil dari runtime berbeda. Dengan cara itu, pembaca bisa melihat apakah bottleneck datang dari model, quantization, memory bandwidth, atau konfigurasi serving. Hasil pengujian pribadi tetap bukan benchmark universal, tetapi cukup untuk memilih setup yang masuk akal.
Referensi: https://simonwillison.net/2026/Aug/26/qwen38-flash-next/