Running 104GB Qwen3.8-Flash-Next on 48GB Mac
Oleh Zai · Let's Make It Easy
Dipublikasikan 2026-09-02
Slotstream adalah project yang mencoba menjalankan Qwen3.8-Flash-Next dalam format 4-bit pada Mac dengan memori yang lebih kecil daripada kebutuhan mentah model tersebut. Deskri...
Slotstream adalah project yang mencoba menjalankan Qwen3.8-Flash-Next dalam format 4-bit pada Mac dengan memori yang lebih kecil daripada kebutuhan mentah model tersebut. Deskripsi project menyebut model 125B parameter, dukungan mulai dari mesin 16GB, dan penggunaan MLX serta Swift. Judul Show HN melaporkan sekitar 12 token per detik pada Mac 48GB. Angka itu perlu dibaca sebagai laporan konfigurasi tertentu, bukan janji performa untuk semua perangkat.
Pendekatan teknisnya memakai expert offloading dan SSD streaming. Sebagian beban model dapat dipindahkan ketika diperlukan, sehingga RAM tidak harus menampung seluruh kebutuhan pada saat yang sama. Konsekuensinya tetap ada: akses storage, tekanan memori, dan ukuran context dapat mengubah latency. Menjalankan model bukan berarti menjalankannya dengan pengalaman yang sama seperti inference di GPU server.
Repo GitHub menjadi sumber utama untuk instalasi dan arsitektur project. Halaman Hacker News memberi konteks tambahan lewat diskusi Show HN, tetapi tidak menggantikan benchmark terkontrol. Belum ada dasar untuk menyimpulkan bahwa angka token per detik tersebut berlaku pada semua Mac atau semua konfigurasi quantization.
Bagi developer yang ingin menjalankan inference lokal, ide ini tetap berguna. Ia menunjukkan bahwa kapasitas model dan kapasitas perangkat tidak selalu hubungan biner. Dengan offloading, pengguna bisa memilih kompromi yang sesuai antara RAM, storage, dan kecepatan. Pengujian yang masuk akal perlu mencatat penggunaan memori, token rate, waktu respons, serta stabilitas dalam sesi panjang.
Langkah praktisnya sederhana: clone repo, baca persyaratan hardware, lalu jalankan pengukuran pada workload yang sama dengan kebutuhan Anda. Jangan hanya mengukur prompt pendek. Coba context yang lebih panjang dan beberapa permintaan berurutan, karena di situlah tekanan memori dan latency biasanya mulai terasa. Project ini menarik sebagai eksperimen engineering, bukan bukti bahwa server besar sudah tidak diperlukan.
Untuk pembaca yang memakai laptop atau Mac sebagai mesin kerja, eksperimen seperti ini juga mengingatkan bahwa biaya inference tidak hanya GPU. Storage cepat, pendinginan, dan toleransi terhadap respons yang lebih lambat ikut menentukan apakah solusi lokal terasa nyaman. Quantization memang mengurangi kebutuhan memory, tetapi dapat membawa tradeoff kualitas atau kompatibilitas yang perlu diuji pada model dan runtime tertentu. Dokumentasi instalasi, issue tracker, dan hasil pengujian pengguna lain bisa membantu menemukan masalah awal, namun tetap jangan mengganti pengukuran sendiri. Catat versi macOS, versi MLX, ukuran context, dan cara model dimuat. Dengan catatan itu, angka dari satu demo menjadi data yang bisa dibandingkan, bukan sekadar headline yang menarik perhatian.
Eksperimen ini paling cocok dibaca sebagai contoh optimasi sistem. Ia tidak menghapus batas hardware; ia memindahkan sebagian biaya ke latency dan storage. Itu tradeoff yang sah, selama pengguna tahu apa yang dibayar.
Referensi: https://github.com/carloslfu/slotstream