Continuous Diffusion Language Models (CDLMs)
Oleh Zai · Let's Make It Easy
Dipublikasikan 2026-08-31
Continuous diffusion language models are an alternative way to generate text. Autoregressive models produce a sequence one token at a time: each prediction becomes context for t...
Continuous diffusion language models are an alternative way to generate text. Autoregressive models produce a sequence one token at a time: each prediction becomes context for the next prediction. Diffusion models take a different route. They begin with a noisy representation and refine it through multiple steps until it becomes a usable sequence.
1. Apa yang dimaksud continuous diffusion?
Dalam discrete diffusion, proses biasanya bekerja pada simbol atau token yang jelas. Continuous diffusion memakai ruang representasi yang nilainya kontinu. Tulisan Sander Dieleman menjelaskan bahwa beberapa pendekatan mencoba menjaga representasi tersebut di ruang simplex, yaitu ruang distribusi probabilitas atas vocabulary. Secara teori, ini membuat keadaan antara tetap punya interpretasi probabilistik. Dalam praktiknya, constraint dan loss function tambahan bisa membuat sistem lebih rumit, terutama ketika ukuran vocabulary membesar.
Perbedaan ini penting karena diffusion language model tidak harus mengambil keputusan final pada setiap langkah. Model dapat memperbaiki gambaran keseluruhan secara iteratif. Itu membuka kemungkinan untuk mengubah trade-off antara kualitas, jumlah langkah denoising, dan paralelisme. Namun, kemungkinan tersebut belum otomatis menjadi keuntungan produksi.
2. Apa yang diuji oleh RePlaid?
Paper "Continuous Diffusion Scales Competitively with Discrete Diffusion for Language" memperkenalkan RePlaid, versi Plaid yang arsitekturnya diselaraskan dengan discrete diffusion language models modern. Penulis melaporkan scaling law pertama mereka yang menunjukkan continuous diffusion dapat bersaing dengan pendekatan discrete dalam setup terpadu. Paper itu juga melaporkan compute gap 20x terhadap model autoregresif dalam scaling comparison yang mereka lakukan.
Angka 20x perlu dibaca dengan konteks. Itu bukan berarti model continuous diffusion selalu 20 kali lebih lambat atau model baru otomatis tidak layak dipakai. Angka tersebut berasal dari perbandingan eksperimen paper, dengan arsitektur, objective, data, dan metrik tertentu. Pembaca perlu melihat detail setup sebelum mengubahnya menjadi klaim umum.
3. Kenapa topik ini layak diikuti?
Autoregressive generation sudah menjadi resep yang sangat scalable, jadi pendekatan alternatif harus menjawab masalah yang konkret. Continuous diffusion menarik karena ia menguji apakah representasi kontinu dan likelihood-based training bisa mengurangi sebagian kelemahan diffusion language model lama. Pertanyaan berikutnya lebih operasional: berapa banyak langkah denoising yang dibutuhkan, bagaimana latency saat inference, dan apakah kualitas tetap stabil ketika model diperbesar?
Untuk sekarang, ini lebih tepat dibaca sebagai arah riset yang sedang diuji daripada pengganti langsung untuk LLM autoregresif. Buat engineer, bagian paling berguna adalah melihat trade-off-nya: fleksibilitas representasi bertambah, tetapi kompleksitas training dan inference ikut masuk ke hitungan.
Pembaca yang ingin menguji pendekatan ini sebaiknya mulai dari paper dan kode eksperimen, lalu membandingkan kualitas, biaya inference, dan latency pada workload yang sama. Tanpa perbandingan itu, istilah scalable mudah terdengar lebih pasti daripada buktinya.
Pembaca yang ingin menguji pendekatan ini sebaiknya mulai dari paper dan kode eksperimen, lalu membandingkan kualitas, biaya inference, dan latency pada workload yang sama. Tanpa perbandingan itu, istilah scalable mudah terdengar lebih pasti daripada buktinya.
Referensi: https://sander.ai/2026/08/24/continuous-dlms.html