Menghemat Token Context Window LLM dengan Repository Packaging (Token Saver Stack)
Teknik bundling source code repo menjadi satu dump file terstruktur untuk meminimalkan input token LLM.
Saat berinteraksi dengan AI coding assistant atau LLM (seperti Claude 3.5 Sonnet atau GPT-4o) untuk menganalisis suatu project, menyalin satu per satu file adalah hal yang sangat tidak efisien. Di sisi lain, mengunggah seluruh folder project sering kali memakan kuota context window secara boros karena menyertakan folder build, lockfiles, atau dependencies yang tidak relevan.
Solusinya adalah menggunakan Repository Packaging (sering disebut sebagai Token Saver Stack atau Repo-to-Prompt). Teknik ini merangkum seluruh file kode penting di repositori Anda ke dalam satu file teks (.txt atau .md) yang terstruktur rapi.
Berikut adalah langkah-langkah implementasinya:
Gunakan Tools Open-Source
Anda bisa menggunakan tool CLI seperti repomix (sebelumnya packagr) atau code2prompt. Keduanya sangat mudah digunakan secara langsung via terminal:
npx repomix atau npx code2prompt --path .
Konfigurasi Filter
Buat file konfigurasi (misalnya repomix.config.json atau gunakan .gitignore default) untuk mengecualikan:
Folder dependency (node_modules/, venv/, .gradle/)Folder output build (dist/, build/, out/)File lockfiles (package-lock.json, pnpm-lock.yaml, yarn.lock)Aset biner (.png, .jpg, .pdf, .mp3)Struktur Output yang Ramah LLM
Tools ini akan menghasilkan satu file output terstruktur dengan pembatas file yang jelas, sehingga memudahkan model AI memahami hierarki proyek Anda. Dengan teknik ini, Anda dapat menghemat hingga 70% token input LLM dan memastikan AI mendapatkan context yang bersih, cepat, dan akurat tanpa terganggu oleh file sampah.