Menjalankan LLM (large language model) langsung di ponsel tanpa koneksi internet itu bukan cuma teori, tapi sudah bisa dilakukan. Cara paling simpel buat mencoba proses ini tanpa perlu setup environment yang ribet adalah lewat aplikasi Google AI Edge Gallery.
Di dalam aplikasi itu, ada pilihan model yang dirancang khusus buat eksekusi on-device, salah satunya keluarga model Gemma, seperti Gemma 2B dan Gemma 4B.
Proses awalnya cukup download file weights model yang kamu pilih. Begitu file model selesai terunduh, file tersebut bakal tersimpan penuh di memori internal ponsel.
Setelah file tersimpan, kamu bisa matikan koneksi internet. Saat kamu ngetik prompt, aplikasi tetap bisa jawab secara real-time. Semua proses inferensi mulai dari tokenisasi, pemrosesan prompt, sampai pemrosesan output token murni berjalan di hardware ponsel kamu tanpa ada data yang dikirim keluar lewat internet.
Perbedaan Gemma 2B dan Gemma 4B
Perbedaan mendasar antara versi 2B dan 4B ada pada jumlah parameternya, yaitu 2 miliar dan 4 miliar parameter. Parameter ini menentukan besarnya memori yang dibutuhkan dan kompleksitas matriks yang harus dihitung hardware saat memproses teks.Model 2B punya ukuran file dan kebutuhan memori yang relatif ringan. Kalau menggunakan format terkuantisasi 4-bit (INT4), Gemma 2B cuma butuh RAM sekitar 1,5 sampai 2 GB saat dijalankan. Karena ukuran bobotnya kecil, proses transfer data dari RAM ke prosesor berlangsung lebih cepat. Hasilnya, generation speed atau jumlah token per detik (tok/s) yang dihasilkan jauh lebih tinggi, bahkan di ponsel kelas menengah.
Sementara itu, Gemma 4B butuh RAM sekitar 3 sampai 4 GB pada kuantisasi yang sama. Kebutuhan komputasinya naik dua kali lipat dibanding versi 2B.
Keunggulannya, Gemma 4B punya kapasitas penyimpanan informasi yang lebih besar di dalam bobot parameternya, sehingga lebih akurat dalam mengikuti instruksi kompleks, mempertahankan konteks percakapan, dan mengurangi tingkat halusinasi. Tapi dampaknya, kecepatan generasi teksnya bakal turun signifikan dan beban memori di ponsel jadi jauh lebih berat.
Pemrosesan Hardware: NPU, GPU, dan Bandwidth Memori
Menjalankan LLM lokal di ponsel, komponen yang bekerja paling keras bukan CPU utama, melainkan NPU (Neural Processing Unit) dan GPU.Di iOS, aplikasi memanfaatkan kerangka kerja Metal dan Apple Neural Engine, sedangkan di Android menggunakan backend Vulkan atau TFLite Delegate buat mengakses GPU Snapdragon (Adreno) atau MediaTek (Immortalis).
Inferensi LLM terdiri dari ribuan operasi perkalian matriks yang berjalan secara berurutan buat memprediksi token berikutnya. Kecepatan inferensi di HP sangat bergantung pada memory bandwidth yakni seberapa cepat RAM LPDDR HP bisa menyuplai data bobot model ke dalam compute core NPU atau GPU.
Menjalankan komputasi berbeban tinggi secara terus-menerus di HP bakal menimbulkan beberapa efek fisik:
- Pengurasan Baterai: GPU dan NPU yang ditarik ke daya puncak bakal menguras baterai jauh lebih cepat dibanding pemakaian normal.
- Thermal Throttling: Ponsel tidak punya sistem pendingin aktif seperti kipas. Setelah beberapa menit inferensi beruntun, suhu SoC (System on Chip) bakal naik. Sistem operasi secara otomatis bakal menurunkan kecepatan clock hardware buat mencegah kerusakan panas, yang berakibat pada menurunnya kecepatan generasi token secara bertahap.
- Alokasi RAM: Karena ponsel menggunakan arsitektur unified memory, RAM yang dipakai oleh model lokal bakal mengambil porsi RAM sistem. Kalau RAM ponsel kamu cuma 6 GB atau 8 GB, rute penggunaan model 4B bisa bikin aplikasi latar belakang lain kena force close oleh OS.
Alasan Menggunakan Local LLM Dibanding Cloud AI
Dengan segala keterbatasan performanya, ada alasan teknis yang kuat kenapa orang tetap memilih local LLM dibanding model raksasa di cloud seperti ChatGPT, Claude, atau Gemini:- Privasi Data Mutlak: Dalam skema cloud AI, setiap teks yang kamu ketik dikirim lewat jaringan terbuka, diproses di server penyedia layanan, dan berpotensi disimpan buat log atau bahan pelatihan model di masa depan. Pada local LLM, data prompt dan respons cuma disimpan sementara di RAM ponsel dan hilang begitu sesi ditutup. Tidak ada metadata, tidak ada IP tracking, dan tidak ada pemrosesan pihak ketiga.
- Aksesibilitas Tanpa Jaringan: Aplikasi tetap berjalan penuh di lokasi tanpa sinyal, seperti di dalam pesawat, area terpencil, atau saat jaringan seluler terganggu.
- Tanpa Latensi Jaringan: Pada prompt yang sangat pendek, waktu tunggu respons pertama (time-to-first-token) di local LLM bisa terasa lebih instan karena tidak melewati proses handshake HTTPS, antrean server, dan transmisi data bolak-balik via internet.
Batasan Kemampuan dan Realita Penggunaan
Meskipun menarik secara teknis, kamu harus paham batasan kemampuan model 2B dan 4B. Model dengan parameter sekecil ini tidak bisa disetarakan dengan model cloud yang punya ratusan miliar parameter.LLM lokal di ponsel sangat terbatas untuk tugas-tugas yang tidak membutuhkan complex reasoning, logika matematika berantai, atau generasi kode pemograman yang panjang.
Model 2B/4B juga punya kapasitas context window yang jauh lebih kecil. Jika kamu memasukkan dokumen teks yang terlalu panjang, model bakal cepat kehilangan acuan informasi di bagian awal teks atau mengalami penurunan kualitas respons secara drastis.
Penggunaan local LLM di HP saat ini paling pas untuk skenario spesifik: meringkas teks pendek, merapikan format tulisan, brainstorming ide dasar, atau pemrosesan teks sensitif yang memang dilarang buat diunggah ke internet.
Untuk tugas berat, analisis data rumit, atau pemecahan masalah yang mendalam, model berbasis cloud masih jadi opsi yang tidak tergantikan dari segi kapasitas akurasi dan kecerdasan.