Democratizing Climate Intelligence Through Localizez Large Language Models for Education and Governance

Abstract

 Abstract

Climate change presents complex challenges in Indonesia, where local governments and communities frequently experience information asymmetry and limited access to expert knowledge, particularly in low-resource and low-connectivity regions. This study aims to develop and evaluate a localized, domain-adapted Large Language Model (LLM) that functions as offline-capable climate knowledge infrastructure for education and local governance in Indonesia. The research method employs a design science research methodology comprising four stages: (1) selection of Qwen3-4B as the base model, (2) curation of an Indonesian climate and energy transition corpus containing approximately 12,400 instruction-response pairs (~38 MB) drawn from national climate policy documents, NDC/RPJMN frameworks, renewable energy guidelines, and educational climate science texts, (3) parameter-efficient fine-tuning using QLoRA with LoRA rank r=16, alpha=32, learning rate 2e-4, 3 epochs, per-device batch size 2 with gradient accumulation 4, and 4-bit NF4 quantization, and (4) offline deployment on consumer-grade hardware with task-oriented evaluation against three baseline models (Qwen3-4B-Thinking, Gemma-3-4B, LLaMa-3.1-8B). The results show that the fine-tuned model (Qwen3-4B-REnewbie v1) achieved a 15.4% perplexity reduction on domain-specific test data and an average qualitative score of 9.3/10 across factual accuracy, reasoning structure, and Bahasa Indonesia language compliance, outperforming all baselines (score range 7.0–8.2). The system operates fully offline on consumer-grade hardware with acceptable inference latency. The conclusion drawn from this study is that localized, resource-efficient LLMs can function as practical climate knowledge infrastructure for vocational education and local governance in Indonesia, aligning with Green AI principles and supporting the democratization of climate intelligence in low-connectivity settings.

Abstrak

Perubahan iklim menghadirkan tantangan kompleks di Indonesia, khususnya bagi pemerintah daerah dan komunitas lokal yang sering mengalami asimetri informasi dan keterbatasan akses terhadap pengetahuan pakar di wilayah dengan sumber daya dan konektivitas terbatas. Penelitian ini bertujuan mengembangkan dan mengevaluasi Large Language Model (LLM) yang dilokalkan dan diadaptasi ke domain iklim sebagai infrastruktur pengetahuan iklim berbasis offline untuk pendidikan dan tata kelola lokal di Indonesia. Metode penelitian ini menggunakan pendekatan design science research yang meliputi (1) pemilihan Qwen3-4B sebagai base model, (2) kurasi korpus iklim dan transisi energi Indonesia berisi sekitar 12.400 pasangan instruksi-respons (~38 MB) dari dokumen kebijakan iklim nasional, kerangka NDC/RPJMN, panduan energi terbarukan, serta teks ilmiah iklim, (3) parameter-efficient fine-tuning berbasis QLoRA (LoRA rank r=16, alpha=32, learning rate 2e-4, 3 epoch, batch size 2 per perangkat dengan gradient accumulation 4, dan kuantisasi 4-bit NF4), dan (4) deployment offline pada perangkat keras kelas konsumen dengan evaluasi berorientasi tugas terhadap tiga baseline (Qwen3-4B-Thinking, Gemma-3-4B, LLaMa-3.1-8B). Hasil penelitian ini menunjukkan model hasil fine-tuning (Qwen3-4B-REnewbie v1) menghasilkan penurunan perplexity sebesar 15,4% pada data uji domain dan skor kualitatif rata-rata 9,3/10 pada dimensi akurasi faktual, struktur penalaran, dan kepatuhan Bahasa Indonesia, mengungguli seluruh baseline (kisaran 7,0–8,2), serta beroperasi sepenuhnya secara offline pada perangkat konsumen dengan latensi inferensi yang dapat diterima. Kesimpulan yang diperoleh dari penelitian ini adalah LLM yang dilokalkan dan hemat sumber daya dapat berfungsi sebagai infrastruktur pengetahuan iklim yang praktis bagi pendidikan vokasi dan tata kelola lokal di Indonesia, selaras dengan prinsip Green AI dan mendukung demokratisasi kecerdasan iklim di wilayah berkonektivitas terbatas.