Implementasi LLM OLLAMA Untuk Sistem Retrieval-Augmented Generation (RAG) Secara Lokal Dalam Analisis Dokumen PDF Berbentuk Chatbot

Abstract

Pemrosesan sejumlah besar dokumen menjadi tantangan tersendiri dalam berbagai bidang terutama dalam ekstraksi informasi yang relevan dan berharga. Pendekatan Retrieval-Augmented Generation (RAG) dengan Large Language Models (LLM) semakin populer untuk menangani tugas ini. Namun implementasinya masih bergantung pada layanan berbasis cloud yang menyebabkan latensi privasi dan biaya. Oleh sebab itu penelitian ini melihat implementasi sistem Retrieval-Augmented Generation (RAG) secara lokal menggunakan Ollama, sebuah model LLM yang dapat digunakan secara open source serta dapat diluncurkan di perangkat lokal.

Metode ini memungkinkan sistem untuk menemukan dan memproses dokumen PDF tanpa bergantung pada layanan eksternal. Peneliti menggunakan model LLM lokal dalam hal mengekstrak dan menyusun data dari dokumen PDF. Peneliti juga membandingkan kecepatan pemrosesan dan ketepatan data yang dihasilkan. Hasil penelitian menunjukkan bahwa solusi berbasis RAG lokal, khususnya dalam hal responsivitas dan kendali data mampu bersaing dengan pendekatan berbasis cloud. Studi ini membantu mengembangkan solusi RAG yang lebih hemat biaya fleksibel dan aman untuk lembaga dan individu yang ingin menerapkan sistem LLM secara mandiri.

Kata kunci: Large Language Model, Retrieval-Augmented Generation, Ollama, PDF Processing, Sistem Lokal