Klasifikasi Halusinasi pada LLM menggunakan XGBoost dengan Ekstraksi Fitur FastText dan Optimizer PSO

Abstract

Abstrak— Halusinasi pada Large Language Models (LLM) merupakan kondisi ketika model menghasilkan informasi yang tidak sesuai dengan fakta. Penelitian ini bertujuan menganalisis kinerja XGBoost dengan representasi teks FastText untuk mendeteksi halusinasi, serta mengevaluasi pengaruh teknik balancing dan optimasi hyperparameter menggunakan Particle Swarm Optimization (PSO). Metode balancing yang digunakan meliputi Random Oversampling, SMOTE, dan Random Undersampling. Hasil pengujian menunjukkan bahwa model baseline memperoleh akurasi terbaik sebesar 91,48% pada rasio pembagian data 70:30. Penerapan balancing belum memberikan peningkatan yang berarti, sedangkan optimasi menggunakan PSO mampu meningkatkan akurasi menjadi 92,71% dengan nilai AUC sebesar 97,63%. Temuan ini menunjukkan bahwa optimasi hyperparameter menggunakan PSO lebih efektif dalam meningkatkan performa model dibandingkan teknik balancing pada penelitian ini.

Kata Kunci— Deteksi Halusinasi, Large Language Model, FastText, Teknik Balancing, XGBoost, PSO