Komparasi Metode Random Forest, XGBoost, dan CatBoost dalam Klasifikasi Rumpun Program Studi Berdasarkan Minat dan Nilai Akademik

Abstract

Pemilihan program studi yang tidak sesuai dengan minat dan kemampuan akademik dapat meningkatkan risiko salah jurusan pada mahasiswa. Penelitian ini bertujuan membandingkan performa algoritma Random Forest, XGBoost, dan CatBoost dalam klasifikasi subrumpun program studi berdasarkan minat dan nilai akademik siswa. Data yang digunakan berasal dari peserta SNBP Universitas Negeri Surabaya yang meliputi nilai rapor dan preferensi program studi. Tahapan penelitian meliputi preprocessing, Feature Engineering, encoding, dan penanganan ketidakseimbangan kelas menggunakan SMOTE. Evaluasi model dilakukan menggunakan accuracy,macro precision, macro recall, dan Macro F1-score. Hasil penelitian menunjukkan bahwa XGBoost memiliki performa terbaik dibandingkan Random Forest dan CatBoost. Pada kelompok IPA, XGBoost memperoleh accuracy sebesar 78,64% dan Macro F1-score sebesar 76,81%, Sementara itu, pada kelompok IPS, performa terbaik diperoleh menggunakan 25% fitur terpenting hasil feature selection dengan accuracy sebesar 76,35% dan Macro F1-score sebesar 69,67%. Hasil analisis feature importance menunjukkan bahwa fitur minat siswa menjadi faktor paling dominan dalam proses klasifikasi. Penelitian ini menunjukkan bahwa metode gradient boosting mampu memberikan performa yang baik pada klasifikasi data multikelas dan tidak seimbang berbasis data akademik siswa.