Eksplorasi Teknik Balancing pada Klasifikasi Sentimen SVM dengan K-Fold Cross Validation

Abstract

Abstrak—Media social merupakan ruang public digital yang memungkinkan Masyarakat bebas dalam menyampaikan opini tentang berbagai hal, salah satunya kinerja pemerintah daerah. Komentar media social menjadi sumber informasi penting dalam memahami opini public dan kecenderungan sentiment publik.  Namun, terdapat beberapa tantangan dalam analisis komentar media social, seperti karakteristik teks yang pendek dan informal serta distribusi kelas yang cenderung tidak seimbang sehingga model cenderung bias ke kelas mayoritas. Penelitian ini malakukan eksplorasi Teknik balancing pada model SVM dengan representasi fitur TF-IDF. Penelitian mengeksplorasi lima strategi penanganan ketidakseimbangan kelas, yaitu tanpa balancing (baseline), class weighting, random undersampling, random oversampling, dan SMOTE Seluruh eksperimen dievaluasi menggunakan Stratified K-Fold Cross-Validation (K=5) untuk memperoleh estimasi performa yang lebih stabil dan representatif. Dataset terdiri atas 3.957 komentar dari platform TikTok dan X/Twitter terkait kinerja Pemerintah Kota Malang periode Maret–Desember 2025 dengan distribusi 86,92% komentar negatif dan 13,08% komentar positif. Teknik resampling diterapkan hanya pada data training di setiap fold dengan tujuan menghindari data leakage. Hasil eksplorasi menunjukkan bahwa penerapan class weighting menghasilkan Mean Macro F1 tertinggi sebesar 0,6399 ± 0,0232, melampaui baseline (0,6350), random undersampling (0,5690), oversampling (0,6327), dan SMOTE (0,5956). Analisis confusion matrix agregat menunjukkan bahwa random undersampling menghasilkan False Positive Rate sebesar 30,9%, hal ini mengindikasikan bahwa hampir sepertiga kritik masyarakat salah diklasifikasikan sebagai apresiasi. Berdasarkan eksplorasi dapat disimpulkan bahwa class weighting merupakan strategi yang paling sesuai untuk dataset komentar media sosial berbahasa Indonesia karena kemampuan sensitivitas model terhadap kelas minoritas tanpa mengubah distribusi data dan risiko overfitting akibat duplikasi atau sampel sintetik.

Kata Kunci— analisis sentimen, class imbalance, K-Fold cross-validation, media sosial, SVM, strategi balancing.