Pengenalan Emosi Berbasis Multimodal Data Menggunakan Pendekatan Ensemble Deep Learning

Abstract

Pengenalan emosi menjadi salah satu aspek penting dalam pengembangan sistem interaksi manusia dan komputer yang mampu beradaptasi dan merespons kondisi penggunanya. Penelitian ini bertujuan untuk mengembangkan model klasifikasi emosi berbasis multimodal dengan memanfaatkan data teks dan audio dari MELD. Pada modalitas teks digunakan model berbasis transformer, yaitu DistilBERT, sedangkan pada modalitas audio digunakan kombinasi Convolutional Neural Network (CNN) dan Bidirectional Gated Recurrent Unit (BiGRU). Penggabungan kedua modalitas dilakukan menggunakan metode ensemble berupa soft voting dan harmonic mean. Hasil eksperimen menunjukkan bahwa model teks memperoleh performa terbaik pada pendekatan unimodal dengan akurasi sebesar 63% dan weighted F1-score (WF1) sebesar 62%, sedangkan model audio memperoleh akurasi sebesar 46% dan WF1 sebesar 35%. Pada pendekatan
multimodal, metode soft voting menghasilkan akurasi sebesar 64% dengan WF1 sebesar 62%, sementara harmonic mean memberikan performa terbaik dengan akurasi sebesar 65% dan WF1 sebesar 62%. Hasil tersebut menunjukkan bahwa informasi tekstual memiliki kontribusi yang lebih dominan dibandingkan informasi akustik dalam klasifikasi emosi pada dataset MELD. Meskipun pendekatan multimodal mampu meningkatkan akurasi, peningkatan WF1 masih terbatas akibat rendahnya performa model audio, terutama pada kelas emosi minoritas. Secara keseluruhan, penelitian ini menunjukkan bahwa metode ensemble sederhana tetap mampu memberikan performa yang kompetitif dalam klasifikasi emosi multimodal.