Perbandingan Kinerja Attention CNN-1D untuk Deteksi Emosi Suara Bahasa Inggris dan Indonesia

Abstract

Speech Emotion Recognition (SER) berperan penting dalam interaksi manusia dan komputer, khususnya untuk mengenali emosi dari sinyal ucapan pada berbagai bahasa. Salah satu tantangan dalam SER adalah kemampuan model untuk mengenali pola penting pada sinyal suara agar emosi dapat diklasifikasikan dengan lebih akurat. Metode ekstraksi fitur menggunakan global average pooling pada arsitektur Convolutional Neural Network (CNN) masih memiliki keterbatasan dalam mempertahankan informasi penting dari sinyal ucapan, sehingga dapat memengaruhi hasil klasifikasi, terutama pada bahasa yang memiliki karakteristik prosodi berbeda, seperti bahasa Inggris dan bahasa Indonesia. Penelitian ini menerapkan mekanisme attention pada arsitektur CNN-1D dan membandingkannya dengan global average pooling menggunakan dua dataset, yaitu RAVDESS (bahasa Inggris) dan Maleo (bahasa Indonesia). Fitur akustik yang digunakan meliputi MFCC, MFCC Delta, Zero Crossing Rate (ZCR), Root Mean Square (RMS), dan Mel Spectrogram yang diekstraksi menggunakan library librosa. Hasil pengujian menunjukkan bahwa CNN-Attention memberikan akurasi yang lebih tinggi dibandingkan CNN-Pooling pada kedua dataset, dengan selisih akurasi sebesar 7% pada RAVDESS (83% dibandingkan 76%) dan 2% pada Maleo (79% dibandingkan 77%). Selisih peningkatan yang lebih besar pada RAVDESS menunjukkan bahwa pengaruh mekanisme attention berbeda pada setiap bahasa, yang kemungkinan dipengaruhi oleh karakteristik prosodi dan variasi ekspresi emosi pada masing-masing dataset. Secara keseluruhan, mekanisme attention mampu meningkatkan kinerja model dibandingkan global average pooling, meskipun besar peningkatannya dipengaruhi oleh karakteristik bahasa dan dataset yang digunakan.

Kata Kunci— Speech Emotion Recognition, CNN-1D, Mekanisme Attention, Fitur Akustik, Klasifikasi Emosi, Perbandingan Bahasa.