PENGEMBANGAN APLIKASI PENILAIAN OTOMATIS UJIAN ONLINE ESSAY DENGAN MENGGUNAKAN METODE COSINE SIMILARITY DAN MODEL XLM-ROBERTA (XLM-R) BERBASIS WEBSITE

Abstract

Ujian seringkali digunakan sebagai bahan evaluasi hasil akir untuk mengukur tingkat kemampuan serta pemahaman terhadap peserta didik. Namun dalam pelaksanaannya, ujian masih banyak dilakukan secara manual terutama ujian dengan type essay yang membuat peserta ujian harus menyiapkan kertas dan alat tulis sendiri. Sedangkan bagi tenaga pendidik membutuhkan banyak tenaga dan waktu yang lama untuk memeriksa jawaban ujian satu persatu. Dengan menerapkan metode pengemabangan Rapid Application Development (RAD) maka penelitian ini dilakukan dengan membuat sistem ujian online dengan tipe ujian essay beserta penilaian secara otomatis. Penilaian dilakukan dengan cara melihat kemiripan jawaban antara jawaban tenaga pendidik dengan jawaban peserta ujian menggunakan metode cosine similarity dan model XLM-RoBERTa. Hasil dari penelitian ini menunjukkan persentase perbandingan penilaian manual dan otomatis menunjukkan bahwa jawaban yang memiliki perhitungan matematika memiliki persentase 60%, sedangkan pada penilaian dengan jawaban tanpa perhitungan matematika hanya berupa text/kalimat serta jawaban yang dapat dibolak balik akan tetapi memiliki arti yang sama memiliki nilai  nilai persentase 85%.

Kata kunci— Web ujian online, cosine similarity, XLM-R, ujian essay,penilaian otomatis