Art Original

Evaluasi hasil Akurasi Anatator manusia dan lexicon pada media x menggunakan algoritma bert

---

Penelitian ini bertujuan untuk mengevaluasi perbedaan akurasi antara label sentimen yang diberikan oleh anotator manusia dan metode lexicon terhadap data media sosial X (sebelumnya Twitter) dalam konteks pemilihan kepala daerah (Pilkada) 2024. Data berupa 7.065 tweet diproses melalui tahapan crawling, pre-processing, dan pelabelan menggunakan dua pendekatan: manual oleh dua anotator manusia, dan otomatis berbasis lexicon. Tingkat konsistensi antar anotator diuji menggunakan nilai Cohen’s Kappa dan menunjukkan nilai 0.84, yang termasuk kategori “Almost Perfect Agreement”. Selanjutnya, model IndoBERT dilatih dengan kedua jenis data berlabel untuk mengukur performa klasifikasi sentimen. Hasil evaluasi menunjukkan bahwa model yang dilatih dengan label manual menghasilkan akurasi 82.85%, precision 0.87, recall 0.85, dan F1-score 0.86. Sementara model dengan label lexicon memperoleh akurasi 81.57%, precision 0.85, recall 0.84, dan F1-score 0.84. Temuan ini menunjukkan bahwa pelabelan manual lebih efektif dalam menangkap konteks emosional dan nuansa bahasa yang kompleks, sementara metode lexicon tetap memberikan performa yang kompetitif dengan keunggulan efisiensi.Penelitian ini memberikan wawasan bagi pengembangan sistem analisis sentimen berbahasa Indonesia, khususnya dalam memilih strategi pelabelan yang optimal.

---

Availability

Detail Information

Call Number

Informatika 518.1 Zul e

Language

Indonesia

NPM

203510500

Publisher

Teknik Informatika : Universitas Islam Riau., 2025

Keyword(s)

Analisis Sentimen
Annotator Manusia
Lexicon

Other Information

Petugas

Ayu Agustina

Other version/related

File Attachment

Comments

---

You must be logged in to post a comment