Analisis Sentimen Pengguna Tinder dengan Metode Synthetic Minority Oversampling Technique

Abstract

Imbalanced data tends to cause models like Naive Bayes to be biased toward the majority class, which negatively impacts model accuracy. Even if the model achieves high accuracy, it often makes incorrect predictions. The Naive Bayes model calculates class probabilities based on word frequency and the previous probability of classes. When the majority class dominates, the minority class is often overlooked. The SMOTE (Synthetic Minority Over-sampling Technique) method is applied in this study to address the imbalance in the Tinder app review data. SMOTE allows the model to be trained on a more representative distribution by balancing the quantity of samples for each class through the synthesis of novel data in the minority class. Based to the results of the evaluation, the overall model accuracy rose to 71%, while metrics for the majority class, including precision, recall, and f1-score, either stayed the same or even significantly improved. However, despite an improvement in recall for the neutral class (increased to 0.19), the performance remains low (f1-score of 0.15), indicating that the semantic complexity of neutral reviews is not sufficiently captured through synthetic data augmentation alone.

Keywords: Naive Bayes; Synthetic Minority Over-sampling Technique; Tinder; Precision & recall; f1-score.

Abstrak

Data yang tidak seimbang cenderung membuat model seperti naive bayes bias terhadap data mayoritas dan memberi dampak pada akurasi model. Meskipun model memiliki akurasi yang tinggi tapi sering keliru. Model Naive Bayes menghitung probabilitas kelas berdasarkan frekuensi kata dan prior probabilitas kelas. Jika data mayoritas lebih banyak maka data minoritas akan diabaikan. Penelitian ini bertujuan untuk menerapkan metode SMOTE dalam menangani data ulasan aplikasi Tinder yang tidak seimbang. Dengan menerapkan SMOTE, jumlah data untuk masing-masing kelas diseimbangkan melalui sintesis data baru pada kelas minoritas, sehingga model dapat dilatih pada distribusi yang lebih representatif Berdasarkan pengujian model, diperoleh hasil bahwa akurasi keseluruhan model meningkat menjadi 71%. Sementara itu parameter precision, f1-score dan recall pada kelas mayoritas tetap stabil bahkan sedikit meningkat. Namun, meskipun performa prediksi terhadap kelas netral membaik dari sisi recall (menjadi 0.19), hasilnya masih rendah (f1-score 0.15), yang menandakan bahwa kompleksitas semantik dari ulasan netral tidak cukup ditangkap hanya dengan penambahan data buatan.