Implementasi YOLOv10 untuk Pengenalan Alfabet SIBI berbasis Deteksi Gerakan Tangan
Abstract
Sign language is a primary communication tool for people with hearing and speech impairments. One key component of the Indonesian Sign System (SIBI) is the SIBI alphabet, used for words without specific signs. However, limited public understanding creates communication gaps. This study develops a web-based SIBI alphabet recognition system using the YOLOv10 model. The dataset initially contained 6,110 images and was augmented to 15,859 images. Eight hyperparameter settings were tested, with the best result at a learning rate of 0.001, batch size 32, and Adam optimizer, achieving mAP@50 of 0.988 and mAP@50–95 of 0.971. The model was then converted to ONNX for faster inference, yielding mAP@50 of 0.953 and 797.7 ms per image. The ONNX model was integrated into a web app capable of real-time SIBI recognition. Results show this approach is effective, inclusive, and accessible as an assistive communication tool.
Keywords: Deep learning; SIBI Alphabet; YOLOv10
Abstrak
Bahasa isyarat merupakan sarana utama komunikasi bagi penyandang tunarungu dan tunawicara. Salah satu komponennya, alfabet Sistem Isyarat Bahasa Indonesia (SIBI), digunakan untuk menyampaikan kata yang tidak memiliki padanan isyarat khusus. Namun, kurangnya pemahaman masyarakat terhadap alfabet SIBI menimbulkan kesenjangan komunikasi. Penelitian ini bertujuan mengembangkan sistem pengenalan alfabet SIBI berbasis web menggunakan model YOLOv10. Dataset awal berjumlah 6.110 gambar dan diaugmentasi menjadi 15.859 gambar. Model dilatih menggunakan delapan konfigurasi hyperparameter yang menghasilkan performa terbaik pada learning rate 0,001, batch size 32, dan optimizer Adam dengan mAP@50 sebesar 0,988 dan mAP@50–95 sebesar 0,971. Untuk meningkatkan efisiensi, model dikonversi ke format ONNX dan diuji ulang menghasilkan mAP@50 sebesar 0,953 serta waktu inferensi 797,7 ms per gambar. Model ONNX kemudian diintegrasikan ke aplikasi web yang mampu mengenali alfabet SIBI secara real-time. Hasil menunjukkan pendekatan ini efektif sebagai alat bantu komunikasi yang inklusif dan mudah diakses.
Keywords
References
I. M. Hamdani and N. S. Bustamin, “Pengoptimalan Komunikasi Bahasa Isyarat Abjad dengan Augmented Reality,” Jurnal Processor, vol. 18, no. 2, pp. 144–152, Oct. 2023, doi: https://doi.org/10.33998/processor.2023.18.2.872.
R. Soekarta, S. Aras, R. Rezki, and N. Ainun K.D.P, “Sistem Deteksi Simbol Isyarat Pada SIBI (Sistem Isyarat Bahasa Indonesia) Menggunakan Mediapipe Berbasis Android,” Insect (Informatics and Security): Jurnal Teknik Informatika, vol. 10, no. 2, pp. 90–100, Oct. 2024, doi: https://doi.org/10.33506/insect.v10i2.4079.
A. Rahagiyanto, “Identifikasi Ekstraksi Fitur untuk Gerakan Tangan dalam Bahasa Isyarat (SIBI) Menggunakan Sensor MYO Armband,” MATRIK : Jurnal Manajemen, Teknik Informatika dan Rekayasa Komputer, vol. 19, no. 1, pp. 127–137, Nov. 2019, doi: 10.30812/matrik.v19i1.510.
A. Sofyan, H. Alwanto, and S. C. Arif, “Pengenalan Bahasa Isyarat Bahasa Indonesia Real-time Menggunakan Metode SP-Tree,” Jurnal Indonesia: Manajemen Informatika dan Komunikasi, vol. 6, no. 2, pp. 1007–1014, May 2025, doi: https://doi.org/10.63447/jimik.v6i2.1371.
M. F. Golfantara, “Penggunaan Algoritma YOLO V8 untuk Identifikasi Rempah-Rempah,” Jurnal Informatika dan Teknik Elektro Terapan, vol. 12, no. 3S1, pp. 3867–3873, Oct. 2024, doi: https://doi.org/10.23960/jitet.v12i3s1.5221.
A. Wang et al., “YOLOv10: Real-Time End-to-End Object Detection,” arXiv.org, May 23, 2024. doi: https://arxiv.org/abs/2405.14458.
A. Wibowo, A. Sanjaya, and U. Mahdiyah, “Implementasi YOLOv8 Pada Pengenalan Sistem Isyarat Bahasa Indonesia,” Prosiding SEMNAS INOTEK (Seminar Nasional Inovasi Teknologi), vol. 8, no. 1, pp. 139–146, 2024, doi: https://doi.org/10.29407/inotek.v8i1.4920.
N. Renaningtias, F. P. Utama, and A. N. A. Sobri, “View of Detection System Indonesian Sign Language (BISINDO) in Video with YOLOv7,” JSAI: Journal Scientific and Applied Informatics, vol. 8, no. 1, pp. 1–8, Jan. 2025, Accessed: Jun. 23, 2025. [Online]. Available: https://jurnal.umb.ac.id/index.php/JSAI/article/view/7067/4402
B. A. Saputra, F. E. Putra, S. J. E. Lautt, V. H. Pranatawijaya, and R. Priskila, “Implementasi Algoritma YOLO VERSI 8 untuk Membaca Bahasa Isyarat,” Jurnal Multidisiplin Inovatif, vol. 8, no. 4, pp. 195–205, 2025, Accessed: Jun. 23, 2025. [Online]. Available: https://sejurnal.com/pub/index.php/jmi/article/view/1093/1277
K. Aeni and A. S. Millah, “Implementasi Deteksi Objek dengan Model YOLOv8 pada Pengenalan Bahasa Isyarat,” Smart Comp: Jurnalnya Orang Pintar Komputer, vol. 14, no. 1, pp. 244–255, Jan. 2025, doi: https://doi.org/10.30591/smartcomp.v14i1.7342.
D. Permana and J. Sutopo, “Aplikasi Pengenalan Abjad Sistem Isyarat Bahasa Indonesia (SIBI) dengan Algoritma YOLOv5,” Jurnal Simantec, vol. 11, no. 2, pp. 231–240, Jul. 2023, doi: 10.21107/simantec.v11i2.19783.
M. K. H. Maulana, N. C. Wibowo, and A. R. E. Najaf, “Penerapan Algoritma K-Means untuk Segmentasi Daerah di Jawa Timur berdasarkan Indikator Kesejahteraan Masyarakat,” Scientica: Jurnal Ilmiah Sains dan Teknologi, vol. 2, no. 11, pp. 21–52, Jul. 2024, Accessed: Jun. 23, 2025. [Online]. Available: https://repository.upnjatim.ac.id/28037/
Kuliahkomputer, “CRISP-DM,” Kuliah Komputer Blogger, Jul. 12, 2018. https://www.kuliahkomputer.com/2018/07/crisp-dm.html (accessed Jun. 23, 2025).
SIBI, “Full220_signlanguage Detection 2 Dataset,” Roboflow, 2024. https://universe.roboflow.com/sibi/full220_signlanguage-detection-2 (accessed Jun. 23, 2025).
Azzahra, “Pengaruh Augmentasi Data Pada Transliterasi Alfabet Bahasa Isyarat Indonesia (Bisindo) Berbasis Transfer Learning,” Universitas Islam Negeri Ar-Raniry, 2025, https://repository.ar-raniry.ac.id/id/eprint/42790/1/SKRIPSI%20AZ-ZAHRA.pdf.
How To Cite This :
Refbacks
- There are currently no refbacks.
