APLIKASI PENGENALAN ABJAD SISTEM ISYARAT BAHASA INDONESIA (SIBI) DENGAN ALGORITMA YOLOv5

Dimas Permana, Joko Sutopo

Abstract


Penelitian ini bertujuan untuk mengembangkan platform praktis pengenalan abjad Sistem Isyarat Bahasa Indonesia (SIBI) sebagai media pembelajaran bahasa isyarat yang efektif. Metode yang digunakan adalah algoritma YOLOv5 untuk mendeteksi isyarat bahasa isyarat SIBI. Pengujian dilakukan dalam dua tahap, pertama untuk menguji antarmuka aplikasi yang berhasil menampilkan enam halaman antarmuka pengguna dengan baik. Kedua, pengujian manual dilakukan untuk mendeteksi gerakan bahasa isyarat SIBI dengan membandingkan kelas-kelas aktual yang terdiri dari 26 kelas. Pada pengujian tersebut, beberapa kelas seperti 'A' dan 'E' memiliki akurasi deteksi yang rendah karena memiliki gerakan yang hampir sama dengan kelas 'S' atau 'A'. Kelas 'D' juga memiliki akurasi yang rendah karena membutuhkan variasi posisi yang lebih kompleks. Kelas 'J' memiliki gestur yang cukup rumit karena ada gerakan lanjutan yang dilakukan, sehingga memiliki akurasi yang cukup rendah. Hasil deteksi real-time menggunakan kamera ponsel menunjukkan akurasi sebesar 77% (0.77), secara keseluruhan hasil pengujian mencapai akurasi yang cukup baik. Diharapkan dengan adanya platform ini dapat mempermudah dan memperlancar komunikasi antara masyarakat umum dengan teman tuli.

Kata kunci : Bahasa Isyarat, Deteksi Objek, Komunikasi Tuli, Sibi, Yolo.


References


I. Inayatul Arifah, F. Nur Fajri, and G. Qorik Oktagalu Pratamasunu, “Deteksi Tangan Otomatis Pada Video Percakapan Bahasa Isyarat Indonesia Menggunakan Metode YOLO Dan CNN,” 2022. [Online]. Available: http://jurnal.polibatam.ac.id/index.php/JAIC

M. Zikky, Z. F. Akbar, and S. Utomo, “Kamus sistem isyarat bahasa Indonesia (KASIBI) dengan voice recognition sebagai pendukung belajar bahasa isyarat berbasis android,” JST (Jurnal Sains Terapan), vol. 5, no. 2, pp. 121–130, 2019.

M. Yunus and Y. Anwar, “Aplikasi Penerjemah Bahasa Isyarat Indonesia Ke dalam Huruf Abjad,” 2022. [Online]. Available: https://jurnal.umpar.ac.id/index.php/sylog▪257

A. Sani and S. Rahmadinni, “Deteksi Gestur Tangan Berbasis Pengolahan Citra,” Jurnal Rekayasa Elektrika, vol. 18, no. 2, Jul. 2022, doi: 10.17529/jre.v18i2.25147.

N. Hikmatia and M. I. Zul, “Aplikasi Penerjemah Bahasa Isyarat Indonesia Menjadi Suara berbasis Andoid menggunakan Tensorflow,” 2021. [Online]. Available: https://jurnal.pcr.ac.id/index.php/jkt/

F. D. Siswanto, C. C. Lestari, and E. Tanuwijaya, “Klasifikasi Bahasa Isyarat Amerika menggunakan Convolutional Neural Network,” vol. 10, no. 1, 2022, doi: 10.26418/justin.v10i1.47184.

R. Haris Alfikri et al., “Pembangunan Aplikasi Penerjemah Bahasa Isyarat Dengan Metode CNN Berbasis Android,” 2022. [Online]. Available: https://ejurnal.teknokrat.ac.id/index.php/teknoinfo/index

H. C. Nguyen, T. H. Nguyen, R. Scherer, and V. H. Le, “YOLO Series for Human Hand Action Detection and Classification from Egocentric Videos,” Sensors (Basel), vol. 23, no. 6, Mar. 2023, doi: 10.3390/s23063255.

S. Daniels, N. Suciati, and C. Fathichah, “Indonesian Sign Language Recognition using YOLO Method,” IOP Conf Ser Mater Sci Eng, vol. 1077, no. 1, p. 012029, Feb. 2021, doi: 10.1088/1757-899x/1077/1/012029.

F. Sun, “Face Recognition Analysis Based on the YOLO Algorithm,” Applied and Computational Engineering, vol. 2, no. 1, pp. 213–222, Mar. 2023, doi: 10.54254/2755-2721/2/20220679.

M. Bhavadharshini, J. Josephine Racheal, M. Kamali, S. Sankar, and M. Bhavadharshini, “Sign language translator using YOLO algorithm,” Advances in Parallel Computing, vol. 39, pp. 159–166, 2021, doi: 10.3233/APC210136.

R. Hesananda, D. Natasya, and N. Wiliani, “Cloth BAG Object Detection Using The Yolo Algorithm (You Only See Once) V5,” Jurnal Pilar Nusa Mandiri, vol. 18, no. 2, pp. 217–222, Feb. 2023, doi: 10.33480/pilar.v18i2.3019.

S. S. Sindarto, D. E. Ratnawati, and I. Arwani, “Klasifikasi Citra Sistem Isyarat Bahasa Indonesia (SIBI) dengan Metode Convolutional Neural Network pada Perangkat Lunak berbasis Android,” vol. 6, no. 5, pp. 2129–2138, 2022, [Online]. Available: http://j-ptiik.ub.ac.id

U. Fadlilah, A. K. Mahamad, and B. Handaga, “The Development of Android for Indonesian Sign Language Using Tensorflow Lite and CNN: An Initial Study,” in Journal of Physics: Conference Series, IOP Publishing Ltd, Apr. 2021. doi: 10.1088/1742-6596/1858/1/012085.

Y. Li, Z. Zhao, Y. Luo, and Z. Qiu, “Real-time pattern-recognition of GPR images with YOLO V3 implemented by tensorflow,” Sensors (Switzerland), vol. 20, no. 22, pp. 1–17, Nov. 2020, doi: 10.3390/s20226476.




DOI: https://doi.org/10.21107/simantec.v11i2.19783

Refbacks

  • There are currently no refbacks.


Copyright (c) 2023 Joko Sutopo

Indexed By