APLIKASI PENERJEMAH SEBAGAI MEDIA KOMUNIKASI BAGI PENYANDANG DISABILITAS MENGGUNAKAN KOMBINASI METODE SKIN DETECTION-ANFIS, KNN DAN TTS

Fifin Ayu Mufarroha

Abstract


Bahasa isyarat merupakan media komunikasi yang digunakan penyandang disabilitas dalam bertukar pesan.  Bahasa isyarat berupa gerakan tangan dimana setiap gerakan memiliki pola dan arti yang berbeda. Bahasa isyarat hanya dapat dipahami oleh para penyandang disabilitas dan volunteer, sedangkan jumlah volunteer menjadi semakin sedikit. Dalam memahami pola dan arti dari gerakan tangan tersebut dibangun aplikasi penerjemah bahasa isyarat. Tujuan dari penelitian ini adalah membantu penyandang disabilitas secara leluasa berinteraksi dengan masyarakat umum. Aplikasi menerjemahkan gerakan tangan pengguna menjadi hasil pengenalan berupa teks dan suara. Langkah – langkah yang diterapkan dalam pembangunan diantaranya menangkap gerakan tangan menggunakan webcam, pengenalan, dan terjemahan suara. Pada tahap pengenalan, terdapat beberapa sub proses yakni melakukan segmentasi hasil tangkapan gambar dengan menerapkan skin detection sebagai metode untuk mendapatkan objek tangan dan metode ANFIS sebagai penentuan grup gerakan tangan. Sub proses lainnya, melakukan proses klasifikasi menggunakan metode K-NN dengan masukan berupa fitur area yang menghasilkan teks alfabet. TTS diterapkan  untuk menciptakan suara pada aplikasi. Metode ini mengolah teks hasil klasifikasi dengan mengkomparasikan fonem teks dan file wav untuk medapatkan suara terjamahan. Aplikasi secara real time dapat menerjemahkan gerakan tangan dari webcam menjadi teks dan suara.


References


R. I. Borman and B. Priyopradono, “Implementasi Penerjemah Bahasa Isyarat Pada Bahasa Isyarat Indonesia ( BISINDO ) Dengan Metode Principal Component Analysis ( PCA ),” J. Pengemb. IT, vol. 03, no. 1, pp. 103–108, 2018.

A. S. Nugraheni, A. P. Husain, and H. Unayah, “Optimalisasi penggunaan bahasa isyarat dengan sibi dan bisindo pada mahasiswa difabel tunarungu di prodi pgmi uin sunan kalijaga,” HOLISTIKA J. Ilm. PAUD, pp. 28–33, 2021.

D. Gustiar, D. M. Midyanti, and S. H. Sitorus, “Penerjemahan Bahasa Isyarat Menggunakan Metode Generalized Learning Vector Quantization (Glvq),” Coding J. Komput. dan Apl., vol. 8, no. 3, p. 1, 2020, doi: 10.26418/coding.v8i3.42156.

H. N. Sutanto, “Aplikasi Pembelajaran Bahasa Isyarat Untuk Tuna Wicara Dengan Standar American Sign Language Hanny Novitasari Sutanto,” J. Ilm. Mhs. Univ. Surabaya, vol. 3, no. 1, pp. 1–7, 2014.

M. Nadhir, A. Nasir, A. Nur, and A. Erman, “LEGAL AND POLICY BASIS FOR BAHASA ISYARAT MALAYSIA,” Int. J. LAW, Gov. Commun., vol. 5, no. 21, pp. 45–57, 2020, doi: 10.35631/IJLGC.521005.

J. Kotowicz, B. Woll, and R. Herman, “Adaptation of the British Sign Language Receptive Skills Test into Polish Sign Language,” Lang. Test., vol. 38, no. 1, pp. 132–153, Jun. 2020, doi: 10.1177/0265532220924598.

S. T. Hassan, J. A. Abolarinwa, C. O. Alenoghena, S. A. Bala, M. David, and P. Enenche, “Intelligent Sign Language Recognition Using Image Processing Techniques: A Case of Hausa Sign Language,” ATBU J. Sci. Technol. Educ. Vol 6, No 2, 2018, [Online]. Available: http://www.atbuftejoste.com/index.php/joste/article/view/536.

I. R. Rodríguez-Ortiz et al., “A Spanish Sign Language (LSE) Adaptation of the Communicative Development Inventories,” J. Deaf Stud. Deaf Educ., vol. 25, no. 1, pp. 105–114, Jan. 2020, doi: 10.1093/deafed/enz033.

Nuryazid, “Pengembangan Aplikasi Kamus Bahasa Isyarat Indonesia ( Bisindo ) Dengan Mengintegrasikan Cloud Video,” Jur. Tek. Elektro Univ. Negeri Semarang, vol. 4, no. 1, 2016.

S. A. Nurpiena, E. S. Wihidayat, and A. Budianto, “Developing Indonesia Sign Language ( BISINDO ) Application with Android Based for Learning Sign Language,” J. Informatics Vocat. Educ., vol. 4, no. 1, pp. 1–11, 2021.

M. Jin, C. Zaid, O. Mohamed, and H. Jaward, “A review of hand gesture and sign language recognition techniques,” Int. J. Mach. Learn. Cybern., vol. 10, no. 1, pp. 131–153, 2019, doi: 10.1007/s13042-017-0705-5.

T. J. McBride, N. Vandayar, and K. J. Nixon, “A Comparison of Skin Detection Algorithms for Hand Gesture Recognition,” in 2019 Southern African Universities Power Engineering Conference/Robotics and Mechatronics/Pattern Recognition Association of South Africa (SAUPEC/RobMech/PRASA), 2019, pp. 211–216, doi: 10.1109/RoboMech.2019.8704839.

F. A. Mufarroha and F. Utaminingrum, “Hand gesture recognition using adaptive network based fuzzy inference system and K-nearest neighbor,” Int. J. Technol., vol. 8, no. 3, pp. 559–567, 2017, doi: 10.14716/ijtech.v8i3.3146.

M. Akmaliyah, “Perancangan Aplikasi Penerjemah Otomatis Bahasa Sungailiat Kabupaten Bangka Ke Bahasa Indonesia,” J. Chem. Inf. Model., vol. 53, no. 9, pp. 1689–1699, 2013.

F. A. Mufarroha, F. Utaminingrum, and W. F. Mahmudy, “Segmentation algorithm to determine group for hand gesture recognition,” J. Telecommun. Electron. Comput. Eng., vol. 9, no. 2–8, pp. 13–17, 2017.

F. T. Timbane, S. Du, and R. Aylward, “Hand Gesture Recognition Based on the Fusion of Visual and Touch Sensing Data BT - Advances in Visual Computing,” 2020, pp. 483–493.

F. A. Mufarroha, D. R. Anamisa, and A. G. Hapsani, “Content Based Image Retrieval Using Two Color Feature Extraction,” J. Phys. Conf. Ser., vol. 1569, p. 32072, 2020, doi: 10.1088/1742-6596/1569/3/032072.

S. Sawant and M. Deshpande, “English Text to Speech Synthesizer Using Concatenation Technique,” in (eds) Advances in Computing and Data Sciences. ICACDS 2018. Communications in Computer and Information Science, vol 905, 2018, pp. 471–480, doi: 10.1007/978-981-13-1810-8.

A. Jacob and P. Mythili, “Developing a Child Friendly Text-to-Speech System,” Adv. Human-Computer Interact., vol. 2008, pp. 1–6, 2008, doi: 10.1155/2008/597971.

R. S. S. Kumari and S. Sangeetha, “Conversion of English Text- To- Speech ( TTS ) using Indian Speech Signal 2 Proposed System,” Math. Comput. Methods Electr. Eng., vol. 4, pp. 75–79, 2015.




DOI: https://doi.org/10.21107/simantec.v9i2.10745

Refbacks

  • There are currently no refbacks.


Copyright (c) 2021 fifin Ayu Mufarroha

Indexed By