Sistem Pengenalan Gerak Bahasa Isyarat Dengan Colored Motion History Image dan Convolutional Neural Network

Haiqal Ramanizar Al Fajri, Jayanta Jayanta, Bambang Tri Wahyono

Abstract


Penelitian ini dilakukan untuk membuat sistem pengenalan bahasa isyarat untuk mengenali gerakan bahasa isyarat pada sistem BISINDO. Bahasa isyarat merupakan metode berkomunikasi bagi penyandang tunarungu memahami dan menyampaikan informasi yang diterima menggunakan gerak tubuh. Dalam penelitian ini, penulis menggunakan metode CNN untuk melakukan proses pengenalan gerak. Selain itu, dalam merepresentasikan gerakan dari video menjadi satu gambar penulis menggunakan metode Colored MHI. Metode Colored MHI melakukan pengubahan warna yang dilakukan oleh MHI yang menggunakan skala abuabu menjadi format warna RGB. Data didapatkan melalui pengambilan gambar video pada 15 subjek dengan 5 kelas gerakan dan menghasilkan total 450 data. Data video yang telah didapat dilakukan cropping, diekstraksi menjadi satu gambar dengan metode Colored MHI. Hasil pembuatan model CNN dengan data latih, diuji dengan data uji yang telah melalu tahap Colored MHI. Hasil penelitian ini menunjukkan metode CNN dan Colored MHI mendapat akurasi dan loss sebesar 0.8533 dan 0.4741.

Keywords


Convolutional Neural Network (CNN); Motion History Image (MHI); Bahasa Isyarat; BISINDO

References


N. Lakshita, “Belajar Bahasa Isyarat Untuk Anak Tunarungu (Menengah).” Javalitera, Yogyakarta, 2012.

D. Rahmawati, Panduan Bahasa Isyarat untuk Pendamping Penyandang Tuli. Tangerang: Albasih Aksara CV, 2018.

M. R. V. Aditya, N. L. Husni, D. A. Pratama, dan A. S. Handayani, “Penerapan Sistem Pengolahan Citra Digital Pendeteksi Warna pada Starbot,” J. Tek., vol. 14, no. 02, hal. 185–191, 2020.

W. Setiawan, Deep Learning menggunakan Convolutional Neural Network: Teori dan Aplikasi. Media Nusa Creative (MNC Publishing), 2021.

M. A. R. Ahad, Motion History Images for Action Recognition and Understanding. London: Springer London, 2013.

Q. Chun dan E. Zhang, “Human action recognition based on improved motion history image and deep convolutional neural networks,” Proc. - 2017 10th Int. Congr. Image Signal Process. Biomed. Eng. Informatics, CISP-BMEI 2017, vol. 2018-Janua, hal. 1–5, 2018, doi: 10.1109/CISP-BMEI.2017.8302061.

P. Yugopuspito, I. Made Murwantara, dan J. Sean, “Mobile sign language recognition for Bahasa Indonesia using convolutional neural network,” ACM Int. Conf. Proceeding Ser., hal. 84–91, 2018, doi: 10.1145/3282353.3282356.

O. M. Sincan dan H. Y. Keles, “Using Motion History Images with 3D Convolutional Networks in Isolated Sign Language Recognition,” hal. 1–14, 2021, [Daring]. Tersedia pada: http://arxiv.org/abs/2110.12396.

R. Z. Fadillah, A. Irawan, dan M. Susanty, “Data Augmentasi Untuk Mengatasi Keterbatasan Data Pada Model Penerjemah Bahasa Isyarat Indonesia ( BISINDO ),” vol. 8, no. 2, hal. 208–214, 2021.

P. Nagrath, R. Jain, A. Madan, R. Arora, P. Kataria, dan J. Hemanth, “SSDMNV2: A real time DNN-based face mask detection system using single shot multibox detector and MobileNetV2,” Sustain. Cities Soc., vol. 66, no. December 2020, hal. 102692, 2021, doi: 10.1016/j.scs.2020.102692.

V. Lakshmanan, M. Görner, dan R. Gillard, Practical Machine Learning for Computer Vision: End-to-End Machine Learning for Images. 2021.


Refbacks

  • There are currently no refbacks.


Copyright (c) 2023 Seminar Nasional Mahasiswa Bidang Ilmu Komputer dan Aplikasinya

Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.