Pengembangan Aplikasi Pembelajaran Bahasa Isyarat Indonesia (BISINDO) yang Interaktif Berbasis Deep Learning

Abstract

Abstract

Communication involving persons with hearing impairments and the wider Indonesian society continues to face various challenges, particularly due to the limited availability of accessible and interactive learning media for Indonesian Sign Language (BISINDO). This study focused on the development of an innovative and user-friendly Android-based BISINDO learning application designed as a supportive medium for beginner-level sign language learning. The developed application integrates real-time hand gesture recognition technology using a deep learning approach, employing a combination of MobileNetV2, MediaPipe Hands, and Convolutional Neural Networks (CNN). The application features three main components: sign language alphabet detection, a gesture dictionary presented in the form of visual animations, and an interactive quiz for learning evaluation. The application was developed following the Waterfall model, encompassing requirements analysis, design, implementation, testing, and deployment. Functional testing using Black-Box Testing method was conducted to ensure that all features operated according to specifications, while application usability was evaluated using the System Usability Scale (SUS) involving 32 respondents. The functional testing results indicate that all application features functioned properly and met the specified requirements. Meanwhile, the SUS evaluation yielded an average score of 74.8, which falls within the Good category, indicating that the application is well accepted by users. Thus, this application is intended to serve as an effective BISINDO learning medium and contribute to fostering more inclusive communication involving persons with hearing impairments and the wider community.

Abstrak

Komunikasi antara penyandang tunarungu dan masyarakat umum di Indonesia masih menghadapi beragam kendala, terutama berkaitan dengan terbatasnya media pembelajaran Bahasa Isyarat Indonesia (BISINDO) yang mudah diakses dan interaktif. Penelitian ini difokuskan pada pengembangan aplikasi pembelajaran BISINDO berbasis Android yang inovatif dan mudah digunakan sebagai media pendukung pembelajaran bahasa isyarat bagi pemula. Aplikasi yang dikembangkan mengintegrasikan teknologi pengenalan gerakan tangan secara real-time menggunakan pendekatan deep learning, dengan memanfaatkan kombinasi MobileNetV2, MediaPipe Hands, dan Convolutional Neural Network (CNN). Aplikasi ini dilengkapi dengan tiga fitur utama, yaitu deteksi abjad bahasa isyarat, kamus gerak dalam bentuk animasi visual, serta kuis interaktif sebagai sarana evaluasi pembelajaran. Pengembangan aplikasi dilakukan menggunakan model Waterfall yang meliputi analisis kebutuhan, desain, implementasi, pengujian, dan penerapan. Pengujian fungsionalitas sistem menggunakan metode Black-Box dilakukan untuk memastikan seluruh fitur berjalan sesuai spesifikasi, sementara tingkat kegunaan aplikasi dievaluasi menggunakan System Usability Scale (SUS) terhadap 32 responden. Hasil pengujian fungsionalitas mengindikasikan bahwa seluruh fitur aplikasi telah berfungsi secara baik dan dinyatakan memenuhi spesifikasi yang ditetapkan. Sementara itu, hasil evaluasi SUS memperoleh skor rata-rata sebesar 74,8 yang termasuk dalam kategori Good, menandakan bahwa aplikasi dapat diterima dengan baik oleh pengguna. Dengan demikian, aplikasi ini diharapkan dapat menjadi media pembelajaran BISINDO yang efektif serta mendukung terciptanya komunikasi yang lebih inklusif antara penyandang tunarungu dan masyarakat umum