Implementasi Gesture Recognition Dengan Metode Fingertip Tracking Pada Aplikasi Simulasi Controling Dance Touch Berbasis Desktop

Penelitian mengenai adanya interaksi manusia dan komputer saat ini masih menggunakan kontroler fisik berupa mouse, keyboard, dan joystick telah banyak digunakan pada saat memainkan game. Namun terdapat kekurangan saat menggunakan kontroller fisik saat memainkan game sejenis game ritme yaitu pengguna cepat merasakan bosan dan membuat pemain menjadi tidak aktif serta terkesan monoton. Dengan kekurangan yang telah disebutkan maka didapatkan bahwa interaksi dengan kontroller fisik yang digunakan untuk bermain game sejenis game dance touch hanya membuat pengguna menjadi cepat bosan dan tidak aktif serta terkesan monoton. Melalui proyek akhir ini memberikan suatu alternatif substitusi dimana untuk memainkan game dengan menggunakan sistem gesture recognition yang dapat dimanfaatkan. Dengan menggunakan metode fingertip tracking yang dapat mendeteksi jari tangan menggunakan metode haarcascade pada library OpenCV dan pelacakan pergerakan jari tangan dengan metode kalman filter. Pendeteksian dan pelacakan ditangkap menggunakan sebuah sensor kamera yaitu webcam. Untuk menunjukan hasil dari peneltian ini dilakukan pengujian dengan membuat suatu sistem yang dapat mengenal bentuk dan simbol jari tangan sebagai alat untuk memainkan game sedangkan menggerakan kursor di dalam game mengunakan sistem pelacak jari tangan. Hasil dari pengujian yang dilakukan dalam pembangunan sistem dapat bekerja dengan baik yaitu sistem dapat mendeteksi dan melacak pergerakan jari tangan pengguna sehingga game dapat dimainkan oleh pengguna.

Research on the existence of human and computer interaction currently still using a physical controller in the form of mouse, keyboard, and joystick has been widely used when playing the game. But there are disadvantages when using a physical controller when playing games such as rhythm game users quickly feel bored and make players become inactive and impress monotonous. With the mentioned deficiencies it is found that the interaction with the physical controller used to play games such as dance touch games only makes the user becomes quickly bored and inactive and impressed monotonous. Through this final project provides an alternative substitution where to play games using gesture recognition system that can be utilized. Using a fingertip tracking method that can detect fingers using the haar-cascade method in the OpenCV library and tracking finger movements using the Kalman filter method. Detection and tracing are captured using a camera sensor is a webcam. To show the results of this research conducted testing by making a system that can recognize the shape and symbols of the fingers as a tool to play the game while moving the cursor in the game using a finger tracing system. The results of the tests performed in the construction of the system can work well that the system can detect and track the movement of the user's fingers so that the game can be played by the user.