Rancang Bangun Sistem Pengenalan Gerakan Bibir pada Kata Dasar Bahasa Indonesia Berbasis LSTM

MAHARDINI, FRISKA ADISTI (2026) Rancang Bangun Sistem Pengenalan Gerakan Bibir pada Kata Dasar Bahasa Indonesia Berbasis LSTM. [Tugas Akhir/Skripsi] (Unpublished)

	Text ABSTRAK.pdf Download (1MB)
	Text BAB 1.pdf Restricted to Repository staff only Download (717kB) | Request a copy
	Text BAB 2.pdf Restricted to Repository staff only Download (1MB) | Request a copy
	Text BAB 3.pdf Restricted to Repository staff only Download (3MB) | Request a copy
	Text BAB 4.pdf Restricted to Repository staff only Download (4MB) | Request a copy
	Text BAB 5.pdf Restricted to Repository staff only Download (707kB) | Request a copy
	Text DAFTAR PUSTAKA.pdf Restricted to Repository staff only Download (596kB) | Request a copy
	Text LAMPIRAN.pdf Restricted to Repository staff only Download (1MB) | Request a copy
	Text LAPORAN CEK PLAGIASI 1.pdf Restricted to Repository staff only Download (66kB) | Request a copy
	Text LAPORAN CEK PLAGIASI 2.pdf Restricted to Repository staff only Download (8MB) | Request a copy
	Text ARTIKEL.pdf Restricted to Repository staff only Download (1MB) | Request a copy

Abstract

Komunikasi verbal merupakan aspek fundamental dalam interaksi manusia, namun efektivitasnya kerap terhambat oleh gangguan lingkungan seperti kebisingan atau keterbatasan fisiologis seperti gangguan pendengaran. Sebagai solusi alternatif, teknologi Visual Speech Recognition (VSR) atau lip reading dikembangkan untuk mengenali gerakan bibir tanpa bergantung pada sinyal audio. Meskipun teknologi VSR telah berkembang, penelitian VSR untuk Bahasa Indonesia masih terbatas karena ketersediaan dataset dan pengembangan model yang belum banyak dilakukan. Oleh karena itu, penelitian ini bertujuan untuk mengembangkan model pengenalan gerakan bibir pada kata dasar Bahasa Indonesia serta mengimplementasikannya ke dalam sistem berbasis web sebagai media pengujian model. Penelitian ini menggunakan dataset yang terdiri atas 898 video dari 12 kelas kata. Metode yang digunakan adalah pendekatan deep learning dengan Long Short-Term Memory (LSTM) yang dikombinasikan dengan Convolutional Neural Network (CNN). CNN digunakan untuk mengekstraksi fitur spasial dari urutan frame area mulut, sedangkan LSTM digunakan untuk mempelajari pola temporal perubahan bentuk bibir selama proses pengucapan kata. Model yang telah dilatih kemudian diimplementasikan ke dalam sistem berbasis web dan diuji menggunakan 12 video uji serta rekaman langsung melalui webcam. Hasil penelitian menunjukkan bahwa model terbaik diperoleh pada epoch ke-51 dengan akurasi sebesar 92,22% pada data validasi, dengan macro average precision sebesar 0,93, recall sebesar 0,92, dan F1-score sebesar 0,92. Pada pengujian sistem, penggunaan video uji menghasilkan prediksi yang sesuai pada seluruh kelas kata, Sedangkan pengujian melalui webcam dengan maksimal tiga kali percobaan pada setiap kata menunjukkan bahwa kestabilan prediksi masih dipengaruhi oleh kualitas rekaman, pencahayaan, posisi wajah, kejelasan gerakan bibir, jarak terhadap kamera, waktu mulai dan berhenti perekaman, serta kemiripan visem pada bunyi huruf /m/, /b/, dan /p/.

Item Type:	Tugas Akhir/Skripsi
Uncontrolled Keywords:	Visual Speech Recognition, Lip reading, LSTM, CNN, Bahasa Indonesia.
Subjects:	Q Science > QA Mathematics > QA75 Electronic computers. Computer science
Divisions:	Faculty of Engineering > Computer Science or Informatics Study Program
Depositing User:	12 FRISKA ADISTI MAHARDINI UWKS
Date Deposited:	22 Sep 2026 01:56
Last Modified:	22 Sep 2026 01:56
URI:	http://erepository.uwks.ac.id/id/eprint/23700

Actions (login required)

View Item

Downloads