KURUM: Atılım Üniversitesi
BAŞVURU SAHİPLERİ: Ecem Balkaya, Seden Gülay Oral, Eylül Uçan ve Gizem Turan
URL: https://www.youtube.com/watch?v=8oYItclPloU
ÖZET: Bu çalışma, video sınıflandırmasında MediaPipe kitaplığı kullanılarak model oluşturulması üzerinde araştırma yapmaktadır. Çalışmanın temel amacı, işitme engelli bireylerin sadece işaret dili bilenlerle değil, herkesle iletişim kurmasını kolaylaştırmaktır. Bunu yaparken sadece Türkiye’de değil işitme engelli bireylerin yurt dışında da karşılaştıkları sorunlar göz önünde bulundurularak İngilizce dil seçeneği ile de model oluşturma ve eğitim aşamaları gerçekleştirildi. Çalışmaya eklenen gerçek zamanlı çeviri özelliği ile bireylerin anlık iletişim kurması sağlanmıştır. Bu sayede işitme engelli bireylerin yaşadığı iletişim sorunları büyük ölçüde azalabilecektir.
Çalışmada mevcut veri setlerinin yetersiz olması nedeniyle videolar ile veri setleri oluşturulmasına ve en çok tercih edilen programlama dili olan Python kullanılmasına karar verilmiştir. İlk olarak VGG16, OpenCV, Matplotlib, Pandas, Sequential, Numpy, Scikit-Learn, Keras ve Os kütüphaneleri kullanılarak model oluşturma ve eğitim aşamaları gerçekleştirilmiştir. VGG16 kullanılarak oluşturulan modelde başarı oranının düşük gelmesinden dolayı MediaPipe Kütüphanesi kullanılmasına karar verilmiştir. Modelin oluşum ve eğitim aşamalarında MediaPipe, OpenCV, Matplotlib, Numpy, Scikit-Learn, Pandas ve Os kütüphaneleri kullanıldı. Yüksek başarı oranının oluşmasından dolayı Türkçe oluşturulan modelin MediaPipe Kütüphanesi kullanılarak İngilizce olarak da oluşturulmasına karar verilmiştir. Bu sayede gerçek zamanlı Türk işaret dili tespiti iki dilde de gerçekleştirilmiştir. Uygulama, farklı diller ile kolaylıkla entegre olabilir ve işitme engelli bireylerin farklı ülkelerde karşılaştığı iletişim problemi azaltılabilir.
Uygulama şimdilik sadece Android işletim sistemine sahip cihazlarda çalışabilmektedir. Ama aynı zamanda proje iOS, masaüstü veya web tabanlı uygulamalara uyarlanabilecek düzeyde geliştirilmiştir.
AMAÇ: Projenin genel amacı, Türk işaret dilini kullanan işitme engelli bireylerin günlük sosyal yaşantılarının uluslararası ölçekte güçlendirilmesidir. Projenin özel amacı, işitme engelli bireylerin Türk işaret dili hareketlerini eş zamanlı olarak kamera sistemi ile algılayarak hareketlerin anlamlarının Türkçe ve yabancı dillerde metin olarak gösterilmesidir. Bu sayede işitme engelli bireylerin hem ülkemizde hem de diğer ülkelerde zorluk çekmeden ve karşısındaki kişinin işaret dili bilip bilmediğini düşünmeden iletişim kurmasını sağlamak amaçlanmaktadır. Projenin hedefi, geçmişte ülkemizde yapılmış olan masaüstü uygulamaları günlük hayatta kullanım kolaylığı sağlamadığı için mobil uygulama geliştirerek Türk işaret dili bilen işitme engelli bireylerin eş zamanlı olarak iletişim problemlerini en aza indirgemektir. Mobil uygulama Türk işaret dili ile yapılan hareketlerin Türkçe ve İngilizce dillerinde metne çevrilmesini sağlayacaktır. Yurt içinde ortaya çıkabilen iletişim problemlerinin yurt dışında daha fazla sorun yaratması sebebiyle ilerleyen zamanlarda mobil uygulamanın kapsamı daha da genişletilerek uygulamaya eklenen farklı dil özellikleriyle işitme engelli bireylerin yurt dışında da kendilerini ifade edebilmelerinin kolaylaştırılması sağlanacaktır.
KAPSAM: Projede, mobil işletim sistemi olarak Android işletim sisteminin kullanılması belirlenmiştir. Bunun sebebi, Android işletim sisteminin kullanımının diğer işletim sistemlerine oranla daha yaygın olmasıdır. 2020 yılının Eylül ayında Cumhuriyet gazetesinin web sitesinde yayınlanan bir habere göre, Google’a ait Android işletim sisteminin yüzde 87 ve Apple’a ait IOS işletim sisteminin yüzde 13 kullanım oranına sahip olduğu açıklandı. Bu oranlara göre Android tabanlı olarak oluşturulacak uygulamanın daha çok insana ulaşabileceği öngörülmüştür.
Projenin hedef kitlesi öncelikli olarak Türk işaret dili ile iletişim kuran bireyler ve bu bireylerle iletişim kuran diğer bireylerdir. Bu bağlamda geliştirilen mobil uygulama, Türk işaret dili bilen bir bireyin Android tabanlı bir cihaza ulaşabildiği her yerde kullanılabilir.