Розпізнавання дактильної абетки з використанням штучного інтелекту

Abstract

Резюме. Доступність засобів комунікації для людей з порушеннями слуху є важливим складником соціальної та інформаційної безпеки: в умовах критичних або адміністративних ситуацій оперативна взаємодія зменшує ризики помилок і затримок у прийнятті рішень. Розвиток цифрових рішень для розпізнавання української дактильної абетки (USL) створює можливість для побудови прикладних систем перекладу та навчальних інструментів, орієнтованих на локальний контекст. Існуючі міжнародні датасети (зокрема ASL-орієнтовані) можуть бути використані для попереднього навчання моделей з подальшою адаптацією до мовних особливостей USL, що визначає завдання розробки ефективних інтерфейсів для інклюзивної комунікації. Мета Метою роботи є дослідження розробки інтерфейсу, що розпізнає українську дактильну абетку з фото або відео вхідних даних із показаними жестами руки, та забезпечує текстовий вивід і режим навчання для користувача. Практичний фокус – створити pipeline, який дозволяє отримати прийнятну точність у реальному часі на доступному обладнанні. План збору даних У відкритому доступі є обмежена кількість наборів даних з українською дактильною абеткою, натомість доступні великі набори з американськими чи міжнародними зразками, які можна використати для попереднього тренування моделі. Використання цих ресурсів – часткове рішення. Із ASL(American Sign Language) в українській абетці співпадають шість літер, що доцільно використати для початкового навчання власної моделі. Решту букв необхідно отримати шляхом збору власних зразків. Для забезпечення вищої якості та репрезентативності необхідно забезпечити варіативність даних – зокрема, узяти зразки рук різних розмірів, форм, у різних умовах освітлення. Щоб отримати більший обсяг корисних даних, можна застосувати на вже зібраних зразках техніки аугменації: перетворити існуючі кадри, обертаючи, обрізаючи, масштабуючи їх, збільшуючи чи зменшуючи контрастність, яскравість, додаючи шум тощо [2].