ForDeaf

청각 장애인을 위한 보조기기 & 어플리케이션 & AI 개발

---

개발 목적

청각 장애인은 자동차 경적소리, 공사 소리 등 소리를 인지 하지 못한다
이는 불의의 사고 발생 시 큰 사고로 이어질 수 있고, 이를 방지하고자 청각 장애인을 위한 보조기기와
그에 필요한 어플리케이션, AI를 개발해 청각 장애인의 주변 상황 인식 능력을 향상시키고자 한다

---

동작 방식 설명

안드로이드 어플리케이션을 통한 소리 데이터 분석 -> AI 모델을 통한 위험 신호 분류 -> 결과에 따라 보조기기에 진동으로 피드백

---

개발에 사용된 데이터 셋

class ID:
0 - air_conditioner
1 - car_horn
2 - children_playing
3 - dog_bark
4 - drilling
5 - engine_idling
6 - gun_shot
7 - jackhammer
8 - siren
9 - street_music

여기서 1. car_horn, 8.siren 을 위험 신호로 구분하고 이를 구분하고자 한다.
클래스 ID 재정의:
0 - car_horn
1 - siren
2 - other

---

전처리 완료된 데이터 셋 설명

feature_df.pkl

모든 데이터 파일에 대해 최대 피크지점을 중심으로 앞, 뒤 0.5초 만큼 잘라내어 변환한 MFCC와 class label을 X,y로 가짐
X = MFCCS, y = class_label
(만약 앞, 뒤 길이가 짧아 모자라면 그만큼 앞, 뒤로 0.n초 만큼 추가하여 자름, 1.0초 이내의 파일일시 자를 수 있는 만큼만 자르고, zero-padding)

예시 1

예시 2

val_feature_df.pkl

각 폴더당 10%(약 80개)를 추출하여 위와 같은 전처리 과정을 거친 검증용 데이터
전처리++
Data Augmentation 기법을 적용하여 핵심 데이터의 수를 증가시킴

1. stretching
2. shifting
3. addnoise

---

어플리케이션 설명

감지 민감도 설정 기능

0.XXXX 의 정확도 이상이면 알림 -> 0.XXXX 를 setting창 이용하여 조절가능

---

하드웨어 설명

100원 짜리 동전보다 작은 크기인 블루투스 모듈을 이용하여 제품을 만듦
초기 세팅이 완료된 블루투스 모듈에 저항, 전선, 수은 건전지, 진동 모터 등을 연결하여 완성
완성된 제품을 손목밴드 등에 부착하여 사용함

---

모델의 정확도

검증 데이터를 이용하여 테스트 한 결과 약 90%의 정확도를 보임