시각장애인을 위한 한국어 시각 정보 질의응답 연구

프로젝트 소개 : https://rahites.tistory.com/199

2023-2 산업 AI : 캡스톤 디자인
Team : 범이내려온다

주제

시각장애인을 위한 한국어 시각 정보 질의응답 연구 : 시각 정보와 한국어 언어모델을 활용하여

방법

1. 국내 시각장애인의 일상생활 향상에 도움이 될 수 있는 VQA(Visual Questionn Answering) 모델을 만들고자 함
2. 기존 공개된 모델과 데이터들을 리서치, 활용할 수 있는 모델과 데이터를 선정(방법론 및 데이터 적합성 검토)
3. 멀티모달 모델링을 통해 주어진 조건 하에서 기존 모델의 성능을 뛰어넘는지 확인

모델 구조