O objetivo do projeto Braillingo é conseguir traduzir textos em Braille para o alfabeto convencional a partir de imagens digitais, permitindo a disseminação do conhecimento científico produzido por parte de deficientes visuais. Para conseguir realizar esse processo de tradução, o projeto Braillingo é dividido em 4 etapas fundamentais:
- Pré-processamento em imagens digitais;
- Detecção de caracteres em Braille;
- Classificação dos caracteres detectados;
Um dos grandes desafios de um projeto que visa classificar algo por imagens é o pré-processamento. Pensando nisso, exploramos técnicas de processamento de imagens digitais para transformar imagens comuns com escritas em Braille em imagens úteis para extração dos caracteres (separação de ruído e caracteres da imagem).
Para conseguir detectar os caracteres em Braille nas imagens digitais, diversas abordagens estatísticas e matemáticas foram consideradas, das quais podemos citar:
- Calcular o histograma de projeção horizontal da imagem;
- Determinar os delimitadores horizontais de cada linha de pontos;
- Determinar os delimitadores das linhas de caracteres;
- Obter sub imagens de cada linha de caracteres;
- Calcular o histograma de projeção vertical de cada sub imagem;
- Determinar os delimitadores verticais de cada coluna de pontos;
- Determinar os delimitadores de cada caractere;
- Obter sub imagens de cada caractere e organizar por palavras;
Tendo os caracteres detectados e separados em sub imagens, também os agrupando em palavras, é utilizado uma rede neural convolucional para classificar cada um dos caracteres obtidos. A rede foi treinada com uma série de imagens significativas, que correspondem ao alfabeto brasileiro convencional.
Para saber de mais detalhes da implementação, acesse nossa apresentação feita na disciplina de Introdução ao Processamento de Imagens Digitais e Visão Computacional.
Atualmente, o nosso projeto ainda se encontra em desenvolvimento. Com o tempo, pretendemos expandir os códigos desenvolvidos para lidar com uma quantidade maior de imagens reais. Além disso, há a intenção de montar um aplicativo mobile e desktop do projeto Braillingo.
- Orientadores:
- Luciana Veloso
- Leo Araújo
- Desenvolvedores:
- Alysson Machado
- Francinildo Figueiredo
- Iury Chagas