Reconhecimento de indivíduos multimodal (face e voz): análise comparativa entre uma abordagem de aprendizado de máquina clássica e uma proposta utilizando rede neural profunda
Carregando...
Data
Autores
Orientador(es)
Coorientador(es)
Costa Filho, Cícero Ferreira Fernandes
Membros da banca
Pereira, José Raimundo Gomes
Oliveira, Jozias Parente de
Oliveira, Jozias Parente de
Pós-Graduação
Título da Revista
ISSN da Revista
Título de Volume
Editor
Universidade Federal do Amazonas
Tipo
Direito de acesso
DOI
Resumo
Os seres humanos utilizam características do corpo como rosto, voz e olhos em conjunto com outras informações contextuais para se reconhecerem. O reconhecimento biométrico busca identificar um indivíduo utilizando características comportamentais, físicas ou psicológicas. Esse trabalho apresenta uma análise comparativa entre uma abordagem de aprendizado de máquina clássica e uma proposta utilizando rede neural profunda na atividade de reconhecimento de indivíduo. Utilizaram-se dois modos biométricos: face e voz. Estes dados foram obtidos da base de dados bimodal MOBIO (MCCOOL et al, 2012). Utilizaram-se 50 indivíduos, sendo 37 homens e 13 mulheres. Aplicou-se um pré-processamento nas imagens, extraindo a face, padronizando em 64x80 e convertendo para monocromática. Foi utilizado um autoencoder para obter uma representação reduzida dos dados da face. Para voz, optou-se por um detector de atividade para classificar trechos de áudios com ou sem voz. Extraíram-se coeficientes Mel-Cepstrais e seus coeficientes derivados, compondo 39 coeficientes. Foram desenvolvidos modelos unimodais e multimodais de identificação biométrica, totalizando 6 arquiteturas. O modelo multimodal com técnicas de aprendizagem de máquina possui uma etapa fusão à nível de pontuação e aprendizado por quantização vetorial (LVQ). O modelo multimodal com técnicas de aprendizado profundo de máquina possui uma fusão a nível de característica e uma rede neural convolucional (CNN). Testaram-se as arquiteturas propostas em diversos cenários de clusters, quantidade de frames de áudio, dimensão da camada de codificação, quantidade de coeficientes MFCCs, regularização e otimizadores. Avaliaram-se os sistemas através da área sobre a curva ROC (AUC-ROC), taxa de verdadeiros positivos e taxa de falsos positivos e o limiar do melhor ponto de operação. Além disso, mediu-se o tempo de treinamento e testes das redes elaboradas. Os resultados mostram que para a proposta multimodal com LVQ foi obtido AUC-ROC de 0,98 e a proposta multimodal com CNN teve um valor de AUC-ROC de 0,99. Os resultados apontaram que a utilização de aprendizagem profunda produz melhores desempenhos, além de treinamentos mais otimizados. Assim, as arquiteturas propostas neste trabalho podem constituir um bom ponto de partida para implementação de um sistema robusto de identificação automática de indivíduos.
Abstract
Humans use body features such as face, voice and eyes in conjunction with other contextual information to recognize themselves. Biometric recognition seeks to identify an individual using behavioral, physical or psychological characteristics. This work presents a comparative analysis between a classical machine learning approach and a proposal using a deep neural network in the individual recognition activity. Two biometric modes were used: face and voice. These data were obtained from the MOBIO bimodal database (MCCOOL et al, 2012). Fifty individuals were used, 37 men and 13 women. A pre-processing was applied to the images, extracting the face, standardizing it in 64x80 and converting it to monochrome. An autoencoder was used to obtain a reduced face data representation. For voice, an activity detector was chosen to classify audio excerpts with or without voice. Mel Cepstral coefficients and their derived coefficients were extracted, composing 39 coefficients. Unimodal and multimodal models of biometric identification were developed, totaling 6 architectures. The multimodal model with machine learning techniques has a fusion step at the scoring level and Learning Vector Quantization (LVQ). The multimodal model with deep machine learning techniques has a feature level fusion and a Convolutional Neural Network (CNN). The proposed architectures were tested in different cluster scenarios, audio frames number, encoding layer dimension, MFCCs coefficients number, regularization and optimizers. The systems were evaluated through the area under the ROC curve (AUC-ROC), True Acceptance Rate (TAR) and False Acceptance Rate (FAR) and best operating point threshold. In addition, the training and testing time of networks was measured. The results show that for the multimodal proposal with LVQ, an AUC-ROC of 0.98 was obtained and the multimodal proposal with CNN reached an AUC-ROC value of 0.99. The results showed that deep learning produces better performances, in addition to more optimized training. Thus, the architectures proposed in this work can constitute a good starting point for implementing a robust system for automatic identification of individuals.
Descrição
Termo controlado
Aprendizado do computador; Biometria - Programas de computador; Identificação biométrica
Objetivos de Desenvolvimento Sustentável (ODS)
Citação
NEGREIRO, João Victor Campos de. Reconhecimento de indivíduos multimodal (face e voz): análise comparativa entre uma abordagem de aprendizado de máquina clássica e uma proposta utilizando rede neural profunda. 2022. 103 f. Dissertação (Mestrado em Engenharia Elétrica) - Universidade Federal do Amazonas, Manaus (AM), 2022.
Coleções
Avaliação
Revisão
Suplementado Por
Referenciado Por
Licença Creative Commons
Exceto quando indicado de outra forma, a licença deste item é descrita como Acesso Aberto