Integrando a dança e a música em uma arquitetura de deep learning
Date
2022-07-12Author
Lima, Maria Carolina Webber do Prado
Orientador
Webber, Carine Geltrudes
Metadata
Show full item recordAbstract
A dança e a música são expressões artísticas correlacionadas. O uso de métodos de Machine Learning (ML) e Deep
Learning (DL) em aplicações nestas áreas está em crescimento graças a criatividade dos artistas e designers. As áreas de ML e
DL compreendem um conjunto de métodos computacionais que possibilitam a construção de modelos por meio do aprendizado de máquina. Este trabalho de pesquisa teve como objetivo propor, construir e avaliar modelos obtidos a partir de processos de
aprendizado de máquina para uma tarefa de classificação a partir de vídeos de danças e geração de trechos de música.
Para a elaboração deste projeto, iniciou-se com um processo de revisão sistemática [1], o qual considerou para análise um
corpus composto por 15 artigos. Por meio do aprofundamento dos trabalhos buscou-se identificar quais técnicas de ML e DL foram aplicadas, quais os datasets utilizados, bem como reconhecer as métricas de avaliação empregadas. A partir dos dados obtidos concebeu-se uma arquitetura composta por redes convolucionais e recorrentes, que de forma complementar promoveram o processamento desejado. Como dados para validação e teste do modelo construiu-se três datasets de vídeos, representando danças nos estilos samba e forró. Durante a fase de testes projetou-se cinco modelos de DL, variando-se também o dataset utilizado. A saída final do sistema compreendeu a geração de trechos de música em formato Musical Instrument Digital Interface (MIDI). Como resultados, após extenso protocolo de testes, obteve-se valores de acurácia elevados em uma das configurações, registrando-se a classificação correta dos vídeos e produzindo trechos de música similares aos estilos esperados. Os resultados finais, em termos de métricas usadas em sistemas de DL, são detalhados no artigo. [resumo fornecido pelo autor]