Aerochord: um hiperinstrumento musical controlado por gestos
Carregando...
Data de Submissão
Data de Defesa
2026-07-01
Edição
Autores
Orientadores
Coorientadores
Editores
Título da Revista
ISSN da Revista
Título de Volume
Editor
Descrição
Este trabalho apresenta o desenvolvimento e a avaliação do Aerochord, um instrumento musical controlado por gestos das mãos, que utiliza uma câmera comum para transformar movimentos em sons digitais. O objetivo é tornar a expressão musical mais acessível, tanto para pessoas sem experiência com instrumentos quanto para pessoas com mobilidade reduzida. Inicialmente, foi realizada uma revisão da literatura sobre interação entre pessoas e computadores e tecnologias aplicadas à música, seguida de uma análise de soluções já existentes. Essa investigação mostrou que ainda há dificuldades em reunir acessibilidade, rapidez de resposta e qualidade de execução musical em um mesmo sistema. Com base nesses resultados, foram definidos os requisitos do Aerochord, incluindo reconhecimento dos movimentos das mãos em tempo real, associação entre gestos e sons e comunicação com softwares musicais por meio do padrão MIDI 2.0, mantendo compatibilidade com versões anteriores quando necessário. O sistema foi desenvolvido em C++ utilizando o \textit{framework} JUCE, com uma estrutura projetada para reduzir atrasos e garantir que os sons acompanhem os movimentos do usuário de forma natural. Os testes realizados demonstraram tempo de resposta inferior ao limite perceptível pela maioria das pessoas, baixo consumo de recursos computacionais e facilidade de uso, mesmo para participantes sem formação musical. Os resultados confirmam a viabilidade técnica e prática da proposta e apontam possibilidades de evolução, como suporte a execuções mais complexas, adaptação automática aos gestos dos usuários e integração com ambientes imersivos. Espera-se que o Aerochord contribua para as áreas de interação humano-computador e tecnologia musical ao oferecer um instrumento acessível, responsivo e expressivo. [resumo fornecido pelo autor]
Resumo
This work presents the development and evaluation of Aerochord, a hand-gesture-controlled musical instrument that uses a standard camera to transform movements into digital sounds. The goal is to make musical expression more accessible, both for people without experience with instruments and for people with reduced mobility. Initially, a literature review on human-computer interaction and technologies applied to music was conducted, followed by an analysis of existing solutions. This investigation showed that there are still difficulties in combining accessibility, response speed, and musical performance quality in a single system. Based on these results, the requirements for Aerochord were defined, including real-time hand movement recognition, gesture-to-sound mapping, and communication with musical software using the MIDI 2.0 standard, maintaining compatibility with legacy versions when necessary. The system was developed in C++ using the JUCE framework, with a structure designed to reduce delays and ensure that sounds naturally follow the user's movements. The tests performed demonstrated a response time below the perceptible limit for most people, low consumption of computational resources, and ease of use, even for participants without musical training. The results confirm the technical and practical feasibility of the proposal and point out possibilities for evolution, such as support for more complex performances, automatic adaptation to user gestures, and integration with immersive environments. It is expected that Aerochord will contribute to the fields of human-computer interaction and music technology by offering an accessible, responsive, and expressive instrument. [resumo fornecido pelo autor]