Desenvolvimento de um reconhecedor óptico de símbolos musicais em partituras monofônicas ocidentais - Colle, Leandro Seben (My University, 2022)
Optical music recognition is the area of computing that studies ways to identify and interpret musical symbol images of a musical score. From the interpretation of these symbols, it is possible to extend the study into the field of analysis or application. There are projects that use optical music recognition to convert visual information from scores into MIDI format music files. On the other hand, there are applications that convert this information into a more structured format, such as MusicXML, allowing a broader analysis work, even for identification of composition patterns. This academic project aimed to develop an optical recognizer for western monophonic musical scores, focusing on a few known musical symbols, using image processing and classification techniques, encoding the final representation into MIDI format. For image preprocessing, the global and Otsu binarization methods, the Gaussian filter and morphological erosion and dilation operations were used. For the classification of the symbols, it was adopted a model trained through the convolutional neural network techniques in conjunction with a recurrent neural network, using the PRIMUS dataset. For prediction, in addition to the PRIMUS dataset, proprietary staves were used for further validation and classification tests. The own staves were generated using the Noteflight web system. The prototype returned the best results using the Otsu binarization in conjunction with the Gaussian filter with a 3x3 mask, and the most suitable rotation parameter for the alignment of the staves was 0.25 degrees. The total percentage of correctly classified symbols reached 97.43% for the selected images from the PRIMUS dataset and 77.38% for the generated own images. [resumo fornecido pelo autor]
O reconhecimento óptico de música é a área da computação que estuda formas de identificar e interpretar imagens de símbolos musicais em partituras. A partir da interpretação desses símbolos, é possível estender o estudo para o campo da análise ou da aplicação. Existem projetos que utilizam o reconhecimento óptico de música para transformar as informações visuais das partituras em arquivos musicais de formato MIDI. Por outro lado, existem aplicações que convertem essas informações em formatos mais estruturados, como o MusicXML, possibilitando um trabalho de análise mais amplo, até mesmo para identificação de padrões de composição. Este projeto acadêmico teve como objetivo desenvolver um reconhecedor óptico de partituras monofônicas ocidentais, utilizando técnicas de processamento e classificação de imagens, restringindo-se a alguns dos símbolos musicais existentes e codificando a representação final no formato MIDI. Para o pré-processamento da imagem foram utilizados os métodos de binarização global e de Otsu, o filtro Gaussiano e operações morfológicas de erosão e dilatação. Para a classificação dos símbolos foi adotado um modelo treinado através das técnicas de rede neural convolucional em conjunto com uma rede neural recorrente, utilizando o dataset PRIMUS. Para a predição, além do dataset PRIMUS, foram utilizadas pautas próprias para mais validações e testes de classificação. As pautas próprias foram geradas utilizando o sistema web Noteflight. O protótipo retornou melhores resultados utilizando a binarização de Otsu em conjunto com o filtro Gaussiano, com máscara de 3x3, e o parâmetro de rotação mais adequado para o alinhamento das pautas foi de 0,25 graus. O percentual total de símbolos classificados corretamente atingiu 97,43% para as imagens selecionadas do dataset PRIMUS e 77,38% para as imagens próprias geradas. [resumo fornecido pelo autor]
Keywords: Processamento de imagens - Técnicas digitais; Notação musical