Optical music recognition with Transformers

Abstract

O Reconhecimento Óptico de Música (OMR) é um campo de pesquisa voltado para a análise de notações musicais em documentos ou superfícies digitais. Divide-se em duas abordagens: OMR offline, que trata da análise de partituras manuscritas digitalizadas, e OMR online, que envolve a análise da notação musical escrita em uma superfície digital. Embora essas tarefas tenham sido exploradas nos últimos anos, ambas as abordagens ainda oferecem desafios e oportunidades de pesquisa. Os resultados mais promissores até então foram por meio de redes neurais convolucionais para classificar símbolos musicais. No entanto, aproveitando o recente desenvolvimento de arquiteturas de autoatenção, este trabalho apresenta um método para reconhecimento de símbolos musicais em dados online e offline utilizando Transformers para classificação de imagens. Experimentos foram realizados para validar o método proposto em seis conjuntos de dados padrão disponíveis publicamente, a saber, Handwritten Online Music Symbols (HOMUS), conjunto Seoul National University (SNU) para Reconhecimento de Símbolos de Música Online, Capitan_Score_Uniform, apitan_Score_Nonuniform, Rebelo_real e Fornés. Três modelos de transformadores pré-treinados foram testados com os conjuntos de dados e seus desempenhos comparados: BEiT da equipe da Microsoft, ViT da equipe da Google e DEiT da equipe do Facebook. O método proposto alcança uma precisão de reconhecimento próxima das pesquias do estado da arte e, portanto, mostra-se uma abordagem promissora. Em geral, o método proposto apresentou resultados acima de 98%, sendo que o modelo utilizando a arquitetura DEiT apresentou o melhor desempenho na maioria dos casos. Por exemplo, o DEiT obteve 99,12% de pontuação F1, superando a pontuação F1 de 97,48% do método ensemble proposto por Paul [1] com dados do Homus.