Они разрабатывают программное обеспечение, позволяющее видеть в 3D фортепианные концерты, записанные в аудио

Investigadores de la Universidad de California en Davis (США. США) han desarrollado un algoritmo capaz de analizar una pista de audio con acordes de piano y generar, a partir de ella, unas conseguidas manos en 3D, como si éstas la tocaran. El sistema recibe órdenes para saber qué dedos usar y cuándo, si debe cruzar las manos o tocar varias notas al mismo tiempo. Todo ello en cualquier estilo musical. La técnica podría utilizarse para la enseñanza y adaptarse a otros instrumentos.

Aprender a tocar el piano va a ser ahora más fácil gracias al nuevo software desarrollado por investigadores de la Universidad de California (Ук) en Davis (нас.), diseñado para generar una animación en tres dimensiones en la que un personaje toca el piano mostrando la colocación idónea de los dedos y los movimientos de muñeca, según recoge la web Tendencias21.net. Lo novedoso del programa es que genera la animación automáticamente a partir de un archivo de audio. Se trata de todo un reto, teniendo en cuenta la dificultad que conlleva cualquier reproducción tocando el piano de forma correcta, por la limitación en la coordinación de movimientos de la mano derecha, los complejos cruces de dedos para dar en la nota correcta y conseguir acordes variados o, como apuntan los investigadores, “por el elevado grado de libertad de la mano y los dedos”.

El trabajo se ha dado a conocer recientemente con la publicación de un artículo aparecido en la revista Computer Animation and Virtual Worlds, bajo el título ‘Un sistema para animar piezas de piano por ordenador’.

Planificando el movimiento

El sistema recibe órdenes para saber qué dedos usar y cuándo, si debe cruzar las manos o tocar varias notas al mismo tiempo, y todo ello en cualquier estilo musical sin nada más que una pista de audio. Para que esto ocurra, los investigadores diseñaron un algoritmo que tiene en cuenta dónde están las notas en un piano y cómo funciona el cuerpo humano.

Al igual que el hombre ha evolucionado su técnica para tocar este instrumento a lo largo de la historia, buscando el uso de los dedos y las posiciones de las manos más fáciles de alcanzar, el sistema reproduce esta lógica. Типа того, График, основанный на методе планирования движения, используется для принятия решения о том, какие пальцы должны ударить по клавишам фортепиано для каждого аккорда. Как прогнозируется развитие музыки, Алгоритм также вычисляет положение неиспользуемых пальцев, Для обеспечения эффективного ввода предстоящих заметок.

Ключевым моментом является положение рук, включая сложные методы, такие как скрещивание пальцев и более продвинутые орнаменты, такие как арпеджио. Для уточнения этих позиций используется метод оптимизации., воспроизведение последовательности естественных и минимально энергичных поз. La transición de movimientos entre posturas se genera mediante una combinación de muestras reales de personas tocando el piano y de propiedades musicales, de forma que el sistema pueda adaptarse a diferentes estilos.

Los investigadores de la UC validaron su propuesta comparando directamente el toque real del piano con una simulación de una pieza musical completa en la que se pusieron a prueba diferentes habilidades. конкретно, se seleccionó la composición Childhood Memory de Mussorgsky para demostrar cómo se defendía el software en el cruce de dedos o con los arpegios.

El resultado es una técnica lo suficientemente realista como para aplicarse a la enseñanza. “En una clase de piano, dada cualquier pieza de música, los aprendices tienen dificultades para determinar la digitación más eficaz y para conseguir exactamente la forma en que se supone que debe realizarse. следовательно, un sistema capaz de generar una animación de alta calidad puede ser útil en la enseñanza”, plantean los investigadores. Типа того, los estudiantes de piano podrían utilizar una cámara para grabar su práctica y a continuación comprobar la actuación del programa con la misma pieza musical, para ver si sus manos habían seguido la mejor posición posible. Los autores también afirman que sería posible aplicar la animación a otros instrumentos, como violines y flautas.

Limitaciones

Тем не менее, Текущее программное обеспечение, похоже, не достигает своей цели по предоставлению «высококачественной фортепианной анимации», Ну, у него есть некоторые ограничения. Несколько комментариев в ответ на видео этой работы задаются вопросом, выглядят ли пальцы реальными или даже сравнивают их со свернутыми блинчиками., которые могут отвлечь зрителя, пытающегося сосредоточиться на системе как на инструменте обучения.

Вот почему, Исследователи попытаются усовершенствовать систему для генерации анимации с различными моделями рук, и в различных размерах, адаптироваться к потребностям каждого студента. В том же духе, Еще одно ограничение, которое они оценили, заключается в том, что, Хотя кажется, что пальцы расчесывают поверхность пианино, Недостаточно видно в черных клавишах, как будто их было недостаточно, punto que también deberán mejorar.

Pero sobre todo, seguirán trabajando para generar “el toque emocional del piano que refleja una comprensión personal de la pieza y del rendimiento del aprendiz”, así como la digitación automática de las dos manos. El método actual genera los dedos de cada mano por separado, lo que ocasiona problemas a la hora de interpretar una melodía de manera continua con las dos manos, por lo que tratarán de planificarlas simultáneamente.