Инженеры из компании Sony создали прототип системы, позволяющей преподавателям и опытным музыкантам напрямую передавать движения пальцев во время игры на фортепиано ученикам. Ролик с описанием разработки опубликован на YouTube-канале Sony.

Отметим, что при обучении игре на большинстве музыкальных инструментов ученики могут воспроизвести технику исполнения их учителя опираясь лишь на свое зрение, слух и общее понимание принципов игры на инструменте. Кроме того, при исполнении музыканты, как правило, не могут в полной мере контролировать и запоминать каждый аспект движений собственных пальцев, из-за чего анализировать ошибки и корректировать стиль после игры самостоятельно для них не представляется возможным.

Японские инженеры из исследовательского подразделения Sony разработали систему, позволяющую в точности записывать движения пальцев пианиста, а также напрямую переносить эти движения между учеником и учителем. Решение состоит из модифицированного фортепиано, перчатки для записи игры и перчатки-экзоскелета для воспроизведения записанных партий.

В фортепиано под рядом клавиш инженеры установили оптические датчики, способные измерять силу и скорость нажатия. В качестве кистевого экзоскелета авторы взяли готовое устройство от компании exiii, способное сгибать каждый палец на нужный угол. Пианист-учитель при этом надевает более легкую и простую в плане конструкции перчатку, которая только измеряет углы сгиба пальцев.

Собираемые при помощи перчатки учителя и оптических датчиков данные отправляются в компьютер, который занимается их обработкой и повторяет в экзоскелетной перчатке ученика. Авторы показали, что система может работать в реальном времени, перенося движения пальцев между двумя людьми. Помимо этого, она способна воспроизводить записанные последовательности, а также визуализировать их на мониторе, что позволяет музыканту видеть и ощущать движения собственных пальцев после игры и самостоятельно анализировать их.

Любопытно, что у разработки есть еще несколько возможных сценариев применения. По словам японских инженеров, их решение потенциально позволяет в точности записывать стиль игры великих музыкантов современности для следующих поколений, а кроме того, с его помощью специалисты смогут эффективнее исследовать проявления так называемой музыкальной дистонии, от которой страдает примерно 1% музыкантов и которая выражается в постепенном ухудшении мелкой моторики пальцев рук.