ピアノの演奏時に、次に弾くべき鍵盤の位置、使用する指などの情報を複合現実で可視化したシステムである。
複合現実を用いたタイピング学習を支援するシステム。
次に押すべきキー、使用する指などの情報を現実のキーボードや指の上に表示することができる。
複合現実(MR)を実現する透過型ヘッドマウントディスプレイでは、コンピュータグラフィックスで作成した物体を現実空間に重ね合わせて表示することができます。宮尾研究室では、このような装置を使った学習支援システムの構築を中心に研究を行っています。例えば、楽器演奏のお手本を演奏中の手元に表示してくれたり、パソコンキーボードのタイピング練習をするためにキーの位置を教えてくれたりするシステムです。また、他にも仮想現実(VR)、拡張現実(AR)を使った研究も行っています。宮尾研究室は丸山研究室と合同で研究活動を行っていますので、そちらもご覧ください。
メタバースをはじめとして、VR、AR、MRの技術は、今後、社会の様々な場面で利用されていくでしょう。同研究室の技術を使えば、必要な情報を適切な場所に即座に表示することができるようになります。これにより、身体動作を伴う技能を独学で習得できるようになり、さらに先生が遠隔で生徒に手取り足取りで教えることもできるようになります。
ほぼ8割の学生が大学院に進学し、残りの学生が就職しています。就職先はソフトウェア開発関連、電機メーカー、ゲーム関連会社など多岐にわたります。同研究室で学んだ問題解決能力は、どの会社に行っても活かすことができます。