Motion Laboratory

身体障がい者の中には，コントローラでのボタン入力がしにくく，VRなどのゲームを楽しめない人が存在する．そこで本研究では身体障がい者でも操作しやすい新たな入力システムの提案を目的として，ジョイスティック型の入力システムを開発した．既存のVRコントローラと電動車いすのジョイスティックをジョイントで繋いだものを入力デバイスとし，ユーザはデバイスを傾けるだけでボタン押下に対応する操作をすることができる．本システムを用いてジャンプや砲撃を駆使して障害物を回避するゲームを制作した．入力デバイスの回転角度が前後左右4方向のどの姿勢にあたるかを判別し，そこに4つのボタン入力ABYXを割り当てる．この4つの入力を用いて，VRを想定したコンテンツを操作する．回転角度は既存のVRコントローラから1フレーム毎に取得される．本システムの提案により，身体障がい者でも楽しめるコンテンツの幅が，VRに関わらず広がる可能性がある．さらに健常者でも電動車いすに乗れば本システムを使用できるため，身体障がい者と健常者が同じように楽しめるコンテンツが，本システムを用いることで実現可能になる．

本研究では，蓄積されたモーションデータの再利用と舞踊の手の動作を簡易的に表現することを目的とし，LeapMotionを用いて取得した手指姿勢を判別して人体モーションデータにリアルタイム合成するシステムの開発を試みた．手指姿勢は，人指し指，中指の先端から手のひらの中心までの距離と，人指し指から小指の4本の指の第2関節の回転角度の総和を特徴量として，琉球舞踊でよく用いられる4種類のいずれかの姿勢に判別する．琉球舞踊の人体モーションデータを再生しながらLeapMotionを用いて手指のジェスチャを入力することで，判別結果の情報をもとに出力された手指姿勢が人体動作に合成される．手指姿勢と人体動作の合成について，12名に合成前と合成結果の映像の比較とアンケート評価を行った．その結果，約8割の回答者から「手指動作は踊りに加わるだけで印象がかなり変わる」「手指の動作が加わったことで個性豊かな感じの印象が増した」など評価を得たことから，人体動作に手指姿勢を合成することの重要性を確認し，モーションデータの再利用に適していることを確認した．また「指先まで動くことにより，動きの繊細さがより感じられた」「全体的により舞踊感のある動きになっていると感じた」などの評価を得たことから，舞踊の手の動作を簡易的に表現するという目的は達成された． 　

よさこい演舞の制作時において，新たに創る演舞のイメージを視覚化させることは困難である．そこで本研究では，よさこい演舞全体を簡易的に視覚化することを目的とし，演舞を構成する衣装，振付，隊形，大道具の4つの要素を一つに統合した演舞シミュレーションシステムを開発した．本システムでは，演舞の構成要素を選択するだけで簡単に3DCGによるよさこい演舞全体のシミュレーションを行うことができる．ユーザは模様やイラストの画像入力のみで3Dテクスチャとして衣装と大道具に反映させることができ，演舞テーマを視覚的に表現できるようにした．振付と隊形に関してはよさこいで一般的に使用頻度の高いものを用意した．また，振付にはモーションキャプチャで取得したデータを使用しており，衣装の袖部分には物理演算を用いて振付による袖のなびきを再現した．本システムの有用性を評価するため，よさこい経験者9名による評価実験を行った．その結果，被験者9名中8名が演舞全体を簡単にシミュレーションできたと回答したことから，よさこい演舞を簡易的に視覚化することができ，演舞の制作支援に活用可能であるとわかった．

博物館における文化財の従来の展示手法では，実物を一見するだけではそのものに関する詳しい情報が得られにくい．本研究では，文化財の理解促進や興味喚起を目的とし，舎利容器に描かれた衣装や楽器を題材とするCG技術を用いた非接触型の仮想試着システムを開発した．本システムは，Azure Kinectを用いてユーザの動作を認識し，CGアバタの衣装の着せ替えを行う．ユーザは手を横に振るジェスチャによってCGアバタの仮面・上衣・ズボンの3カ所を変更する．正しい衣装の組合せが揃うと衣装に関する解説が表示される．さらにCGアバタに楽器や道具を持たせ，擬似的に演奏を体験しながら持ち方や大きさを確認することができる．手を横に振るなど，直感的なジェスチャを使用し，システムのリセット時に衣装をランダムな組合せに変更することで，ユーザが楽しみながら理解を深められるようにした．本システムを龍谷ミュージアムの展示イベントで運用し，51人の来館者を対象に評価実験を行った．アンケートの結果，8割以上が舞人の衣装や楽器・道具に関する理解を深めることができたと回答し，本システムの博物館の展示支援としての有用性を確認できた． 　　　　　　

• 小林京平, 曽我麻佐子, 舎利容器の展示支援を目的とした3D仮想試着システム, 映像情報メディア学会技術報告, vol.46, no.4, ME2022-11, pp.41-44 , 2022年2月

博物館における文化財の展示では，実物の模様や解説文を見ても詳しい内容まではわからない．そこで本研究では，舎利容器への理解促進，博物館での展示支援を目的として，舎利容器の実展示と連携したARコンテンツの制作と博物館での運用を行った．博物館において運用を行うためには，距離，鑑賞時間，照明条件の制約がある．展示配置を分けるといった展示方法の検討，直感的に操作を行える操作方法の実装，操作方法の統一，ARの認識に必要な画像を最適なものにするためにコントラストの強調加工を行った．ARコンテンツでは，舎利容器に描かれている天人，舞人をマーカとしてタブレットをかざすことで楽器，舞人の3DCGが重畳表示される．また，GUIによる操作によって，アニメーションと音声の再生，3DCGの拡大・縮小と回転操作を行うことができる．本研究で制作した舎利容器の実展示と連携したARコンテンツを龍谷ミュージアムで運用した．来館者によるアンケートの結果，9割以上がAR技術を用いた舎利容器の展示に効果的であると回答し，本研究で制作したARコンテンツの有用性を確認した．　　　　　

本研究では，ラグビーにおける正しいタックルフォームの学習を目的とし，モーションキャプチャを用いたCGコンテンツの制作を行った．光学式モーションキャプチャシステムにより4種類のラグビーのタックル動作を取得した．取得したモーションの必要箇所のキーフレーム加工により，理想的なタックルや撮影できない危険なタックルのCGアニメーションを制作した．また，取得したモーションデータから特徴量として，タックルの威力と腕を巻き付ける動作時の手首の速さを算出した．タックルの威力は本来モーションデータのみでは得られないため，運動方程式を用いて疑似的に算出した．加えてゲージ表示による特徴量の可視化を行い，タックル動作のCGアニメーションと同時視聴することにより，取得した動作の相違点の比較ができるようにした．本コンテンツの学習支援としての有用性を評価するため，ラグビー経験者8人による評価実験を行った．その結果，被験者の約8割から肯定的な回答が得られ，本コンテンツは正しいタックルフォームの学習支援として活用できることを確認した．　　　　　　

本研究は犬を飼うための責任感の付与や犬の行動に対する理解促進，トレーニング方法の指導を目的として，ユーザが継続的に犬のしつけ体験を行えるシステムを開発した．本システムは， Kinectを用いて実際の犬のしつけで使用される6種類のジェスチャを認識し，それに対応する3DCGの犬のアニメーションを表示することで犬とのリアルな時間を体験できる．ユーザが行うジェスチャには「普通」と「理想」の判定結果があり，犬のアニメーションが変化する．犬がしつけを覚えていく過程を再現するため，ユーザがシステムを継続的に利用した日数に応じてしつけの成功率を変化させる．本システムを合計12名の学生に実際に体験してもらい，2種類のアンケートに回答してもらった．結果，回答者の約9割の人がしつけを継続的に行うことによる犬のしつけの上達過程や重要性を理解できたと回答したため，本システムがユーザにとって犬のしつけに対する理解促進を行うことができると確認した．　　　　　

本研究の目的は，身体動作入力から筋解析データをリアルタイムに表示することである．そこで，身体動作入力とモデル化した筋解析データを用いて筋活動の可視化を行う．モーションキャプチャデータと筋解析データから膝の屈曲角度に対する筋活動量のグラフを作成した．作成したグラフから下半身の約70%の体積を占める16個の筋について、それぞれ4つのフェーズに分けて近似式を作成した． 可視化は下肢を構成している５つの部位の場所をCGの人体モデルのパーツで、筋活動量は色で表示した．右足に取り付けた2つのトラッカの姿勢から膝の屈曲角度を算出した．算出した値と近似モデルを用いて使用している筋と，その筋の活動量をリアルタイムにCGで提示した．試作したシステムを評価するため9名の学生に実際に体験してもらい, 評価実験を行った．その結果，約9割から可視化することで筋活動を認識できたという評価を得た． 　　　　　　

• 矢野太一, 曽我麻佐子, 身体動作入力と筋解析データを用いた筋活動可視化システムの試作, 映像情報メディア学会技術報告, vol.46, no.4, ME2022-12, pp.45-46 , 2022年2月