Motion Laboratory

| About | News | Contents | Projects | Publications |
Mocap Mocap Mocap Mocap Mocap Mocap Mocap Mocap Mocap Mocap Mocap
高所VRコンテンツ体験における偽の心音が不安感に及ぼす効果の検証

近年,VR技術は高所恐怖症の治療における新たな手法として注目されている.本研究では,偽の心音を聞かせた場合に自身の心音だと感じるプラシーボ効果を活用して,高所恐怖症の治療において偽の心音が不安感に及ぼす効果を検証することを目的とした.本研究では,Unityを用いて制作した高所でのVR体験に加え,徐々に早くなる偽の心音を提示する実験を行った.被験者には,HMD(Head Mounted Display)を被り仮想空間内で高層ビルから突き出た板の端まで歩いて箱を取るタスクを行ってもらった.偽の心音提示の有無の2条件を,実験順番の違う2グループに分けてタスクを行ってもらい,被験者の不安状態がどのように変化するか,アンケートと脈拍測定により評価した.本コンテンツを6名に体験してもらった結果,心音あり条件の体験後は,心音なし条件よりも恐怖や不安感が上がったことが分かり,脈拍数の上昇が確認された.アンケート評価と脈拍測定評価の両方でプラシーボ効果による影響を限定的に確認した.

OpenPoseを用いたバスケットボールにおけるフリースローのシュートフォーム分析

バスケットボールにおいてフリースローはゲーム中に頻繁に発生する重要な得点機会である.本研究の目的は,競技経験者のフリースローのシュートフォームを分析し,成功時と失敗時の差異を明らかにすることである.本研究では,OpenPoseを用いてフリースロー動作の姿勢分析を行った.シュートの際に必ず曲がる関節の角度を特徴量とし,成功時と失敗時の角度を比較する.まず,競技経験5年以上の経験者2名のフリースロー動作を撮影し,撮影動画から構え時とリリース時の画像を各1フレーム手作業で抽出した.抽出した各画像についてOpenPoseを用いて関節点を取得し,ベクトルの内積の公式から関節の角度を算出した.成功時と失敗時における肩,肘,膝,足首の角度を比較した結果,下半身よりも上半身の角度の差が小さい方がシュートの成功率が高いことが分かった.また,上半身は肩よりも肘の角度の方が成功時と失敗時の差が大きいことが分かった.このことから肘の角度がシュートに最も影響を与えていると考えられる.

CGキャラクタの身体運動の理解支援を目的とした動きの抽象化と可視化

本研究では,ダンスの創作支援および人体動作を取り扱うクリエイター等のコンテンツ制作支援を目的とし,3DCGによる人体動作の抽象化手法および運動学的要素の可視化手法を提案した.本研究では運動学的要素である人体の重心位置と支持基底,および動きの流れを理解しやすくするためのスプラインによって抽象化した動作の特徴をリアルタイムに可視化した.重心位置は,姿勢の変化に対応するため各体節の重心位置と比率を基に合成重心を算出した.また,支持基底は,接地面の外周を覆う領域を求めるため,接地面を把握するためのマーカをCGキャラクタに配置し,マーカの座標から凸包走査アルゴリズムを用いて生成した.動きの特徴は,細部を省略して抽象的に表現するため,スプラインの制御点をCGキャラクタにおける任意関節に設定することで曲線を生成した.可視化手法の妥当性を検証するため,合成重心と支持基底について簡易手法との比較を行った.合成重心は立位姿勢での重心位置と比較し,支持基底は本手法と足の関節座標を基に算出する手法との比較を行った.比較の結果,重心と支持基底において提案手法が簡易手法より詳細に可視化できていることが示された.

  • 中内悠太, 曽我麻佐子, CGキャラクタの身体運動理解のための抽象化と可視化, インタラクション2024論文集, pp.499-500, 2024年3月
OpenPoseを用いたロングスロー動作の身体角度と投擲距離の分析

近年,サッカーにおいて新たな攻撃の手段としてロングスローを採用するチームが増えている.本研究は初心者のロングスロー習得の支援を目標とし,サッカーのロングスローの動画から投擲動作の比較を行い,遠くに投げる方法を明らかにする.初心者から経験者まで計5名のロングスロー動画を1人当たり5回撮影した.助走から投げ終わりまでのロングスロー動画からOpenPoseを用いて骨格座標を毎フレーム取得した.取得した骨格座標を基に,肘,肩,腰,膝の4か所の角度を算出し,被験者ごとの角度の違いを比較した.また,毎フレームの角度の推移をグラフ化し,角度の変化を被験者ごとに比較した.その結果,遠くに投げるためには,助走時のスピードを投球時まで減速しないように意識して,腕を大きく振り上げ,肘を深くまで曲げてから素早く投げることが重要であることがわかった.       

VRコントローラを用いたダンス動作作成のための時空間パラメータ編集インタフェース

本研究では,ダンスの動作作成を支援することを目的として,HMDとコントローラで入力された動きを,パターンをもとに変換し,全身の動きを作成するシステムの開発を行っている.作成できるダンス動作のバリエーションを増大させるために,パターンを構成する時空間パラメータを編集するインタフェースを提案した.VRコントローラを用いてダンス動作作成のための時空間パラメータを仮想空間内で編集することで,変換度合いの異なる動きを作成することができる.距離や振幅などの空間に関するパラメータは直感的に入力できるようにするため,長さを入力する2種類のインタフェースを提案した.周期や速度などの時間に関するパラメータは操作を簡略化するため,コントローラを左右に倒すことで加減できるようにした.ダンス動作作成における時空間パラメータの必要性と編集の操作性を評価するために,プロのダンサー4人にシステムを体験してもらう実験を行った.ダンサーのコメントから,時空間パラメータの必要性は高く,操作性もよいことが確認された.

  • Takuto Hirakida, Asako Soga, VR Interface for Creating and Editing Dance Movements with Time and Space Parameters, Proc. of International Workshop on Advanced Image Technology (IWAIT) 2024 (Langkawi, Malaysia), Jan. 2024
口周辺のトラッキング入力に対するVR空間での遅延視覚が身体所有感に及ぼす影響の調査

VRデバイスの普及に伴い,身体所有感を検証する研究が多く存在する.また,近年では顔の動きをトラッキングし表情を検知することが可能である.本研究の目的は,口周辺の動きに焦点を当て,遅延視覚が身体所有感に及ぼす影響を調査することである.そこで,操作するキャラクタの口周辺の動きが現実より遅延して動作する遅延処理システムを開発した.トラッキングした口周辺の動きを遅延処理し,どの程度の遅延までなら身体所有感に影響を及ばさないか調べるため心理実験を行った.被験者には,HMDとフェイシャルトラッカーを用いて一人称視点のキャラクタを操作してもらった.6つの異なる遅延条件を体験してもらい,被験者に身体所有感の生起に関する7段階のSD法のアンケートに回答してもらった.その結果,300msまでの遅延では身体所有感を得ることができ,400msの遅延を超えたときに身体所有感が消失することが明らかになった.

VR空間における物体の構造理解のための3Dパズルシステムの提案

本研究では,VR空間における物体の構造の理解支援を目的とし,家具のパーツをモデルのシルエットに嵌める3Dパズルシステムの開発を行った.ユーザはハンドトラッキングで表示された手で摘み・掴みジェスチャをすることでパーツを,動かすことができる.パズルを組み立てる体験を通して構造を学んでもらうことを目的とするため,パズルを完成させる補助として,パーツとシルエット間の距離と角度が近いかどうかをテキストで示すヒント機能と,シルエットに近い位置と角度でパーツを放すと正解の位置と角度に補正する機能を実装した.正解に近いかどうかは,距離と角度がしきい値以下かどうかで判定した.7名の被験者にシステムを使用してもらいアンケート調査を行った.システムを使用した全員が構造の理解が深まったと回答し,7割の人が構造理解への意欲が高まったと回答した     

VRにおけるバドミントン・スマッシュの評価・習得支援システムの提案

本研究の目的は,身体動作入力から筋解析データをリアルタイムに表示することである.そこで,身体動作入力とモデル化した筋解析データを用いて筋活動の可視化を行う.モーションキャプチャデータと筋解析データから膝の屈曲角度に対する筋活動量のグラフを作成した.作成したグラフから下半身の約70%の体積を占める16個の筋について、それぞれ4つのフェーズに分けて近似式を作成した. 可視化は下肢を構成している5つの部位の場所をCGの人体モデルのパーツで、筋活動量は色で表示した.右足に取り付けた2つのトラッカの姿勢から膝の屈曲角度を算出した.算出した値と近似モデルを用いて使用している筋と,その筋の活動量をリアルタイムにCGで提示した.試作したシステムを評価するため9名の学生に実際に体験してもらい, 評価実験を行った.その結果,約9割から可視化することで筋活動を認識できたという評価を得た.       

聖徳太子像の視覚化と理解度向上のための体験型VRシアター

仏像作成には職人の繊細な技術と芸術性が融合した特殊な技法が使われているが,これらを提示するのは難しい.そこで本研究では,仏像の構造への理解支援を目的として聖徳太子像の体験型VRシアターの開発を行なった.本研究では,広島・光照寺の「聖徳太子童形立像」を対象とし,仏像の外側と内側をそれぞれデジタル化した.仏像の外側は様々な角度から画像を143枚撮影し,フォトグラメトリで3D化した.内側はファイバスコープの映像を参考にして太子像の内側にある削り跡や玉眼の構造をモデリングした.制作した太子像のモデルを用いて体験型VRシアターシステムを開発した.HMDとハンドトラッキングを使用し,手のジェスチャ認識と衝突判定を組み合わせて体験の流れを「合掌」で制御できるようにした.さらに,仏像内側の削り跡の作成方法を理解させるため,VR空間内でノミを握って板を削る体験型インタラクションを導入した.本システムを実物の聖徳太子像と共に龍谷ミュージアムで2日間展示し,一般来館者に体験してもらった.収集した90件のアンケート結果より,高齢者の体験者が多いにもかかわらず,支障なく操作でき,展示物への理解支援システムとしての有用性が実証された.       

  • Wenze Song, Asako Soga, Experiential VR System for Visualization and Enhanced Understanding of a Statue of Prince Shotoku, Proc. of the 28th Annual Conference of the Virtual Reality Society of Japan, 2C1-01, pp.1-4, Sep. 2023
  • 宋文澤, 中内悠太, 曽我麻佐子, 聖徳太子像の3次元デジタル化とHMDを用いた対話型VRシアター, 映像情報メディア学会技術報告, vol.48, no.4, ME2024-11, pp.40-41, 2024年2月
舞踊モーションアーカイブを用いた機械学習のための身体特徴分析とコンテンツ応用

本研究の目的は,これまでに蓄積した舞踊モーションアーカイブと機械学習を用いて舞踊動作を生成し,振付の創作支援や博物館の展示支援に活用することである.本研究では,機械学習を用いた舞踊の動作生成のための基礎研究として,琉球舞踊の姿勢判別と動作予測を行った.舞踊動作の特徴的な姿勢を学習用データに使用することで舞踊の分類がどの程度可能か検証するため,琉球舞踊の男踊りと女踊りの姿勢判別を行った.男踊りと女踊りでそれぞれ異なる 50 個の特徴的な姿勢のフレームを抜粋し,関節の位置情報と角度情報を学習に使用した.女踊りは 48 個の基本動作から構成されている作品,男踊りは 7 個の基本動作を対象とした.判別精度を検証するため,リアルタイムポーズ判定システムを用いて男踊りまたは女踊りにより近いと判別された各 45 個の計 90 個の姿勢を CG キャラクタで表示し,その画像を専門家に判別してもらった.その結果,システムと専門家の判別結果の一致率は 64.4%であった.姿勢を抜粋する基本動作の数を合わせることや学習データを増やすことで精度が上がる可能性がある.時系列データを対象とした機械学習手法を用いて舞踊動作の予測が可能か検証するため,琉球舞踊の周期的な「すり足」と作品の一部を抜粋した 60 秒間のモーションデータを学習に使用し,動作予測を行った.その結果,周期的な動作の予測はある程度可能であったが,作品のような複雑な動作の予測は本研究で用いた学習モデルでは困難であることが分かった.舞踊のモーションアーカイブを用いたコンテンツ応用として,舞踊のモーションデータを舞人の CG アニメーションとして AR 舎利容器に導入し,龍谷ミュージアムの常設展示で活用した.来館者の鑑賞行動を分析した結果,文化財の興味喚起への有効性が示唆された.       

  • 阪口直樹, 曽我麻佐子, ARを用いた舎利容器の展示支援コンテンツの制作と博物館における運用, 情報処理学会研究報告, vol.2022-CH-129, no.6, pp.1-2, 2022年5月
  • 阪口直樹, 松下匠武, 曽我麻佐子, 舞踊モーションデータを用いた機械学習のための身体特徴量の検討, NICOGRAPH 2022 論文集, P-17, pp.1-2, 2022年11月
  • 阪口直樹, 曽我麻佐子, モーションアーカイブと機械学習を用いた琉球舞踊の姿勢判別と精度検証, 情報処理学会研究報告, Vol.2023-CH-133, no.4, pp.1-4, 2023年9月
筋解析データとVRデバイスを用いた人体動作のリアルタイム可視化システム

本研究の目的は,人体動作入力に対応する筋活動をリアルタイムに提示することである.そこで本研究では,筋解析データとVRデバイスを用いて疑似的な筋活動をリアルタイムに可視化するシステムの開発を行った.ユーザはVRデバイスによる一部の人体動作入力でVR空間のCGアバタを操作する. CGアバタの姿勢に対応した筋活動を出力するモデルとして,運動学の理論に基づく簡易モデル,筋解析データから推定した予測モデル,筋解析データを機械学習させた学習モデルを作成した.予測モデルは実際に計測したスクワットモーションデータの筋解析データを基に作成した.学習モデルの作成に必要なデータを増大させるため,スクワット動作を対象に足幅の異なる実測モーションデータを加工することによる筋力推定の検証を行い,加工度合いが小さければ筋力推定された筋活動が妥当である可能性が示唆された.本システムでは,ユーザが活動する筋の位置をVR空間のCGアバタで確認する.筋活動の可視化手法として,CGアバタの筋の位置と筋活動の大きさを色の濃淡で表現する手法と,CGアバタの身体部位のスケール制御により筋の膨張を表現する手法を提案した.また,CGアバタの姿勢情報を用いて上肢の重力位・抗重力位状態での筋活動の可視化も試みた.可視化システムのコンセプトと可視化手法の有用性を評価するため30名にシステムを体験してもらった.その結果,人体動作の理解とスポーツ等の技能向上の支援の手段として高い評価を得た.       

  • 矢野太一, 曽我麻佐子, 伊藤浩平, 田原大輔, 人体モーションデータの加工による筋力推定の試み, NICOGRAPH 2022 論文集, P-1, pp.1-2, 2022年11月
  • 矢野太一, 曽我麻佐子, 田原大輔, 身体運動可視化システムのためのモーションデータ加工手法と筋活動予測モデルの検討, 映像情報メディア学会技術報告, vol.47, no.3, ME2023-16, pp.61-64, 2023年2月
  • Taichi Yano, Asako Soga, Kunihiko Oda, A Real-time Visualization System of Muscle Activity in Movements Using VR Device, Proc. of International Workshop on Advanced Image Technology (IWAIT) 2024 (Langkawi, Malaysia), Jan. 2024
| 卒論・修論タイトル一覧 |