Motion Laboratory

近年，拡張現実(AR：Augmented Reality)技術を用いたシステムの軽量化や開発の低コスト化に伴い，コンテンツの作成が容易になってきている．そこで，CGコンテンツの作成支援と博物館展示支援を目的とし，ARマーカを用いた対話的なシステムかつ，様々なコンテンツで使えるシステムを開発した．本システムは，複数のARマーカを用いることで，振付の作成とCGキャラクタの移動経路を作成し，これらの振付と移動経路を保存し，別システムで利用できる．ARマーカで操作することにより，ユーザは経路を現実空間の長さを基準に編集ができ，対話的に楽しみながら作成することができる．3つのARマーカを操作することでリアルタイムかつ直感的に移動経路の作成と編集をすることができる．作成した振付と経路はARマーカに保存することで，他システムで共有できる．本システムを被験者12人に体験してもらい，評価実験を行った．アンケートの結果，対話型システムとして全員から良い評価が得られ有用性が確かめられた．また，振付作成の操作方法は9割以上の被験者から直感的であり良いという評価が得られ，有用性が確かめられた．これらのことから，本システムはCGコンテンツの作成支援と博物館展示支援に活用できると考えられる．

• 野坂尚輝, 萩原 智大，曽我麻佐子: ARマーカを用いた振付・移動アニメーションの対話型作成システム, 映像情報メディア学会技術報告, vol.47, no.3, ME2023-10, pp.37-40, 2023年2月

練習する場所とアドバイスを貰える場が少ない競技としてダーツが挙げられる．そこで本研究ではダーツのアドバイスを表示する投擲動画からの的中予測を目的とし，機械学習を使用したシステムの開発を行った．ユーザは投擲の動画と，投擲開始から終了時のフレームの入力を行う．本システムは投擲方向を判定し，アドバイスを出力する．本システムはOpenposeを使用し，肘，肩，手首の関節点から肘の角度，投擲スピードを算出する．あらかじめプロの動画から同様の特徴量を用いて学習モデルを作成した．ユーザの投擲が的の上，中心，下のどの付近に飛んでいくか判定し，判定結果に伴ったアドバイスを出力する．的の上，中心，下に投擲している動画をそれぞれ5本ずつ使用し判別を行ったところ，全体として約94%の精度であった．また，評価結果が高精度であったことと，本システムで投擲時の肘の角度と投擲速度を特徴量として使用しているという結果より，ダーツの投擲方向には投擲時の肘の角度とスピードが関係するということが分かった．

本研究では，舞踊に詳しくない人が振付を作成する際の支援を目的として，ユーザがタブレット操作により作成した振付のうち一部を類似動作に変換することができるシステムを開発した．本システムでは，振付に含まれる短い基本動作に対して類似する動作の提案を行う．提案される類似動作は，基本動作から抽出した特徴量同士のユークリッド距離が小さくなった順に提案される．今回は琉球舞踊の基本動作を対象に，事前に 3DCG キャラクタの 3 運動軸・運動面における時系列全体の関節位置の広がり具合から特徴量を算出した．また，キャラクタの運動する方向を考慮した検索を行う為に，ユークリッド距離の算出に使用する特徴量とユーザが実際に差し替える動作を候補の中から選ぶことができるようにした．本システムの有用性を検証するため，本学の生徒 9 名を対象にシステムを実際に体験してもらう評価実験を行った．その結果，全ての回答者が振付作成の支援に役立つと回答し，本システムの有用性を確認した．

近年，VR デバイスの普及による身体所有感と運動主体感を検証する研究が多くある．本研究は VR 空間での遅延視覚が身体所有感と運動主体感に及ぼす影響を検証することを目的とする．そのために操作するキャラクタモデルの腕が現実より遅延して動作するシステムを開発した．HMD と 2 つのコントローラを用いて，VR 空間で一人称視点のキャラクタモデルを操作する．遅延時間を変更しながら操作し，身体所有感と運動主体感が得られなくなる遅延時間を検証する．開発したシステムはIK を実装することで，HMD と 2 つのコントローラのみで VR 空間内のキャラクタモデルの上半身を自由に動かすことができる．キャラクタモデルの腕は遅延時間を設定すると，設定した時間分現実の腕より遅れて動作する．操作の違和感を軽減し没入感を高めるためにユーザの腕とキャラクタモデルの腕の長さを合わせられるようにした．VR 空間での視覚情報と運動情報のずれが自己感覚に及ぼす影響を検証するために，100ms，200ms，300ms，400ms，700ms の 5 つの遅延条件で計 10 名に評価実験を行った．その結果，視覚情報と運動情報が 300ms ずれると身体所有感と運動主体感が低下し始め，400ms ずれると生起しなくなることが分かった．VR 空間で身体所有感と運動主体感を得るためには同期ずれを少なくとも 300ms 以内に抑える必要があることが示された．　　　　　　

近年，人間の感情推定は急速な人工知能技術の普及により重要視されている．そこで本研究では，身体ポーズを OpenPose でリアルタイムに推定した関節から感情を判定するシステムの開発をする．また，開発したシステムの感情判定を行うための機械学習は有用であるかを検証するために精度評価を行う．本システムでは，あらかじめ用意した身体姿勢画像から OpenPose が姿勢推定したものを肩の角度と肘の角度を特徴量として算出した．算出したと特徴量より学習させたデータを基にニューラルネットワークの教師あり学習によりリアルタイムでポーズから感情判定することを可能にした．キャラクタモデルが判定された感情に合わせて特定のアニメーションを再生するようにさせた．本システムにおけるポーズから感情の判定を向上させるために機械学習の中間ノード数と学習回数の数値を変更して判別精度が最も良くなる数値を調べた．学習回数 3000 回，中間ノード数 16 の時に判別精度が 97.2%となった．この結果から，開発したシステムの感情判定を行うための機械学習は有用であることを確認することができた．

本研究ではフラット，トップスピン，スライスのスイング習得を目的としたテニスストロークの球種別練習システムを開発した．ユーザは HMD を装着し，VIVE トラッカを装着した汎用ラケットを手に持ち，VR 空間内で飛んでくるボールに対してスイングする．本システムは，ユーザのスイングの球種をリアルタイムで判定し，フィードバックを行う． 球種を打ち分けるにはボールとラケット衝突時の角度と衝突前の軌道が重要である．そこで本システムは，この 2 つを特徴量として算出し，機械学習を用いることで，ユーザのスイングを 3 球種のいずれかに判定する．また，フィードバックとしてテキストによるアドバイスと CG による衝突時のラケットの位置姿勢を表示する．本システムの有効性を評価するためにテニス経験者 5 人と初心者 11 人の計 16 人に実際に体験してもらい，アンケートを行った．その結果，回答者の約 9 割が球種を打ち分ける練習に役立つと回答し，本システムが球種別のスイング習得支援として活用できることを確認した．

近年，モーションキャプチャによる身体動作の入力を用いたシステムや博物館などの展示物に情報技術を用いて理解を深められるシステムの開発が増えてきている．そこで本研究では，舎利容器の側面に描かれている絵図の理解促進を目的として，3D空間上の複数の CG キャラクタとの連動制御によるインタラクションシステムを開発した．本システムは，Azure Kinect を用いてユーザの動作を認識し，IK を使用することで3D 空間上の複数の舞人と手を繋ぎ，ユーザの動きに合わせて舞人の腕を動かすことができる．よりインタラクティブに体験できるようにするために，IK は舞人の全身に設定し，足首の IK ターゲット先を地面に設定することで，ユーザが腰を落とすと舞人も連動し，全身を操作する．また，ウェーブの動作を行うためにユーザの手の動きを 4 体の舞人の手に一定時間ごとに遅れて伝える．本システムの有用性を評価するために，学外の一般人 14 人を対象に評価実験を行った．評価実験の結果，体験者の約 8 割が舎利容器の側面に描かれている絵を理解することに効果的と回答し，本システムのある程度の有用性を確認した．

スノーボードにおいてターンは基本となる動作である．初心者を対象にスノーボードターンの向上を目的とし，熟達度判定のための特徴量を検討した．本研究では，熟達度の判定を行うために機械学習モデルを作成し判定の精度から特徴量の検討を行った．経験者と初心者がスノーボードターンを行っている画像から OpenPose を用いて関節点を取得し，取得した関節点より 4 つの特徴量を算出した．算出した 4 つの特徴量から 2 つを選び，選んだ特徴量を学習させ計 6 つの機械学習モデルを作成した．作成した機械学習モデルにスノーボードターンをしている画像を入力し判定した．すべての機械学習モデルに対して経験者と初心者の画像を 5 枚ずつ入力し判定精度を比較した．結果，腰の角度と脚と板の角度を用いて作成した機械学習モデルの判定精度が最も高く，スノーボードターンの熟達度判定に最適であると考えられる．　　　　　　

日本でマイナースポーツであるラクロスは技術的な情報や研究が少ない．そこで，本研究では初心者のラクロスにおける理想的なパス動作の理解支援を目的とした CG コンテンツの制作を行なった．本コンテンツは，ユーザに対してパスフォームとラケットの動かし方の理解を促進する．光学式モーションキャプチャを用いてラクロスの理想的なパス動作を計測し，モーションデータからパス動作のアニメーションと特徴量，ラケットの軌跡の 3 つを表示する．ユーザが理想的なパスフォームとラケットの動かし方を効果的に理解するために，本コンテンツはラケット面の向きを特徴量として算出する．その結果を 3D 空間に矢印で表示する．加えて，パス動作の際のラケットの軌跡を表示する．パス動作の重要なタイミングを表現するために，ボールをリリースするフレームでラケットの軌跡の色を変えて描画する．本コンテンツを未経験 7 名と経験者 7 名の計 14 名に体験してもらいアンケートを行った結果，未経験者の回答者の 8 割が理想的なパス動作を理解することができたと回答したため，本コンテンツがユーザへのパス動作の理解支援につながることを確認した．

本研究の目的は，伝統芸能や祭事の演舞をCGアニメーションで再現することである．本研究では，モーションデータの活用やコンテンツ制作のためのデータを容易に作成するための記述手法を提案し，琉球舞踊を対象としたモーションアーカイブを構築した．汎用的に日本の舞踊アニメーションを記述するために必要な動きのデータ処理と小道具および，和装のCGモデルの構造を提案し，振付作成アプリと祭事展示システムで記述手法を使用する．また，祭事でよく見られる乗り物に乗りながら複数人の演者が踊る演舞を再現するためにCGモデルの階層構造を記述した．モーションアーカイブの有用性を確かめるために基本動作を組み合わせて琉球舞踊の振付を作成する振付作成アプリを開発した．琉球舞踊の手踊りの動作を再現するために身体の動作から腕部動作と手指動作を差替えられるようにした．また，小道具を持って踊る動作を再現するために小道具モデルを持つ手指動作の差替え動作を追加した．モーションアーカイブを使用して振付がどの程度再現できるのか検証するために，琉球舞踊の型の違う女踊りと男踊りの振付を再現した．その結果，女踊りは全体の81%，男踊りは全体の58%再現することができた．演舞再現として琉球舞踊が踊られていた過去の祭事をモーションデータとCGを用いて再現する祭事展示システムを開発し，過去に沖縄県で催されていた祭事の演目「龍舟の戯」の演舞を想定復元した．祭事の博物館展示を想定したシステムであるため，池のジオラマとCGを重ねて表示させることで祭事を復元・鑑賞できるようにした．祭事展示システムが展示支援に効果的であるか検証するために評価実験を行った．その結果，龍舟の戯について理解できることが分かったため，博物館での展示支援に効果的であることが分かった．

• 萩原智大, 曽我麻佐子: 伝統舞踊のモーションデータを用いた簡易振付作成システム, 情報処理学会研究報告, vol.2022-DCC-30, no.14, pp.1-6, 2022年1月
• 萩原智大, 野坂尚輝，曽我麻佐子: 龍舟の戯の再現と対話型展示を目的としたモーション記述・編集システム, 情報処理学会人文科学とコンピュータシンポジウム論文集, vol.2022, pp.39-44, 2022年12月
• 萩原智大, 松下匠武, 曽我麻佐子: 3D Dance Composer for Smartphones: モーションクリップを用いた振付記録・再生アプリ, インタラクション2023論文集, pp.630-631, 2023年3月

本研究ではこれまでに蓄積したモーションアーカイブの活用と，ダンスの振付創作支援を目的とし，機械学習を用いた振付創作支援システムとVRデバイスを用いて身体動作を拡張することにより，ダンスムーブメントを作成するシステムの基盤構築を行った．機械学習を用いた振付創作支援の基盤システムの構築では，ダンスのモーションデータを機械学習しダンス創作支援に用いるための基盤として，学習用データ作成システム，リアルタイムポーズ判定システムを構築した．実演困難/容易なポーズ判別と，ヒップホップダンス/日常動作のポーズ判別の学習モデルを用い，リアルタイムポーズ判定システムの動作検証を行った．テスト用データを用いたモデルの正解率は80%を上回る結果となった．VRデバイスを用いたダンスムーブメント作成システムでは，VRデバイスの入力を基に，仮想空間に存在する仮想ダンサーの身体をリアルタイムに制御するシステムの開発を行った．仮想ダンサーの動きは，ユーザの動きがそのまま全て反映されるわけではなく，入力動作を適用する身体部位の変更や動きの加工・増幅などにより，ユーザの動きとは異なる動作を生成する．動作の加工・増幅は，コンテンポラリーダンスの振付を創作する際に実際に用いられている振付創作手法を参考にし，6つのメソッドを実装した．仮想空間におけるダンスムーブメント創作の可能性をさぐるため，3人の振付家にシステムを体験してもらった．その結果，創作活動に対する有用性は3人ともに肯定的であったが，有用と判断したメソッドは相違があった．振付家のうち1人は実際に舞台パフォーマンスで活用した．

• 松下匠武, 曽我麻佐子: 機械学習を用いたダンス創作支援のための基盤システムの構築, 情報処理学会人文科学とコンピュータシンポジウム論文集, vol.2021, pp.282-287, 2021年12月
• Takumu Matsushita, Asako Soga, Prototype System of Dance Movement Creation by VR Experience of Augmented Human Body, Proc. of NICOGRAPH International 2022, p.104 (Online), Jun. 2022
• 松下匠武, 曽我麻佐子: ChoreAugmented:VR環境におけるダンス創作のための身体拡張インタフェース, インタラクション2023論文集, pp.460-463, 2023年3月