舞踊モーションアーカイブを用いた機械学習のための身体特徴分析とコンテンツ応用 |
本研究の目的は,これまでに蓄積した舞踊モーションアーカイブと機械学習を用いて舞踊動作を生成し,振付の創作支援や博物館の展示支援に活用することである.本研究では,機械学習を用いた舞踊の動作生成のための基礎研究として,琉球舞踊の姿勢判別と動作予測を行った.舞踊動作の特徴的な姿勢を学習用データに使用することで舞踊の分類がどの程度可能か検証するため,琉球舞踊の男踊りと女踊りの姿勢判別を行った.男踊りと女踊りでそれぞれ異なる 50 個の特徴的な姿勢のフレームを抜粋し,関節の位置情報と角度情報を学習に使用した.女踊りは 48 個の基本動作から構成されている作品,男踊りは 7 個の基本動作を対象とした.判別精度を検証するため,リアルタイムポーズ判定システムを用いて男踊りまたは女踊りにより近いと判別された各 45 個の計 90 個の姿勢を CG キャラクタで表示し,その画像を専門家に判別してもらった.その結果,システムと専門家の判別結果の一致率は 64.4%であった.姿勢を抜粋する基本動作の数を合わせることや学習データを増やすことで精度が上がる可能性がある.時系列データを対象とした機械学習手法を用いて舞踊動作の予測が可能か検証するため,琉球舞踊の周期的な「すり足」と作品の一部を抜粋した 60 秒間のモーションデータを学習に使用し,動作予測を行った.その結果,周期的な動作の予測はある程度可能であったが,作品のような複雑な動作の予測は本研究で用いた学習モデルでは困難であることが分かった.舞踊のモーションアーカイブを用いたコンテンツ応用として,舞踊のモーションデータを舞人の CG アニメーションとして AR 舎利容器に導入し,龍谷ミュージアムの常設展示で活用した.来館者の鑑賞行動を分析した結果,文化財の興味喚起への有効性が示唆された.
- 阪口直樹, 曽我麻佐子, ARを用いた舎利容器の展示支援コンテンツの制作と博物館における運用, 情報処理学会研究報告, vol.2022-CH-129, no.6, pp.1-2, 2022年5月
- 阪口直樹, 松下匠武, 曽我麻佐子, 舞踊モーションデータを用いた機械学習のための身体特徴量の検討, NICOGRAPH 2022 論文集, P-17, pp.1-2, 2022年11月
- 阪口直樹, 曽我麻佐子, モーションアーカイブと機械学習を用いた琉球舞踊の姿勢判別と精度検証, 情報処理学会研究報告, Vol.2023-CH-133, no.4, pp.1-4, 2023年9月