本作は、真鍋の3Dスキャンデータ、fMRIで取得した脳活動（視覚野）データ、そしてELEVENPLAYのダンサーとShingo Oonoによるモーションデータを用いて制作されたダンスパフォーマンス作品である。ダンスを、ポーズ／モーション／コレオグラフィーという三つの要素としてとらえ、分解し、再構築。重力や関節可動域の限界などの制約を受けない身体表現、また脳内の思考の乱れから発生するノイズやグリッチが表出し、音が脳に刺激して身体へインタラクティブに作用していくダンスの新しい生成方法としての研究である。

コロナの影響でデータ取得が出来なかったため、本作では2018年に取得したMRIのデータや手続きを参考にシミュレーションデータを作成しプロトタイプとして制作した。

そのため実際のデータを用いて生成した場合には異なる結果が出てくることが予想されるが、“ブレインデコーディング“技術によって取得するデータとブレインデコーディングの手続きはかわらない。
本作は継続していまも進行中。

研究内容

真鍋は2014年より、京都大学の神谷之康教授が研究している “ブレインデコーディング“技術に着目し、作品を制作してきた。

“ブレインデコーディング“とは、被験者がどのような画像を見ているか、またどういったイメージを頭の中で想像しているかを、視覚野の脳活動データを使って画像が再構成される様子を可視化することである。
2018年には音楽を聴いた時に頭の中にイメージする画像を取り出し、人工的な共感覚や通常VJなどで行われている音楽の波形やspectrum情報を用いた可視化とは異なる手法を行い、インスタレーション、ライブを行った。

本作品では、ブレインデコーディング技術を用いて頭の中にイメージするポーズの情報を取り出し、ポーズの連続集合体であるモーションデータ、振り付けを生成しCGの真鍋を踊らせ、ブレインデコーディングの不完全なポーズ推定によって生み出されるグリッチやノイズが作り出すモーションが生み出すダンスをそのまま発表するのではなく、その仕組みを解説しながらパフォーマンスへと徐々に移行するレクチャーパフォーマンスという形態で作品発表を行った。

---

Credit

Motion capture dancer and choreographer: Shingo Okamoto
Supervisor: MIKIKO (ELEVENPLAY)
Music co-producer: Hopebox

Editing Director: Kenichiro Shimizu (PELE)
CG Director: Kenta Katsuno (+Ring)
Effects Artists: Tetsuro Takeuchi (quino grafix)
Effects Artists: Jun Satake (TMS JINNIS)
Effects Artists: Tai Komatsu (cai), Keisuke Toyoura (cai)
Effects Artists: Mikita Arai (Freelance)
Effects Artists: Tsukasa Iwaki (+Ring)
CG Producer: Toshihiko Sakata (+Ring)
Data Processing: 2bit
Motion Capture: Crescent, inc.
3D Scan: K’s DESIGN LAB
Compositor: Naoya Kawata (PELE)
Project Manager: Naoki Ishizuka (Rhizomatiks) + Yurino Nishina (PELE)
Producer: Takao Inoue (Rhizomatiks)