photo©Hanayuki Higashi
制作年 2018年
時間 16分(1分 x 16個)
title:
Daito Manabe + Kamitani Lab, Kyoto University and ATR
“dissonant imaginary”
音を聴くことで変化する視覚野、連合野の
脳活動データを用いて画像を再構成する様子を可視化した作品。
制作年 2018年
時間 16分(1分 x 16個)
マテリアル: オーディオビジュアル
Kamitani Lab
http://kamitani-lab.ist.i.kyoto-u.ac.jp
本作品は脳活動と音／映像の関係性、クロスモーダル現象に関するアートプロジェクトを通じて制作されたオーディオビジュアルインスタレーションである。
脳活動と感性・感覚、そしてインプットされるイメージや音との関係を解明することは興味が尽きない問題であり長い歴史を持つ。
脳波(Electroencephalogram, 以下 EEG)の検出と解析はデバイスが安価であることに加えて信号が扱いやすいことから、以前から試みられてきているが、様々な脳活動の総和を取得することしか出来ないため、”被験者が覚醒しているのかどうか”など、大雑把な状態しか把握できず、脳活動の解析とアートの融合はコンセプトのみが先走り実際には大きな成果をあげることはなかった。
身体表現と数学の関連から作品を制作している真鍋は、深層ニューラルネットワーク（Deep neural network model、以下DNN）を技術的に用いた身体表現など、脳を含めた身体研究に関する先端的科学につねにアクセスを試みてきた。
一方、京都大学 / ATRの神谷之康研究室では機能的磁気共鳴画像法（functional magnetic resonance imaging, 以下fMRI）により計測されるヒトの脳活動パターンを機械学習によるパターン認識で解析することで、心の状態を解読する「ブレイン・デコーディング」と呼ばれる技術を世界に先駆けて開発してきた。近年ではブレイン・デコーディングとDNN、大規模画像データベースを組み合わせることで、脳活動パターンから、知覚・想起している任意の物体を解読する方法も開発し世界中から大きな注目を集めている。
真鍋はブレイン・デコーディングにも早くから注目して2014年以来、神谷に取材を行っており、その後2018年に神谷研究室との共同プロジェクトとして、脳活動と音／映像の関係性、クロスモーダル現象に関する作品制作をスタートした。
本作では、聴覚と視覚の相互作用、音と映像の関連性について着目し、音を聴くことで変化する視覚野、連合野の脳活動データを用いて画像を再構成する様子を可視化した。
ある映画音楽を耳にした時、また、小さな頃に良く聴いていた音楽を耳にした時、
その音楽と関連した映像が感情を伴って鮮明に蘇ってきた様な経験は無いだろうか。
音楽は映像体験にどのような影響を与え、またその逆に映像によって音楽体験はどの様に変化するのであろうか。
映画を観ただけで脳活動から音楽が自動で生成される、または音楽を聴いただけで映像が生成される未来はどの様な形で実現されるのだろうか。
ブレイン・デコーディングを用いた本作品を通じて未来の音楽と映像の相互作用について考える。