5Gの高速大容量通信に乗って リアルとバーチャルのアートが共演

2019年に流行が始まった新型コロナウイルスは、世界中の人々の健康にとって大きな脅威となったが、同時にあらゆる産業のデジタルトランスフォーメーションを促した。バーチャルとリアルを統合するテクノロジーが、日常生活の営みに最良の利器を提供することとなったのである。

実践大学メディアデザイン学科の蔡遵弘助教は、インターネットリソースを活用して、コロナ禍で学生たちがオンライン卒業制作展を開けるよう「回川CONATION」を立ち上げた。

よりリアルに

厳格な国境封鎖によって、台湾は世界のパンデミックから隔絶された時期を過ごしたが、2021年5月になると国内でも感染者が急増し、すぐに警戒レベル第3級に引き上げられた。これにより長い時間をかけて準備してきた数々の活動が中止され、社会は大きなダメージを負った。

ちょうどこの頃、技術畑出身で実践大学メディアデザイン学科の助教を務める蔡遵弘はすでに準備を整えており、学生たちを率いて無料の仮想現実空間「VRChat」の運営をスタートさせ、オンライン版の卒業展「回川CONATION」を実現した。それまではリアルの展覧会を主とし、独立した学外展は行なっていなかったため、当初、蔡遵弘は学生たちにオンライン展覧会への出品を強制しなかった。しかし、感染拡大で多くの活動が中止されたことから、オンライン展覧会に自主的に参加する学生は40数名まで増えた。多くの学生が作品のデジタルバージョンを作り、バーチャル会場に展示したのである。

24時間無料で公開される展覧会は、迷宮のように複雑な構造で、あらゆる作品を収めることができる。見学者は自由に意見交換でき、作品がダメージを負うこともない。このように、学生や見学者にとっても全く新しい体験が実現した。

「回川CONATION」の展覧会。バーチャルな会場は時空の制限を受けず、あらゆる作品を収められ、24時間観賞することができる。（蔡遵弘提供）

未来のコンサート

4G、5Gの高速通信によって仮想現実（VR）や拡張現実（AR）、そしてボリュメトリックキャプチャなどの技術が利用可能になった。映画『レディ‧プレイヤー1』に出てくる、仮想現実世界「オアシス」も遠い世界の物語ではないのである。　蔡遵弘は「今は多くの人がメタバースについて論じますが、その概念は以前私たちが遊んだMMORPG（マッシブリー‧マルチプレイヤー‧オンライン‧ロールプレイングゲーム）に似ていますよね」と冗談めかす。もちろん、時代の変化でそれも変わり、より高速で高画質な通信に加えてバーチャル影像もライブ配信できるようになり、現代のデジタル体験は、かつてのそれとは比較にならないものとなっている。

流行音楽を例に取ると、リモート共演やバーチャルコンサートの体験はまだ普及はしていないが、リアルではないオンラインコンサートはコロナ禍で大きく前進した。コロナ禍に対応するための道ではあったが、これが流行音楽産業のエコシステムを変えることとなった。

五月天（メイデイ）のコンサート制作を仕切っている「必応創造（B'In Live）」によると、リアルのコンサートではチケットが数千元になるのに対し、オンラインコンサートを試み始めた当初は、観客は観賞方法も消費モデルもわからず、制作側も手探りの状態で、チケットも100元前後を打ち出すほかなかった。だが、制作部門として備えるべき能力やノウハウはすでに身に着いたと技術ディレクターの譚明文は言う。

では、オンラインとオフラインのコンサートにはどのような違いがあるのだろう。感染症の流行が収束したら、オンラインコンサートは消えてなくなるのだろうか。コンサート制作経験の豊富な必応創造は、両者には大きな相違があることを知っている。「リアルのコンサートは一種の社会現象で、人と人と空間によって成り立ちます。さらに音圧や匂い、雰囲気も加わり、集団で喜びを分かち合う記憶が形成されます。こうした状況はオンラインでは実現しません」と必応創造クリエイティブディレクターの呉育璇は言う。「オンラインコンサートは空間と場所の制限がなく、まったく異なる思考に属します」と譚明文は言う。

例えば、昨年末は感染状況が落ち着き、大晦日のカウントダウンイベントが開催され、五月天はオンラインとオフラインのコンサートを行なった。両者の違いを強調するために、制作スタッフは、頻繁に会場を切り替え、華麗なカメラワークを用いた。さらに空間の雰囲気を強調することでオンラインコンサートが場所の制限を受けないという強みを打ち出し、オンラインとオフラインの両方の観客が満足できるようにした。

5G：高速モバイルネットワーク

2020年、中華電信は台湾ドル456億元を投じて台湾で初めての5G免許を取得した。しかし、台湾では4Gの時代が十年続き、帯域幅や通信速度は人々がメッセージを送受信したり、動画を観賞したりする日常の使用には十分だ。では、5Gはどのような重要な変革をもたらすのだろう。

「移動しながら高速ネットワークを使用する時にこそ、5Gは最大の価値を発揮します」と蔡遵弘は一言で説明する。現段階では、室内の定点Wi-Fi 6で安定した高速‧低遅延‧多接続性のワイアレス環境が享受できる。そこで「屋内ではWi-Fi、屋外では5Gを使用すれば、相互補完ができます」と蔡遵弘は説明する。

現時点での5Gの最大の受益者はスマート工場である。移動中の大量のロボットやロボットアーム、無人機などが複数の接続点で互いに情報交換する。こうした状況では、多数のWi-Fiルーターを設置するよりも、ローカル基地局を設ける形で5G環境にした方がよく、台達電子（Delta）やTSMCが次々と導入している。

バーチャルYouTuberもロケが可能に

では、文化芸術の分野では5Gはどのように応用できるのだろう。台湾の民間でデジタルアートの発展を推進している「デジタルアート基金会」も、この命題に応えようとしている。同基金会のテクノロジーディレクターも務める蔡遵弘は、次のような例を挙げる。2018年に同基金会はライブ‧ストリーミング‧パノラマVRロボットガイド「函集」を開発した。このロボットはAIとVRの技術を中心とし、超広帯域（UWB）無線システムを利用して位置をリアルタイムに特定し、観客の方向と距離を計算して自ら追随してガイドを行なうことができる。また、現場のパノラマ映像をライブ配信し、オンライン上の観客とインタラクティブなやり取りをすることも可能だ。

4G時代に誕生した「函集」は5Gの時代に突入して「2.0版」へとバージョンアップした。もとの技術を基礎に、さらにモーションキャプチャ、自己位置推定と環境地図作成（SLAM）などの技術を加えて「ARストリーミングロボット」へと進化させた。「プロセスにおいて大容量を高速通信する必要があるため、5Gの特性が発揮されます」と言う。これによって役者がモーションキャプチャでロボットを操作したり、バーチャルキャラクターを、移動中の異なる場所に投影してリモート共演したりすることができ、さらにそれをライブストリーミングもできる。言い換えれば、VTuberもロケができるようになるのだ。

バーチャルキャラクターとの交流

2016年にデジタルアーティストが集まって設立された移動故事屋（Telling Tent）も5Gの恩恵を受けている。デジタルアーティストたちによる親子体感劇場だ。彼らは丸い屋根のテントで台湾各地を巡回し、パノラマスクリーンを設置してオリジナルのアニメを上映するとともに、テクノロジーを用いてスモークや閃光、振動などの特殊効果を加え、民話をアレンジした物語を子供たちに見せている。

移動故事屋の張嘉路によると、彼らの演出は二つの部分から成る。一つは単純なアニメ、もう一つは役者の演技とアニメの組み合わせである。役者は衣装を着てアニメを上映している現場に現われ、アニメに合わせて演技をするだけでなく、モーションキャプチャを用いたバーチャルキャラクターも物語に登場する。リアルとバーチャルが混在した演目なのである。

「モーションキャプチャにおいて5Gは大きな効果を上げます」と張嘉路は言う。移動故事屋は常に巡回しているため、プライベート5Gネットワークを使うことで現場の映像や音声を離れた場所にいる役者にリアルタイムに伝えることができる。これにより、バーチャルキャラクターを演じる役者は、現場の状況を目で見ることができ、観客とインタラクティブな関係が持てる。「これによって観客は、作品が録画されたものではないことが分かります」それだけではない。アニメに入り込んだバーチャルキャラクターは、リアルな人間にはできない効果を上げることもできる。「空中を飛んだり、笑っている時に目をハートマークにしたりすることができます」と言う。

分衆の時代、さまざまな可能性に積極的に取り組む必応創造（B'In Live）のチーム。左はテクノロジーディレクターの譚明文、右はクリエイティブディレクターの呉育ن‮"‬。

新しい形のパフォーマンス

両庁院（国家音楽庁と国家戯劇院）が打ち出した没入型劇場『神不在的小鎮（Lunatic Town）』は、台湾の文化芸術界が力を注ぐテクノロジーを応用した代表作である。この舞台は二次元（ライブストリーミング）と三次元（リアルのパフォーマンス）と四次元（仮想現実世界）の三つの視点から行なわれるイベントで、観客は両庁院屋外の芸文広場で没入型のパフォーマンスを体験する。そのプロセスではインタラクティブなやりとりも体験でき、またライブストリーミングも観ることとなる。異なる次元のパフォーマンスを同時に観賞することで、物語の全貌を理解できるという仕組みなのである。

商業的パフォーマンスの経験が豊富な必応創造は両庁院の招きを受けて統括に参加した。今回の演出は多次元の複雑な構造で、5Gを利用することでライブストリーミングやリモート共演などが可能になった。「ただ、これには意義や共感が必要で、しかも合理的でなければなりません」と呉育璇は言う。デジタルアートは、単にテクノロジーを見せるものではないのである。

5G時代が始まったとは言え、ビジネスモデルの成熟にはまだ時間がかかる。「制作側としては、最先端の技術を追求するより、パフォーマンスの目的から属性を考えます」と言う。だが、一見まったく関連のない二つの分野の対話は、たった一つの重要なつながりから生じるとも語る。

テクノロジーの島と称えられる台湾では、その技術力がアーティストに新たな創作の場を与え、アートとテクノロジーが新たな世界を生み出している。著名なダンサーの黄翊能は、ロボットアームKUKAのメーカーと交渉し、6軸のロボットとの共演を果たした。台湾では各地に特殊な技術を持つ優れたメーカーがある。高速通信が実現する中、これからテクノロジーと文化が何を生み出していくのか、目が離せない。

勤務中のVRロボット「函集」。実体空間の距離を自ら計算して移動し、ガイドの役割を果たす。（在地実験提供、台北市立美術館）

パノラマスクリーンとテクノロジーを活かした移動故事屋（Telling Tent）のステージは、特に親子連れに人気がある。（移動故事屋提供）

モーションキャプチャの装備をつけた役者がリモートで出演する。（移動故事屋提供）

丸い屋根のテントで各地を巡回する移動故事屋は、5Gテクノロジーを用いて演目の質を高めている。（移動故事屋提供）

デジタルアーティストたちが結成した移動故事屋。

両庁院（国家音楽庁と国家戯劇院）による『神不在的小鎮（Lunatic Town）』は、多重なパラレルワールドを設定し、最新のテクノロジーを活かして両庁院の新たな可能性を探る。（両庁院提供）

両庁院提供