論文種別

研究報告

タイトル

オンラインセッション配信ライブにおける映像演出

タイトル（英）

Directing expression of video in livestream concert using online session tools

本文

はじめに

2020 年4月以降、新型コロナ感染拡大によって繰り返される緊急事態宣言により、音楽業界も対面できる場所での活

動が制限されてきた。観客を来場させることができないため、ライブハウスやコンサート会場でのライブ風景を生配信し、観客が

遠隔で視聴する配信型のライブ（以下、配信ライブと呼ぶ）が一つのスタンダートとなった。

同じ頃、総合楽器・音響メーカーである YAMAHA が『SYNCROOM(1)』というサービスをリリースした。これは遠隔にいる演奏

者同士がインターネット回線を介して合奏すること（以下、オンラインセッションと呼ぶ）が可能になるツールである。数あるオン

ライン会議システムでは、送受信の遅れが生じるため、参加者が同時に手を叩いたつもりでもタイミングが合わないのだが、

SYNCROOM はオーディオデータの双方向送受信の遅れを極小化したことで、ほとんど違和感のないオンラインセッションが可

能となった。コロナ渦のタイミングで、前身である『NETDUETTO』からアップグレード＆リリースされたこの SYNCROOM を、遠隔

での活動を余儀なくされたミュージシャンが活用した。さらに、演奏者各々が別の場所にいながら配信ライブを行うという新しい

形も現れた。

次に、ライブ演出の視点から見ると、所謂、冒頭で述べた無観客配信ライブなどの「会場でのパフォーマンス」を生配信する場

合、ステージの演出自体は従来のものを踏襲可能で、会場でのライティングや映像での演出をそのまま配信することができる。

加えて AR やVR、事前制作映像なども交え、演出の幅は広い。ゲーム等のプラットフォームを利用したオンラインライブの形式も

あり、そのプラットフォーム内の機能を利用した演出も可能になる。一方、先ほど「新しい形」と述べたオンラインセッションを活用

した配信ライブでは、ステージや大空間を持たないため、また、演奏者が複数箇所に離れているため、ライブコンサート会場規模

の演出をすることが難しく、各々の演奏映像を流すにとどまっている。

１．研究の目的

この取り組みは、オンラインセッションでの配信ライブにおいて、どのような映像演出を試みることができるかを検討したものであ

り、特に筆者の持つ能力において、その可能性を探ったものである。

本報告は、2021 年6月時点の緊急事態宣言下での配信ライブおよび映像演出の技術的な記録と、遠隔ならではの演

出の狙いや表現についてまとめることを目的としている。

２．オンラインセッションを行うミュージシャン

吉澤成友（ギター）、野村卓史（キーボード）、辻村友晴（ベース）、辻村豪文（ドラム）の４名のメンバーからなる

『yamomo(2)』は、前述したオンラインセッションツールの SYNCROOM を活動の環境として活用している。加えて、毎月最終日

曜日の朝７時に SYNCROOM を使用したリモートアンサンブルを生配信する『yamomo morning』と名付けた配信ライブを

開催している。

筆者は、2021 年6月29 日に開催された『yamomo morning vol.11(3)』において、ゲストアーティストとして映像演出の立

場で参加する機会を得たことから、オンラインセッションを活用した配信ライブにおける演出について様々な検討を行うことができ

た。

３．オンラインセッション配信ライブにおける映像演出

これまで筆者が行ってきた従来のライブ会場等での映像演出の多くは、音に同期させたリアルタイム描画のグラフィックス映像

を背景に映し、その前で演奏者がパフォーマンスを行うものであった（図 1）。そこでは可能な限り“リアルタイム性”の面白さを

引き出すように、映像および演出の構成を考えてきた。

今回のオンラインセッションにおいて、如何に映像作家として関われるのかを検討し、これまでのライブ会場での演出経験を活

用しながら、配信ライブのための表現を模索した。

まずはオンラインの状態で、リアルタイム性を損なわない、ライブ演奏に合わせたリアクティブなグラフィック描画が可能かどうか

を検証しつつ、技術的な面を確認し、そのなかで可能な演出表現を探ることとした。

図1 過去に筆者が映像演出を手がけた来場型ライブ(4)

３−１．オンラインセッションの基本的な配信方法

通常時の yamomo morning の配信ライブの方法について説明する。遠隔会議システム『Zoom』を用い、４名の演奏者

がそれぞれの場所から撮影している分割カメラ映像を配信画面として用いる（図 2）。音声は Zoom のマイク入力ではなく

双方向送受信の遅れが殆どない SYNCROOM を用いる。Zoom の画面出力とSYCROOM の音声出力を同期し、動画配

信/録画ツール『OBS Studio(5)』にて生配信を行う。これらは、yamomo に限らず 2021 年時点における多くのオンラインセッシ

ョン配信ライブで用いられている基本的な方法といえる。

図2 yamomo morning 通常時のオンラインセッション配信画面

３−２．映像演出と配信システムの検討

予定している配信ライブでは、４人の演奏者に加え筆者による映像演出も遠隔で行うため、リアルタイム性を損なわない演

出が遠隔でも可能かどうかを確認した。具体的には、SYNCROOM から出力されたオーディオデータをオーディオインターフェース、

オーディオミキサーを介して別のローカル PC に入力し、そのオーディオ入力を利用してリアクティブグラフィックスを描画するという方

法である。リアルタイム描画には『Processing(6)』というプログラミング言語を用いた。このローカル PC で描画した音との同期グラ

フィック画面を配信ツールへ送れば、リアクティブグラフィックスを配信に加えることができる。まずは Zoom を用いて画面共有を

することで、音と同期したグラフィックスが配信される状態を確認することができた。

一方、実際のライブ会場では、演奏者の様子と、そこで奏でられた音楽にリアルタイム同期したグラフィックス、この二つを同

時に見せることで、観客の心地よさや興奮に寄与していると考えている。前述の配信システムでそれらを同時に見せるには、分

割画面の一つの中に入れるという方法が考えられるが、それではライブパフォーマンスを魅力的に演出しているとは言えない。今

回は５曲のセットリストでライブを行うため、見せ方のバリエーションも求められる。

上記の理由から、さらに演奏者が演奏している映像（分割画面）を活用できないか検討した。方法として、ローカルにて

PC2台とカメラを用い、１台の PC には Zoom による演奏者の分割画面を表示し、その分割画面をカメラで撮影してもう 1

台の PC へ入力することとした。これにより、カメラからの映像データと SYNCROOM の音声データを入力ソースとし、リアルタイム

にProcessing でグラフィックを描画することが可能になった（図 3）。

図3『yamomo morning vol.11』の配信システム図

さらに、配信ライブにおいて、演出者である筆者が表現でセッションに参加できる仕組みとして、直感的な操作で演出をコン

トロールするプログラムも構築した。具体的には、エフェクトを開始するタイミングや、プログラムに反映する音入力の感度のコント

ロールなどがある。

上記の結果を画面共有機能で OBS Studio へ送り、SYNCROOM の最終音声出力と同期し配信した。

なお、画面共有に関してはリモート接続ツールの『Team Viewer(7)』と Zoom とを比較したところ、フレームレートが高く感じら

れた Team Viewer を採用したことも記しておく。

カメラによる分割画面の撮影という工程を導入したことで、演奏者映像と音楽同期グラフィックスの融合的共存が可能にな

っただけでなく、カメラワーク（演奏者画面とカメラとの相対位置変化）という演出の幅を増やすことも可能となった。無論、分

割カメラ映像ソースを１台で直接プログラムに取り込む手法も考えられるが、1)CPU 負荷の懸念、2)解像度を上げる必要がな

いこと、3)カメラワークという手法が活用できるといった点からカメラを介した入力を採用した。

４．配信ライブにおける映像演出

この日の配信ライブは、『いつかの迷路』『steps』『puka』『Lawns』『lost and found』の５曲で構成し、開始から終了まで

約40 分間であった。この５曲それぞれの映像演出について、個別に述べる。

なお、yamomo は楽器演奏のみのインストゥルメンタルバンドである。

４−１．１曲目『いつかの迷路』

１曲目の冒頭画面は、どこかの部屋にてとある人物がノートパソコンで yamomo の配信ライブを見ている景色からスタートす

る。間もなくその画面にディレイエフェクトがかかり、像がゆがむ（図 4）。それにより視聴者は単に配信ライブを見ている風景で

はないと認識する。見慣れた配信ライブとの違いや驚きを与える効果を期待した演出である。

また、演出者である筆者が、配信用カメラを操作しカメラワークが生じることでさらに画面全体に変化を持たせた。配信ライブ

画面がカメラに近づき画面いっぱいになることで、演奏者映像にディレイエフェクトが加わった配信映像が完成するという演出で

ある。

図4『いつかの迷路』序盤の配信画面

そして、曲の展開に沿って、予め用意しておいた複数のエフェクトを追加していく。楽曲からイメージした表現として、音の入力

レベルにより横ラインに色が入り、また後に加わる縦ラインの位置が低音の影響で変化するようプログラムすることで、あみだくじ

のように迷路を形作るデザインとした（図 5）。

その後も、演奏者画面とカメラの距離を変えることで、さらにエフェクトをかけていく。曲のラストは冒頭の部屋の構図に戻りフェ

ードアウトする。

図5『いつかの迷路』の中盤の配信画面

４−２．２曲目『steps』

２曲目は、オンラインセッションを行う演奏者の分割ライブ画面を背景に、線で描画された人型が演奏に合わせて踊る演出

とした（図 6）。通常のライブ会場では、演奏者の背後に演出のための映像が映されることが多いが、その背景と前景の位置

関係がライブ会場の逆バージョンとも言える形である。

楽曲の進行に合わせて、筆者による入力操作で人型の数を変化させたり、人型を表示する位置を背景の演奏者と絡めた

りしながら演出を進行する。

この映像演出により、観客は、ライブ会場で音に合わせてリズムをとる心地よさを視認し、擬似体験することができる。

図6『steps』の配信画面

４−３．３曲目『puka』

３曲目は、演奏者の分割画面は用いず、音に反応する三次元モーショングラフィックス映像のみで構成した（図 7）。この

日の配信ライブ全５曲のセットリストの中で、配信画面の要素について「演奏者の実写映像」と「グラフィックス」を用いる比重

を変化させており、３曲目が中間地点となっている。

アーティストによる演奏に合わせて、予め用意しておいた演出のための視覚要素であるグラフィックスの形状と色を変えること

や、三次元内のカメラワークを変えることについて、筆者が即興的に操作しセッションに参加した。

音楽と三次元モーショングラフィックス映像のみで構成することで、観客が楽曲の世界へ没入することを狙った演出である。

図7『puka』の配信画面

４−４．４曲目『Lawns』

４曲目の冒頭画面には、まず抽象的な色の染みが音に合わせて現れる。曲の進行とともに像が浮かび上がってくるとこれが

演奏者画面の映像だとわかる（図 8）。演出者である筆者がライブ中に操作する入力デバイスのカーソル位置によって前景

色が変化するようにプログラムしており、曲の途中からは、演奏者によって発せられる低音によって背景色を変化させるプログラ

ムも加わり、様々な色の組み合わせを見せる演出とした。また、曲全体に感じられるあいまいさや浮遊感を抽象的な輪郭で表

しながら、音色がよりはっきりとしてくる後半部でより具体的な映像としてとらえられるように調整し、中間地点とした３曲目か

ら少しずつ演奏者画面を認識させる演出の展開も意識した。

図8『Lawns』の配信画面

４−５．５曲目『lost and found』

再び、配信ライブを見ている部屋の映像という演出に戻る。演出者である筆者がライブ中に操作する入力デバイスのカーソル

で指定した画面内の要素に、演奏者によって発せられる低音をきっかけとして段階的にズームインしていき（図 9）、演出上の

任意のタイミングでまた引きの画に戻る。このループとともに演奏が展開していく。最後は「配信の中の配信」というこの日の冒頭

の構図で曲の終わりと共にライブ配信も終了する（図 10）。

図9『lost and found』の中盤の配信画面

図10『lost and found』演奏終了時の配信画面

５．演出のまとめと考察

遠隔であっても演奏される音や映像データをリアルタイムに活用でき、単調になりがちなオンラインセッションの配信画面を５

つのバリエーションで演出することができた。

しかし、現時点では、通信による音の遅れの影響を受けながら演奏する必要があることや、配信映像もフレーム落ちや遅延

が発生するなど、まだまだ環境としては脆弱である。例えば今回でいうと、演奏者映像とエフェクト済み映像の間にも遅延が起

こったが、演奏音とエフェクト済み映像が同期することを優先したため、演奏者の仕草との同期は断念した。

現状の環境では、音と映像との同期での心地よさは高いクオリティで担保されないので、演出のポイントとして、同期とは別

の要素での面白さ（冒頭の配信内配信画面のような演出）を検討することが必要だと感じた。

おわりに

今回、遠隔の複数箇所で出された音に筆者の手元の映像が反応するという現象は、意図したものではあったが興味深いも

のであった。この経験から、一つの会場に観客を集めてオンラインセッションを視聴する環境をつくり、遠隔地から届く音に反応

する映像やライティングでその会場を演出できることに思い至った。例えば、メンバーが別々の海外にいるなど離れた場所にいる

ミュージシャン達と、会場に集った観客とが共に楽しめる第三のライブ形態といえる。

今後も社会の変化に対応しながらライブの映像演出の可能性を探っていきたい。

謝辞

オンラインセッション配信ライブでの映像演出の機会を与えてくださった yamomo の皆様へ感謝の意を表します。

注

（1）SYNCROOM、https://syncroom.yamaha.com (2023 年3月14 日)

（2）Yamomo、https://note.com/yamomo_music/ (2023 年3月14 日)

（3）yamomo morning vol.11 アーカイブ、https://youtu.be/EmWNc4knj-4 (2023 年3月14 日)

（4）d.v.d、https://youtu.be/X7JbS5OCGyM (2023 年3月14 日)

（5）OBS Studio、https://obsproject.com/ (2023 年3月14 日)

（6）Processing、https://processing.org/ (2023 年3月14 日)

（7）Team Viewer、https://www.teamviewer.com/ (2023 年3月14 日)

文字数：7,947 字（テキスト 5,643 字、図版 2,304 字相当）