VR空間は「コミュニケーション」をどう変容させるのか？

長年にわたり、XR領域の基礎研究に取り組んできたTISの戦略技術センター。なかでも高い成果を上げているのが、東京都市大学「ソーシャルVR研究ユニット」と共同で行っている、VR空間でのコミュニケーション分析だ。VR空間における「見た目」や「視線」は、コミュニケーションの活性化にどのように影響するのか──その問いを明らかにした研究は、2023年の情報処理学会「山下記念研究賞」を受賞し、国際的なトップジャーナルにも掲載されるなど、高く評価されている。今回は、そんなソーシャルVR領域の最前線を切り拓く同研究について、TIS戦略技術センター・井出将弘と東京都市大学・市野順子教授に話を聞いた。

2010年代から積み重ねてきたXR研究の蓄積

──まず、TISの「戦略技術センター」について教えてください。

井出：戦略技術センターは、いわゆるR&D組織です。将来的に必要になりそうな技術を先取りして研究し、事業部門が活用できるように準備することが主な役割となります。研究テーマは大きく分けると「XR・メタバース」と「量子コンピューター」の2つで、私はXR・メタバース分野を担当しています。

事業部と連携した成果としては、たとえばXRを活用した観光支援サービスなどがあります。VR空間で観光案内を行ったり、実際の観光地にARでキャラクターを登場させたりできるというものです。

──コロナ以前からVRサービスに注目していたのですね。

井出：そうですね、研究自体は2017年ごろから行っていました。XRを専門とする企業さんたちの次ぐらいに参入したイメージでしょうか。もちろん、芽が出なかったプロジェクトもたくさんありますが、当時からの研究の蓄積が今に活きているのは間違いないです。

──続いて市野さんにお伺いします。東京都市大学「ソーシャルVR研究ユニット」とは、どのような研究機関なのでしょうか。

市野：VR空間でのコミュニケーションのあり方を研究するユニットです。研究をメインで率いているのは井出さんと私ですが、情報系以外の知見も必要になるので、認知科学や社会心理学、生体工学の研究者も所属しています。

──市野さんはもともとTISに所属されていたのですよね。

市野：そうなんです。だいぶ前のことになりますが、TIS在籍時はSEとして働いていました。在職中に、会社からの支援で博士号を取得させていただき、その後は大学に移っています。博士課程の頃からコミュニケーション支援サービスの開発に関心があり、その流れでVRでのコミュニケーションにも興味を持ち、その後XR領域に知見のあるTISと共同研究をすることになりました。

「VRChat」の衝撃から研究が始まった

──市野さんがVRに関心を持たれたのは、なぜだったのでしょうか。

市野：2016年ごろに流行し始めた「VRChat」というソーシャルVRサービスがきっかけです。興味本位でアクセスしてみたところ、社交辞令的な会話が少なかったり、大人の男性同士が、美少女のアバターで仲睦まじく抱っこごっこをしたりする様子を見て、あまりの「本音全開」ぶりに衝撃を受けたのです。「現実の空間だったら、この人たちは絶対にこんなやりとりをしないだろう」と感じたところから、コミュニケーションの場としてのVR空間に関心を持つようになりました。

井出：初めて見るとびっくりしますよね。実際、「VR空間で自分の見た目を変えると振る舞いにも影響が出る」というのは先行研究ですでに指摘されていますし、多くのユーザーが実感していることでもあります。たとえばスーツ姿になるとシャキッとしてしまうとか、ラテン系のアバターに着替えると太鼓をリズミカルに叩くようになるとか。

ただ、そうした既存研究がフォーカスしていたのは、あくまでも「自分の振る舞い」なんですね。「複数人のコミュニケーション」がVR空間でどう変質するのかを掘り下げた研究というのは、まだほとんどなかった。そこを掘り下げれば面白くなるんじゃないかというのが、一連の研究の出発点でした。

市野：社会心理学など他の分野においては、「会話の分析」の研究に蓄積があります。それをVRに応用すればよいはずと思ったものの、ことはそう簡単ではなく。VRと現実の違いをどう考慮すればいいのか、そもそも実験環境をどうやって用意すればいいかなど、わからないことだらけのスタートになりました。

「自分と似ていない」アバターの方が、本音が漏れやすい？

──そこから、どのように研究を進めていったのでしょうか。

市野：最初に取り組んだのは、「アバターの外見は自己開示にどのような影響を与えるのか」という実験です。その成果は「身体的アバターを介した自己開示と互恵性」という論文にまとまっていますが、ここでは内容をかいつまんでお話します。

実写（ビデオ通話）に加えて、「本人に似せたアバター」と「本人に似ていないアバター」を用意します。その上で、被験者に「話しづらいこと」、たとえば過去にあった嫌な出来事などを話してもらいます。その会話を分析し、「自分のことをどこまで深く話したか」という自己開示の度合いをスコアリングしていくと、「本人に似ていないアバター」が最も自己開示しやすいことがわかったのです。実際に実験の様子を目の当たりにすると、「そんなことまで喋っちゃうの？」と驚いてしまうほどでした。

井出：SNSに関する先行研究などで、「テキストでのコミュニケーションの方が、対面よりも自己開示しやすい」という結果自体は出ているんです。それがVR空間でも成立することがわかったのは大きな収穫でした

──「アバターをまとっていると、なんとなく言いづらいことも話しやすくなる」ということですよね。直感的にはわかる気がします。

市野：その直感を実験によって検証したことに意味があるということですね。ちなみに、「外見の効果」についてはもうひとつ実験を行っています。「外見と社会的地位」の関係を調べるというもので、年齢や性別、役職などがバラバラの4人を集めて、アイデア出しの会議を行ってもらいました。片方は本人に似ているアバターで、もう片方はお互いの情報が隠れているアバターです。

すると面白いことに、お互いの情報が隠れているアバターの方が発言量が平等になり、しかもポジティブな発言が増えたのです。

井出：「相手の姿」がいかにコミュニケーションに影響を与えているかということですよね。そして、VRはその先入観をほぐしてくれる可能性がある。

会社の会議などを想像するとわかりやすいですが、どうしても偉い人ばかり話してしまうし、新入社員は忖度しがち。「平等に話す」って実はかなり難しいんですよね。でも、アバターを一枚噛ませるだけで、どんな立場の人が集まっても活発に意見が出ることがわかった。企業でアイデアをたくさん出してイノベーションを起こそうと考えたときに、この発見を役立てられるかもしれません。

「視線」を可視化すると、なぜか会話が生まれやすくなる？

──ここまで、VR空間における「外見と自己開示」の研究について伺ってきました。次に行われたのが「視線」の研究とのことですが、なぜ視線に着目されたのでしょうか。

市野：コロナ禍でオンラインのコミュニケーションが中心になり、対面では生まれやすい偶然の会話や出会いが生まれにくくなりましたよね。それに対して、「どうすればオンラインでも偶然の交流を生み出せるのか」という問いが生まれました。現実世界で偶然の出会いを演出するものってなんだろうと考えたときに、「視線」が重要なのではないかと考えたのです。

井出：偶然に目が合うと、なんとなく会話が始まりますよね。あるいは「あの人に話しかけたいな」と思ったら、まず目を合わせにいくと思うんです。会話や声がけを行う前に飛ばせるシグナルみたいなものですよね。

──たしかに、オンライン会議だと誰がどこを見ているのかがわかりづらいですね。

井出：まさにそうなんです。なので、オンラインでも視線を感じ取れる仕組みを作ったら、コミュニケーションが促されるんじゃないか。そんな仮説のもと、「視線（ゲイズキュー）の可視化」を実験してみました。

市野：視線をどう可視化するかについては、何度か予備実験を重ねてアイデアを絞り込んでいきました。要件としては、「視線がどこから来ているのかがわかること」、「人の関心をひけること」です。最終的に実験に採用したのは、「視線を送っている人のいる方を指すArrow」、「視線を送っている人のいる方から流れてくるBubble」、「視線を送っているアバターのミニチュアのアバター（Miniavatar）」の3つになります。これによって、いかに偶発的なコミュニケーションが生まれるかを検証しました。

井出：Arrowは方向がわかるだけです。BubbleとMiniavatarは、それぞれ興味を惹くような動き方をします。事前の予想としては、Miniavatarが一番いい結果になるだろうと考えていました。しかし結果を見ると、Bubbleが一番いい結果でした。

──なんとなくわかる気がします。アバターが目の前に現れるのはちょっと怖いような……。

井出：盲点だったのは、予備実験を知り合いだけでやってしまったことです。知り合い同士だと、Miniavatarは結構楽しいんですよ。誰から視線が来ているのかもすぐわかります。でも、知らない人同士だと、むしろそれが圧を感じさせるみたいですね。

市野：Bubbleは圧が弱いのが良かったんでしょうね。漂ってきても、無視していい感じがするし。

井出：やってみないとわからないので、こういうのは本当に研究の難しいところですね。

市野：ちなみに「人から人への視線」だけでなく、「ふたりが同じものを見る時の視線」についても実験を行いました。「あの人も同じポスターを見てる！」と気付いて会話が生まれる、という効果を期待した実験です。用いたのは「人から人への視線」と同じ3種類のゲイズキューです。「人から人への視線」ではBubbleの評価が最も高かったのですが、「ふたりが同じものを見る時の視線」ではそれほど違いがありませんでした。ただ、全体的な可視化効果の評価としては、「ふたりが同じものを見る時の視線」の方が高くなりました。

井出：おそらく人間を直接見るのではなく、ポスターを間に挟むので、MiniavatarやArrowでも圧を感じないんでしょうね。これも発見でした。

実験設計が評価され、トップジャーナルにも掲載

──2023年の情報処理学会「山下記念研究賞」受賞を始め、一連の研究で数多くの評価を得ていると伺いました。どのような点が評価されたのだと考えていますか。

井出：自己開示の研究については「CSCW」、視線の研究については「Transactions on CHI」という、HCI（ヒューマン・コンピュータ・インタラクション）分野のトップジャーナルにも掲載されました。これらに選ばれるのはとても大変なので、非常に光栄に思っています。

評価していただいたポイントとしては、やはり実験設計の部分になるかと思います。ただでさえ難しい「複数人でのコミュニケーション」の研究をVRでやりきり、実証的なデータを残したという点が大きかったのでしょうね。

市野：私たちが行っている、コンピューターを利用したコミュニケーション支援の研究は、非常にコストパフォーマンスが悪いです。コミュニケーションですので、コンピューターシステムのユーザーは2人以上となりシステム評価の実験を行う場合は実験1回につき最低でも2人のユーザーが必要です。これに対して、コミュニケーション支援システム以外の大半のシステムのユーザーは1人で、実験1回につき1人のユーザーで済みます。でも、どちらも同じ「サンプル数1」です。

また、コスパが悪いだけでなく、コミュニケーションの研究は分析も難解です。例えば4人での会話を分析するとなると、「ひとりがこのように振る舞ったから、全体にこんな影響を与えた」という因果関係が複雑になりすぎてしまう。実証性を担保するのも困難です。

そこをどうやってクリアするかを試行錯誤した結果、サクラ（偽被験者）を使うという案にたどり着きました。実は一連の研究では、真の被験者1人を除いた3名は、役者さんが被験者のフリをしました。データとして採用する被験者は1名分のみで、他の3名にはシナリオを用意しました。あらゆる「偶発的な会話」に対応できるよう、何度も練習してもらいました。

井出：こういった手法は、社会心理学などではよく使われるものですが、VR空間でそれを再現するのは本当に大変です。そういう意味では、大学と企業の共同研究だからこそ可能な研究だったとも言えると思います。

手間がかかる実験の価値を認め、長期的な投資をさせてもらえるのは、TISの研究環境の恵まれているポイントですね。今回の研究でも、システム部分は私がほとんど開発していますが、その下地となっているのは、2016年ごろから続けてきたXRの基礎研究の蓄積です。

研究成果は、オープンアクセスで広く共有したい

──ここまで、VR空間でコミュニケーションを促すための手法について伺ってきました。これらの知見を実際のサービスに応用するとしたら、どんな形があり得るでしょうか。

井出：最終的な目標でいうと、企業などの組織での活用に期待しています。「イノベーションには偶然性が必要」といったことはよく言われますが、そうした偶然性を演出したり、会話をより活性化したりするために、VR空間やアバターを活用するというケースが出てくると理想的だなと思います。

研究成果については、特許の取得なども特に考えておらず、基本的にはオープンアクセスにしていきたいと考えています。他の企業の方にもぜひ論文などを読んでいただきたいですし、取り組みのお声がけなども歓迎です。

市野：実際に以前、VR空間でカウンセリングサービスを行いたいという方々から問い合わせがあったりもしましたね。

井出：あとは、TISで作成しているVR空間もオープンソースになっているので、そこで実験結果を体験できるような体制が整えられたら良いなとは考えています。

──VRについての共同研究については、今後どのように発展させていくのでしょうか。

井出：「外見」、「視線」と来たので、次は「ジェスチャー」ですかね。ジェスチャーは画角の限られるビデオ通話だとなかなか伝わりづらいんですが、VR空間だとわかりやすいし自由度も高い。それによって、どの程度コミュニケーションが円滑になるのかを確かめてみたいですね。

市野：ジェスチャー自体を加工したり調整したりできるのも、VRの面白さだと思っています。たとえば商談などのテクニックで、相手の動きを密かに模倣することで好感度を上げるというものがありますよね。それに近いことをアバターで再現したらどうなるか。ぜひ試してみたいです。

取材・文：松本友也
撮影：Ryo Yoshiya

Features一覧