「触覚のデジタル化」に挑戦する研究者

2021.10.05.Tue

コロナ禍で失われた触れ合い

「触覚のデジタル化」に挑戦する研究者

これまでのデジタルコミュニケーションにおいて欠落していた「触覚」のデジタル化が、今、急速に進みつつある。日本でそれを牽引するのがNTTコミュニケーション科学基礎研究所の渡邊淳司さん(45)だ。触覚というフィジカルな感覚のデジタル化は、私たちのコミュニケーションにどのような影響を与えるのか。私たちの身体感覚はどのように変容するのか。「触覚のデジタル化」の新たな可能性について聞いた。

コロナ禍で「接触」への関心が高まる

「Skin Hunger(スキンハンガー)」という言葉をご存じだろうか。直訳すると「肌のぬくもりへの飢餓感」。コロナ禍によってロックダウンが常態化するなか、他者との触れあいに飢える人々の心を表現した言葉だ。日本でも、日常の触れ合いが失われつつある。

触覚とコミュニケーションの関わりを研究する渡邊さんは「そんな今だからこそ、身体的な接触への関心がかつてなく高まっているように感じます」と語る。

「デジタルなコミュニケーションでは、肌と肌が触れ合うような実感あるコミュニケーションを経験することが困難です。そうした状況に『飢え』を感じる人が増えるなかで、私たち研究者に何ができるのか。まず考えられるのは、『身体的な接触=触覚を情報化して伝達する』というアプローチでしょう。ただし、触覚には視覚や聴覚とは異なるいくつかの特徴があります。例えば、触覚は接触によって生じる感覚なので、触覚があることで対象の存在を感じることができる。それだけでなく、触覚においては『する/される』の区分が不明瞭です。握手をするとき、私たちの手は『握っている』のか『握られている』のかわからない。こうした触覚ならではの特徴をどうやってデジタルな情報に置きかえていくのか。今後の課題であり、触覚の可能性をより探求していきたいです」

渡邊淳司さん

渡邊淳司さん

フェンシング大会での新しい応援体験

触覚を情報化して伝達する。そんな取り組みの一例として、渡邊さんが昨年参画したフェンシング大会でのリモート応援のプロジェクトがあげられる。

「昨年9月に無観客で開催された第73回全日本フェンシング選手権大会決勝戦では、NTT西日本グループが私の所属する研究所の協力の下、リモートで応援するご家族に触覚を通じた体験を二つ提供しました。一つは、選手の心拍数を振動と光で感じる『ハートビートエクスペリエンス』です。目や耳だけでは感じとれない、競技中の心の動きにまで触れられるような体験をお届けできたのかなと感じています。同大会ではほかにも、画面にタッチすることで双方向に振動を伝えるデバイスを用意し、選手とご家族の『リモートハイタッチ』も実現しました。試合開始の直前に『がんばってくるね!』と息子さんにハイタッチしていく選手もいました。これはリアルでもできないことですよね。触覚のデジタル化が実現した新しい応援のあり方だと思います」

フェンシング選手の鼓動を振動と光で体感しながら応援する様子

フェンシング選手の鼓動を振動と光で体感しながら応援する様子

家族と選手がリモートでハイタッチする様子

家族と選手がリモートでハイタッチする様子
(写真は https://www.ntt-west.co.jp/brand/newnormal/fnec/ (外部サイト) より)

日常の中で触覚を情報化した事例としては、音声と映像に加えて、机の振動を相互に伝達する「公衆触覚伝話」というコミュニケーションシステムがあげられる。

「机の上を指でトントンと叩くと、それが振動として相手に伝わる。オンラインミーティングを、机の一部を共有しながらやるイメージです。『普通のオンラインミーティングと何が違うの?』と思う方もいるかもしれませんが、そもそも人間は相手がそこに存在することの『確からしさ』を、触覚も含めた身体的な感覚として受け止めているはずです。このシステムでは、それをデジタル的に再現することを狙いました」

触覚的なアプローチが生み出す、新たな身体感覚とは?

これらの事例からも明らかなように、触覚を活用すれば、遠隔であっても現実世界をよりリアルに再現することができる。そして触覚へのフォーカスは「これまでにない新たな感覚体験を生み出す可能性を秘めている」と渡邊さんは指摘する。その一例が、渡邊さんたちが東京工業大学の伊藤亜紗教授らとともに取り組んでいる「見えないスポーツ図鑑(外部サイト)」プロジェクトだ。

「そもそもは『目の見えない方と一緒にスポーツ観戦をするにはどうすればいいのか?』という問題意識からスタートしたプロジェクトです。目の見えない方は普段、主に実況中継を聞くことでスポーツ観戦をしているのですが、やはりそれだと細かい動きまでは伝わりませんし、実況者が見たものを言語化するまでにはタイムラグもあります。そこで、触覚によってスポーツ観戦を『翻訳』するという試みを始めました」

例えば、柔道の試合であれば、二人の「翻訳者」がそれぞれの選手になりきって、胴着と見立てた一枚の手ぬぐいを引っ張り合うことで、選手の動きや技の強さ、勢いを表現する。そして、その手ぬぐいを視覚障害者が握り、二人の翻訳者によって「再現」される試合を、身体感覚を通じて感じ取るといった具合だ。

柔道の翻訳の様子

柔道の翻訳の様子(写真は https://www.rd.ntt/research/NICO20200806.html(外部サイト) より。)
(動画でもご覧いただけます:https://youtu.be/KLubgJ_HY_k(外部サイト)

「ここで面白いのは、次第に『そもそも、私たち自身が今までどれくらいスポーツを見ることができていたのか?』という問いが生じてきたことです。私たちは目が見えていても、アスリートが感じている力の流れやリズムを『見る』ことはできません。そこでスタートしたのが、アスリートが競技中に感じている身体感覚を、日常の動作で翻訳するという取り組みです。オリンピアンや研究者らと一緒に、競技の身体的翻訳を行うワークショップに取り組みました。例えば、フェンシングであれば、その『剣を操作する指先の感覚』は、二人がアルファベットの木片を知恵の輪のように絡め、それを抜いたり抜かれまいとする動作に翻訳できることがわかりました。もちろん、これだけが正解ではないですが、各競技の専門家が『確かにそれっぽい』と納得するまでやりました。さらには、こうした触覚や身体感覚を用いた体験を、従来の視覚と聴覚による観戦と組み合わせることで、多様なスポーツ観戦の形が実現できるのではないかと考えています」

人の「パーソナリティ」さえも触覚で表現される!?

さらに渡邊さんの話は「パーソナリティの触覚化」にも及んだ。

「『この人といると圧を感じる』とか『この人は頭がやわらかい』といった表現があるように、私たちは他者のパーソナリティを触覚の語彙で表現することがあります。だとすれば、それを実際の触覚に変換することで、感覚として感じることができるかもしれません。パーソナリティの心理学で有名なBig Fiveという理論があります。『協調性』『開放性』『神経症傾向』『外向性』『誠実性』とった五つの因子でパーソナリティを特徴づけるものですが、例えば、『協調性』というのは、他者と摩擦なくうまくやることであり、触覚的には相手に適度な反力を返しながら追従する感覚になるのではないでしょうか」

こうしたアイデアは、アーティストのクワクボリョウタさんとの対話の中から生まれ、「おしくら問答」という作品として結実した。鑑賞者は、装置の側面を押すことで、相手と触覚的にコミュニケーションを行う。何度も押すことで段々やわらかくなる、最初はスムーズだがある一定以上は譲らない等、パーソナリティの違いによって反応の仕方や履歴が異なる。その違いによって異なるパーソナリティに「触れる」ことができるのだ。

「パーソナリティの触覚化は、遠隔とのデジタルなコミュニケーションにおいても力を発揮するでしょう。現在、ロボットを介した遠隔コミュニケーションはすでに実現されていますが、例えば、操縦者のパーソナリティを、ロボットの動きの中に触覚的に付与することで、『その人らしさ』をより感じられるようになるはずです。触覚というアプローチをとることによって、パーソナリティといった目に見えない情報も、デジタル化の中に含めていくことができるかもしれません」

「おしくら問答」 2021年 クワクボリョウタ × 渡邊淳司

「おしくら問答」 2021年 クワクボリョウタ × 渡邊淳司
2021年10月1日から10月10日まで札幌文化芸術交流センター(SCARTS)にて体験可能
(撮影:リョウイチ・カワジリ 写真提供:札幌文化芸術交流センター SCARTS)
https://www.sapporo-community-plaza.jp/event_withothers-at-alongdistance.html(外部サイト)

触覚という「骨組み」で、デジタル情報に身体性が宿る

触覚のポテンシャルについて語る一方で、渡邊さんは「触覚それ単体では意味を解釈できない」とも言う。

「例えば、先ほど紹介した心拍を感じる装置を何の説明もなしに渡されたとしたら、どうでしょう。それはただの『振動して光っている球』にしか見えず、特に何の感傷もなく『何ですかこれ?』ということになるはずです。つまり、選手の鼓動と同期しているという情報があって始めて、その触覚に意味が宿るのです」

現在の「情報」のほとんどは、視覚や聴覚から得られるものである。ここで興味深いのは、デジタルな視覚情報や聴覚情報に触覚を組み合わせると、その情報の「質」が変化するということだ。

「デジタル情報で再現した映像や音声に触覚が加わることで、その実在感が高まるイメージです。視覚や聴覚においてはリアリティの高まりを『解像度が上がる』と表現しますが、それとは少しニュアンスが違っていて。のっぺりとした情報が『立体化』するとでも言いましょうか、目の前の情報が反応しなくてはいけない対象になる。比喩的に言うなら、視覚や聴覚からの寄る辺のない『テクスチャ』情報が、触覚というポリゴンというか『骨組み』に張り付くことで、一つの存在が立ち上がるんです」

既存のデジタル情報に触覚を掛け算することで、情報が立体化する。デジタルなコミュニケーションのなかで、相手の存在をより確かなものとして「実感」できるようになる。それは「デジタル情報の身体化」と言い換えることもできるだろう。

「デジタル情報が身体性を伴うようになれば、私たちの行動にも何らかの変化が起きるはずです。現実の世界では、他者の身体性を意識できるかどうかで、私たちの行動は大きく変化しますよね。例えば、目の前の人に握手して寄付をするのと、その人の横にただ募金箱が置いてある場合とで、どちらが寄付金額が大きくなるかを想像すればわかりやすいはずです。こうした人の身体感覚に働きかけるようなアプローチが、今後はデジタルな活動圏においても当たり前のものとなっていくでしょう。そのような近未来の情報環境における行動経済学を『デジタル身体性経済学』という新たな研究領域として、明治学院大学の犬飼佳吾准教授らとともに立ち上げようとしています」

「公衆触覚伝話」 2019年

「公衆触覚伝話」 2019年
https://www.ntticc.or.jp/ja/archive/works/public-booth-for-vibrotactile-communication/(外部サイト)
(動画でもご覧いただけます:https://youtu.be/2z0rSDr1yqk(外部サイト)

リアルとデジタルの身体性

リアルな世界だけではなく、デジタルな世界においても身体性を感じることが当たり前になる。そんな未来を生きる私たちは、二つの身体性とどのように向き合っていけばいいのだろうか。

「『デジタルな身体性』をどう受け止めるかは、世代によっても大きく異なるでしょう。興味深いのは、これから生まれてくるであろうVRをはじめとする『デジタルな身体性』を所与のものとするネイティブ世代です。彼らは果たして『デジタルな身体性』と『リアルな身体性』を区別することができるのか。ここは非常に難しい問題です。成長段階で二つの身体性が混じり合わないために『デジタルな身体感覚を身につけるのは、ある程度身体を動かせるようになってから』といったルールも必要になるかもしれません。この辺りをどう線引きするかは、今後も議論が必要だと思います」

デジタルな身体性を獲得することは、「身体」とは何かを考え直す契機にもなるだろう。

「身体が発するメッセージには、意識で捉えきれない部分がありますよね。ある意味で身体は、自分自身でありながら、他者のようなところがある。だからこそ、身体を『思いのままにコントロールしよう』ではなく、『コントロールできない部分があるけれど、うまく付き合っていこう』という姿勢が大事になると思うんです。デジタルな身体を持つことは、物理的な身体の特性に自覚的になることでもあります」

身体は現実世界を生きるための『道具』ではなく、その存在自体に価値がある固有の『存在』として捉える姿勢も大切だという。身体という「身近でままならぬ他者」の存在に意識を向け、うまく付き合っていく方法を模索する。そうした姿勢を身につけることは、現実の他者とウェルビーイングな関係性を結んでいくためにも意味があるはずだ。

「ウェルビーイングの一つの根源的なあり方とは、身体や他者を『存在すること自体に意味がある』ものとして受け入れ、うまくやっていくことです。だからこそ私たち研究者は、デジタルテクノロジーを活用して、より多くの人が『存在そのものの価値』に積極的に目を向ける機会をつくっていくべきだと思うんです。道具的価値ではなく、内在的価値です。そういう意味でも、遠く離れた人の『存在』をより確かなものとして伝え、時には感覚を共有することさえできる『触覚のデジタル化』には、大きな可能性があると感じています。他者の存在を立体的に感じながら、自分の意識や行動を調整していく。そんなウェルビーイングな振る舞いを促してくれるテクノロジーになるのではないでしょうか」

そもそも『する/される』の区分があいまいな触覚は、他者との感覚の共有を前提とした感覚器官だ。私の手は握ると同時に、握られている。だからこそ、ほかのどの感覚よりも、他者の存在を実感せずにはいられない。そんな触覚をデジタルテクノロジーの力で拡張することは、他者や自分自身を、存在そのものとしてありのままに受け入れる機会を増やしてくれるはずだ。「触れ合うこと」のデジタル化は、より温かで手触りのある未来へと繋がっているのかもしれない。

渡邊淳司
NTTコミュニケーション科学基礎研究所 人間情報研究部 上席特別研究員。人間の触覚のメカニズム、コミュニケーションに関する研究を人間情報科学の視点から行なう。また、人と人との共感や信頼を醸成し、ウェルビーイングな社会を実現する方法論について探究している。主著に『情報を生み出す触覚の知性』(化学同人、2014、毎日出版文化賞〈自然科学部門〉受賞)、『表現する認知科学』(新曜社、2020)、『情報環世界』(共著、NTT出版、2019)、『見えないスポーツ図鑑』(共著、晶文社、2020)、『わたしたちのウェルビーイングをつくりあうために』(共監修・編著、ビー・エヌ・エヌ、2020)がある。
編集・文:株式会社ドットライフ

#11 2040年、デジタルとどう暮らす?