テクノロジーで「テレパシー」の能力を得られるか

身体体験をデジタルテクノロジーと繋ぐ

池澤：私は学生時代、慶應大学SFCの筧康明研究室に所属していて、IVRC（外部サイト）にも参加したことがあり、すごく親近感を覚えながら南澤先生のWebサイトを拝見しました。最近はどんな研究をされているんですか？

南澤：主に触覚の技術とそのデザインにずっと関わってきました。2015年ぐらいから自分の研究室として「EMBODIED MEDIA（外部サイト）」を立ち上げて、触覚に限らず僕らが身体を通じて感じるさまざまな体験をデジタルテクノロジーと繋ぐという研究プロジェクトをやっています。

いまやゲーム機やVRデバイス、メタバースの世界にも触覚や身体感覚が取り入れられるようになってきて、5年前くらいからは、人間の分身となるアバターやロボットの身体を使って新しい事業を起こそうと世界中でスタートアップが立ちあがっています。そういった世の中の動きの中で、様々な企業と連携して触覚技術やアバターロボットの社会実装を推進しつつ、僕らは、もう少し人の内面に踏み込む研究にもシフトしています。

例えば、コロナ禍によって僕らはお互いが触れられない状況になりましたが、一方でリモートやZoom会議で遠く離れた人と時間や距離を超えて、お互いにフラットにコミュニケーションできるようにもなりました。そこにもう1度、触れ合いとか触り心地といった「身体性」を持ち込んだら何ができるのか。脳科学や行動経済学、認知心理学、アーティストといった、これまでの僕らの専門とは異なるジャンルの人たちとも一緒にプロジェクトを進めています。

池澤：具体的にはどんなプロジェクトですか？

この「Boiling Mind（2019）」はダンス作品ですが、お客さんの緊張やリラックス、興奮といった内面の変化を計測して、それを舞台のビジュアルや音に反映しています。それによってダンサーと観客とのお互いの関係性をテクノロジーで拡張しています。

日本の国家戦略としても、こういった技術を社会で活用して人々が空間や時間を超えて活動できるようにするイノベーションを生み出そうという目標が生まれていて、2020年に始まったムーンショットと呼ばれる研究開発制度の中で、「身体的共創を生み出すサイバネティック・アバター技術と社会基盤の開発（https://cybernetic-being.org/ （外部サイト））」という研究プロジェクトのプロジェクトマネージャーをやっています。

2015年にアバターロボットを使うことで、おばあちゃんがお孫さんの結婚式に遠隔から参加できるというプロジェクトを行いました（http://embodiedmedia.org/projects/hug-project（外部サイト））。最近だと「オリィ研究所」というスタートアップが行っている「分身ロボットカフェDAWN ver.β（https://dawn2021.orylab.com/（外部サイト））」では、障がいを持っている方や寝たきりの方が、「分身ロボットOriHime」を使って学校に行ったり働いたりすることが可能になっています。

このようにアバターロボットやメタバースの世界が日常になることによって、自分の身体以外にもう1つの身体を持つ社会というものを想像していて。そうした「サイバネティック・アバター」を持ったときに、人間が自分の身体的な制約を超えて、デジタルネットワークと現実世界とをうまく横断しながら、それぞれの体験や技能をお互いにシェアしたり助け合ったりして、新しい人生の送り方みたいなものが作れるんじゃないかなと考えています。

池澤：オリィ研究所さんとの取り組み、身体に縛られずに働くことができる世の中ってすごいなと率直に感じました。

南澤：「分身ロボットカフェDAWN ver.β」では、50名以上の様々な障がいをもった方が毎日、カフェの店員さんとして働いています。見た目はロボットですが、そういった見た目を超えて、お客さんが店員さんと自然に会話しているし、店員さんにファンもついたりしています。

池澤：それぞれがきちんと違う個性があって、会話ができているのが面白いです。

南澤：僕らはSNS上で全然違う人格を持っていたりしますよね。ある意味、多重人格状態を選択しようとしている。生まれたときに一つの身体で生まれて、名前がついて、そこにIDやマイナンバーが振られるという世界から、自分の中にいろんな自分がいたり、自分が同時に何か所かに存在して同時に全く別のことを体験することもできる世界になってきています。そのときに「サイバネティック・アバター」という技術が重要になるんですね。

2021年のSIGGRAPH Asiaで発表した「Parallel Ping-Pong」では、一人で2つのアバターを同時に操作できるという試みを行いました。これもちゃんと自分の意思で2つの卓球台で対戦している感覚が生まれてくるんです。

逆にたくさんの人が一つの身体やアバターに入るってこともできるので、ある意味「一心同体」がテクニカルに実現できる。同じくSIGGRAPH Asiaで「Collaborative Avatar」 として発表したのですが、実際にやってみると面白くて、本当に自分の身体にもう1人、2人入っているような感覚がします。お神輿とかに近くて、一心同体感が生まれるというか。

一つの身体に縛られない生き方

池澤：身体に縛られない世の中になると、社会がこう変わっていくのではという展望はありますか？

南澤：こういった研究には、大きく2つの考え方があるように思います。一つは本当に身体に縛られないようにしたい。つまり、肉体や身体から解き放たれて、ネットワークの中に魂だけ存在する状況、あるいはAIと融合して自分の思考そのものが肉体を捨て去っても残るようにしたいという考え方。

もう一つは、身体に縛られたいというか、肉体が死ぬときにちゃんと死にたいという考え方。僕らのプロジェクトのメンバーの共通意識としては、どちらかというと後者を目指しています。「サイバネティック・アバター」によってできることが広がったり物理的障害をなくしたりしていけるけれども、あくまでも「本来の自分」みたいなものが着地点かなと思っています。

経済合理性から考えると、身体から解き放された方が絶対いいんです。自分の身体に縛られずに、自分の能力がどんどんデジタルコピーされて、勝手にお金を稼いでくれる。これも一つの考え方で、人間がやりたくないことに関してはその方がいいのかもしれません。ただ、人生を謳歌したり、自分自身を高めるためのものは、自分で経験しないと意味がないですよね。そのときに、自分の肉体だとやりにくかったり、制約や身体的障がいがあったりするなら、もう一つ身体があってもいいじゃないかっていうのが僕らの提示したい価値観だと思っています。

池澤：あくまでもテクノロジーによる身体の拡張ってことですか？

南澤：基本的には「身体の拡張」です。ただ、今の自分の上に重ねていくだけじゃなくて、パラレルに乗り移れるような別の身体があってもいいよねってことですね。それによって生身とは違う自分を発揮できるようになる。感覚としてはスーツを着るとシャキっとするとか、寝巻きに着替えるとリラックスするとかに近いかもしれません。

池澤：オリィさんのカフェの説明の中で、障がいを持っている方によって入力インターフェースのUIが違うというのも気になります。その人その人に合わせて作られている感じなんでしょうか？

南澤：いまはそうですが、最終的にはUIそのものを意識させないようにすること、UIの先にある自分の思いをロボットとどう接続するかが課題だと思っています。池澤さんも、VRでアバターを使われていて感じることがあるかと思いますが、キーボードやマウスを使ってアバターで歩いているときにある程度馴染んでくると、操作コマンドではなくて"歩いている"っていう体験そのものになる。あの感覚がやっぱり大事。

コロナ禍になる前に足の骨を折って、2〜3か月在宅状態になったことがあって。その時にはiPadにタイヤが生えたようなアバターロボットを使っていたんですけど、数日経つと、普通に誰かにぶつかったときに「お、ごめん」って反応になるし、アバターの首根っこを突然つかまれると自分の首根っこがゾワっとするんですよ。

池澤：へえー（笑）。

南澤：我々の脳みそってフレキシブルで、自分の肉体以外の身体に対してもちゃんと接続します。なので、UIはむしろそれを阻害しないこと、むしろ意識的に無視できる透明性を持ったUIにいかにしていくのかが大事ですね。

VR技術の進歩に伴う法律の壁

池澤：VRの技術が一般化してきたことによって、研究内容に影響があったり、変わってきたりしたことはありますか？

南澤：いろいろあります。よくZoomで打ち合わせをしていますが、これもある意味ではVRです。VRブームとコロナ禍の2つによって、リモートがない時代はもう想像できなくなっていると思います。コミュニケーションの前提条件が大きく変わったことがまずは大きいです。

池澤：VR内恋愛というのもあるし、VRならジェンダーの壁もなくなっていくわけじゃないですか。どういう影響があるのかなっていうのは気になりますね。

南澤： MMO（※マッシブリー・マルチプレイヤー・オンライン／大規模多人数同時参加型オンラインゲーム）で仲良くなって、そのまま実際に結婚するっていうことも以前からありましたし、VR内結婚もあると思います。場合によってはそのままメタバース空間で一緒に過ごす、肉体的に一緒に暮らさないっていう選択肢もありえます。オンライン上のつながりだけで実際に子供が生まれるっていう選択肢も、技術的には可能です。

池澤：そうなると法律の壁とか、新しい法律の定義とか、そういった領域も関わってくるようになりますか。

南澤：「サイバネティック・アバター」を本当に実現しようとすると、法律から変えていかなきゃいけないですね。複数箇所に同時に存在して罪を犯したときには、どこで裁かれるべきなのか。国を超えてアバターを使ったら入国したことになるのか、結構いろいろな問題があるので、法律家や弁護士とも一緒にチームを組んでプロジェクトを進めています。

例えば「働く」などは、現実的な課題になり始めていて。オリィさんとのプロジェクトでいうと、障がいを持っている人が自宅からアバターで働くと、その瞬間に公的な介護福祉サポートの対象じゃなくなるっていう問題が既に起きています。

池澤：テクノロジーの進化だけじゃなくて法律面含めて、やっぱりみんなで考えていかなきゃいけないってことなんですね。

南澤：これから先は、特に情報科学の研究領域は、10年スパン程度で、新しい概念が社会に実装されてしまう。バイオ系の研究にしても、どんなに長くても20-30年くらいするともう実用化になってしまう。だからそれぞれの専門性はありつつも、未来を見届けるためには多様な領域の専門家が連携して、一気通貫でカバーしていくという必要がありますね。

テクノロジーがもたらす身体的な"テレパシー"

池澤：今回のテーマはテレパシーですが、そこまでいくとテレパシーはほぼ実現しているんじゃないかと思えますね。

南澤：昔のSFでいうテレパシーって、ほぼTwitterなどのSNSで実現しているとも言えますよね。多分もう一歩先のテレパシーというのは、身体的なものなんだと思います。例えば昔だったら師匠と弟子がいて、師匠の背中を何年も何十年も見ながら学んでいくという世界で、テレパシーを受信するまでにめちゃくちゃ時間がかかったわけです。でも、今は師匠が何を見て何を感じて、どうやって体を動かしているのかを、技術的に乗り移って体験することができる。

職人さんの技をデータで残すこと自体は難しくはない。しかしデジタル化とテレパシーには差があって、単なるデータだけでは他の人にインストールがされない。さっきの身体を共有するっていうプロジェクトはそういうチャレンジなんですけど、お互いの体がアバター上で交わることによって、そこでのお互いの意図や行動が融合する感覚が生まれ、それがそれぞれの身体行動に反映されるというのが、テレパシー的なんじゃないかなって思います。

池澤：職人さんの手仕事はすごく興味があります。教育にも使えそうですよね。電気系とか、ハンダ付けの仕方とかも職人の技と同期して体験してみたいです。

南澤：スポーツも分かりやすいですね。卓球選手のラケットにセンサーをつけて、その触覚を隣で感じると、スピンをかけるときの動きって想像できないような感覚だってことが一瞬でわかる。

池澤：そういう動きを電気信号で伝えて欲しいですね。自分の手でそのまま再現できる。

南澤：いわゆる「乗っ取り系」ですね。この取り組みで面白いのは、自分で考えるよりも早いということです。習得レベルじゃなくて反応レベルで早い。要は高速で飛んでくるボールをキャッチするときに、あっ飛んできたって思ってから身体を動かしていたら、ボールは取れないんです。でもコンピュータで見て、計算して、筋肉に刺激を与えると取れるんですよ。

こういうサイボーグ的なことも可能になり始めていますが、これをどこまでやっていいのかという哲学と倫理の話になりますよね。技術がなかったら何もできない人間になるのではなく、技術を通して体験することで、その後同じ技術を用いなくても自分のスキルとして習得できる状態を作っていくことは大切だと感じています。

コミュニケーションの未来が変わる

池澤：便利になった反面、結構失っているものもたくさんあると思っていて。SNSでもそうですし。やっぱり、リモートワークをしていると、なんだか一種の寂しさ、スキンハンガー（Skin Hunger：触覚がない寂しさ）を感じたりします。

南澤：やっぱり僕らは動物として、本能的に持っている部分ってあると思うんですよね。お互いの触れ合いによって安心感や親しみを得るとか、敵か味方かを見分けるみたいな。それがない状態で相手を信頼・共感しなきゃいけないって、やっぱりストレスにはなっていると思うんです。人間の本来の機能として無理をしている部分があるというか。

だから、動物が本能的に持っているそうした身体性に、テクノロジーの側から歩み寄ってあげると、もう少し人が安心して使える余地があるかなって思います。

池澤：コミュニケーションって人間の根源だと思うので、そこが変わってくるっていうのはすごく面白い。

南澤：例えば今だったら、社会情勢をTwitterでとらえようとするとすごいスピードで情報が流れていって、いろいろわかる一方で少し他人ごと化してしまうと思うんですよね。それを僕らが身体の感覚とか体験で学ぶっていうのと同じ時間軸で実現できると、もう少し理解が深まるんじゃないかなと思っていて。このようにデジタルに身体性を取り戻すっていうのは一つのミッションだと思っています。

池澤：確かに視覚情報というか、読む・書く・見るに集中しすぎているなとは、すごく私も感じます。

南澤：僕はミヒャエル・エンデが好きなのですが、『モモ』では時間感覚というものがすごく大事に扱われているのではと感じます。今はテキストも映像もザッピングしながらぱっと見て、ちょっと長いコンテンツだと見る気にならないみたいな状況になっていますよね。いろんなことが加速していて、僕らの思考が追いついていない。

池澤：確かにそれはすごく感じますね。ライトにリアルタイムで見ちゃうと、他人ごと感がしちゃいますよね。

南澤：この先10年、20年くらいで僕らはプラットフォームとして何をデザインするのか、自分ごと化するというプロセスを丁寧に設計したいなと考えてます。コロナ禍の中で、触覚を繋いでオンライン会議をやったりしているんですが、すごく楽しいんです。相手がゴソゴソしているとか気配とか、何か特に意味のある情報ではないのですが。特に食事をすると面白いんです。コップを置いたとかお箸を置いたとかちょっとした振動が伝わってきて、それがあるとないとで暖かさみたいなものが全然違います。

池澤：身体がそこにあるかないかによって、本当にコミュニケーションが変わるんですね。不思議だなあ。その解像度が上がっていくと、こういうときにはこのコミュニケーションツールを使いましょう、みたいな提案もできるようになりそう。

南澤：アバターによってコミュニケーションが変わってくるという研究もすごく増えています。メル・スレイターというVRの大家の研究で、アインシュタインのアバターを使うとテストの成績が実際に上がるとか、アフロヘアーのお兄ちゃんのアバターで太鼓を叩いた方がスーツ姿のアバターで叩くよりも、ノリノリでリズムがよく叩ける。真面目な研究として既に成立しています。

そういう意味ではClusterでも自分のリアルアバターを持つという選択もあれば、あえて持たないという選択もあると思います。持たないことで、良くも悪くも身体に縛られていることによる自分の中のリミッターを、突破したり解放したりできるかもしれません。とはいえ、初めから身体がなかったってことになると、逆に今度はアイデンティティや個性は生まれなくなるので、個人の存在をきちんと確立させるために身体はやっぱりいい「殻」なんですけどね。

池澤：すごく面白い。新しい未来が切り開かれる気がします。

南澤孝太

慶應義塾大学大学院メディアデザイン研究科（KMD）教授
科学技術振興機構ムーンショット型研究開発事業 Cybernetic being Project プロジェクトマネージャー
2005年 東京大学工学部計数工学科卒業、2010年 同大学院情報理工学系研究科博士課程修了、博士（情報理工学）。KMD Embodied Media Project を主宰し、身体的経験を伝送・拡張・創造する身体性メディア、サイバネティック・アバターの研究開発と社会実装、Haptic Design Projectを通じた触覚デザインの普及展開、新たなスポーツを創り出す超人スポーツやスポーツ共創の活動を推進。日本学術会議連携会員、超人スポーツ協会事務局長、テレイグジスタンス株式会社技術顧問、サイエンスアゴラ推進委員等を兼務。
KMD Embodied Media Project -- http://embodiedmedia.org（外部サイト）
JST Moonshot Cybernetic being Project -- http://cybernetic-being.org（外部サイト）
Haptic Design Project -- http://hapticdesign.org（外部サイト）
超人スポーツ協会 -- http://superhuman-sports.org（外部サイト）

池澤 あやか

タレント、ソフトウェアエンジニア
1991年7月28日 大分県に生まれ、東京都で育つ。慶應義塾大学SFC環境情報学部卒業。
2006年、第6回東宝シンデレラで審査員特別賞を受賞し、芸能活動を開始。現在は、情報番組やバラエティ番組への出演やさまざまなメディア媒体への寄稿を行うほか、フリーランスのソフトウェアエンジニアとしてアプリケーションの開発に携わっている。
著書に『小学生から楽しむ Rubyプログラミング』（日経BP社）、『アイデアを実現させる最高のツール　プログラミングをはじめよう』（大和書房）がある。
Twitter: @ikeay
Instagram: @ikeay

取材・文：名小路浩志郎
編集：Qetic株式会社