現実×デジタルで近づく「透視」可能な未来

ARで熟練者の"暗黙知"をデータ化する

池澤：早速ですが、中村さんの会社「ホロラボ」について教えていただけますか？

中村：2017年に会社を設立して、MicrosoftのHoloLensというAR グラスのアプリケーション開発を事業にしています。HoloLensのアプリケーションだけではなく、他のデバイスやタブレット端末の AR、さらに3Dのデータ作成支援など、多くの企業様と一緒に様々な取り組みをしています。

池澤：ARならではの魅力って、VRと比べてどういうところだと思われますか？

中村：ARは、現実とデジタルをどう組み合わせるかという点が特徴です。なのでクライアントが仕事をしている現場に行ったり、実際にコンテンツを運用する現場に行ったり、いろんな場所に行くんですよね。現実・現場を感じながらそこにデジタルをどう入れるかという、その感じが僕はすごく好きですね。

池澤：ホームページ（外部サイト） にもいろいろな事例が載っていてすごいなって感じるんですけれども、特に推しのソリューションパッケージはありますか。

中村：mixpace（ミクスペース） というサービスを展開しています。CADという製造業で使う3Dのデータや、BIM（ビルディングインフォメーションモデリング）という建物を設計するための3DデータなどをHoloLensやiPadのAR に入れるには、データ変換がなかなか一筋縄ではいかないんです。それをクラウド上で全部自動変換をして、 AR・MR化するというサービスです。

池澤：ホロラボさんのアプリを使われて、クライアントの業務が改善したなど具体的な事例はありますか？

中村：去年の4月にプレスリリース（外部サイト） が出ましたが、大林組さんの中で、建物を建てた後の点検とその修正の確認ですね、これをiPadのARで実施し、3割ぐらい工数削減できた事例がありますね。

ARが生きる現場は結構いっぱいあるんです。安全点検や安全確認、あまり体験できないことをデジタル上で追体験するような場面にはかなり合っています。ドコモさんのXR の取り組みもご支援していたことがあって、ショッピングでの AR 体験という実証実験を行ったのですが、今までとちょっと違った体験や新しい見せ方を作ることができます。もちろんVRならゲームの中に没入して体験できますし、コロナ禍になってOculus Quest（ワイヤレスのオールインワンVRヘッドセット）の販売数がかなり増えたと言われてますよね。

池澤： VRはバーチャルな世界ですが、ARは現実世界とバーチャルをどう繋ぐかみたいなテーマが確かに多いですね。現実世界の匠の技をどう再現して効率的に学ぶか、とか。

中村：匠の技でいうと、ホロラボで作っている「TechniCapture（テクニキャプチャ）」というアプリケーションがあります。HoloLensで頭と手指の位置と視線のデータが取れるので、これで熟練者の動きを記録して、初学者の方に見てもらって学ぶという製品です。

面白いのが、熟練者が持っている「暗黙知」のようなものを記録するためにデータを取るんですけれども、熟練者の方ってもはや自分の手元をあまり見ていないんですよね。身体が覚えているので、手元を見ずに工程にどんどん進めていくため、記録の仕方に工夫が必要です。

池澤：へぇ～。

中村：HoloLensが最初に発売された時、Microsoftと JALがジェットエンジンやコックピットのトレーニング用のアプリケーションを作ったことがありまして。当時でもLeap Motionっていう手指の動きが取れるデバイスとVRで同じようなことができたはずなんですけど、何であえてHoloLensのARでやったのか、JALの方に質問したんです。そしたら「マッスルメモリー」という言い方をされていたんですけれども、距離感や実際の大きさなど自分の身体で覚え込まないといけないことから、VRよりARの方が適しているっていう話をされていましたね。

一方でトレーニングでいうと、イマクリエイトという会社が溶接の VR 開発をしていて。溶接を実際に体験されたことってありますか？

池澤：ありますあります。結構ドキドキしますよね。

中村：溶接って火花が出るから仮面を被りますけど、そうすると暗くてもう手元が見えなくなるんですよね。

池澤：まさに。火花もすごくて、手元が全然見えなかったです。

中村：熟練者は身体で覚えているので作業できるんですけど、初学者の方は手元が見えないからできなくて、なかなか習得効率が上がらない。それで、VRを使ってコントローラーも溶接器具に繋げて、重さや触り心地をほぼ同じようにするそうで。まずは明るさをコントロールして最初は手元が見える状態でトレーニングをして、徐々に暗くして、見えなくても同じように動かせるみたいな段階を踏むらしいんです。そうすると実際にリアルに溶接のトレーニングをするよりも、 トレーニングの速度、習熟の速度が上がるっていうのは結果として出ているみたいです。

池澤：データの取り方にいろいろ工夫が必要そうですね。

中村：そうですね。あと面白いのが、ホロラボで「手放しマニュアル」というARのマニュアルアプリケーションもやっているんですが、当然ARのマニュアルを作るということは元のマニュアルがあるんですね。で、元のマニュアル通りにARのマニュアルを作っていくと、現場と合わなかったりする。

池澤：確かに現場とマニュアルって意外と離れていくものなんですね。

中村：僕はそれがすごくいいと思っていて。ソフトウェアの開発プロセスでいう、いわゆるアジャイルとかスクラムに近いですが、野中郁次郎さんが「SECIモデル」という知識創造のスパイラルを提唱されていて。暗黙知を表出化して形式知化して、それを集めて、さらに暗黙知への落とし込みをする、みたいな。 ARは一つの出口ではあるんですけれども、それを企業の中の業務プロセスの中に入れ込むことで、その企業の暗黙知的を掘り起こすとか、そういうことができるのもいいかなって考えています。

池澤：すごく面白いです。

中村：実際にデータを撮ると、熟練者の動きも皆さん微妙に違うんです。だからデータを比べることで、新しい発見が出てくるかもしれないし、職人技とかも、1人1人が最適化されているので、それを集めてマージしてみるのも面白いかなって思います。

池澤：私が溶接を体験したときも、仮面をつけると何も目の前が見えないし、もう真っ暗の状態なので、確かに手の感覚になってくるんですよね。目だけじゃなくて、手側の VRとかが発達してくると、そういうところもカバーできるのかなとは感じました。

VR・ARデバイスが普及した未来の可能性

池澤：VRやARのグラスデバイスが安価な時代になったら、どういったコンテンツが出てくると思いますか？

中村：僕は結構、グラスデバイスにTwitterのタイムラインが出るぐらいの感じでもいいのかなと思ったりします。あとはうちの研究でもやっていますが、現実の中にデジタルでタグ付けをするとか、ナビゲーションが表示されるとか。派手ではないけど、本当に普通に使えるようなものがいいかなと思います。

池澤：知り合いの名前が出るだけでもありがたいですよね。最近フロントガラスの部分にヘッドアップディスプレイで情報が出るクルマも増えていますよね。ARが生活に馴染んだ先って、まさにああいう世界観かなと。スマホを見なくてもいいから、姿勢もよくなりそう。

中村：グラス系のアプリケーションのデモンストレーションで、よくクジラのCGを出すじゃないですか。で、クジラが画面の上部を泳いだりする。スマホに慣れた今だと、上を見上げる習慣ってあまりないですけど、グラスデバイスが普及したら上を見る習慣が広がるのかもですね。

池澤：めちゃくちゃ面白いです。意外と下って転んだりしないようにとか、ちゃんと見なきゃいけない情報が多いですけど、上って結構余白のスペースなのかも。上向きのコンテンツとかも選ばれていくかもですし、上を向いたらメニューバーみたいなのが出るとか、いいかも！

ARで広がる教育現場の可能性

中村：「透視と千里眼」というテーマでいうと、例えばクルマの内部を覗くことができるっていうコンテンツは、ARの初期からあったんですよね。外観のデザインだけでなく、エンジンなども他社との差別化だったり特徴だったりするので。ARが本当に普及したら、そういう透視に近い能力を得たことになりますね。

あとは透けて見えるといいのは、人体ですかね。一番身近な3Dって人体なので。HoloLensでも、人の内臓や筋肉の比較的アカデミック寄りなアプリケーションがあります。また教育用途でも、単純に覚える・理解するってことではなく、体験を伴った理解ができるようになります。

池澤：デバイスが安価になったら、教育現場では広がりそうですよね。例えば数学って文章で理解しようとするとかなり難しい概念が多いですけど、グラフィックで3Dならより面白くなるし、身近に感じられそうです。

中村：だから勉強が遊びになるんですよね、きっと。人間って2Dの処理能力はあっても、3Dの処理能力は人によって得意不得意なところがあると思うんです。積み木の数を数えるみたいな算数の問題にしても、ARならば「この積み木は何個でしょう、じゃあ実際に崩して数えてみましょう」ということができる。

池澤：黒板が3D になるみたいな。

中村：3D 黒板、面白い！　理科や社会もそういった体験型の授業になると、面白いですよね。僕は戦国時代物や三国志が結構好きなのですが、合戦が目の前で繰り広げられるとか、歴史的な建造物とかも写真で見るよりも現地に行った気持ちになれた方か楽しいですよね。

池澤：ARだったら手元も見られるから、 iPadでノートを取りながらでも見やすいし、教育分野だとすごく広がりがありそうですね。iPadを導入する学校も増えてきていますし。

中村：うちの子どももiPadを学校から借りて勉強していますが、日記を書くときに、みんなの日記を見ながら書いていましたね。SNS の一歩手前みたいな感じになってきていて、びっくりしました。

あと「千里眼」については、ARによる遠隔支援ですね。最近だと重機の遠隔操作も増えてきて、例えば東京にいながら地方の重機を操作して工事を進めるとか、ベテランの方が各現場のサポートをするとか。これってまさに「千里眼」ではありますね。

期待される触覚・嗅覚・記憶の再現

池澤：VRやARでできることがどんどん増えていますが、逆にこれが足りないみたいなことはありますか？

中村：やっぱり視覚と聴覚以外の感覚ですね。バーチャル見学のような案件で現場に行くと、その現場の匂いとか空気感とかがないと、リアリティを伝えきれないと感じることがあります。

とはいえ嗅覚や触覚もまだまだ研究段階ではあるので、しばらくは視覚と聴覚で頑張るんでしょうね。人間の感覚において、視覚ってすごく強いイメージがありますけど、嗅覚や触覚も意識はしていないけれども相当使っていると思うんですよね。

池澤：私は大学でVRを研究していたんですけど、その時に人間の五感に対応した脳の領域を元に、図や人形化したものを学んで。「ペンフィールドのホムンクルス」ですね。そうすると、やたら手が大きい、いびつな人形になるんですよね。

中村：これはすごいなあ。それだけに、触覚の再現って難しいんですよね。その感覚だけだけではなくて、重さとか反発性とか結構いろんな要素があるので。

池澤：これからのVR時代にはホムンクルスの新しい形として、人間の眼がものすごい大きなホムンクルスってあり得るのかなって思いますし、そういう人間拡張を目指してるんじゃないかって思いますね。

中村：人間は見た目が9割みたいに言われますしね。また、記憶の再現ということでいうと、4年ぐらい前に NHKの方とご一緒して、東日本大震災のときに流されてしまった駅舎を再現する企画をやったんです。そのときに、特に高齢の方にVRを体験していただくと当時の記憶で話し始めるのが印象的でした。最近だと iPhone にLiDAR(ライダー)っていう距離を取るセンサーが付いているので3Dスキャンができますし、写真から三次元を復元する「フォトグラメトリ」という技術もありますから、昔の記憶を呼び戻すのにもVRは使えますね。

池澤：だから卒業アルバムも、VRでいいかもしれないですね。集合写真を見ただけでも、その頃の記憶がよみがえってくるし、全員3Dスキャンして声も入れたりしたら、いつでも「2D以上現実未満」の教室に行ける。バーチャル空間に教室を置いて、当時のアバターで話せるって、いいですよね。

中村：いまよりもリアルに記憶を呼び起こせるのかもしれないですね。

池澤：ほんとにこれからの未来、楽しそうですね。

*VR ＝ Virtual Reality／仮想現実。コンピューターで作られた仮想的な世界を、視覚やその他の感覚を通じあたかも現実世界かのように疑似体験できる技術。

*AR ＝ Augmented Reality／拡張現実。現実世界にデジタルコンテンツやデータなどバーチャルな視覚情報を重ねて表示することで、仮想的に拡張する技術。

中村薫

2001年よりWindowsアプリおよび組み込み系ソフトウェア開発会社に勤務。
2012年にMicrosoft社の開発した3Dセンサー「Kinect」の魅力に出会い独立。 センサー関連の開発から、執筆、登壇活動などを個人事業として取り組む。
2013年に技術コミュニティTMCNの立ち上げに参加。
2017年にホロラボを設立し現在に至る。

池澤 あやか

タレント、ソフトウェアエンジニア
1991年7月28日 大分県に生まれ、東京都で育つ。慶應義塾大学SFC環境情報学部卒業。
2006年、第6回東宝シンデレラで審査員特別賞を受賞し、芸能活動を開始。現在は、情報番組やバラエティ番組への出演やさまざまなメディア媒体への寄稿を行うほか、フリーランスのソフトウェアエンジニアとしてアプリケーションの開発に携わっている。
著書に『小学生から楽しむ Rubyプログラミング』（日経BP社）、『アイデアを実現させる最高のツール　プログラミングをはじめよう』（大和書房）がある。
Twitter: @ikeay
Instagram: @ikeay

取材・文：名小路浩志郎
編集：Qetic株式会社