このエントリーをはてなブックマークに追加

空間や時間を超えて人をつなぐ「人間拡張」テクノロジー

IoAで個々の能力を活用しあう社会が到来する

[暦本純一]東京大学大学院 情報学環 教授、ソニーコンピュータサイエンス研究所 副所長

私の研究テーマは「人間拡張(Human Augmentation)」、人間の能力の拡張です。

AIが人間と置き換わるのではないかという議論もありますが、私はそれよりAIも含めたテクノロジーが人間の能力を伸ばし、拡張する可能性の方が高いと思っています。テクノロジーが人間と一体化して、時間や空間の制約を超えて個々の能力を活用しあえるネットワーク環境が整うのではないか。私はそれをIoA(Internet of Abilities)と呼んでいます。

拡張した多様な能力をネットワークを介して共有

1990年代前半、私はAR(Augmented Reality、拡張現実感)について研究していました。ARは主に人の情報処理能力を強化しますが、この発想を進めて次に取り組んだのが人間拡張の研究です。知的能力だけでなく、感覚や身体能力、存在、そして能力そのものの獲得や継承まで拡張するものです。

そうして拡張したさまざまな能力をネットワークを介して共有・結合したり、あるいは時間や空間にとらわれずに発揮できるようにしたりするIoAの概念が導き出されました。スポーツ選手や冒険家など他者の感覚を味わえるような「体験の拡張」、遠隔手術、技能の伝承、リハビリやスポーツの効率的な指導を可能にする「共同作業や能力の伝達」、代理のロボットなどを通じて遠隔地を訪れることができる「存在の拡張」をもたらすものです。

人間拡張やIoAが具体的にどのようなシステムで実現するのか、私たちがこれまでに研究開発してきたものをベースに紹介しましょう。

災害や医療現場での協調作業にも威力を発揮

人間の能力や存在の拡張手段として分かりやすいものにジャックイン* があります。他の人やロボットの感覚に入り込むということです。

「JackIn Eye」はメガネ型の装置を通して、その人が見ている映像を遠隔地のユーザーにリアルタイムで送ることができます。離れた場所にいる人が装着者の視点に介入できるということです。

また、「JackIn Head」は装着者の全周囲映像や音声も含めて、体験を丸ごと遠隔地のユーザーに伝送できます。旅行やバンジージャンプといった特殊な体験のリアルタイム配信や臨場感のあるスポーツ観戦、災害や医療現場での専門家との協調作業などでも活用が見込めます。

つながるのは人間と人間だけでなく、人間とロボットというパターンもあります。「Flying Head」はドローンの映像を装着者に送るシステムで、さらに装着者の頭の動きとドローンの動きも同期するので、あたかも自分がドローンになったかのように自在に視野を操作することができます。例えば災害時に専門家が使えば、大局的に状況を判断する人間の能力と、現場を機動的に移動するドローンの能力を融合することができるわけです。

ドローンが自分の後ろをついてくるようにすれば、ジャックインの反対に自分を外から見るジャックアウトも実現可能です。体外離脱みたいなものですね。スポーツをしているときなど自分のフォームを確認しやすくなりますし、あるいはドローンの中にコーチがジャックインすれば、離れたところからでも選手に指導することができます。同じ発想の「Swimoid」はスイマーに追従する伴泳ロボットで、フォームの確認やコーチの指導などをサポートします。

コンテンツビジネスの可能性を広げる「JackIn Space」

ジャックインの領域をより広げて、空間そのものに没入することを可能にするのが「JackIn Space」です。

従来のテレプレゼンスシステムを使った遠隔での共同作業では、カメラを装着した人やモノという特定の視点からの映像しか利用できませんが、「JackIn Space」では広角カメラや複数のセンサーを駆使して、空間全体の任意の地点に第三者の視点を置くことができます。ジャックインしている人は現場周辺の環境を見回すことができるのです。

これをスポーツ観戦に応用すれば、スタジアム全体を俯瞰しながらゲームの流れを追いつつ、フィールドにいるプレイヤーの視点を織り交ぜることもできます。視聴者が連続的にいろんな視点で見ることができるようになるので、コンテンツビジネスの可能性を広げることになるでしょう。


東京大学大学院 情報学環 暦本研究室では人間と技術との整合(Human Computer Integration)と呼ぶ領域に着目し、人間の拡張(Human Augmentation)を追求。能力拡張型テレプレゼンス、対外離脱体験、Augmented Sportsなどの研究を行っている。
https://lab.rekimoto.org/


ソニーコンピュータサイエンス研究所(Sony CSL)は、AIなどコンピュータサイエンスの研究を行うソニー系列の研究所。1988年設立。
https://www.sonycsl.co.jp/

* ジャックイン
ウィリアム・ギブソンのSF小説『ニューロマンサー』に登場する言葉で、人間が電脳空間に接続する行為を指す。暦本氏はこの概念を拡張して、他の人やロボットに没入する意味で使っている。

  • 「JackIn Head」の360度全周囲を撮影・伝送できるウェラブルカメラ。頭に装着して使用する。(写真提供:いずれも暦本氏)

  • 「Flying Head」の利用シーン。ランナーは後ろから付いてくるドローンの映像をリアルタイムで見ることができる。

  • スイマーに追従する伴泳ロボット「Swimoid」。

  • 空間そのものに没入する「JackIn Space」。離れた場所にいる別のユーザーとコミュニケートしている様子。

  • 「JackIn Space」で使用する、遠隔作業者の頭部に取り付ける広角カメラ。

  • 「ChameleonMask」では、指示者(左)の表情をリアルタイムでモニターに表示。代理人は指示者として振る舞う。

  • ボールの中にドローンを内臓した「HoverBall」。ユーザーの身体能力に応じてボールの動きを調整できる。

存在はバーチャル空間にも拡張、
コミュニケーションは多様化していく

存在の拡張という意味では、「ChameleonMask」も面白いです。遠隔地にいる指示者の顔を映したディスプレイを代理人が装着して、指示者本人のように振る舞うのです。

人間に別の人の顔をつけるようなものですが、Uberで一般ドライバーが特定の時間だけタクシードライバーになるのと同じように、ディスプレイをつけている間はユーザーの代わりを務めてあげるわけです。離れた場所にいてなかなか会えない高齢の家族がいる人などに喜ばれるサービスになるかもしれません。

さらに、存在の拡張は今後バーチャル空間にまで発展するでしょう。つまり仮想現実(VR)でコミュニケーションを行うということですが、このとき顔全体を覆うヘッドマウントディスプレイ(頭部搭載ディスプレイ、以下HMD)を装着するのではフェイス・トゥ・フェイスでなくなるし、かといってアバターのキャラクターを使うのでは本人かどうか確認できません。我々はこうした問題を解決するHMDシステム「Behind-the-Mask」の開発に取り組んでいます。

HMDの内部に赤外線を利用したカメラを埋め込み、目と口の周辺の映像を取得して、それをユーザーの頭の三次元モデルと結合させてコミュニケーションの相手に映像として送るというものです。目元と口元は表情を形成する重要なパーツで、これらがリアルタイムに動けばフェイス・トゥ・フェイスのライブ感が出ます。

バーチャルに負けるリアルは淘汰されていく

こういう技術が進歩すれば、未来の会議はHMDをつけてバーチャル会議室に入り、バーチャル空間で素顔をさらすという形になるかもしれませんね。これもまた三次元の世界の新しいコミュニケーションといえるでしょう。

ただ、リアルな世界でのコミュニケーションが完全になくなることはないと思います。むしろ希少価値が高まって、本当に重要な会議だけはじかに会うことになるのではないか。アルフレッド・ベスターのSF小説『虎よ、虎よ!』では、「ジョウント」というテレポーテーション能力をみんなが持っているという設定なんですが、お金持ちは車で移動するんです。実体験が贅沢の極みなんですね。

今もコンサートやスポーツ観戦はそうですよね。CDやテレビ中継の方が安上がりだけど、あえてお金を払ってライブを観に行く。そういう意味で、安いバーチャルに比べるとリアルの価値が際立つ、バーチャルに負けるリアルは淘汰されていく時代がやってくるのかもしれません。

自分でできたという達成感をサポートするテクノロジー

人間拡張やIoAは我々の生活や社会のあり方に大きなインパクトを与えるものであり、従ってワークスタイルにも変化を生むと思います。何といっても、空間の制約や時間の制約が超えられるようになること、本当にその世界にテレポーテーションしたような感覚を得られることは大きいでしょう。

また、そうして実現した密度の濃いコミュニケーションを記録・蓄積することで、ノウハウや技能の伝承ももたらされます。オープンソースならぬオープンアビリティですね。暗黙知までも記録できれば次世代に伝えやすくなりますし、ネットワーク上で共有できるようにもなるはず。そういう環境の醸成はイノベーションの促進にもつながると思います。

さらに、やり方次第ではコンシューマーの行動分析なども正確かつ簡易に行えるようになるかもしれません。しかも世界のどこにいるコンシューマーでもデータが取得できるので、マーケティングの仕方にも影響を与えるのではないでしょうか。

東大の暦本研究室では電通グループとも共同研究していて、そちらでは身体面の人間拡張をテーマに据えています**。例えば、ボールの中にドローンを内臓した「HoverBall」は、投げられた後の速度をコントロールできたり、落ちずに浮いていたりします。子どもや障がい者でもボール遊びを楽しるわけです。また、「Running Gate」は走り抜けるだけでランニングフォームが解析できるので、各自の身体能力に見合ったきめ細かい指導が可能になります。これをリハビリテーションに適用すれば歩行訓練にも役立つでしょう。

人間拡張のテクノロジーは、能力を引き出すものであると同時に、不足する能力を補うものでもあるわけです。例えばあまり動くことができない人でも、何らかの専門性があればジャックイン技術を利用して能力を発揮したり伝承したりできます。生き方や働き方もテクノロジーが拡張するわけです。

ここが肝心で、人機一体となって能力を拡張できたとしても、自分でできたという感覚を人間が持てることは欠かせない要件でしょう。ロボットが勝手にやってくれるのではなく、自分でできたという達成感をサポートするようなテクノロジーを目指していきたいし、そういうテクノロジーと共存する社会が望まれていると思います。

WEB限定コンテンツ
(2016.11.14 文京区の東京大学大学院 暦本研究室にて取材)

text: Yoshie Kaneko
photo: Tomoyo Yamazaki

「Behind-the-Mask」では、HMDを装着した人の顔の三次元モデルに目元と口元の映像を結合して伝送する。(動画提供:暦本氏)

** 電通グループ企業の電通国際情報サービスとの共同研究。

走り抜けるだけでランニングフォームが解析できる「Running Gate」。(動画提供:暦本氏)

暦本純一(れきもと・じゅんいち)

1986年 東京工業大学理学部情報科学科修士過程修了。日本電気、アルバータ大学を経て、1994年より株式会社ソニーコンピュータサイエンス研究所に勤務。理学博士。2007年より東京大学大学院情報学環教授 兼 ソニーコンピュータサイエンス研究所副所長。多摩美術大学客員教授。グッドデザイン賞審査委員。電通ISIDスポーツ&ライフテクノロジーラボシニアリサーチフェロー。PlaceEngine、AR事業を展開するクウジット株式会社の共同創設者でもある。理学博士。世界初のモバイルARシステムNaviCamや世界初のマーカー型ARシステムCyberCode、マルチタッチシステムSmartSkinの発明者。研究成果はSony, Sony Interactive Entertainmentの製品群やARサービスなどに広く利用されている。ACM、情報処理学会、日本ソフトウェア科学会各会員。グッドデザイン賞ベスト100、日本ソフトウェア科学会基礎研究賞、Zoom Japon Les 50 qui font le Japon de demain(日本の明日を創る50人)、ACM UIST Lasting Impact Awardほか受賞多数。‎

RECOMMENDEDおすすめの記事

新たなビジネスの潜在価値を社員にリマインドする

[AUTODESK]San Francisco, California, USA

「創造」より「拡大」に比重を置くことも大企業の戦略

[横田幸信]東京大学i.school ディレクター、i.lab マネージング・ディレクター

ユーザーを虜にする「意味のイノベーション」

[ロベルト・ベルガンティ]ミラノ工科大学 教授

TOPPAGE
2022年7月、「WORKSIGHT[ワークサイト]」は
「自律協働社会のゆくえ」を考えるメディアへと生まれ変わりました。
ニュースレターを中心に、書籍、SNS、イベント、ポッドキャストなど、
さまざまなチャンネルを通じてコンテンツを配信します。

ニュースレターに登録する