Magic Leapの登場とアメリカにおける「xRテクノロジー」の活用事例

 AppleやGoogleなどのIT大手Big5が「xR(VR/AR/MR)」の開発環境とハードウェア・プラットフォームを提供し、xRテクノロジーの一般普及とエコシステム作りに励んでいる状況を前回とりあげた。
 今回は主にアメリカ企業、スタートアップなどが取り組んでいるxRを活用したサービスについて業種ごとに紹介する。また、話題のMagic LeapもついにMRプロダクト向けSDKを開放し、アプリケーション開発が始まったので日本も乗り遅れのないよう、最初に触れておきたい。xRもプラットフォームがオープンになり、ハードウェアもスマホを含めるとReady状態で、普及の準備はほぼできている。ゲームやエンタメ業界だけでなく、あらゆる業種がその魅力にいち早く気づき、新たなサービス作りの検討に励んでもらいたい。



1.ついにMagic Leapの開発環境がリリース、MRアプリ開発が始まる

 Magic Leapはアメリカで2010年創業のMR(Mixed Reality;複合現実)のプロダクト・プラットフォームを提供するスタートアップである。製品をリリースする前からGoogleやアリババ等から20億ドル以上もの投資が集まっていることで有名だ。同社は長らくステルス状態が続いたが、ついに2018年中にMRヘッドセット「Magic Leap One」を販売することを発表、2018年3月19日にMagic Leap One向けのアプリケーションを開発するSDK(ソフトウェア開発環境)「Lumin SDK」をホームページより公開した。



SDK
https://www.magicleap.com/creator

このSDKのソフトウェアスタックは「Lumin OS」と呼ばれるもので「Linux」と「Android Open Source Project」のオープンソースを利用し独自に開発されたものだ。Lumin Engineと呼ばれるデジタル情報処理をスムーズに行うためのエンジンを搭載し、既存の3DエンジンであるUnreal EngineやUnityにも対応。これを使って開発することで、ヘッドトラッキング、アイトラッキング、ジェスチャーやハンドトラッキング、空間スキャンとメッシュ化、6DOFハンドコントローラー、空間音響、そして音声入力等を使用したアプリケーションが開発可能になる。

特に現実世界の空間スキャンとメッシュ化を行って、デジタル情報に作用させる点が特徴。ジェスチャーサインも8種類使うことができ、HoloLensの3種類より多い。既にFramestore、ILMxLAB、Schell Games、NBA、Wingnut ARなど、AR企業やスポーツ団体、ゲーム・映像メディア製作会社が対応コンテンツに取り組んでいるとのこと。
(https://next.reality.news/news/here-is-what-we-know-about-magic-leap-lumin-os-lumin-runtime-0183644/)


 このSDKの発表は、世界のゲームディベロッパーの祭典、「GDC2018」に合わせて行われ、当会場でも1時間に及ぶセッションが開かれた。同社はこのテクノロジーを「空間コンピューティング」と表現。これまでテレビの前で座って見ていたディスプレイ画面(またはスマートフォン越しの画面)から、現実世界そのものが画面になるARが現実世界の上にデジタル情報を表示するものなら、MRはデジタル情報が現実世界を認識して、反応するものだと違いを改めて説明した

GDC2018の発表映像の一部


https://www.roadtovr.com/gdc-2018-magic-leap-developing-spatial-computing-session-live-blog-400pm-pt/


GDCではゲームディベロッパーへの参加を呼び掛けたが、Magic Leap自身がMR活用に興味を持っているのはオフラインの「小売り店」のようだ。同社はすでに世界中に200件以上の特許出願を行っているが、業種で見ると小売りでの利用を意識した特許出願が見られる。商標も「Magic Shop」の登録・更新を行っており、そこにはエンターテイメントを含んだリテールと説明されている。さらに、ストアデザインのディレクターも募集している。
http://tsdr.uspto.gov/documentviewer?caseId=sn86637766#docIndex=0&page=1

ひとつ特許出願の事例(US20170039613)を紹介する。これは小売店に買い物に来た客に、MRグラスを介して、何を手に取って運んでいるか、商品を購入したかを判定したり、その手に取った製品に関連したクーポンやレコメンド情報を表示するというもの。オンラインでは沢山の情報支援を受けて買い物を決定できるが、オフラインでやるのは難しい。そこで、来客の情報支援を素早く行いつつ、更に、商品を運んで一定区画を通ることで購入判定するなどのAmazonGoのような無人レジ、何を手に取ったかなどのマーケティング収集、全てをやろうという試みである。














次の節より、他の会社によるxRテクノロジーの活用や取り組みについて、業種ごとに紹介する。


2.小売り・服飾

小売りや服飾は早くからxR活用の注目を集めた分野で、調査会社のIDCによれば、2021年には商業VRは小売りで40億ドル、商業ARは128億ドルのサービス市場になると予測している。

アマゾンは独自の研究所R&D拠点を持ち、特許出願の取り組みも熱心に行っており、ARに関する特許出願もしているので2つ紹介する。まずひとつは、ARとファッションテックに関するもので、「ARミラー」である。最近のAmazonはAmazonエコーやセキュリティカメラなど、スマートホーム領域に熱心だ。ARミラーも家に入り込むことができる。これはミラーの上部にあるカメラがユーザーの身体を追跡し、ミラーの後ろのスクリーンに画像を照らす複数のプロジェクタで動作するもので。例えば、背景を自分の部屋ではなく仮想ビーチに変更し、それに似合う服をバーチャルに着せ替えすることができる。ARミラーに関して、同社は複数の特許を出願しているし、レコメンドや決済など、ECとの親和性も高い。既にEcho Lookという自分のファッションを画像や映像で記録して、助言をしてくれるプロダクトも開発しているが、ARミラーはそれの進化版といえるだろう。




アマゾンのもうひとつの取り組みは、モバイルショッピングのAR活用だ。同社の特許(US9716842)によればスマートフォンやタブレットなどのデバイスカメラを通じて、人間の手首などのオブジェクトを認識し、あたかも時計などのアイテムを実際に身に着けているかのように見せられる技術を開発している。

Augmented-reality photoillustration
https://www.geekwire.com/2017/augmented-reality-shopping-phone-patent-hints-amazons-aspirations/

小売り大手のウォルマートはARとVRの両方に取り組んでいる。ARに関しては買い物客がARグラスを装着して買い物する場合のデジタルアシスタントに関する特許を出願している。これは、買い物客が音声等のアクションで、ボットチャットやヘルプセンターを通じ、商品の詳細情報やレコメンド商品を表示できる。そして、レコメンドした商品が購入に繋がったかどうか情報を取得し、マーケティングに活用する。
また、VRにおいては、全米200か所、15万人の従業員のトレーニングを効率化するため、VRを活用して遠隔地でもリアルな体験を共有できるようにしているとのこと。
sales assistance effectiveness augmented reality

クレジットカード会社のVISAは、以前からARに興味を持っている大企業のひとつだ。VISAヨーロッパは小売経験を変えるために、自社のイノベーションハブのパートナーBlipparと提携し、ファッションショーで、デザイナーの衣服をARカメラ(スマホやタブレット)で見ると、商品を認識し、商品を即購入できるアプリのパイロット版を公開。また、ARカメラごしに情報を読み取って立体情報や、商品情報を表示させ、カメラ目線を合わせるだけで決済ができるアプリ開発も取り組む。オンラインとオフラインが融合した、新しいショッピング体験を目指しているとのこと。

他には、中国のEC大手アリババや、アメリカの小売り大手のebayは、それぞれ異なるアプローチでVRショッピングを始めた。


3.不動産・インテリア

不動産の建築や販売に関してのAR・VR活用はすでに様々な試みが行われている。建築計画、マーケティング資料、その他の情報を3Dモデルにオーバーレイして、従来よりもリアルな情報を提供することができる。それによって、建築家やインテリアデザイナーは、顧客とよりリアルで、インタラクティブに、満足度の高いものを生みすことができるようになる。Augmentやmatterportなどのスタートアップは、3Dモデリングツールや、生成したデータのやり取りができるクラウドサービスを提供している。NewYorkTimesの不動産サービスReal Estateでは、高級不動産については写真だけでなく、Virtual Reality Tourとして、3Dモデル化された部屋をVRで内見できるようにしている。

3D real estate tours on desktop, mobile, and tablet.
https://matterport.com/3d-marketing-for-real-estate/

スウェーデン発の組み立て家具販売のIKEAでは、ARを使って、自分の部屋にIKEA製品の試し置きができるカタログ、スマホアプリをで提供して話題を呼んだが、更に一歩踏み込んだアプリがまた作られている。購入した後の組み立て方法を、ARで支援する機能だ。購入した家具のバーコードを読み取ることで商品名が表示され、近くの床を認識すると、そこからインストラクションが表示され、組み立て手順が隣でアニメーションされ、それを横で見ながら作業できるというものだ。
https://www.fastcodesign.com/90165061/the-ikea-manual-of-the-future-looks-amazing


5.ソーシャル・化粧品

写真共有SNSのSnapchatはAR技術を活用し、World Lensをリリース。現実空間に拡大文字やアニメーションを付加して動画を撮影し、投稿できるようにしたことで新しいSNS体験を提供した。これにはFacebookも新機能のARCameraをスタートして、追随する形となった。
https://techcrunch.com/2017/04/18/snapchat-introduces-world-lenses-live-filters-for-just-about-anything/

他にもSnapchatはデュアルカメラを搭載したARサングラスの実験的プロジェクト「Spectacles」にも着手していた。これは主観目線で動画を撮影し、スマホと連携することでSNSへの動画投稿を促したものだが、スペックの問題や、スマホとのデータ連携が失敗するなど利便性の問題も多く、失敗と言われているが、同社は次世代バージョンのAR関連特許出願も行っており、今後も挑戦は続いていくものとみられる。

https://techcrunch.com/2017/10/28/why-snapchat-spectacles-failed/

美容や化粧品関連で有名なARアプリといえばPerfect Corporation社が提供するスマホアプリYou Camがあげられる。2017年時点では全世界で4億人がダウンロードし、10億枚の写真がアプリで撮影されたとアナウンスされた。スマホのセルフカメラで顔認識して、様々なメイクアップをARで仮想的に試したり、気に入ったメイクが見つかれば保存したり、写真撮影したりすることができる。非常に種類が豊富で、月ごとにも7億3千万回のARメイクアップがユーザーによって行われたという。
https://www.businesswire.com/news/home/20170223005603/en/YouCam-Apps-Lead-AR-Beauty-Revolution-Reaching

美容アプリや、ARミラー、顔認識ソフトの開発キットを提供しているスタートアップModi Faceはフランスの化粧品会社のロレアルに買収されることで、イグジットに成功した。
https://www.theverge.com/2018/3/16/17131260/loreal-modiface-acquire-makeup-ar-try-on

YouCam Makeup reveals a 1 on 1 personalized, on-demand beauty consultation platform at SXSW to offer users expert beauty advice directly from their mobile phones. (Photo: Business Wire)
https://www.businesswire.com/news/home/20180309005178/en/YouCam-Makeup-Unveils-Live-Beauty-Advisor-1

日本でAR事例はポケモンGoなどゲーム分野で語られがちだが、ソーシャルや美容に関しても大きな反響を世界に呼んでいる。後者の美容においては、顔認識やレコメンドなどのようなAIと組み合わせて、お勧めのコスメを自動でAR表示できるようにすると、ユーザーは検証する時間を節約できて更に良いだろう。日本においても、コスメのコミュニティ情報サイト、Hapicanaでディープラーニングを用いた化粧レコメンドサービスの開発が行われていた。


5.製造・自動車


IDCの調査で、もっともxR活用が期待されているのが製造業界である。2021年の至上予測では、液体を扱うプロセス製造分野でAR市場は131億ドルとVR市場は50億ドル、自動車などの固体を扱うディスクリート製造分野でAR市場は138億ドルになると報じられている。

トヨタ自動車などは元々設計で扱っていた3次元CADデータを使って3Dモデル化して、部品の形状、サイズのすり合わせや、研修トレーニング、作業インストラクションなどの情報支援に用いている。アメリカのFordは、Oculusと協業して、新車のプロトタイプデザインの試作をVR映像を見ながら検証できるようにしている。

Inglobe Technology社はARをインストラクションに用いる。車のフードをARカメラ越しに覗くとマシンパーツの説明が表示され、誰でもメンテナンス作業を学ぶことができる。これは様々なトレーニングや情報支援において応用ができる。

Smart manufacturing using AR in the era of Industry 4.0
https://www.inglobetechnologies.com/smart-manufacturing-ar-industry-4-0/

また、自動車メーカーでは設計・製造のみならず、販売でもVRを活用することを検討している。ボルボ社はVRアプリ「XC90」をリリース、コンシューマー向けのアプリで新車をVR体験できるようにしている。フェラーリやアウディ、BMWは、VRアプリを一般提供し、自動車をARで表示して設置、更に仕様をカスタマイズして保存ができる。これを購入につなげられるようにした。これはドイツが提唱したIndustry4.0でいう、フロントのマーケティングプロセスと、バックの製造プロセスが連携したような仕組みだ。


6.ARナビゲーション・ARクラウド

これは今回紹介する中で、もっとも未来志向型の用途だが、ARを使った現実世界のナビゲーションを開発しているスタートアップを紹介する。BlipparとBlue Vision Labs、いずれもヨーロッパ、イギリスがベースの会社だ。

Blipparは前述した、VISAヨーロッパのARパイロットアプリを手掛けた会社。アメリカのマウンテンビューの街で、ARナビゲーションアプリ「ARCity」(ベータ版)をリリースして話題を呼んだ。スマホカメラで周りの環境を認識して、デジタル情報を重ねて表示し、ストリートの名前、店の名前、目的地の道順を示してくれるというもの。アプリを入れて実際に使ってみたところ、位置情報がずれてしまったり、スマホを掲げながら歩くという行為自体にも違和感が大きく、まだ性能も使い勝手も途上という感想をもった。

AR City
https://blippar.com/en/resources/blog/2017/11/06/welcome-ar-city-future-maps-and-navigation/

もう一つのBlue Vision Labsは、ARクラウド、ナビゲーションについても研究開発しているスタートアップ。最近Google Venturesなどから1450万ドルの投資を受けている。同社が実現しようとしているのはARクラウド。すなわち、現実世界に設置した、コメントや写真、映像などを位置情報とリンクさせてクラウドに保存。それらのAR情報を他者と共有しようというものだ。Googleでもまだできていないチャレンジングな試みといえる。

experience-social
https://techcrunch.com/2018/03/15/blue-vision-labs-which-builds-collaborative-ar-emerges-from-stealth-with-14-5m-led-by-gv/

デモを見ると、まずアプリユーザーはアバターを決定すると、自分の上にリアルタイムに表示される。動いても追尾する。街中には他者が投稿した写真やコメント、レビューがARクラウド上に落ちており、それを誰でも見ることができる。こういった他者とのAR情報共有機能は、GoogleやAppleなどからもまだ提供されていない。


まとめ

様々な業種におけるxRテクノロジーのサービス導入について説明した。

全体を俯瞰してみてみると、①高価な買い物に向けられたリッチなVR体験サービスと、②気軽にスマホでもできるAR情報支援、この2つの流れが見られるように思う。そして、Magic LeapのMRは③これからだが、今はゲームや映画などのビジュアルコンテンツ、小売り分野への活用が垣間見えている。

強みはそれぞれ異なる、VRはリッチな先行体験。ARは、ゲームを除けば、現実空間における素早く正確な情報支援だと思われる。ARはリモートサポートや教育に向いているし、教育を受けなくともARの情報支援があれば、初めてでも作業を行うこともできるだろう。様々なデバイスが乱立したARのハードウェアプラットフォームも、流行り具合を見ているとB2Cで実際に反響があるスマホで落ち着きそうだ。今はXiaomiやARYZONといった企業から、安くてスマホをはめるだけでHoloLensのような効果が得られる「AR用のカードボード」も出てきている。


http://meiya.jp/?p=27675

今回紹介した多くの事例は、大企業とスタートアップと組んで行われている。中長期的に見てアウトソーシングで始めるか、自社でxRテクノロジーを開発して育てていくか

Comments