アフターコロナにおけるリアル店舗の課題を解決する「AI感情推定技術」

コロナ禍によってリアル店舗の在り方にも変化が迫られている現在、アフターコロナにおける店舗DXの好事例となりそうなのが、沖電気工業（OKI）と、サンドイッチのファストフードチェーン「サブウェイ」が2021年8月2日に実施した、AI感情推定技術を活用した提案型注文システムの実証実験です。その狙いと成果について沖電気工業株式会社 イノベーション推進センターの赤津裕子さんにお聞きしました。

——今回の提案型注文システムにも使われているという、「スマートリコメンド」とはどのような技術でしょうか。

AIが表情や視線の変化から興味・関心を推定し、お客様に最適な情報をすすめ、提案する技術です。コロナ禍における非対面・非接触であっても、対人接客と変わらない、良質な接客を実現することを目的としています。今回のサブウェイ様との実証実験では、注文用の情報端末を店内に設置しました。メニューが提示されるモニターの上の部分には表情を検出するカメラを、モニターの下には視線を検出する視線センサーというものをつけています。ここから得られたデータを使って、お客様の興味関心を推定するという形になります。

視線センサーは、画面上のどの情報を見ているかを、時間や回数であるとか、目の動きを検出しています。表情検出からは、お客様の顔からポジティブであるかどうかの感情を読み取り、その２つのデータを感情推定エンジンにかけまして、AIがおすすめするメニュー上位３位をディスプレイに表示します。ディスプレイ上には全20種類のメニューのうち常に６種が表示されるようになっており、３種はおすすめのもの、残り３種はメニューが自動で切り替わり、画面に触れずに満遍なくすべてのメニューを閲覧することができるようになっています。

——「スマートリコメンド」に使われている感情推定エンジンは、御社で独自に開発されたものになるのでしょうか。

はい。AI感情推定は海外が先行している技術ですが、日本人の表情は欧米人と比べると感情の表出が薄いともいわれています。海外製のエンジンを導入する際は「苦笑い」など日本人特有の表情も読み取れるようローカライズする必要がありますが、弊社では独自で収集したデータをディープラーニングし、オリジナルの推定エンジンを作っています。また「スマートリコメンド」では利用シーンや用途に応じて、「表情」に限らず、身振り、音声、視線、生理データなど、多様なデータを組み合わせてユーザーの感情を推定することも検討しています。

——今回の実証実験の狙いについて教えていただけますか。

「スマートリコメンド」で実現したかったことは、特にドライブスルーやフードコートなど限られた時間の中で、メニューの選択肢が多くて決められないお客様の支援でした。AIによっておすすめメニューを提案することで、注文時間の短縮とともに、「早く決めなくちゃ」と焦る心理的な負荷を軽減できるのではないかと考えたのです。注文時間を短縮することができれば、店舗のオペレーションも効率化をはかることができます。サブウェイ様は選べるサンドイッチの具材が豊富で、お客様に与えられた選択肢も多いので、AIによるサポートが特に有効ではないかと考えました。

——ECではお客様の購買状況などに合わせて商品をリコメンドするという仕組みは一般的ですが、リアル店舗でのAIリコメンドというのはまた新しいですね。実際の、お客さんの反応はいかがでしたか。

提案型注文システムを試されたお客様にアンケートを実施したところ、全体的には好意的な評価をいただけました。AIからのおすすめが自分の好み通りだったか否かという点もヒアリングしたのですが、好みと合っていなかったと回答したお客様にも、システム自体は面白いと回答をいただき、私たちの懸念としてあった「AIのおすすめを人間が受け入れられるか」という点もクリアできたと思います。またいただいた感想の中には、生身の店員さんだと色々と細かく注文をするのに遠慮をしてしまうけど、機械が相手なので気を使うことなく注文できるのがいいというものもありました。

——実験をして分かった意外な気付きはあったでしょうか。

はい。一つ想定外だった点を挙げるとすれば、メニューの閲覧時間です。多くのお客様はAIの提案に合わせてすぐにメニューを決めてくれたのですが、中にはすべてのメニューをじっくりと確認して決めたいという方もいらっしゃいました。情報を見る時間が長くなるほど我々の推定エンジンの精度も下がってしまうので、そこは今後の検討材料かなと思っています。
 

——飲食店に限らず、AIによる提案型端末はさまざまな場所やシーンで活躍しそうな可能性を感じます。今後の展開についてお考えのことはあるでしょうか。

実は当初は飲食店ではなく、駅周辺や駅構内で「スマートリコメンド」のような情報端末が活用できないかということを考えていました。例えば電車を待っている時間、30分あればご飯を食べられるかもしれない、1時間あれば観光ができるかもしれない、そんな時に提案型端末でそれぞれのユーザーに最適な観光情報などをAI感情推定技術を用いておすすめするということができるのではないかと。

——これまで知らなかったお店に出会うなど、AIからのリコメンドによって新たな体験を得られそうですね。公共空間での展開はこれから進んでいきそうでしょうか。

はい。ただ一つ課題としてあるのが、今回の提案型の情報端末は表情を読み取るためにカメラを設置する必要があるので、特に公共性の高い場所ではプライバシーへの配慮が求められます。基本的には弊社の「スマートリコメンド」は、分析に活用したデータはその場で処理して保存されることはありませんが、今回の実証実験を行うにあたっても、１週間ほど前から店内でシステムの内容の説明や、カメラで写る範囲などについて書いた注意書きを掲示するなど、慎重に慎重を重ねて実施しています。

——個人情報の取り扱いに注意しながら、いかにユーザーの不安を払拭するかが肝になりそうですね。

そのためにも、システムを使うことでどのようなメリットがあるのか、ユーザーにしっかりと提示して納得感を得てもらうことが大事です。さらに言えば、ユーザーの同意にもとづき取得したデータを活用することができれば、より精度の高い提案や、注文以外の部分での接客サポートにもつながっていきます。例えば今回のような「注文」のシーンだけでなく、離れた場所にいるお客さんに声をかけるタイミングを、お客さんの状況や感情に合わせて店員に知らせるというシステムも考えられます。

——お客さんが困ったような顔をしていると、AIが表情を読み取って店員を自動で呼ぶ、といったシステムがあったら便利そうですね。

「困り・焦り」の感情については、私たちの感情推定技術でも注力をしている部分なので、それはあり得ると思います。例えばいま、セルフレジがすごく増えてきていますよね。特に地方ですと労働力不足などもあって、遅くまで勤務できるスタッフがいないということもあり導入が進んでいますが、高齢者の方がセルフレジを使えないので、店員が端末の近くに常駐しなければいけないという状況になっています。感情推定技術を活用して、お客さんが困っている時だけアラームでお知らせするというシステムがあれば、店員さんの負担も減りそうです。

——最後に今後、店舗DXが進んでいく未来をどのように描いているか、お聞かせいただけますか。

AI感情推定技術は、人に置き換わる技術ではなく、あくまでも人をサポートする技術である、という風に私たちはとらえています。ただ効率だけを重視すれば、人間の行っていることをすべてAIに置き換えればいいという話になってしまいそうですが、例えば高価な洋服を買う、旅先を考える、保険商品を選ぶといった、お客様にとって重要な選択を迫られる局面においては、最後は人間が「こっちのほうがいいですよ」と背中を押してくれるサービスの方が、ユーザーの満足度は高くなるはずです。AI導入を目的化するのではなく体験価値をいかに向上させるかというゴールを念頭において、店舗へのデジタル活用を検討することが大事ですし、私たちもそういった観点から、今後も企業をサポートしていければと思います。

リアル店舗での接客にデジタルを導入することは単に労働力不足を補うだけでなく、データマーケティングによる来店客の体験価値向上にもつながります。「感性」をAIが捉えるという技術の進化は、これまで可視化できなかった課題を解決してくれるはずです。AIと人間が共創することで、より快適な購買体験を生み出せると言えるでしょう。