瞳に映った画面で持ち方を判定
瞳に映った画面で持ち方を判定 / Credit:杉浦裕太(慶応義塾大学)_スマートフォンの持ち方をフロントカメラで推定する手法を開発-角膜反射像を機械学習で分類-(2022)
technology

瞳に映った画面の反射でスマホの持ち方を判定するシステム (2/2)

2022.05.03 Tuesday

前ページスマホの「あと少し……」な部分

<

1

2

>

瞳に映ったスマホ画面で持ち方を推定する便利システム

新しいシステムでは、スマホのフロントカメラでユーザーの瞳を撮影し、そこからスマホの持ち方を推定できます。

スマホを扱うユーザーの瞳には「角膜反射像」が映るものです。

瞳に映った画面から判定する新システム
瞳に映った画面から判定する新システム / Credit:杉浦裕太(慶応義塾大学)_スマートフォンの持ち方をフロントカメラで推定する手法を開発-角膜反射像を機械学習で分類-(2022)

この像を拡大すると、スマホ画面の光が映っているのが分かりますね。

さらに指の部分が影になっている様子も確認でき、これだけでスマホの持ち方がなんとなく分かります。

瞳に映った画面のパターン
瞳に映った画面のパターン / Credit:張翔(YouTube)_ReflecTouch – CHI2022 (Video Figure)(2022)

新しいシステムでは、この角膜反射像のパターンを機械学習させることで、6種類の持ち方を瞬時に判断できるようにしました。

このシステムを活用するなら、従来の補助機能の「あと少し」な部分を満たせます。

6つの持ち方を瞬時に判定してくれる
6つの持ち方を瞬時に判定してくれる / Credit:杉浦裕太(慶応義塾大学)_スマートフォンの持ち方をフロントカメラで推定する手法を開発-角膜反射像を機械学習で分類-(2022)

例えば、スマホの持ち方を変えると、自動でキーボード設定が変更されます。

いちいち自分で設定を変える必要がないのです。

キーボードの位置が自動変更される
キーボードの位置が自動変更される / Credit:張翔(YouTube)_ReflecTouch – CHI2022 (Video Figure)(2022)

さらに新しいシステムはフロントカメラだけを使用しているため、従来のセンサーで生じていた「意図しない作動」もなくなるでしょう。

操作ボタンの位置も自動変更。
操作ボタンの位置も自動変更。 / Credit:張翔(YouTube)_ReflecTouch – CHI2022 (Video Figure)(2022)

ちなみに、参加者13名による実験では、85%の精度で持ち方を判別することができました。

今のところ、新しいシステムでも多少の誤認識・誤作動は生じるようですが、今後の改良に期待できますね。

研究チームは、アルゴリズムを改善したり、他の情報を併用したりすることで、判定精度をさらに高めようとしています。

<

1

2

>

コメントを書く

※コメントは管理者の確認後に表示されます。

人気記事ランキング

  • TODAY
  • WEEK
  • MONTH

Amazonお買い得品ランキング

スマホ用品

テクノロジーのニュースtechnology news

もっと見る

役立つ科学情報

注目の科学ニュースpick up !!