Разработчик нашел способ управления iPhone с помощью глаз

Создатели технологии надеются, что их продукт поможет в разработке программ для людей с ограниченными возможностями.

Фото: YouTube

Разработчик Мэтт Мосс опубликовал в Twitter короткое видео, в котором показал технологию управления iPhone исключительно глазами. Для этого он создал специальное приложение и продемонстрировал его возможности.

“Управляйте своим iPhone глазами. Просто взгляните на кнопку для ее выбора и моргните для нажатия. Работает на ARKit 2”, - подписал видео Мосс.

Идея создания технологии пришла к Моссу во время недавнего посещения всемирной конференции разработчиков Apple (WWDC 2018). В качестве студента-стипендианта он имел возможность протестировать бета-версию новой системы iOS 12. Работая с ней, он обнаружил, что платформа ARKit 2.0 с технологией дополненной реальностью предложила пользователям некоторые действительно полезные возможности.

“Я видел, что ARKit 2 фиксирует отслеживание движения глаз, и подумал, а как точно ему удается определять, на какую именно точку экрана смотрит пользователь. Сначала я решил протестировать демо-версию своего приложения, чтобы увидеть, возможно ли вообще такое отслеживание” - рассказал Мосс.

В итоге у него получилось управлять смартфоном при помощи только движения глаз. В ролике видно, как он без единого прикосновения к сенсору выбирает файлы и нажимает на кнопки, резко сощурившись.

“Теперь, когда тестирование прошло успешно, есть множество возможностей, которые я хотел бы продолжить исследовать дальше. Похоже, эта технология действительно может улучшить жизнь людей с ограниченными возможностями. Я также буду продолжать вычислять положение глаз, чтобы сделать отслеживание максимально точным”, - подытожил Мосс.

Apple представила ARKit 2 на WWDC 2018, рассказав, что платформа для разработчиков стремится упростить создание AR-приложений, позволяя с их помощью удобнее взаимодействовать с реальным миром. На основе ARKit 2.0 создано приложение Apple, предназначенное для измерения размеров физических объектов. Кроме того, при поддержке компании Pixar разработан формат файла USDZ для хранения AR-данных.