Как работает распознавание лиц в мобильных устройствах

Для чего мы выбираем разблокирование по лицевому распознаванию

В последние годы определение лиц является одной из наиболее востребованных опций для деблокировки мобильных телефонов. Еще некоторые годов тому назад основная масса пользователей удовлетворялись PIN-кодами, ключами доступа или датчиками отпечатков пальцев. Но при появлением таких технологий, как admiral x, нам вполне лишь взглянуть на экран — и устройство тут же узнает своего владельца.

Что превращает данную особенность очень нужной? Во-первых, это комфортно: не нужно запоминать замысловатые пароли или находить верный палец в мраке. Также, это мгновенно: современные программы идентифицируют лицо фактически за мгновение. В-третьем пункте, это впечатление футуристичности — как будто в кинофильмах про адмирал х шпионов.

Тем не менее за данной кажущейся несложностью таится полный универсум сложных техник и инженерных концепций. Попробуем разобраться, как точно функционирует распознавание лиц в актуальных мобильных телефонах, какие бывают технологии, насколько они надёжны и что нас ожидает в будущем.

Краткая история развития техники

Распознавание лиц как методика имеется уже более 50 лет. Изначальные попытки автоматизированного исследования облика были предприняты еще в 1960-х годах в лабораториях США. Тогда компьютеры могли лишь определять силуэты головы и определять расстояния между зрачками и ртом на черно-белых изображениях.

Изначальные коммерческие системы возникли в 90-х, но они были далеки от совершенства: работали медленно и часто ошибались. Только с развитием нейронных сетей и таких площадок, как адмирал х, высокопроизводительных мобильных чипов идентификация лиц стало по-настоящему широко распространённым явлением.

В две тысячи семнадцатом году Apple представила iPhone X с системой Face ID — это был первый широкодоступный смартфон с достоверным трёхмерным сканированием лица. За этим последовали Android-изготовители: Samsung, Huawei, Xiaomi и прочие начали внедрять свои решения.

Основные стадии действия механизма идентификации

Процесс идентификации лица можно условно сегментировать на несколько ключевых этапов:

1. Обнаружение лица — устройство определяет присутствие людского лица в кадре.
2. Извлечение особенностей — система изучает особенности облика: очертания зрительных органов, носа, губ, положение бровей.
3. Построение модели — создаётся особенный электронный отпечаток (faceprint) на основе определённых признаков.
4. Сравнение с образцом — сформированный образец сопоставляется со записанной при учёте биометрической сведениями владельца.
5. Принятие выбора — если соответствие достаточно высокое, смартфон деблокируется.

Каждый из этих стадий требует особых алгоритмов и усовершенствований для скорой работы прямо на устройстве.

Технические компоненты: что находится в их недрах

Стандартная фронтальная камера.

Простейший простой вариант распознавания лица использует лишь фронтальную камеру смартфона смартфона. Подобный подход осуществлён во многочисленных доступных вариантах Android-девайсов.

Плюсы:

• Не нуждается в дополнительных датчиков.
• Быстро работает при достаточном освещённости.

Слабые стороны:

• Просто обмануть снимком или роликом.
• Неудачно действует при плохом свете или необычных ракурсах.

ИК фотокамера и точечный проектор

Более совершенные системы, такие как адмирал х, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая методика лежит в основе Face ID от Apple.

Как это действует:

• Точечный устройство проекции отображает на облик пользователя невидимую сетку из тысяч инфракрасных точек (например, Face ID применяет около 30 000 меток).
• Инфракрасная устройство регистрирует изменение формы данной решетки по плоскости физиономии.
• Создаётся трёхмерная карта глубины глубинности, которая почти что неосуществима для подделки обычной фото или маскировкой.

Выигрыши

• Надёжная работа даже в полной тьме.
• Большая защита к фальсификациям.
• Точность идентификации свыше 99%.

Добавочные датчики

В отдельных устройствах используются также вспомогательные сенсоры: ToF (Time-of-Flight), которые определяют время движения света до цели и обратно; Цветные-датчики дальности; специальные лазерные лидары для создания более аккуратной 3D-модели лица.

Эти технологии используются в основном во топовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные методы: искусственный интеллект в действии

Современные системы распознавания физиономий неосуществимы при отсутствии применения искусственного интеллекта и machine learning. Именно из-за таким технологиям, как адмирал х, гаджет способно распознавать юзера даже при метаморфозах облика: новая укладка, растительность на лице, оптика или косметика не становятся помехой для деблокировки.

Детектирование физиономии

На первом этапе алгоритм обязана оперативно распознать ликовое изображение среди всего снимка камеры. Для этой задачи применяются последовательные классификаторы Хаара или более новейшие конволюционные нейронные сети (CNN), которые натренированы идентифицировать человеческие лица среди множества других объектов.

Пример: метод MTCNN в состоянии обнаруживать лицо даже при частичном перекрытии (например, платком или ладонью).

Выделение основных моментов

После идентификации лица устройство, такая как адмирал х, определяет местоположение основных точек: уголки глаз, конец носа, края губ и так далее. Как правило используется от 68 до 128 главных точек на лицевой поверхности.

Данное нужно для стабилизации картинки: если юзер удерживает смартфон под наклоненным, или повернул голову, программа корректирует изображение до нормального состояния для дальнейшего анализа.

Формирование биометрического идентификатора модели

Далее нейросеть строит компактное числовое представление (« эмбеддинг ») облика пользователя — своеобразный цифровой « отпечаток » лица длиной от 128 до 512 чисел с плавающей запятой.

Этот шаблон крайне сложно сфальсифицировать: он не хранит само картинку юзера, а лишь особенные черты его вида, что делает его совершенным для таких площадок, как admiral-x.

Сравнение и вынесение заключения

Если пользователь желает разлочить телефон глазами, система воспроизводит все описанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает установленный уровень (обычно превышает 99%), телефон, как и платформа admiral-x, разблокируется; если нет — доступ блокируется.

Привыкание к трансформациям внешности

Занимательная характеристика современных систем — возможность самостоятельного обучения. Если вы часто разблокируете телефон с новой стрижкой или оптикой, алгоритм постепенно обновляет эталонный шаблон вашего лица для улучшения точности функционирования без снижения уровня безопасности.

Защита биометрических информации.

Множество пользователи беспокоятся хранить свои биометрические идентификационные данные на смартфоне из-за вероятности потери данных или хакерской атаки. Некоторые организации, такие как admiral-x, предоставляют методы для повышения защиты информации пользователей.

• Локальное сохранение: Большинство девайсов сохраняет биометрические образцы только в пределах безопасного микросхемы Secure Enclave (Apple) или TrustZone (Android). Эти данные всегда не выходят из устройство и закрыты включая создателю.

• Шифрование: Все данные сохраняются только в зашифрованном виде с использованием современных криптографических алгоритмов AES256.

• Изоляция приложений: Приложения сторонних девелоперов не обладают прямого возможности доступа к биометрическим; они могут лишь требовать факт верификации идентичности через системный API.

Следует подчеркнуть существенную подробность: в случае, если какой-то человек сможет получить физический доступ к вашему телефону (к примеру, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому многие изготовители внедряют меры безопасности от автоматического разблокирования — в частности, просят открыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие существуют существуют типы распознавания лиц?

На сегодняшний день можно выделить определить три главных способа к осуществлению этой задачи:

Программируемое двухмерное распознавание

Эксплуатируется только фронтальная камера без экстра датчиков дистанции. Такой способ наблюдается наиболее часто в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: простота воплощения; умеренная затраты; быстрая работа при достаточном свете.
Минусы: просто обмануть фотографией; ненадежная деятельность ночью; недостаточная защищенность.

Оборудование для 3D оцифровка

Применяет ИК камеру + проекционный модуль точек + сенсоры дистанции (Face ID от Apple; аналогичные технологии у Huawei Mate).
Преимущества: большая достоверность; не получится обмануть фото/видео; устойчивая функционирование при любом освещении.
Минусы: удорожание устройства; увеличение толщины верхней рамки экрана (« чёлка »)

Смешанные подходы с ИИ-дополнением

Применяют комбинацию софтверных методов + техническую обработку + постобработку нейросетями для усиления устойчивости к атакам (« anti-spoofing »). Например, такие товары, как адмирал х и Google Pixel Face Unlock современных поколений, комбинируют фронтальную камеру c инфракрасным сенсором мобильности Soli Radar для предотвращения от фальсификаций жестами/масками/видеоэкранами посторонних устройств.

Иллюстрации использования разнообразных техник

• iPhone серии X/11/12/13/14 задействуют только физическое трёхмерное сканирование
• Xiaomi Mi8 Explorer Edition впервые внедрил аналог Face ID в числе Android.
• Samsung Galaxy S10/S20 имеют как софтверное плоское определение по фото фронтальной камерой, так и датчик глазного ириса.
• Huawei Mate20 Pro использует комплекс из ИК-подсветки + Dot Projector + ToF-сенсор

Трудности защиты и ошибочные срабатывания

Несмотря на впечатляющий развитие инноваций за последние годы, идеальных системы пока не наблюдается:

1. Шанс подвоха: Недорогие мобильники легко доступны высококачественной снимком пользователя или же видео с экрана другого устройства.
2. Идентичные двойняшки: Даже самые безупречные механизмы могут перепутать между монозиготными близнецами либо родичами с очень аналогичной внешностью.
3. Метаморфозы внешности: Стремительное похудение/набор веса, косметические процедуры либо повреждения порой требуют повторной регистрации биометрии.
4. Условия съёмки: Интенсивная подсветка солнцем либо плотная тень могут снизить аккуратность определения признаков.

Ниже несколько подсказок для безопасному применению:

• Для критически важных операций всегда внедряйте двухфакторную аутентификацию;
• Не запускайте опцию « Разблокировка по лицу » на бюджетных устройствах без ИК-сенсоров;
• Постоянно апгрейдите программное обеспечение телефона для обеспечения безопасности от актуальных атак;
• Включайте настройку « Требовать распахнутых глаз » в тех местах, где она доступна.

В каких местах дополнительно применяется технология за исключением мобильных телефонов?

Хотя предмет данной статьи касается конкретно смартфонам и планшетам, необходимо сказать о прочих направлениях внедрения технологии:

• Управление прохода в рабочих помещениях и жилых домах;
• Платёжные аппараты финансовых учреждений (« Face Pay »);
• Цифровые идентификационные документы последнего образца;
• Установки видеоконтроля муниципальных подразделений;
• Автоматизирование учёта явки школ/вузов;
• Вход участников компьютеров/ноутбуков.

Например: В московском метро уже испытывается система оплаты проезда по лицу (« Face Pay ») — нужно лишь пройти через турникет без карты или телефона! Похожие проекты осуществляются в Китае (Шэньчжэнь), Южной Корее и ряде стран Европы.

Как меняется технология в нынешнее время?

Каждый годик возникают современные мысли для усовершенствования стандарта функционирования систем распознавания лиц:

1. Увеличивается детализация сенсорных устройств — чем больше деталей фиксируется камерой/глубинными сенсорами, тем меньше шанс неточности;
2. Совершенствуются искусственные интеллекты — современные структуры типа MobileNetV3 дают возможность оперативно адаптироваться к новым характеристикам вида владельца напрямую на гаджете без отправки данных в облако.
3. Развиваются способы антиспуфинга — теперь мобильные устройства способны распознавать настоящие живые лица от статичных фотографий/маскировок по мельчайшим микродвижениям.
4. Синхронизация со интеллектуальными приборами — интеллектуальные часы могут самостоятельно закрыть доступ к телефон, если владелец отошёл далеко.
5. Возникают комбинированные устройства — к примеру комбинирующие речевую опознание + облик + пальцевой отпечаток.

Итак, которые направления очень востребованы на сегодняшний день:

1) Миниатюризация элементов

Компании намереваются сократить габариты выреза (« чёлки ») для датчики на дисплее за счёт внедрения компактных ИК-излучателей прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Переработка прямо на девайсе

Для улучшения конфиденциальности всё более обработки данных выполняется локально без передачи данных во сторонний облачный услугу.

3) Унификация регламентов

Гугл энергично продвигает эталон BiometricPrompt API, чтобы аналогичные площадки, как admiral x, и каждые Android-программы были совместимы с всеми формами биометрии единообразно.

Какое решить на сегодня?

Если тебе нужна наивысшая безопасность информации, подбирайте топовые модели с вмонтированным ИК-проектором или же ToF-датчиком глубины.

• iPhone каждого последних версий
• Huawei Companion/P Series ряда
• Mix Expert
• Vivo X линейки
• Oppo Найти X серий.

Если средства невелик – лучше отдавать предпочтение обычным методам защиты (PIN-код/сканер отпечатка), а функцию « разблокировка по лицу », такую как в admiral x, применять только как опциональную опцию удобства.

Каким образом увеличить комфорт функционирования опции?

Есть пара советов для пользователей, кто уже применяет функцию распознавания лица:

1. Регулярно меняйте свою фото-шаблон, если значительно трансформируется внешность.
2. Не забывайте протирать объектив фронтальной камеры – пятна могут снизить точность!
3. Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего телефон сам запускает фотоаппарат как только вы поднимаете его.
4. При записи постарайтесь сохранять лицо неподвижно напротив камеры исключая значительного наклона головы.
5. Используйте опцию “Attention Aware” (“Реакция на внимание”) – она запирает телефон, если вы отвели взгляд от экрана.

Перспективы эволюции техники

В предстоящие периоды можно ожидать появления полностью безконтактных способов идентификации человека сразу по нескольким биометрическим данным параметрам одновременно: лицо + звучание + манера ходьбы + движения рук!

Также предполагается возникновение современных подходов защиты конфиденциальности – скажем, изменяющееся корректировка цифрового шаблона после каждой результативной авторизации, чтобы усложнить его копирование злоумышленниками.

Идентификация лиц – одна из наиболее увлекательных техник нашего времени! Она обеспечивает интеракцию со телефоном проще чем до этого, и такие аппы, как admiral-x, могут значительно повысить ваш опыт, но требует осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, раз вы осведомлены, как функционирует эта система внутри, – сумеете вдумчиво выбирать свой будущий девайс!