Действительна ли копия паспорта в телефоне

Обновлено: 02.07.2024

Конечно, мимо такой хорошо поставленной задачи в наш век глобальной автоматизации не могли пройти гиганты в области распознавания данных. На сегодняшний день существует множество различных программ и аппаратно-программных комплексов (как от крупных компаний, так и от относительно новых на этом рынке игроков), которые позволяют решить эту конкретную практическую задачу. При этом, несмотря на локальные отличия всех предлагаемых решений (кто-то лучше распознает, у кого-то более продуманный и современный интерфейс, кто-то более прост и понятен в интеграции, кто-то подешевле или подороже) глобально все существующие ПО решают задачу одинаково: получение изображения паспорта с помощью сканера и последующее распознавание на персональном компьютере. В результате такой подход позволяет ввести паспортные данные от 2 до 26 секунд (в зависимости от производительности сканера), что в разы-десятки раз быстрее и надежнее по сравнению ручным вводом.

Чтобы понять суть проблемы, обратимся к другому примеру развития инновационной технологии, не имеющего прямого отношения к задачам распознавания – цифровой фотографии. Давайте вспомним 90-е годы, когда на рынке начали появляться первые потребительские цифровые фотоаппараты. Казалось бы, вот оно счастье: никакой пленки, мгновенный просмотр сделанных снимков, простота хранения фотографий – снимай и снимай себе в удовольствие все подряд. На практике же люди в большинстве своем, как и прежде, пользовались фотоаппаратами не слишком часто: на отдыхе, торжествах и памятных событиях. Зато настоящий бум фотографии произошел в момент появления фотокамеры в смартфоне. Цифровая фотография сразу зажила второй жизнью и обрела громадную популярность. И такую же учесть пережили многие другие технологии в совершенно разных областях: карты и навигация, Wi-Fi, социальные сети и многое другое.

Вернемся теперь к распознаванию документов и попробуем провести параллель. Может быть небольшая популярность систем распознавания паспорта связана именно с неудобством самого процесса, а не с качеством? Действительно, трудно представить участкового полиции, разложившего на газоне ноутбук и сканер и проверяющего документы у мигранта. Совсем другое дело, если бы распознать и проверить паспорт можно было бы прямо в руках с помощью какого-нибудь компактного подручного устройства (например, смартфона). Так у нас родилась идея написать программу распознавания ID-документов для мобильного телефона. И конечно, начать мы решили с распознавания паспорта гражданина РФ.


Чтобы дальше было интереснее читать, покажем наше приложение в действии. Федеральный закон 152-ФЗ запрещает нам публиковать изображения настоящих паспортов. Поэтому, для демонстрационных целей используется распечатанное с Википедии синтезированное изображение паспорта.

Постановка задачи

Качество. Качество распознавания часто является решающим фактором при выборе той или иной системы. Поэтому в самом начале разработки мы поставили себе довольно высокую планку – в первой версии продукта 95% паспортов должны распознаваться правильно (исключая паспорта, которые не могут быть распознаны автоматически). Вообще оценка качества подобных распознающих систем – серьезная задача, про которую мы хотим рассказать в будущих постах на Хабре.

Новые проблемы при распознавании на смартфоне

Как неоднократно подчеркивали наши коллеги из различных организаций, задача распознавания Паспорта РФ чрезвычайно сложна. Причем сложность вызвана как различными защитными элементами самого бланка паспорта (гильоширный фон, голографические элементы, наличие глянцевой пленки), так и высокой вариативностью заполнения (неаккуратная печать персональных данных, использование нестандартных шрифтов, наличие механических повреждений).

Однако, при распознавании паспорта на телефоне ко всем указанным выше проблемам добавляются принципиально новые, ранее не встречающиеся при работе со сканером:

  • Проективное искажение изображения документа. При съемке камерой углы и их отношения, а также пропорции объектов изменяются в зависимости от ракурса съемки. Это приводит к тому, что классические алгоритмы (поиск опорных линий, выделения текстовых полей и прочие) не могут применяться напрямую, а требуют предварительной проективной нормализации изображения.
  • Блики. Глянцевая пленка, голограммы и прочие элементы защиты, которые помогают нам отличить настоящий паспорт от поддельного, очень сильно мешают при распознавании (частично уничтожая информацию). Попробуйте посмотрите на свой паспорт даже через объектив фотоаппарата (например, с помощью стандартного приложения камеры вашего смартфона) под разными углами, и вы сразу поймете всю глубину проблемы.
  • Неравномерность освещения. В отличии от сканера, где используется свой осветитель, при фотографировании документа свет поступает от внешних источников неконтролируемым образом. Отсюда возникает еще ряд таких проблем, как тени и неточность передачи цвета.
  • Дефокусировка и смазывание. Возникает из-за постоянного смещения камеры во время распознавания (ведь съемка идет без использования штатива).
  • Цифровой шум. Часто возникает в ситуации недостаточной освещенности. При этом, чем меньше освещенность, тем больше усиливается влияние цифрового шума.

Теперь мы готовы к распознаванию. Для распознавания данных требуются специальные методы оптического распознавания, как отдельных символов, так и текстовых фрагментов. Особенностью обработки видеопотока является достаточно низкое исходное разрешение (не превышающее 150-200 DPI) при наличии помех и искажений, в частности бликов и засветки, дефокусировки изображения и смазывания.

После того, как будут успешно преодолены все трудности, связанные с обработкой отдельного кадра, появляются новые задачи, связанные с распознаванием всей видеопоследовательности – это контекстный анализ и интеграция результатов. Эта тема очень интересна, и мы обязательно посвятим ей ни одну статью в будущих постах. Пока лишь ограничимся анонсированием существования таких задач.

Заключение

Данный пост носит скорее вводный характер и повествует дорогим читателям в целом о наших задачах, проблемах, интересах. О конкретных научных и технических достижений мы обязательно продолжим серию публикаций на Хабре, в которых расскажем о решениях отдельных подзадач распознавания документов (и не только) на мобильных устройствах.


И в самом конце несколько скриншотов нашей программы для Apple iPhone

Читайте также: