Распознавание текста нейросетью: создание системы для фото и изображений

Что такое распознавание текста по фото и зачем оно бизнесу

Распознавание текста по фото (OCR, Optical Character Recognition) — это технология, которая преобразует изображение с буквами в редактируемый текст. Проще: вы загружаете фото/скан/картинку, а сервис возвращает «живые» символы, которые можно копировать, править, искать по ним и вставлять в документы.

Для бизнеса и коммерческих сайтов это не «фича ради фичи». Это экономия времени и денег:

• Быстрее обработка документов (счета, накладные, заявления).
• Ускорение контент-процессов (перенос текста с презентаций, вывесок, упаковок).
• Автоматизация поддержки (клиенты шлют фото, вы получаете текст и отвечаете быстрее).
• Улучшение качества данных (поиск, сортировка, аналитика).

Ускорение контент-процессов (перенос текста с презентаций, вывесок, упаковок).

Автоматизация поддержки (клиенты шлют фото, вы получаете текст и отвечаете быстрее).

Как это работает

Что касается нас, то понимание архитектуры нейронной сети является ключевым. Пожалуйста, потратьте 15 минут, чтобы посмотреть нашу небольшую и простую видеолекцию с кратким обзором архитектуры нейронных сетей, о которой упоминалось в начале. Это даст вам общее понимание.

Во-первых, изображение загружается в сверточную нейронную сеть для извлечения функций изображения. Следующим шагом будет применение рекуррентной нейронной сети для этих функций, за которой следует специальный алгоритм декодирования. Этот алгоритм декодирования принимает lstm выходы с каждого временного шага и производит окончательную маркировку.

Далее показана подробная архитектура. FC — полностью подключенный слой, SM — слой softmax.

Изображение имеет следующие размеры: высота равна 64, ширина равна 128 и количество каналов равно трем.

На практике число выходных векторов нейронной сети может достигать 32, 64 или более. Выбор будет зависеть от конкретной задачи. Также в производстве лучше использовать многослойную двунаправленную LSTM. Но этот простой пример объясняет только самые важные понятия.

Но как работает алгоритм декодирования? На приведенной выше диаграмме мы имеем восемь векторов вероятностей на каждом шаге времени LSTM. Возьмем наиболее вероятный символ на каждом временном шаге. В результате мы получаем строку из восьми символов — одну наиболее вероятную букву на каждом временном шаге. Затем мы должны склеить все последовательные повторяющиеся символы в один. В нашем примере две буквы «e» приклеены к одной. Специальный пустой символ позволяет нам разделить знаки, которые повторяются в оригинальной маркировке. Мы добавили пустой символ в алфавит, чтобы научить нашу нейронную сеть предсказать пробел между такими символами. Затем мы удалим все пустые символы. Посмотрите на иллюстрацию ниже.

Когда мы тренируем нашу сеть, мы заменяем алгоритм декодирования слоем CTC-Loss. Это объясняется в нашей второй видеолекции.

В нашей реализации система распознавания текста использует немногим более сложную архитектуру нейронной сети, но основные принципы здесь все те же.

После обучения модели мы применяем ее на изображениях из тестового набора и получаем очень высокую точность. Мы также визуализируем распределения вероятностей с каждого шага рекуррентной нейронной сети в виде матрицы. Вот пример.

Строки этой матрицы соответствуют всем символам алфавита и пробелу. Столбцы соответствуют шагам нейронной сети.

Классический OCR и нейросетевой OCR — в чем разница

• лучше справляются с наклоном, шумом, перспективой;
• точнее читают смешанные языки;
• иногда могут распознать рукописный текст онлайн заметно лучше, чем старые движки.

иногда могут распознать рукописный текст онлайн заметно лучше, чем старые движки.

Что именно вы распознаете: от этого зависит результат

• четкость, контраст, отсутствие бликов;
• корректный язык (русский/английский);
• ровную плоскость (без «дуги» страницы).

• насколько разборчив почерк;
• есть ли клетка/линейка;
• нет ли смазанных штрихов, теней от руки.

Рукопись — самый «капризный» режим. Тут важно не только чем распознаете, но и как фотографируете.

Чтобы распознать текст со скана, обычно проще: скан ровный, без перспективы. Фото — сложнее: наклон, свет, «бочка» объектива, шум.

• не было сжатия до «мыла»;
• размер шрифта был не микро;
• фон не «пестрил».

Какие задачи закрывает интент «распознать текст по фото онлайн»

Когда человек вводит запрос вроде «распознать текст по фото онлайн», он обычно хочет одно из четырех:

1. Скопировать текст без ручного набора (быстро и без ошибок).
2. Восстановить документ: фото/скан → редактируемый текст → Word/Google Docs.
3. Разобрать сложный источник: рукопись, чек, таблица на фото, PDF-скан.
4. Сделать дальше действие: конспект, перевод, письмо, описания товаров, пост, шаблон ответа.

Сделать дальше действие: конспект, перевод, письмо, описания товаров, пост, шаблон ответа.

• показать варианты (фото, JPG, PDF, скан),
• объяснить, как добиться точности,
• дать понятную инструкцию,
• подсказать, как использовать результат на Ranvik в реальном сценарии.

Когда лучше распознать текст онлайн

• нужно быстро «здесь и сейчас»;
• нет желания устанавливать софт;
• важны обновления моделей;
• вы работаете на разных устройствах.

Когда выгоднее распознать текст программа

• большой поток файлов и нужен пакетный режим;
• есть требования по хранению данных локально;
• нужна интеграция с внутренними системами без облаков.

Но у локальных решений часто сложнее старт, а качество зависит от обновлений движка. В реальности многие команды комбинируют: срочные задачи — онлайн, массовые — автоматизация.

Система распознавания текста: где взять данные для обучения?

Для этого туториала мы создали искусственный набор данных с более чем 10 тысячами изображений, которые очень похожи на настоящие номера. Изображения выглядят так.

Вы можете получить этот набор на Supervisely. В DeepSystems мы разрабатываем множество решений, связанных с компьютерным зрением, например, беспилотные автомобили, систему распознавания квитанций, обнаружение дефектов на дорогах и т.д. Мы, как специалисты по данным, тратим много времени на работу с данными для обучения: создание аннотаций изображений, объединение наших данных с общедоступными наборами данных, дополнение данных и т. д. Supervisely упрощает работу с обучающими данными и автоматизирует многие рутинные задачи. Мы считаем, что сервис будет полезен в вашей повседневной работе.

Первый шаг — регистрация в Supervisely. Следующий — вкладка Import -> Datasets library, нажмите на проект “anpr_ocr”.

Затем нажмите кнопку Upload. Это все. Теперь проект «anpr_ocr» добавлен в ваш аккаунт.

Если вы хотите просмотреть изображения, просто нажмите на набор данных, и вы сразу попадете в инструмент аннотации. Для каждого изображения у нас есть текстовое описание, которое будет использоваться в качестве эталона для обучения нашей системы. Чтобы просмотреть его, просто нажмите на маленькую иконку напротив выбранного изображения (выделено красным).

Теперь мы должны загрузить его в определенном формате. Для этого просто перейдите на страницу Export и вставьте эту конфигурацию в текстовую область. Это будет выглядеть так.

На скриншоте выше вы можете увидеть схему, иллюстрирующую шаги экспорта. Мы не будем вникать в технические детали (вы можете прочитать документацию, если это необходимо), но попробуем объяснить этот процесс ниже. В нашем проекте “anpr_ocr” у нас есть два набора данных. База данных test экспортируется как есть. Набор данных train разделен на два набора: train и val. Случайные 95 процентов изображений будут добавлены в набор train, а остальные 5 процентов — в val.

Теперь вы можете нажать кнопку Start exporting и подождать две минуты, пока система готовит архив для загрузки. Нажмите Export -> Task status -> Три вертикальные точки -> Download, чтобы получить данные обучения (отмечены красным цветом).

Начнем эксперимент

Мы подготовили все нужное в нашем репозитории. Скопируйте его со следующими командами.

Поместите скачанный архив в директорий data и запустите указанную ниже команду:

Теперь давайте создадим и запустим контейнер докеров с подготовленной рабочей средой (tensorflow и keras). Просто зайдите в каталог Docker и выполните следующие команды:

После этого вы попадете в контейнер. Запустите следующую команду, чтобы запустить блокнот Jupyter.

Вам нужно скопировать выбранную ссылку и вставить её в браузер. Ваша ссылка будет немного отличаться от моей.

Блокнот состоит из нескольких основных частей: загрузка и визуализация данных, обучение модели, оценка модели на тестовом наборе. В среднем для этого набора данных процесс обучения занимает около 30 минут.

Как вы можете видеть, предсказанная строка будет такой же, как и истина. Таким образом, мы создали современную OCR-систему в одном довольно простом блокноте jupyther. Наша система распознавания текста работает! В следующей главе этого урока мы рассмотрим и объясним все основные принципы работы.

Шаг 3. Снимайте правильно

• держите камеру параллельно листу;
• включите хороший свет без бликов;
• избегайте теней от рук;
• не используйте цифровой зум.

Шаг 5. Выберите язык распознавания

Русский, английский, смешанный. Для «текст по фото письменный» иногда полезно указать язык явно, чтобы модель не путала похожие символы.

Шаг 7. Проверьте «тонкие места»

• «0/О», «1/І/л», «5/Ѕ»;
• дефисах и переносах;
• адресах, реквизитах, артикулах;
• редких фамилиях/терминах.

Шаг 8. Быстро приведите текст к виду «для работы»

• уберите лишние пробелы;
• склейте строки, если они «порвались»;
• проверьте кавычки и тире.

Шаг 10. Используйте результат по назначению

• «конспект текста по фото» — сжать в тезисы;
• «текст описания по фото» — превратить в карточку товара;
• «расшифровка текста по фото онлайн» — подготовить к отправке клиенту.

Шаг 11. Для PDF-сканов повторите по страницам

Если нужно распознать текст из пдф онлайн, действуйте по той же схеме, но контролируйте качество каждой страницы.

Шаг 12. Автоматизируйте повторяющиеся задачи

Если ваша команда каждый день делает «слова по фото в текст», имеет смысл закрепить единый регламент (см. чек-лист ниже).

Что вы узнаете

• Как работает OCR и почему «нейросеть» часто точнее классических распознавателей.
• Чем отличается распознать печатный текст от попытки распознать рукописный текст.
• Как распознать текст онлайн без установки программ и не потерять форматирование.
• Что делать, если нужно распознать текст из pdf или со скана в плохом качестве.
• Как превратить результат в готовый материал: конспект, описание, письмо или даже создать поздравление нейросетью.
• Как быстро получить текст по фото онлайн и встроить это в процессы на сайте Ranvik.

Чем отличается распознать печатный текст от попытки распознать рукописный текст.

Как распознать текст онлайн без установки программ и не потерять форматирование.

Как превратить результат в готовый материал: конспект, описание, письмо или даже создать поздравление нейросетью.

Нейросеть для распознавание текста: Как быстро извлечь текст с картинки через нейросеть и получить готовый документ или конспект

Основные ошибки и заблуждения

1. «Любое фото распознается идеально»Нет. Перспектива, блики и шум убивают точность сильнее, чем «плохой сервис».
2. «Если PDF, значит текст уже есть»Скан-PDF — это картинки. Для него и нужен сценарий «распознать текст из pdf».
3. «Рукопись распознается так же, как печатный текст»Рукопись требует качества: резкость, контраст, понятные буквы. «Рукописный текст по фото» может дать отличный результат, но не в условиях «сфоткал в метро».
4. «Язык не важен — ИИ сам догадается»Смешанные языки и транслит без указания языка часто дают мусор: «А» превращается в «A», «Р» в «P» и т.д.
5. «Сжатие картинки не влияет»Влияет. Мессенджеры режут качество, и «расшифровать текст по фото» становится сложнее.
6. «Достаточно один раз распознать — и готово»Для документов всегда нужен контроль: суммы, реквизиты, даты.
7. «Форматирование восстановится само»OCR возвращает текст, но структуру иногда нужно привести вручную: списки, переносы, абзацы.
8. «Если не распознало — значит сервис плохой»Часто достаточно переснять под другим углом/светом или обрезать лишний фон.

«Любое фото распознается идеально»Нет. Перспектива, блики и шум убивают точность сильнее, чем «плохой сервис».

«Рукопись распознается так же, как печатный текст»Рукопись требует качества: резкость, контраст, понятные буквы. «Рукописный текст по фото» может дать отличный результат, но не в условиях «сфоткал в метро».

«Язык не важен — ИИ сам догадается»Смешанные языки и транслит без указания языка часто дают мусор: «А» превращается в «A», «Р» в «P» и т.д.

«Сжатие картинки не влияет»Влияет. Мессенджеры режут качество, и «расшифровать текст по фото» становится сложнее.

«Достаточно один раз распознать — и готово»Для документов всегда нужен контроль: суммы, реквизиты, даты.

«Если не распознало — значит сервис плохой»Часто достаточно переснять под другим углом/светом или обрезать лишний фон.

Мини-вывод: 80% проблем решаются качественным исходником и правильным режимом распознавания.

Как не допустить переспама и сохранить «человеческий» текст после OCR

Если вы делаете контент для сайта, важно: распознать — не значит опубликовать. Машина часто «ломает» стилистику:

• слишком много переносов;
• случайные заглавные буквы;
• «съехавшие» кавычки;
• странные пробелы.

1. чистим технический мусор,
2. выстраиваем абзацы и заголовки,
3. приводим к стилю бренда.

Мини-вывод: так «текст по фото» превращается в материал, который не стыдно показать клиенту.

Что делать, если нужно распознать текст из PDF или скана: короткий регламент

• Проверьте, можно ли копировать текст из PDF. Если нет — это скан.
• Разделяйте документ на страницы/развороты.
• Для каждой страницы контролируйте «точки риска»: суммы, реквизиты, даты, фамилии.
• Если задача частая, заведите шаблон проверки (2–3 минуты на документ).

Для каждой страницы контролируйте «точки риска»: суммы, реквизиты, даты, фамилии.

Если задача частая, заведите шаблон проверки (2–3 минуты на документ).

Чек-лист: быстрый контроль перед загрузкой

• Текст в кадре занимает большую часть изображения, без лишнего фона
• Нет бликов, теней и «желтизны» от ламп
• Камера параллельно листу, нет сильной перспективы
• Резкость на буквах, не на столе/руке
• Выбран правильный язык (русский/английский/смешанный)
• Для PDF понятно: это скан или текстовый файл
• Важные места (цифры, даты, адреса) читаемы
• После распознавания планируется быстрая вычитка

Частые вопросы о создании нейросети для распознавания текста

Вопрос: Можно ли создать нейросеть для распознавания текста без навыков программирования?
Ответ: Полноценную нейросеть с нуля — нет, но можно использовать готовые облачные API и конструкторы с минимальным кодом.

Вопрос: Сколько данных нужно для обучения собственной модели OCR?
Ответ: Зависит от сложности: для печатного текста — от 10 тысяч размеченных изображений, для рукописного — на порядок больше.

Вопрос: Какие языки программирования и фреймворки лучше всего подходят для этой задачи?
Ответ: Python с библиотеками TensorFlow, PyTorch, OpenCV и специализированными (Tesseract, EasyOCR, Keras-OCR).

Вопрос: В чем главное преимущество нейросетевого OCR перед классическим?
Ответ: Нейросети лучше справляются с искаженным, нестандартным шрифтом, низким качеством изображения и сложным фоном.

Вопрос: Обязательно ли использовать GPU для обучения?
Ответ: Для больших моделей и датасетов — да, это ускорит обучение в разы. Для экспериментов и мелких задач можно начать на CPU.

Вопрос: Как разметить данные для обучения?
Ответ: С помощью инструментов разметки (LabelImg, VGG Image Annotator, Roboflow), указывая bounding box вокруг текста и его транскрипцию.

Вопрос: Можно ли дообучать готовую модель под свой специфический шрифт или документ?
Ответ: Да, это называется transfer learning (переобучение) и требует меньше данных и вычислительных ресурсов, чем обучение с нуля.

Вопрос: Как оценить качество созданной нейросети для распознавания текста?
Ответ: По метрикам точности распознавания символов (Character Accuracy) и слов (Word Accuracy) на тестовой выборке.

Вопрос: Стоит ли создавать свою модель, если есть бесплатные библиотеки вроде Tesseract?
Ответ: Стоит, если ваши данные (шрифты, качество снимков, язык) плохо обрабатываются стандартными решениями.

Вопрос: Какие самые частые ошибки при создании такой нейросети?
Ответ: Недостаточное или некачественное размеченное обучение, отсутствие аугментации данных, неправильный выбор архитектуры модели.

Краткая памятка по созданию нейросети для OCR

1. Четко определите задачу: что именно (печатный/рукописный текст, язык, тип документов) и в каких условиях нужно распознавать.
2. Изучите и сравните существующие готовые решения (Tesseract, Google Vision API, AWS Textract) — возможно, они решат вашу задачу.
3. Соберите репрезентативный набор данных: реальные изображения, с которыми будет работать система.
4. Произведите разметку данных: для каждого изображения укажите координаты текста и его точное содержание.
5. Разделите данные на три набора: тренировочный, валидационный и тестовый.
6. Выберите архитектуру нейросети: популярны для OCR CRNN (Convolutional Recurrent Neural Network) и модели на основе Transformer.
7. Примените аугментацию данных (повороты, шум, изменение контраста) для увеличения разнообразия обучающей выборки.
8. Настройте среду разработки: Python, фреймворк для глубокого обучения, GPU при необходимости.
9. Обучите модель, контролируя процесс потерь и точности на валидационной выборке.
10. Протестируйте модель на тестовой выборке, оценив итоговую точность распознавания.
11. Оптимизируйте модель для продакшена (ускорение, уменьшение размера) при необходимости.
12. Интегрируйте модель в приложение или пайплайн обработки документов.
13. Настройте постобработку результатов (исправление опечаток, приведение к структурированному виду).
14. Реализуйте систему для сбора новых данных и дообучения модели для поддержания и улучшения точности.
15. Продумайте обработку ошибок и исключительных случаев (отсутствие текста, нечитаемые фрагменты).