Aplicación de visión por computador para el Aplicación de visión por computador para el reconocimiento del número de placa de vehículos reconocimiento del número de placa de vehículos
usando modelos de aprendizaje (OCR usando modelos de aprendizaje (OCR convencionales)convencionales)
Fernanda Frydson T. Richard Gutierrez P.
Facultad de Ingeniería en Electricidad y ComputaciónEscuela Superior Politécnica del Litoral – ESPOL
Guayaquil – Ecuador
ESQUEMA GENERAL ANPR
Control de acceso a parqueaderos
Control de fraudes en autopistas
Control de velocidad media en autopistas
Control de camiones
Inventariado de vehículos … etc
JUSTIFICACIÓN DEL PROYECTO
1. Introducción
1.1 ANPR 1.2 OCR 1.2.1 Modelos 1.2.1 Técnicas 1.2.1 Análisis de
los OCR’s2. Implementación de la
solución3. Resultados
Experimentales3. Conclusiones y Recomendaciones
Es una aplicación de Visión por Computador que utiliza Reconocimiento Óptico de Caracteres OCR en imágenes para leer las matriculas de los vehículos
INTRODUCCIÓN: SISTEMAS ANPR
Trabaja en un entorno NO CONTROLADO
Los sistemas OCR simulan la habilidad humana mediante la creación y el uso de modelos físicos o matemáticos
OCR: RECONOCIMIENTO ÓPTICO DE CARACTERES
MODELOS
Redes Neuronales: Es un sistema inspirado en el funcionamiento del cerebro humano
Método Lógico: Se utiliza conjuntos difusos, lógica simbólica, etc.
OCR: RECONOCIMIENTO ÓPTICO DE CARACTERES
MODELOS
Método Probabilista: Utiliza análisis de varianzas, covarianzas, dispersión, distribución, etc.
Método Geométrico (Clustering): Es un método de agrupación de una serie de vectores de acuerdo a un criterio de cercanía.
OCR: RECONOCIMIENTO ÓPTICO DE CARACTERES
TÉCNICAS
GOCR: Desarrollada por Joerg Schulenburg, se basa en un conjunto de reglas, portable a diferentes SO’s, sensible a imágenes con ruido e inclinación.
OCRAD: Creado por Antonio Díaz, es un método de extracción de características geométrico, rápido pero muy sensible al ruido
OCR: RECONOCIMIENTO ÓPTICO DE CARACTERES
TÉCNICAS
TESSERACT: Desarrolla originalmente por Hewlett Packard, luego liberado por Google, es multiplaforma, preciso, potente. El formato que procesa es el TIFF
OCR: RECONOCIMIENTO ÓPTICO DE CARACTERES
TÉCNICASOcrad GOCR Tesseract
Precisión en el reconocimiento Buena Buena Excelente
Tiempo de respuesta Excelente Mala Buena
Sistemas Operativos desarrollado UnixWindows
Linux
WindowsLinux
Mac OS
Lenguaje desarrollado C++ C C y C++
Licencia
GNU General Public
License
GNU General Public
License
Licencia Apache
Formato de imagen de entradaBmp, pgm,
ppm
pnm, PBM, pgm
y otrosTIFF
Calidad de imagen para análisis Buena Excelente Buena
Versión estable disponible Julio 2010Agosto 2009
Sept. 2010
OCR: RECONOCIMIENTO ÓPTICO DE CARACTERES
ANÁLISIS DE LOS OCR’S
Driver Gothic License Plate
OCR: RECONOCIMIENTO ÓPTICO DE CARACTERES
ANÁLISIS DE LOS OCR’S: GOCR
Prueba para imagen 1
Prueba para imagen 2
OCR: RECONOCIMIENTO ÓPTICO DE CARACTERES
ANÁLISIS DE LOS OCR’S: OCRAD
Prueba para imagen 1
Prueba para imagen 2
OCR: RECONOCIMIENTO ÓPTICO DE CARACTERES
ANÁLISIS DE LOS OCR’S: TESSERACT
Prueba para imagen 1
Prueba para imagen 2
OCR: RECONOCIMIENTO ÓPTICO DE CARACTERES
ANÁLISIS DE LOS OCR’S: TESSERACT ENTRENADO
Prueba para imagen 1
Prueba para imagen 2
OCR: RECONOCIMIENTO ÓPTICO DE CARACTERES
ANÁLISIS DE LOS OCR’SResultados para imagen 1
Prueba para imagen 2
OCR Total de Caracteres
Reconocidos Correctamen
te
No Reconocido
s
Porcentaje de Error
GOCR 37 35 2 5.41Ocrad 37 29 8 21.62
Tesseract 37 31 6 16.22Tesseract entrenado
37 36 1 2.70
OCR Total de Caracteres
Reconocidos Correctament
e
No Reconocido
s
Porcentaje de Error
GOCR 37 34 3 8.10Ocrad 37 30 7 18.92
Tesseract 37 31 6 16.22Tesseract entrenado
37 37 0 0
OCR: RECONOCIMIENTO ÓPTICO DE CARACTERES
1. Introducción2. Implementación de la
solución 2.1 Placas Vehiculares 2.2 Tesseract 2.2.1 Fase de
entrenamiento 2.2.1 Fase de
reconocimiento3. Resultados Experimentales
4. Conclusiones y Recomendaciones
Placa Particular Placa de Alquiler
Placa Gubernamental
Placa Municipal
TIPOS DE PLACAS VEHICULARES
EN EL ECUADOR
ESQUEMA GENERAL DEL OCR
FASES DEL TESSERACT
Determinar el conjunto de caracteres que van a ser utilizados
Diseñar imagen con texto que contenga un conjunto de ejemplos
OCR IMPLEMENTADO
ETAPA 1: ENTRENAMIENTO PASO A PASO
Tener 5 - 10 muestrasCaracteres frecuentes mínimo 20
muestras
PUNTOS IMPORTANTES PARA CREAR IMAGEN DE ENTRENAMIENTO
No hacer frases sin significado ejemplo, 012345 !@#$%^
Mas de 10 muestras para caracteres cerca de los 15 pixeles
Los datos de entrenamiento se debe agrupar por tipo de letra
OCR IMPLEMENTADO
IMÁGENES PLANTILLA
OCR IMPLEMENTADO
CUADRO COMPARATIVO DE PRUEBAS
OCR IMPLEMENTADO
Las imágenes son previamente binarizadas
El formato es TIFF, sin compresión
Resolución es de 72ppp - 300ppp
CARACTERÍSTICAS DE LAS IMÁGENES
OCR IMPLEMENTADO
Buenas
Parcialmente Buenas
Malas
CLASIFICACIÓN DE LAS PLACAS
OCR IMPLEMENTADO
Antes
Despues
ANÁLISIS DE PAGINA
OCR IMPLEMENTADO
Distinción entre caracteres alfabéticos y numéricos
AntesLa letra “B” era reconocida como el número “8”.El cero “0” era reconocido como la letra “O”, “Q” o “D”, “U”. El seis “6” fácilmente era reconocido como la letra “G” El número “1” fácilmente era reconocido con la “I”El “4” hallaba similitud con la letra “A”El número “5” hallaba similitud con la letra “S”El número “2” hallaba similitud con la letra “Z”.El número “7” hallaba similitud con la letra “T”
DETECCIÓN DE ERRORESOCR IMPLEMENTADO
Distinción entre caracteres alfabéticos y numéricos
Después
DETECCIÓN DE ERRORES
Placas
Tasa de
Reconocimiento % de Rec. Con Clasificación
100 Placas (606
Imágenes) 28% 66%
OCR IMPLEMENTADO
Similitud de caracteresDETECCIÓN DE ERRORES
OCR IMPLEMENTADO
Patrones para caracteres especiales
DETECCIÓN DE ERRORES
OCR IMPLEMENTADO
Caracteres Sesgados
DETECCIÓN DE ERRORES
OCR IMPLEMENTADO
Caracteres Sesgados
DETECCIÓN DE ERRORES
OCR IMPLEMENTADO
Caracteres Sesgados
DETECCIÓN DE ERRORES
OCR IMPLEMENTADO
45 Grados
Corrección geométrica: Ninguna
Resultado: GMX 672
100% Caracteres Reconocidos
Imagen Binaria B/N - TIFF Sin compresión:
DETECCIÓN DE ERRORES: ROTACIÓN SOBRE EJE VERTICAL
65 Grados
Corrección geométrica: Ninguna
Resultado: GMX 672
100% Caracteres Reconocidos
Imagen Binaria B/N - TIFF Sin compresión:
OCR IMPLEMENTADO
7 0 Grados
Corrección geométrica: Ninguna
Resultado: GMX 672
100% Caracteres Reconocidos
Imagen Binaria B/N - TIFF Sin compresión:
DETECCIÓN DE ERRORES
75 Grados
Corrección geométrica: Ninguna
Resultado: GMX 672
83,33% Caracteres Reconocidos
Errores: Mientras el ángulo de rotación horizontal aumenta, los caracteres tienden a tomar similitud con otros como es el caso del 1 y 7, M y H.
OCR IMPLEMENTADO
45 Grados
Corrección geométrica: Ninguna
Resultado: GMX 672
100% Caracteres Reconocidos
Imagen Binaria B/N - TIFF Sin compresión:
DETECCIÓN DE ERRORES: ROTACIÓN SOBRE EJE HORIZONTAL
65 Grados
Corrección geométrica: Ninguna
Resultado: GMX 672
100% Caracteres Reconocidos
Imagen Binaria B/N - TIFF Sin compresión:
OCR IMPLEMENTADO
70 Grados
Corrección geométrica: Ninguna
Resultado: GMX 672
83.33% Caracteres Reconocidos
Imagen Binaria B/N - TIFF Sin compresión:
Errores: Mientras aumente su rotación vertical, luego de la binarización, los caracteres tienden a verse aplastados causando problemas de reconocimiento y como en el presente ejemplo la “M” la reemplaza por “III” o simplemente no la reconoce.
DETECCIÓN DE ERRORES: ROTACIÓN SOBRE EJE HORIZONTAL
OCR IMPLEMENTADO
ETAPA 2: RECONOCIMIENTO
RESULTADO SOBRE 100 PLACAS / 606 IMAGENES
Librería pv2 pv3 pv4 pv5 pv6 pv7 Pv8 (Final)
Total de Placas Reconocidas 66 72 75 75 60 75 83
OCR IMPLEMENTADO
1. Introducción2. Implementación de la
solución 2.1 Placas Vehiculares 2.2 Tesseract 2.2.1 Fase de
entrenamiento 2.2.1 Fase de
reconocimiento3. Resultados Experimentales
4. Conclusiones y Recomendaciones
PRUEBAS DE CAMPO
Puntos 24
Tomas 240
Corrección aplicada
Alineamiento
Imágenes procesadas
1440
RESULTADOS: PRUEBAS DE CAMPO
PRUEBAS DE CAMPO % DE EFICIENCIA ALGORITMO
IMPLEMENTADO
1. Introducción2. Implementación de la
solución 2.1 Placas Vehiculares 2.2 Tesseract 2.2.1 Fase de
entrenamiento 2.2.1 Fase de
reconocimiento3. Resultados Experimentales4. Conclusiones y Recomendaciones
Se consiguió realizar una librería de entrenamiento con excelentes resultados
Se podría crear un entrenamiento mucho más robusto utilizando placas de otros países
CONCLUSIONES Y RECOMENDACIONES
En el presente proyecto se realizó la toma de imagen de manera manual, por lo que se puede realizar de manera autónoma.
CONCLUSIONES Y RECOMENDACIONES
Top Related