es.hanwhasecurity.com

Inteligencia Artificial El futuro de Video Seguridad

Agenda Rápida Y por que rápida?.... Sencillamente para q no se duerman ☺

✓ Inteligencia Artificial y los algoritmos asociados de Machine Learning y Deep Learning. o Como se desarrolla un algoritmo de reconocimiento (versión ultra

simplificada) o Diferencias entre Deep Learning & Machine Learning.o Un poco sobre redes Neuronales y su relacion con AI, ML, DL. o Curiosidades, un Nuevo hardware desarrollado para AI (TPU)

✓ Nuevos dispositivos con AI embarcado, funcionalidades principales ✓ Mejora en el análisis Situacional✓ Nuevas Características✓ Line-up✓ Plan de Integración ✓ Información adicional

Agenda

Detección de Movimiento, Inteligencia Artificial y los algoritmos asociados de Machine Learning y Deep Learning.

“Everything should be made as simple as possible, but not simpler.” Albert Einstein

“Todo debe hacerse lo más simple posible, pero demasiado simple”

IA

• La IA comienza con un antiguo deseo de forjar Dioses

• La investigación sobre IA surgió en 1923

• La Inteligencia Artificial es el desarrollo de sistemas informáticos que pueden realizar tareas que requerirían inteligencia humana.

• Ejemplos de estas tareas son la percepción visual, el reconocimiento del habla, la toma de decisiones (autos autónomos, sistemas de navegación) y la traducción entre idiomas.

AI• Dos categorías principales de tecnologías de IA

– IA débil: máquinas para responder a situaciones específicas, pero no pueden pensar por sí mismas

– IA fuerte: máquinas que piensan y actuan como un ser humano, y aprenden de las experiencias. Como no hay ejemplos de la vida real de IA al dia de hoy, sin embargo, la mejor representación sería cómo Hollywood retrata a los robots (Yo Robot por ejemplo)

• Tipos de sistemas de IA– Máquinas reactivas (no utilizan experiencias pasadas) - Termostato de aire

acondicionado– Memoria limitada (use la experiencia anterior) – Camaras con IA– Teoría de la mente- Mind Theory (socializar y comprender las emociones humanas)– Autoconscientes (aun no existen)

Objetivos de IA• IA estrecho: los sistemas están diseñados para tareas específicas,

esto es muy común (por ejemplo, cámara)

• IA amplia: los sistemas están diseñados en torno a la capacidad de razonar en general

Otros Nombres para IA que significan lo mismo

cognitive computing, smart machines, intelligent assistants, predictive analytics, recommendation systems, deep learning, machine learning, self‐driving cars, question‐ answering systems, eHarmony

IA es el futuro … No solo en Video

AI

ML

DL

Inteligencia en IA

Percepcion: Tomando datos del sensor( There is an API for AI models)

Raciocinio: Pensando en cómo se relacionan las cosas con lo que se conoce (sabemos que si los valores de Pixel coinciden con esta matriz, la imagen es para un perro)

Actuación: Generando y controlando acciones (La imagen del perro se agrega a la categoría del perro)

Inteligencia en IA

Big Data e IA

• Cada día se producen 2,5 quintillones de bytes de datos (18 ceros)

• Los sistemas de IA capturan datos (Percepción), los sintetizan (Raciocinio) y los usan con un propósito(Actuación)

• La IA no es mágica, pero es la aplicación de una colección de algoritmos basados en datos, escala y potencia de procesamiento.

• ¿Qué es un algoritmo?

Algoritmo• Secuencia de instrucciones( lavar los platos)

Pick a Plate and move it to the

sinkRinse it Rub it Rinse it Move it to dry

Como se “escribe” un algoritmo para reconocer una imagen?

Diferenciar entre un vehiculo y un perro

Para una computadora, la imagen es una tabla de números y cada número presenta el brillo del píxel específico

0.713 6.8 6.3

1.01 .847 1.19

1.36 0.077 .919

0.6 8.9 .6

1.01 .847 1.19

1.36 0.077 .919

Como se “escribe” un algoritmo para reconocer una imagen?

Los autos y los perros vienen en diferentes formas y colores, fondos, etc.

Compara una imagen con plantillas almacenadas

Cual es el gran problema con algoritmos de comparacion?

• Necesita una cantidad extremadamente grande de plantillas

• Lento

• Necesita tener todas las posiciones posibles, fondo, color, etc.

AI

ML

DL

Machine Learning Para resolver este problema

Mostrar a la máquina muchos ejemplos de automóviles y perros y entrenarla para distinguirlos

Distinguir la C de la D

Suma Ponderada <0 Suma Ponderada >7

Suma ponderada de los pixels en la imagen

1 1 1

1 0 0

1 1 1

? ? ?

? ? ?

? ? ?

1 1 1

1 0 0

1 1 1

Peso Resultado

=X

Qué valores dar a los pesos

Se le muestra ejemplos para C&D y se deja que la máquina ajuste los pesos si la predicción no es precisa hasta que se alcance la predicción correcta. La máquina aprenderá el patrón del valor de Celdas de las letras, por lo tanto, se aplica la matriz de peso

correcta para cumplir con los Criterios para C: suma ponderada es >7 . Y para D la suma es <0

Suma ponderada de los pixels en la imagen

1 1 1

1 0 0

1 1 1

1 1 1

1 1 1

1 1 1

1 1 1

1 0 0

1 1 1

Peso Resultado

=X

Suma ponderada de los pixels en la imagen

1 1 1

1 0 0

1 1 1

1 1 1

1 1 1

1 1 1

1 1 1

1 0 0

1 1 1

Sum

=X

100 % Confidence

= 7>0If the Weighted Sum is greater than 0 , the

Letter is C

Peso ajustado para D

1 1 0

1 0 1

1 1 0

0 0 1

0 0 -1

0 0 1

0 0 0

0 0 -1

0 0 0

Suma

=X

= -1 < 0Si la suma ponderada es

< 0, la letra es D

Peso

Machine Learning• Algoritmos que analizan datos, aprenden de esos datos y

luego aplican lo que han aprendido (sin ser programadoexplícitamente) y tomar decisiones informadas

• Supervised Machine Learning→ Classification

Labeled Data

Labeled Data

Machine Learning algorithm

Learned model Prediction

Training

Prediction

Training

I/P Data Learning System Correct O/P

New Data Learned System O/P

Error MeasureNeural Net

Testing

Back Propagation/ Adjust Weight

Machine Learning Vs Deep Learning – Machine Learning -> Se especifican manualmente las caracteristicas

– Todas las tareas de clasificación dependen de conjuntos de datos etiquetados; es decir, los humanos deben transferir sus conocimientos al conjunto de datos para que una red neuronal aprenda la correlación entre etiquetas y datos . Se conoce como supervised learning.

– Deep Learning → Encuentra la característica que es más importante para la clasificación

– Deep learning no requiere etiquetas para detectar similitudes. Aprender sin etiquetas se

llama unsupervised learning.

ML vs DL dependencia de datos

Machine Learning

Deep LearningDesempeño

Cantidad de Informacion

AI

ML

DL

NN

NN layer no es más que una colección de neuronas que toman una entrada y

proporcionan una salida.

La capa más a la izquierda de la red se llama capa de entrada, y la capa más a la

derecha, la capa de salida (que, en este ejemplo, solo tiene un nodo). La capa

intermedia de nodos se llama capa oculta porque sus valores no se observan en el

conjunto de entrenamiento.

Las redes neuronales son un conjunto de algoritmos, modelados libremente según

el cerebro humano.

Sera Un cuadrado?

(característicasanidadas)

4 lados

Cerrado

Perpendicular

Lados Iguales

Layers

Bicycle

Hidden LayersBlack box

Input Layer Output Layer

Las Capas funcionan como el cerebro

Informacion acerca de NN• CNN (convolutional neural networks) es una red neuronal de

avance que generalmente se usa para el reconocimiento de imágenes y la clasificación de objetos

• RNN (Recursive Neural Network) está compuesto por un nodo. Se alimenta de datos, luego devuelve un resultado a sí mismo y continúa haciéndolo. Ejemplo: PLN (procesamiento del lenguaje natural)

• Modelo - La representación aprendida de un conjunto de datos y utilizada para hacer predicciones futuras. (ej: Carros vs perros )

• Algoritmo - El proceso de aprendizaje.. Modelo = Algoritmo(TrainingData)

La unidad básica de cálculo en una red neuronal es la neurona, a menudo llamada nodo o unidad. Recibe información de algunos otros nodos, o de una fuente externa y calcula una salida. Cada entrada tiene un peso asociado (w), que se asigna en función de su importancia relativa a otras entradas. El nodo aplica una función f (definida a continuación) a la suma ponderada de sus entradas + b (sesgo / desplazamiento). La función principal de “sesgo” es proporcionar a cada nodo un valor constante entrenable (además de las entradas normales que recibe el nodo).

Informacion acerca de NN

Edge vs. Server • Incluso con el aumento de la potencia analítica disponible en el borde,

hay ciertas tareas que se benefician de la ejecución en un servidor potente, como por ejemplo entrenar el algoritmo de la cámara

• Si un servidor va a analizar video, primero debe decodificarlo, lo que consume una cantidad fija de recursos de CPU / GPU. Después de decodificar el video, luego se puede analizar.

• Aplicación Camera Open Platform que; tendrá acceso al video en bruto antes de la codificación, ya que reside en el borde, procesará los datos y pasará los resultados directamente al servidor. (No se utilizarán recursos de CPU / GPU en el servidor para análisis de video)

• Para los análisis más exigentes, los procesos de bases de datos y las implementaciones de IA, un enfoque híbrido puede generar el mejor valor comercial.

GPU vs CPU vs TPU ( Server H/W for AI)

CPU TPUGPU

CPU: 1 X 1 data unitGPU: 1 X N data unitTPU: N X N data unit

En Conclusion Que Aprendimos

Machine Learning vs Deep Learning

Que es lo Profundo del “Deep Learning”

Como ayuda al analisis de Video

Donde y como se usa el entrenamiento

Tecnología basada en deep learning

Simple Video Análisis

Basados en Movimiento y Cantidad de Pixeles

Tecnología basada en deep learning

Que logra inicial mente AI y DL?

Reducción de falsas alarmas a través del algoritmo basado en el aprendizaje profundo de Wisenet, que admite la clasificación de objetos, puede descartar árboles ondulantes, ruido de video, lluvia, sombras en movimiento, objetos irreverentes (perro, bolsa de plástico, etc.)

[ Pixel based conventional MD] [ Deep learning VA /PND-A9081RV]

• La detección de movimiento tradicional se basa en el cambio de píxeles de la imagen de video, emite alarmas continuas.

• El VA basado en el aprendizaje profundo solo puede enfocar a las personas, descartar a los demás (onda, ruido de video, sombras en movimiento).

Tecnología basada en deep learning

Excelente respuesta en escenas con movimientocomplejas

[ Pixel based conventional MD]

La detección de movimiento tradicional se basa en el cambio de píxeles de la imagen de video, genera alarmas continuas.El VA basado en el aprendizaje profundo se enfoca solo en personas, y descarta otras situaciones (onda, ruido de video, sombras en movimiento).

INTERNAL USER ONLY

[ Deep learning VA /PND-A9081RV]

Excelente respuesta en escenas cambios de luz bruscos

Tecnología basada en deep learning

[ Pixel based conventional MD]

La detección de movimiento tradicional se basa en el cambio de píxeles de la imagen de video, genera alarmas continuas.El VA basado en el aprendizaje profundo se enfoca solo en personas, y descarta otras situaciones (onda, ruido de video, sombras en movimiento).

[ Deep learning VA /PND-A9081RV]

Se descartan animals, no se genera alarma

Tecnología basada en deep learning

[ Pixel based conventional MD] [ Deep learning VA /PND-9081RV]

La detección de movimiento tradicional se basa en el cambio de píxeles de la imagen de video, genera alarmas continuas.El VA basado en el aprendizaje profundo se enfoca solo en personas, y descarta otras situaciones (onda, ruido de video, sombras en movimiento).

Se descartan animals, no se genera alarma

Tecnología basada en deep learning

Nuevos dispositivos con AI embarcadoFuncionalidades principales

Nueva detección de Objetos . Nuevo set de eventos basados en AI. Deteccion de hasta 4 objetos simultaneos(Persona/Vehiculo/Rostro/licensias)

. Real-time event trigger (usando SUNAP)

Funcionalidades principales

• Captura de imagen de persona (cuerpo humano), cara, vehículo, matrícula ... etc.

• Recopilación de metadatos para un atributo específico para que el sistema pueda usar los datos en búsqueda avanzada

사람

Funcionalidades principales

Carro

HU

man

o

20190225_10:30:3320190225_10:30:3220190225_10:30:29

20190225_10:30:3320190225_10:30:3220190225_10:30:29

NO License Plate

Objeto Capturado Atributo

Carro

Hu

man

o

Typo : Bus, camion, bici…Color : negro, blanco, Rojo, azul…

Genero : Mujer, HombreColor de la ropa: arriba, abajoTipo de Ropa: Larga, CortaAccesorios : Sombrero, Backpack, bolso, Lentes

Funcionalidades principales (03/25/20)Attributes Objects Attributes Supported attributes items

Person Gender Female, Male

Upper(Color) Black, Gray, White, Red, Orange, Yellow, Green, Blue, Purple(up to 2 colors at the same time)

Lower(Color)

Upper(Clothing) Long, Short

Lower(Clothing) Long, Short

Hat Wear Hat or Not

Bag Wear bag or Not

Vehicle Type Car(Sedan/SUV/Van…etc), Bus, Truck, Motorcycle, Bicycle, Train

Color Black, Gray, White, Red, Orange, Yellow, Green, Blue, Purple(up to 2 colors at the same time)

Face Gender Female, Male

Age Young/Adult/Middle age/Senior

Hat Wear Hat or Not

Glasses Wear Glasses or Not

. Best -Shot : imagen “recortada” de una “Persona, Vehículo, rostro, Licencia Placa ” en la escena

. Toma de imagen JPEG

. Esta función ayuda a una mejor búsqueda forense en el VMS

. Supremamente útil para el análisis posterior de placas y rostros.

Funcionalidades principales (Best Shot)

Mejora en el Análisis Situacional

Selección de objeto

. Nuevo Algoritmo desarrollado

. Nueva opción de selección de objeto, activación de evento en tiempo real.

. Mejora en la generación de alarmas basados en la nueva clasificación de objetos

. Detección de dirección, intrusión detección, entrada/salida, merodeo(hasta por 10 minutos)

Mejora de Análisis Situacional: IVA

INTERNAL USER ONLY

. Nuevo algoritmo de AI

. No hay limitación en la posición de instalación de las cámaras

. Mejora en la detección basado en la clasificación de personas.

. Se adiciona conteo por genero y edad – gran mejora para Retail Inside

[People Counting] [Heatmap]

Mejora de Análisis Situacional: IVA

Es importante destacar que ya no es necesario la cuenta axial

– Mejora la usabilidad con aplicaciones de minería de datos

– Un Gran ejemplo es Retail Inside

– Elimina la necesidad de servidores por sitio

Mejora de Análisis Situacional: Conteo de Personas

INTERNAL USER ONLY

UI de manejo de colas Usando DL /PND-9081RV

Manejo de Colas con identificacion de personasUsando camara en posicion lateral

Mejora de Análisis Situacional: Manejo de Colas

Nuevas Características

• Las nuevas cámaras Wisenet AI camera utiliza el Segundo canal como ROI (requiere integración de SUNAPI)

• El canal 1 se usa como Overview y el canal 2 para auto tracking. • Digital Auto-tracking mas inteligente usando opciones de filtrado como: Persona/Vehiculo

Nuevas Características: ROI & Digital Auto tracking

INTERNAL USER ONLY

Activacion de salidas de usando el analisis de Video integrado.

PNB-A9001(Ex) Note

1: Alarm 1 Input

2: Alarm 2 Output

3: GND

4: Alarm out 12V DC, Max load ~ 50mA

5: GND(DC) 0V DC

Nuevas Características: ROI & Digital Auto tracking

Line-up & Plan de Integracion

ⓒ 2020 All rights reserved.

P N D A 9 0 8 1 R V

Network Type Resolution Focal Length Optional

AI Camera

Dome Type – Line UpPND-A9081RV/A9081RF

• Lens• 4.5~10mm(2.2x) motorized varifocal

• Video/Network• Codec : H.264, H.265, MJPEG

• Resolution : 4K

• Features• IR

• WDR : 120dB

• New Wisenet AI algorithm included

• Object detection

• Bestshot

• Attributes

• Retail Insight integration

• Environment

• IP52, IK10

• 2ea SD slots

• USB&CVBS for installation

• Audio In/Out, Alarm In/Out

• PoE+, 12VDC

• DC12V for external device

PND-A9081RV

SBC-160B (Skin Cover)

PND-A9081RF

Vandal Dome Type – Line upPNV-A9081R

• Lens• 4.5~10mm(2.2x) motorized varifocal

• Video/Network• Codec : H.264, H.265, MJPEG

• Resolution : 4K

• Features• IR

• WDR : 120dB

• New Wisenet AI algorithm included

• Object detection

• Bestshot

• Attributes

• Retail Insight integration

• Environment

• IP66, IP67, IP6K9K, IK10+, NEMA4X

• 2ea SD slots

• USB&CVBS for installation

• Audio In/Out, Alarm In/Out

• PoE+, 12VDC

• DC12V for external device

PNV-A9081R

SBC-160B (Skin Cover)

Vandal Dome Type – Line upPNO-A9081R

• Lens• 4.5~10mm(2.2x) motorized varifocal

• Video/Network• Codec : H.264, H.265, MJPEG

• Resolution : 4K

• Features• IR

• WDR : 120dB

• New Wisenet AI algorithm included

• Object detection

• Bestshot

• Attributes

• Retail Insight integration

• Environment

• IP66, IP67, IK10, NEMA4X

• 2ea SD slots

• Backbox (XNO-8080R Design)

• USB&CVBS for installation

• Audio In/Out, Alarm In/Out

• PoE+, 12VDC

• DC12V for external device

PNO-A9081R

Vandal Dome Type – Line UpPNB-A9001

• Lens• i-CS lens support

• Video/Network• Codec : H.264, H.265, MJPEG

• Resolution : 4K

• Features• WDR : 120dB

• New Wisenet AI algorithm included

• Object detection

• Bestshot

• Attributes

• Retail Insight integration

• Environment

• 2ea SD slots

• USB&CVBS for installation

• Audio In/Out, Alarm In/Out

• RS-485 for remote control

• PoE+, 12VDC

• DC12V for external device

PNB-A9001

Model Details Plan

Milestone Hanwha’s Proprietary Plug-in (AI search) 1Q.2020

Genetec Hanwha’s Proprietary Plug-in (AI search) 2Q.2020

WAVE Co-working development 1Q.2020

SSM New AI search Complete

NVR New P/X series including AI search June.2020

Retail InsightNew functions including advanced Heatmap, Gender/Age counting with AI (beta firmware)

Dec.2019(beta)

Device Manager Add IVA and Object Detection setting Sep.2020

Plan de Integracion

Cualquier duda o PreguntaMauricio Meza | Sr. Product Manager LATAM

Office: +1 201-3252625|Cell: +1 305-6089201

m.meza@hanwha.com

¡Gracias!