Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos...
-
Upload
conrado-menor -
Category
Documents
-
view
25 -
download
0
Transcript of Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos...
![Page 1: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/1.jpg)
Teoría de la Información
![Page 2: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/2.jpg)
Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información 5.Información y Certidumbre 6.Medida de la Información
![Page 3: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/3.jpg)
7.Cantidad de Información 8.Información Mutua 9. Binit y Bit 10.Entropía 11.Tasa de Información 12.Obtención de la Información 13.Fuentes Continuas 14.Máxima capacidad de
transferencia de un Canal 15.Dígitos binarios en la transmisión
de información 16.Ley de Shannon - Hartley
![Page 4: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/4.jpg)
Cualidades de la información (Repaso)
Precisión
Exactitud
Oportunidad
Integridad
Significativa
![Page 5: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/5.jpg)
Teoría de la Información
Concepto: es una rama de la Teoría de la Matemática, de las probabilidades y de la
estadística que estudia todo lo relacionado con ellas. La Teoría de la Información es una teoría matemática creada por Claude
Shannon en el año 1948 y que forma la piedra angular sobre la que se ha desarrollado toda la teoría actual de la comunicación y la codificación.
Esta teoría establece los límites de cuánto se puede comprimir la información y de cuál es la máxima velocidad a la que se puede transmitir información. La Teoría de la Información es, por tanto una teoría de límites alcanzables: máxima compresión de datos y máxima tasa de transmisión de información transmitida sin errores.
Las aplicaciones de esta teoría son enormes y abarcan desde las ciencias de la computación (criptografía, aprendizaje), la ingeniería eléctrica (Teoría de la comunicación y teoría de la codificación), la estadística o la biología (secuencias de ADN, código genético).
![Page 6: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/6.jpg)
Esta teoría fue formulada en 1940 por el ingeniero Claude E. Shannon, y aparece publicada por primera vez en octubre de 1948. Posteriormente el sociólogo Warren Weaver redactó un ensayo destinado a enfatizar las bondades de esta propuesta, el cual fue publicado en 1949.
1. Modelo científico del proceso de comunicación
1. Formulación de leyes matemáticas de Hartley (genésis de la TI)
RUIDO: Expresión genérica utilizada para referirse a las distorsiones originadas en forma externa al proceso de comunicación
![Page 7: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/7.jpg)
Los problemas que plantea Shannon, tienen que ver con la cantidad de información, la capacidad del canal de comunicación, el proceso de codificación que puede utilizarse para cambiar el mensaje en una señal y los efectos del "ruido".
Weaver, define los 3 niveles en que se abordan generalmente los problemas de Comunicación:
TÉCNICO
SEMÁNTICO
PRAGMÁTICO
La Teoría de la Información-------Nivel Técnico
![Page 8: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/8.jpg)
Modelo de Comunicación presentado por Shannon y Weaver
![Page 9: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/9.jpg)
Símbolo:
Ej: Letras, Gestos, CostumbresPalabras, Colores, Sonidos
Lingüísticos “Aplauso”El hombre es un animal simbólico, ya que se refiere a entes o sucesos mediante símbolos.
![Page 10: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/10.jpg)
Atributos: Propiedades que determinan entes sucesos al ser representados simbólicamente
Nº Documento Persona
Valor: Especificación cuantitativa o cualitativa de un atributo
Atributos
Identificación
![Page 11: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/11.jpg)
Atributos conocidos como entes y sucesosRepresentaciones simbólicas de propiedades o
cualidades de entes y sucesos, necesarios para brindar antecedentes en la decisión ante una acción concreta.
Características - Transmisión- Almacenamiento- Transformación
![Page 12: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/12.jpg)
Representaciones simbólicas que por el significado asignado (receptor), contribuyen a disminuir la incertidumbre; para decidir que acción tomar entre varios caminos posibles.
Ej.: Información Descriptiva:Paso a seguir para alcanzar el
objetivo.Información de control:Verificar se el accionar ha sido el correcto.
![Page 13: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/13.jpg)
Represtación simbólica
Significado atribuido por el receptor que necesita decidir entre < > de curso de Acción
![Page 14: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/14.jpg)
Mensaje Información B (Juan)
AMensaje Información C (Pedro)
AMensaje Información D (Diego)
A“Toda Información consta de Datos, pero no
todos los datos constituyen información”
![Page 15: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/15.jpg)
Se refiere a lo desconocidoNo se sabe si sucederáA lo inesperadoA lo imprevisible
La información disminuye la incertidumbre porque aporta mayor conocimiento sobre un
tema.
![Page 16: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/16.jpg)
Probabilidad:se encarga de evaluar todas aquellas
actividades en donde se tiene “incertidumbre”, acerca de los resultados que se puede esperar.
La probabilidad es una escala entre 0 y 1
Al suceso imposible le corresponde el valor “0”Al suceso seguro le corresponde el valor “1”
El resto de los sucesos estarán comprendidos entre la escala de 0 y 1 .
NUNCA PUEDE SER UN VALOR NEGATIVO
![Page 17: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/17.jpg)
Es > o < de acuerdo a la certeza o no que se le atribuye a un evento.Ej. - Noche/Día (100%)
- Moneda (50%)“ a < probabilidad o certeza de ocurrencia >
será el significado informativo”“ a > probabilidad de certeza de ocurrencia <
será el significado informativo”
“La Probabilidad de ocurrencia de un evento es
inversamente proporcional al significado informativo”
![Page 18: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/18.jpg)
Ejemplo: servicio metereológico AntártidaLa fuente de información emite los siguientes mensajes:
•Mensaje 1: día muy frío y nublado•Mensaje 2: día muy frío y soleado•Mensaje 3: día frío y nublado•Mensaje 4: día templado y soleado
¿Cuál es el mensaje que aporta MAYOR CANTIDAD DE INFORMACION?
¿Por qué?
![Page 19: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/19.jpg)
Conclusión:
•A < probabilidad de ocurrencia > el significado informativo
Ej. Mensaje 3 y 4
•A > probabilidad de ocurrencia es menor el significado informativo
Ej. Mensaje 1 y 2
Relación inversa la probabilidad de ocurrencia de suceso o evento es inversamente proporcional al
significado informativo
![Page 20: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/20.jpg)
“ Cuanto más probable es un mensaje < es la información a transmitir”Ej. - Telegrama
- Sueldo- Premio
La medida de la información está relacionada con la incertidumbre.
La medida de la información comprende probabilidades
![Page 21: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/21.jpg)
Shannon desarrolló la “Teoría matemática de las comunicaciones”
Objetivo: Hacer lo mas eficiente posible la transmisión de información,
con un número mínimo de errores.
Para lograr este objetivo se utiliza el SISTEMA BINARIO.
Unidad de Información: unidades básicas de información definidas por 2 estados posibles SI/ NO, 0/1, abierto y cerrado, verdadero y falso.
BIT: dígito binario, es la cantidad mínima de información y unidad básica del sistema digital.
![Page 22: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/22.jpg)
Para entender mejor este concepto Unidad de medida de información comencemos haciendo la siguiente suposición.Observemos la siguiente hoja cuadriculada:
Esta Hoja que posee 81 cuadritos, que podría compararse con el espacio total disponible en la memoria RAM o en un cualquier dispositivo de almacenamiento. Cada cuadro sería utilizado para colocar dentro un carácter, como se muestra en el siguiente ejemplo:
![Page 23: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/23.jpg)
E S T A M O S M
U Y F E L I C E
S E N C L A S
E .
Podemos observar como cada letra o carácter ocupa un cuadro y que inclusive los espacios en blanco entre palabras y los signos de puntuación como el punto también ocupan uno de los cuadros. Se han ocupado 29 cuadritos lo que nos deja como resultado un espacio disponible en la hoja de 52 cuadros. Si una frase de 5 palabras utilizó 29 espacios, entonces no es posible que una página de un libro quepa en los 52 cuadros restantes. Podemos decir que cada carácter equivale en medida de información a un byte. Es importante saber que un byte está compuesto de 8 bits;
![Page 24: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/24.jpg)
MÚLTIPLOS Y SUBMÚLTIPLOS DE LA UNIDAD BYTE
Unidad Múltiplos
UnidadB KB MB GB TB
Byte KiloByte Megabyte Gigabyte Terabyte
Nro Bytes 1 1024 1´000.000 1.000’000.000 1.000.000’000.000
8 bits 1000 kB 1000 MB 1000 GB
En la conversión de las medidas se utiliza una “Aproximación” haciendo siempre los cálculos de1000 en 1000, aunque la unidad BYTE no va de 1000 en 1000, sino de 1024 en 1024. Ejm. 7 Kilobytes son realmente 7168 bytes (7 x 1024 = 7168), pero generalmente se calcula multiplicando (7 * 1000 =7000).
![Page 25: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/25.jpg)
Shannon Claude baso su teoría de la información en:
Ruido
CANALT R
Conceptos Básicos:
•Medida información
•Capacidad de un canal
•Codificación para alcanzar máxima capacidad
Capacidad Canal:
•Limite en la tasa de información a transmitir
![Page 26: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/26.jpg)
“ Dada una Fuente de información y un canal de comunicación, existe una técnica de codificación tal que la información puede ser transmitida sobre el canal y con una frecuencia de errores abitrariamente pequeña a pesar de la presencia de ruido”
EjemplosA 0 0 0
B 0 0 1
C 0 1 0
D 0 1 1
E 1 0 0
F 1 0 1
G 1 1 0
H 1 1 1
Letra Código Binario
2n Estados posibles codificados
n = 3
23 = 8
![Page 27: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/27.jpg)
Si existen N posibilidades, todas igualmente probables, la cantidad de información será igual a Log2N. Es, entonces, el Log2N la función matemática que nos indicará la cantidad de bits de información de una situación determinada. Esto puede esquematizarse de la siguiente manera:
![Page 28: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/28.jpg)
La figura nos muestra una situación con 8 posibilidades, cada una con una misma probabilidad de 1/8. Para poder determinar una posibilidad específica de estas 8, la elección requiere como mínimo 3 etapas, cada una de las cuales arroja un bit de información. A) El primer bit corresponde a la elección entre las primeras cuatro o segundas cuatro posibilidades.B) El segundo bit corresponde al primer o segundo par de las 4 posibilidades ya elegidas. C) El último bit determina el primer o segundo miembro del par y especifica la posibilidad elegida. Como vemos, el primero de bits que se requieren en esta situación para determinar una posibilidad específica es de 3, lo que corresponde al Log2 8
![Page 29: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/29.jpg)
P = Incertidumbre del receptor 18 = 0.125 = 12,5%
Si el 1º bit e 0 (inexistencia de tensión eléctrica)ABCDSi el 2º bit, es 1 (existe tensión eléctrica)CDAl recibir el 3º bit, se alcanza certidumbre total P =
1/1 = 1 = 100%
Candidatos P = 1/4 = 0,25 = 25%
Candidatos P = 1/2 = 0,5 = 50%
![Page 30: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/30.jpg)
A cada arribo de un símbolo se reduce la incertidumbre
GeneralizaciónSi tenemos una fuente con N=2n mensajes posibles a transmitir, se requerirá combinar un número mínimo ‘n’ de elementos binarios para codificar cada uno de los ‘N’
Formalización de la cantidad de Información
N = Mensajes posibles
n = Elementos codificado en binarios
I = n = Log2 N
Ver anexo
![Page 31: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/31.jpg)
“ El número mínimo ‘n’ de elementos codificados en binario necesarios para identificar el mensaje entre un total de ‘N’ mensajes posibles”.
Si P = 1/ N (relación inversa proporcional de ocurrencia del mensaje)
![Page 32: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/32.jpg)
N = 1/PI = log2 N
I = Log2 1/P
I = Log2 P-1
I = -1 Log2 P
Para eventos igualmente probables la probabilidad:
P = NE Cantidad de elementos
Cantidad de variables
UNIDAD = bit
![Page 33: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/33.jpg)
I = Log2 NE [ bit ]Ejemplo:
Moneda: E = 1 (moneda)N = 2 (cara/seca)
I = Log2 21 = 1 [ bit ]
Cambio base de logaritmos
Loga X 1
=Log b a
. Logb X (uso Log10)
![Page 34: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/34.jpg)
Ej.: * Pantalla de 500 filas x 600 columnas Puntos = 300.000* C/Punto 10 tonos de grises
Imágenes distintas = NE = 10300.000
* Cantidad de información I = Log2 NE = Log2 10300.000
I = E Log2 N = 300.000 . Log2 10
I =
I = 3.32 x 300.000 =10 6 bit
1
Log10 2. Log10 10 . 300.000
![Page 35: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/35.jpg)
Información
Significado de un conjunto de símbolos.
Cantidad de Información
Nº de símbolos necesarios para codificar un mensaje en donde P es igual a la probabilidad de ocurrencia del mensaje.
Vs
![Page 36: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/36.jpg)
Ej: Codificar:A = 00001B = 00010C.W = 11000P = 1/27 “Todas la letras tienen la misma probabilidad
de aparición”I = Log2 1/P
I = Log2 (1/(1/27)) = Log2 27
I =
I = 4, 7549 [ bit]
1
Log10 2
. Log10 27
![Page 37: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/37.jpg)
Si Necesito despejar nLog N = Log 2n
Log2 N
Mensajes a codificar Bit necesarios
N = 2n
Log2 2= n
n = Log2 N
1 n = Log2 N
Volver
![Page 38: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/38.jpg)
INFORMACION MUTUA
Fuente
D
C
BA A,B,C,D
Mensajes
Probabilidad de que un mensaje sea elegido para su transmisión.
P(A) P(B) P(C) P(D)
![Page 39: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/39.jpg)
IA = f(PA)
Información
mutua de A
Log b X
IA = logb 1
PA
Si b = 2 y Pa= Pb = 1 IA = 1 bit
2
![Page 40: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/40.jpg)
Binit y BitBinit y Bit
Binit = Son los dígitos Binarios como elementos de mensajes.
P0 = 1 P1 = 3 P0 = 25% de ocurrencia
4 4 P1 = 75% de ocurrencia
Bit = Solo si los elementos son equiprobables.
P0 = 1 P1 = 1 P0 = 50% de ocurrencia
2 2 P1 = 50% de ocurrencia
![Page 41: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/41.jpg)
EntropíaEntropía: Para una fuente discreta cuyos símbolos son estadísticamente independientes y los mensajes son estáticos, es decir no combinan con el tiempo .
Pj = 1/m
m
Pj log 1/pj
J = 1 Ij
m = Cantidades de símbolos del alfabeto del mensaje.
0 < H < log m H = 0 No hay incertidumbre,no
entrega información
E
![Page 42: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/42.jpg)
Cuando H = logm = máxima incertidumbre.
máxima libertad de elección.
H = (p.log(1/p)+q.log(1/q))
Si q = 1- p Si m= 2
y H es la probabilidad de uno de los símbolos.
H = p log 1/p + (1 - p) log ( 1/(1-p))
![Page 43: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/43.jpg)
OBTENCION DE INFORMACIONOBTENCION DE INFORMACION
1- Percepción de Fenómenos Naturales.
2- Decodificación de lenguajes creados por el hombre.
3- Procesos de Datos.
símbolos requeridos
(output)
símbolos a
procesar
(Input)
Proceso de datos
![Page 44: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/44.jpg)
FUENTES CONTINUASFUENTES CONTINUAS
Aquellas Cuyos mensajes varían continuamente con el tiempo.
Tengase en cuenta que solamente se a desarrollado la Entropía para fuentes estáticas ya que las dinámicas son muy complejas.
(CONTINUO Vs. DISCRETO)
![Page 45: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/45.jpg)
Consideraciones sobre un alfabeto de 28 símbolos.
5 Modelos:
1º Modelo:1º Modelo:
a) Cada símbolo o letra no depende del anterior.
b) Todos los símbolos o letras son equiprobables.
H = log2 28 = 4,8 bit/letra
2º Modelo:2º Modelo:
a) Idem.
b) Cada símbolo tiene una probabilidad asociada de aparición.
P (espacio) = 0,1858 P (B) = 0,0127 H = 4,03 bits/símboloH = 4,03 bits/símbolo
P (A) = 0,0642 P (Z) = 0,0005
![Page 46: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/46.jpg)
3º Modelo:3º Modelo:
a) Cada letra depende solamente del ultimo símbolo transmitido.
b) Probabilidades reales
H = 3,32 bit/símbolo
4º Modelo:4º Modelo:
a) Cada letra depende de las 2 anteriores.
b) Probabilidades reales.
H = 3,10 bits/símbolo
![Page 47: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/47.jpg)
5º Modelo:5º Modelo:
a) Conozca todo el texto anterior (recordar letras anteriores)
b) Probabilidades anteriores.
H = 1bits/símbolo
Nota:Nota:
El 1º modelo necesita 5 bit para codificar, mientras que el 5º solo 1 bit. Esté es más eficiente y rápido.
(5 veces más)
![Page 48: Teoría de la Información. Contenidos: 1.Símbolos y Datos 2.Información 3.Diferencia entre Datos e Información 4.Conceptos de Teoría de la Información.](https://reader033.fdocumento.com/reader033/viewer/2022061215/54a3888fa95467c30c8b4c1d/html5/thumbnails/48.jpg)