Post on 07-Jun-2015
UNIVERSIDAD DE CONCEPCIONFACULTAD DE INGENIERIA
DEPARTAMENTO DE INGENIERIA ELECTRICA
APUNTESCOMUNICACIONES DIGITALES
Cod. 549 175Ingenierıa Civil en Telecomunicaciones
Prof. Sebastian E. Godoy
Primera Edicion
23 de abril de 2008
Prologo
El presente libro, nace bajo la necesidad de lograr un mejor entendimiento de los alumnosque toman la asignatura de Comunicaciones Digitales, obligatoria para la carrera de Inge-nierıa Civil en Telecomunicaciones de la Facultad de Ingenierıa, Universidad de Concepcion,Concepcion, Chile.
Esta asignatura es planteada con la concepcion original de que el alumno maneja los con-ceptos de los sistemas de comunicacion (“Sistemas de Comunicacion” Cod. 549 164) y princi-palmente de estadıstica y procesos aleatorios (“Procesos Aleatorios” y “Estadıstica Aplicada”Cods. 549 150, 549 103 respectivamente) cursados como requisitos previos de la presente.
El documento esta totalmente escrito utilizando LATEX mediante la interfaz grafica Kile paraUbuntu Linux. Ademas, dada la naturaleza de la obra, en forma completa esta licenciada porCreative Commons. Esta Licencia Creative Commons te permite copiar, distribuir, comunicary ejecutar publicamente la obra pero bajo las siguientes condiciones:
Atribucion. Debes reconocer y citar la obra de la forma especificada por el autor o el licen-ciante.
No Comercial. No puedes utilizar esta obra para fines comerciales.
Sin Derivadas. No puedes alterar, transformar o generar una obra derivada a partir de estaobra.
Por otro lado, al reutilizar o distribuir la obra, tienes que dejar bien claro los terminos dela licencia de esta obra. Alguna de estas condiciones puede no aplicarse si se obtiene el permisodel titular de los derechos de autor. Nada en esta licencia menoscaba o restringe los derechosmorales del autor.
El formato utilizado en el desarrollo de este documento, esta basado en los apuntes del Prof.Jose Espinoza, PhD. Departamento de Ingenierıa Electrica, Universidad de Concepcion.
i
Sebastian E. Godoy
Ingeniero Civil Electronico
Colaborador Academico
Departamento de Ing. Electrica
Facultad de Ingenierıa
Universidad de Concepcion
Casilla 160-C, Correo 3
Concepcion, CHILE
Tel: +56 (41) 2203633
Fax: +56 (41) 2246999
e-mail: segodoy@udec.cl
web: http://www.udec.cl/~segodoy
ii
Indice General
Prologo II
1. Introduccion 11.1. ¿Por que comunicaciones digitales? . . . . . . . . . . . . . . . . . . . . . . . . . 11.2. Clasificacion de Senales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2.1. Senales Determinısticas y Aleatorias . . . . . . . . . . . . . . . . . . . . 11.2.2. Senales Periodicas y No periodias . . . . . . . . . . . . . . . . . . . . . . 21.2.3. Senales Analogas y Discretas . . . . . . . . . . . . . . . . . . . . . . . . . 21.2.4. Senales de Energıa y Potencia . . . . . . . . . . . . . . . . . . . . . . . . 21.2.5. Funcion Impulso unitaria . . . . . . . . . . . . . . . . . . . . . . . . . . . 31.2.6. Series de Fourier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.3. Densidad Espectral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41.3.1. Teorema de Parseval . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41.3.2. Densidad Espectral de Energıa (ESD) . . . . . . . . . . . . . . . . . . . . 51.3.3. Densidad Espectral de Potencia (PSD) . . . . . . . . . . . . . . . . . . . 5
1.4. Autocorrelacion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61.5. Probabilidades . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.5.1. Variables Aleatorias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81.5.2. Procesos Aleatorios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91.5.3. PSD de un Proceso Aleatorio . . . . . . . . . . . . . . . . . . . . . . . . 11
2. Teorıa de la Informacion 122.1. Introduccion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122.2. Concepto de Informacion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122.3. Medida de la Informacion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.3.1. Entropıa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142.3.2. Entropıa Conjunta y Condicional . . . . . . . . . . . . . . . . . . . . . . 152.3.3. Informacion Mutua . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.4. Representacion de Canales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172.5. Capacidad del Canal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182.6. Algoritmos de Codificacion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.6.1. Codigo Huffman . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
iii
3. Tecnicas de Transmision Digital 233.1. Introduccion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233.2. Muestreo de una Senal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233.3. Cuantizacion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.3.1. Cuantizacion Escalar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253.3.2. Cuantizacion Uniforme . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283.3.3. Cuantizacion Nouniforme . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.4. Encoding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283.5. Codificacion por Forma de Onda . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.5.1. Pulse Code Modulation (PCM) . . . . . . . . . . . . . . . . . . . . . . . 29
iv
Capıtulo 1
Introduccion
Los topicos que seran tratados aca se presentan como la base conceptual de los proximos
capıtulos, haciendo una revision de los conceptos basicos como probabilidades y estadıstica,
variables y procesos aleatorios. Este capıtulo solo pretende ser una revision de estos conceptos
que fueron fuertemente estudiados en las asignaturas previas.
1.1. ¿Por que comunicaciones digitales?
Existen muchas razones que hacen que todo el mundo prefiera las comunicaciones digitalesfrente a las analogas. La primera ventaja es que las senales digitales, a diferencia de las analogas,pueden ser reconstruıdas (regeneradas) utilizando repetidores, que vuelven a amplificar la senalrecuperando las modificaciones y la degradacion que pudo haber sufrido en el canal de trans-mision. Por otra parte, los circuitos digitales son mas faciles de reproducir, mas enconomicosy mas flexibles, pues sin importar si la senal es de television, telefono o telegrafo, siempre setratara de la misma forma para la transmision ya que un bit es un bit. Ademas los circuitosdigitales son menos propensos a distorciones de interferencia que los analogos dados los rangosque existen para cada estado digital; a esto se agrega que existen metodologıas para detectarerrores en la transmision.
1.2. Clasificacion de Senales
1.2.1. Senales Determinısticas y Aleatorias
Se habla de senales determinısticas cuando estas estan completamente definidas y noexiste ninguna incertidumbre en sus valores en cualquier instante de tiempo. Estas senales sonmodeladas por expresiones matematicas explıcitas tal como w(t) = sin(2000πt).
En cambio, se habla de senales aleatorias, que existe algun grado de incertidumbre antesde que la senal realmente ocurra, por lo que no es posible escribir una expresion matematicaexplıcita. Sin embargo si estos se observan por un largo perioddo, estos se refieren como pro-
cesos aleatorios y pueden exibir ciertas regularidades que pueden ser descritas en terminos deprobabilidades y promedios estadısticos.
1
CAPITULO 1. INTRODUCCION
1.2.2. Senales Periodicas y No periodias
Una senal es llamada periodica en el tiempo si existe una constante T0 > 0 que cumpla larelacion
w(t) = w(t + T0) (1.1)
en donde t es el tiempo. El mınimo valor posible de T0 que cumpla la condicion es llamado elperiodo de w(t).
Si una senal no posee un valor que satisfaga la condicion, entonces es llamada senal noperiodica.
1.2.3. Senales Analogas y Discretas
Una senal es analoga si es una funcion continua del tiempo, lo que quiere decir que w(t) esunicamente definida para todo t. Estas senales se originan cuando una senal fısica (por ejemplo,voz) se transforma en una senal electrica usando algun transductor.
En contraste, una senal discreta solo esta definida para tiempos discretos y esta caracterizadapara una secuencia de numeros discretos kT en donde k es un entero y T es un intervalo fijo detiempo.
1.2.4. Senales de Energıa y Potencia
Una senal electrica puede ser representada como un voltaje v(t), o una corriente i(t), conuna potencia instantanea p(t) a traves del resistor R, definida por:
p(t) =v2(t)
R= i2(t)R
En sistemas de comunicaciones se trabaja con el concepto de “potencia normalizada” porlo que se asume que el valor de la resistencia R es unitario (R=1Ω), por lo que ambos ladosde la ecuacion anterior tiene la misma forma sin importar si hablamos de senales de voltajeo corriente. Entonces, el concepto de potencia normalizada nos permite expresar la potenciainstantanea de la forma
p(t) = w2(t) (1.2)
en donde w(t) representa o una senal de voltaje o de corriente.La energıa disipada durante el intervalo de tiempo ]− T
2, T
2[ por una senal real con potencia
instantanea expresada por la Ecuacion (1.2), puede ser escrita como:
ET =
∫ T
2
−T
2
w2(t) dt (1.3)
y la potencia promedio disipada por la senal durante ese intervalo es:
PT =1
T
∫ T
2
−T
2
w2(t) dt (1.4)
2
CAPITULO 1. INTRODUCCION
El desempeno de un sistema de comunicaciones depende de la energıa de la senal detectada.Mientras mayor sea la energıa de las senales detectadas, el proceso de deteccion se hara conmenos errores si las senales fueran de menor energıa. Por otro lado, la potencia es la tasa ala cual la energıa es entregada y es importante porque determina las condiciones de trans-mision/recepcion de las senales.
En el analisis de senales de comunicaciones, resulta muy deseable trabajar con senales deenergıa. La senal w(t) sera considerada una senal de energia si y solo si 0 < E < ∞, en donde
E = lımT→∞
∫ T
2
−T
2
w2(t) dt =
∫ ∞
−∞w2(t) dt (1.5)
En el mundo real, todas las senales tienen energıa finita, sin embargo consecuencia de laEcuacion (1.1), las senales periodicas por definicion existen para todo tiempo, por lo que tienenenergıa infinita. Ademas, para poder trabajar con senales aleatorias que tienen energıa infinita,se requiere definir una clase de senales llamadas senales de potencia, que seran aquellas quesi y solo si son no nulas y tienen potencia promedio finita para todo el tiempo, 0 < P < ∞, endonde:
P = lımT→∞
1
T
∫ T
2
−T
2
w2(t) dt (1.6)
Las definiciones de senales de energıa y potencia son mutuamente excluyentes, ya que unasenal de energıa tiene energıa finita pero potencia media nula, en cambio una senal de potenciatiene potencia media finita pero energıa infinita. Como norma general, las senales periodicas ylas senales aleatorias son consideradas de potencia. Por otro lado, las senales que a la vez sonno periodicas y determinısticas son clasificadas como senales de energıa.
Ejemplo 1.1Clasificar la senal e−t como senal de potencia o de energıa.
Sol. La potencia media de la senal esta dada por P = lımT→∞1T
∫T
2
−T
2
e−2t dt = ∞, por lo que
en primera instancia se podrıa decir que es de energıa, sin embargo E =∫∞−∞ e−2t dt = ∞ por
lo que no cabe en ninguna de las clasificaciones .
1.2.5. Funcion Impulso unitaria
En teorıa de comunicaciones, la funcion impulso, o Delta de Dirac, δ(t), tiene una granimportancia. La definicion estricta corresponde a un pulso de amplitud infinita y ancho nulo,con un peso1 unitario, concentrado en donde su argumento es cero. Este esta caracterizado porlas siguientes relaciones:
∫ ∞
−∞δ(t) = 1; δ(t) = 0, ∀t 6= 0;
∫ ∞
−∞w(t)δ(t− t0) = w(t0)
La funcion δ(t− t0) puede ser representada graficamente como un impulso a t = t0 con unaaltura igual al peso que este tiene.
1Peso se refiere al area bajo el pulso.
3
CAPITULO 1. INTRODUCCION
1.2.6. Series de Fourier
Las series de fourier permiten descomponer cualquir senal periodica w(t) en una sumatoriade senos y cosenos. En particular, en comunicaciones se utiliza la definicion compleja de esta yesta dada por:
w(t) =∞∑
−∞
cnejnω0t , (1.7)
en donde
cn =1
T0
∫ α+T0
α
w(t)e−jnω0t dt , (1.8)
y ω0 = 2πf0 = 2πT0
, siendo T0 el perıodo de la senal w(t).
Ejemplo 1.2
Encontrar la serie de fourier de la senal w(t) =
A , t ∈ (2k T0
2, (2k + 1)T0
2]
0 , i.o.c.con k = 0, 1, 2, . . . .
Sol. Se comienza calculando el valor continuo: c0 = 1T0
∫ T0
0w(t)dt = A
T0
∫
T02
0dt = A
2. Ahora,
los otros valores de los coeficientes seran: cn = 1T0
∫ T0
0w(t)e−jnω0tdt = A
T0
∫
T02
0w(t)e−jnω0tdt =
j A2πn
(e−jnπ − 1). Dado que para n par, e−jnπ = 1 y para n impar e−jnπ = −1, los coeficientes
estan dados por: cn =
A2
, n = 0−j A
nπ, n impar
0 , n par.
1.3. Densidad Espectral
La densidad espectral de una senal, caracteriza la distribucion de la energıa o potencia enel dominio de la frecuencia, concepto que se torna muy importante con la presencia de filtrosen los sistemas de comunicaciones, pues se requerira evaluar la senal y el ruido a la salida deun filtro. Para realizar esta tarea, se utiliza la Densidad Espectral de Energıa (ESD, EnergySpectral Density) o la Densidad Espectral de Potencia (PSD, Power Spectral Density).
1.3.1. Teorema de Parseval
Dada la importancia de este teorema en las senales utilizadas en comunicaciones, es necesarioenunciarlo en forma independiente y en forma previa a las definiciones de ESD y PSD.
Este teorema esta dado por:
E =
∫ ∞
−∞|w(t)|2 dt =
∫ ∞
−∞|W (f)|2 df (1.9)
en donde W (f) es la transformada de Fourier de la senal no periodica w(t).
4
CAPITULO 1. INTRODUCCION
1.3.2. Densidad Espectral de Energıa (ESD)
La energıa total de una senal real w(t) definida paa todos los numeros reales, esta dada por laEcuacion (1.5). Utilizando el Teorema de Parseval, se puede relacionar la energıa de dicha senalexpresada en el dominio del tiempo, con la energıa expresada en el dominio de la frecuencia:
E =
∫ ∞
−∞w2(t) dt =
∫ ∞
−∞|W (f)|2 df
Se denotara la magnitud al cuadrado del espectro como:
ξ(f) = |W (f)|2 (1.10)
La cantidad ξ(f) es la forma de onda de la Densidad Espectral del Energıa (ESD) de la senalw(t). Ası, se tiene que la energıa total puede ser obtenida integrando la ESD con respecto a lafrecuencia:
E =
∫ ∞
−∞ξ(f) df (1.11)
1.3.3. Densidad Espectral de Potencia (PSD)
La potencia promedio P de una senal real de potencia w(t) esta definita por la Ecuacion (1.6),sin embargo dado que una senal periodica se clasifica como senal de potencia, la potenciaquedara definida mediante:
P =1
T0
∫
T02
−T02
w2(t) dt
Aplicando el teorema de Parseval para senales reales y periodicas, la potencia quedara ex-presada como:
P =1
T0
∫
T02
−T02
w2(t) dt =∞∑
n=−∞
|cn|2 (1.12)
en donde |cn| corresponden a los terminos complejos de la serie de Fourier para una senalperiodica.
La funcion Densidad Espectral de Potencia (PSD) de la senal periodica w(t) y que sera de-notada por ρ(f), es una funcion real, par y no-negativa que se define por:
ρ(f) =+∞∑
n=−∞
|cn|2 δ(f − nf0) (1.13)
en donde se puede notar que la PSD de una senal periodica es una funcion discreta de lafrecuencia. Notese que corresponde solo a la PSD de una senal periodica.
Para una senal no-periodica se define una version truncada de la senal, mediante:
wT (t) =
w(t) , − T2
< t < T2
0 , i.o.c.= w(t) Π
(
t
T
)
5
CAPITULO 1. INTRODUCCION
Ahora, usando la Ecuacion (1.6) y el teorema de Parseval dado por la Ecuacion (1.9) se tieneque la potencia normalizada promedio esta determinada por:
P = lımT→∞
1
T
∫ ∞
−∞w2
T (t) dt = lımT→∞
1
T
∫ ∞
−∞|WT (f)|2 df =
∫ ∞
−∞lım
T→∞
|WT (f)|2T
dt
Entonces, se define la PSD de una senal como:
ρ(f) = lımT→∞
|WT (f)|2T
(1.14)
Ejemplo 1.3Encuentre la potencia promedio normalizada de la senal w(t) = A cos(ω0t) usando el promediotemporal y en base a las series de Fourier.
Sol. Usando la Ecuacion (1.12), se tiene P = A2
T0
∫
T02
−T02
cos2(ω0t) dt = A2
2. Por otra parte, al
usar la Ecuacion (1.13), se obtiene por la Ecuacion (1.8) que c1 = c−1 = A2
y cn = 0, ∀ n =
0,±2,±3, . . . , luego ρ(f) = A2
4[δ(f + f0) + δ(f − f0)], entonces P =
∫∞−∞ ρ(f) = A2
2.
1.4. Autocorrelacion
La autocorrelacion relaciona cuanto se parece una senal a una version retardada de la misma.La autocorrelacion R (τ) se define por
R (τ) =
∫ ∞
−∞w(t)w(t + τ) dt, para −∞ < τ < ∞ (1.15)
La funcion de autocorrelacion no es una funcion del tiempo, sino que de la diferencia temporalque existe entre la senal y su version retardada. Esto implica que τ puede ser considerado comoun parametro de busqueda o escaneo.
Las propiedades de la funcion de autocorrelacion de una senal real son:
1. Es simetrica con respecto al origen: R (τ) = R (−τ).
2. El maximo ocurre en el origen: R (τ) ≤ R (0) , ∀τ .
3. La densidad espectral de energıa/potencia corresponde a la transformada de Fourier de lala autocorrelacion: ρ(f) = F [R (τ)].
4. El valor en el origen corresponde a la energıa/potencia de la senal: R (0) =∫∞−∞ w2(t) dt.
6
CAPITULO 1. INTRODUCCION
Ejemplo 1.4Determine la PSD, la potencia media y el valor RMS de la senal w(t) = A sin(ω0t).Sol. La funcion de autocorrelacion estara determinada por R (τ) =< w(t)w(t+τ) >= A2
2cos(ω0t),
entonces su PSD estara determinada por ρ(f) = F [R (τ)] = F
[
A2
2cos(ω0t)
]
= A2
4[δ(f + f0) +
δ(f − f0)]. La potencia media sera P = R (0) = A2
2y el valor RMS wRMS =
√P = A√
2.
1.5. Probabilidades
Se llama Evento a un resultado en particular de un experimento, Espacio Muestral Ω ala coleccion de todos los resultados de eventos posibles.
La probabilidad de que ocurra un evento A denotada por P (A), esta definida como
P (A) = lımn→∞
nA
n
en donde nA es al numero de veces que A aparece en los n intentos en que se realizo el ex-perimento. Ası, P sera una probabilidad si es una funcion de eventos y satisface las siguientescondiciones:
1. P (A) ≥ 0 para cualquier evento A.
2. P (Ω) = 1.
3. Si A1, A2, . . . , An son eventos disjuntos, entonces P (A1A2 · · ·An) =∑n
i=1 P (Ai)
4. P (A) < 1 para cualquier evento A.
El concepto de Probabilidad Condicional, busca cuantificar la probabilidad de que ocurraun evento A, dado que ya ocurrio un evento B. Se denota por P (A/B) y esta definida por:
P (A/B) =P (A ∩ B)
P (B)(1.16)
en donde p(B) 6= 0.Por otro lado, el Teorema de Bayes dice que:
P (AB) = P (A ∩ B) = P (B/A)P (A) = P (A/B)P (B) (1.17)
Luego, la probabilidad condicional estara dada por
P (A/B) =P (B/A)P (A)
P (B)
Se dice que dos eventos A y B son independientes si y solo si
P (A/B) = P (A) ∧ P (B/A) = P (B)
7
CAPITULO 1. INTRODUCCION
Ejemplo 1.5Considere el canal de comunicacion digital de 1 bit. Determine la probabilidad del evento error,considerando que el transmisor tiene la misma probabilidad de enviar un cero o un uno.Sol. Los resultados posibles son: recibir un cero cuando se envio un cero o cuando se en-vio un uno, o recibir un uno cuando se envio un cero o un uno, lo que podrıa ser resumidoen Ω = (0t, 0r), (0t, 1r), (1t, 0r), (1t1r). Ası el evento error estara determinado por el sub-conjunto E = (0t, 1r), (1t, 0r). Asumiendo que la probabilidad de recibir un error puntu-al es p, entonces P (0r/1t) = p y P (1r/0t) = p, luego se tiene por Teorema de Bayes queP (0t, 1r) = P (0r/1t)P (0t) = 0,5p y de igual forma P (1t, 0r) = 0,5p. Ahora bien, la probabilidaddel evento error sera P (E) = P [(0t, 1r) ∪ (1t, 0r)] = P (0t, 1r) + P (1t, 0r) = 0,5p + 0,5p = p.
1.5.1. Variables Aleatorias
Una variable aleatorioa X(A) corresponde a una relacion funcional entre un evento aleatorioA y un numero real. En general por notacion simplemente se utiliza solo X como designacionpara la variable aleatoria, dejando la relacion con el evento A de forma implıcita.
La Funcion de Distribucion de Probabilidad denotada por FX(x) de la variable aleato-ria X esta determinada por:
FX(x) = P (X ≤ x) (1.18)
en donde P (X ≤ x) es la probabilidad de que el valor de la variable aleatoria sea menor o igualque el numero real x. La funcion de distribucion tiene las siguientes propiedades:
1. 0 ≤ FX(x) ≤ 1.
2. FX(x1) ≤ FX(x2), si x1 ≤ x2.
3. FX(−∞) = 0.
4. FX(+∞) = 1.
La Funcion de Densidad de Probabilidad (PDF) denotada por fX(x) esta definida por:
fX(x) =dFX(x)
dx(1.19)
y recibe su nombre en base a que la probabilidad del evento x1 ≤ X ≤ x2 es:
P (x1 ≤ X ≤ x2) = P (X ≤ x2) − P (X ≤ x1)
= FX(x2) − FX(x1)
=
∫ x2
x1
fX(x) dx
La PDF tiene las siguientes propiedades:
1. Es siempre una funcion no negativa: fX(x) ≥ 0.
8
CAPITULO 1. INTRODUCCION
2. Tiene un area total unitaria:∫∞−∞ fX(x) dx = FX(+∞) − FX(−∞) = 1
Se define el Valor Esperado de una variable aleatoria X como
E X =
∫ ∞
−∞x pX(x) dx (1.20)
y a la vez corresponde a la media mX o primer momento. El operador E . es lineal, vale decir:
E αf1(x) + βf2(x) = αE f1(x) + βE f2(x)en donde α y β con constantes reales.
Se define tambien el n-esimo momento de la variable aleatoria mediante:
E Xn =
∫ ∞
−∞xn pX(x) dx (1.21)
en donde se puede notar que la media corresponde al primer momento (n = 1) y la mediacuadratica sera el segundo momento. Ademas se pueden definir los Momentos Centrales quecorresponden a los momentos de la diferencia entre X y su media mX . Ası, la Varianza de Xcorresponde al segundo momento central y esta definida por:
var X = E
(X − mX)2
=
∫ ∞
−∞(x − mX)2 pX(x) dx (1.22)
la que tambien se denota por σ2X y su raiz cuadrada σX corresponde a la llamada desviacion
estandar de X.La relacion que existe entre la varianza y el valor medio cuadratico esta dada por:
σ2X = E
(X − mX)2
= E
X2 − 2mXX + m2X
= E
X2
− E X2 (1.23)
Es importante mencionar que para variables aleatorias independientes, el valor esperadosera dado por el producto de los valores esperados individuales, E XY = E XE Y .
1.5.2. Procesos Aleatorios
Un proceso aleatorio puede ser visto como una funcion de dos variables: un evento A y eltiempo. Por lo que para cada instante de tiempo se tienen diferentes funciones, ası para uninstante tk, la funcion X(A, t) es una variable aleatoria X(tk). Por notacion, simplemente sehablara de procesos aleatorios marcando la dependencia del tiempo, vale decir X(A, t) ≡ X(t)dejando la dependencia funcional al evento A de forma implıcita.
Dada la incertidumbre envuelta en los procesos aleatorios, solo se puede dar una descripcionparcial de ellos en los que se utilizan la media y la funcion de autocorrelacion. La media deun proceso aleatorio esta definido por la Ecuacion (1.20) en donde se tiene que considerarque se evalua en el instante tk, vale decir se calcula mX(tk). Eso a la vez quiere decir que lavariable aleatoria X corresponde a la observacion del proceso aleatorio en el instante tk. Laautocorrelacion de un proceso aleatorio X(t) se define como
R (t1, t2) = E X(t1)X(t2) (1.24)
en donde X(t1) y X(t2) corresponden a la observacion del proceso aleatorio en los instante t1 yt2 respectivamente.
9
CAPITULO 1. INTRODUCCION
Estacionalidad
Un proceso aleatorio X(t) es llamado Estacionario en el Sentido Estricto si ninguna de sus es-tadısticas dependen de ninguna forma del tiempo. Un proceso aleatorio es llamado Estacionario
en Sentido Amplio (wide-sense stationary, WSS) si dos de su media y su funcion de autocor-relacion no varıa ni depende del tiempo. Ası un proceso es WSS si:
E X(t) = mX y, RX(t1, t2) = RX(t1 − t2) ,
luego, dado que la autocorrelacion no depende del tiempo, cualquier par de valores de X(t) queesten separados en el tiempo por τ = t1 − t2 tienen el mismo valor de correlacion. Ası, parasistemas estacionarios, R (t1, t2) ≡ R (τ).
Resulta evidente que si un proceso es estrictamente estacionario, tambien lo es en sentidoamplio, pero no viceversa.
Ejemplo 1.6Sea el siguiente proceso aleatorio X(t) = A cos(ω0t + θ), con A y ω0 constantes y θ ∼ U [0, 2π].Determinar si es estacionario o WSS.Sol. Considerando que la distribucion es uniforme para la variable θ, entonces la probabil-idad de esta sera P (θ) = 1/(2π), ∀ θ ∈ [0, 2π]. Luego, su primer momento estara dadopor E X(ti) =
∫∞−∞ A cos(ω0ti + θ)P (θ) dθ = 0; para el segundo momento se tiene que
E X2(ti) =∫∞−∞ A2 cos2(ω0ti+θ)P (θ) dθ = A2/2, el tercero E X3(ti) = 0. Haciendo esto para
todos los momentos, se puede concluir que el n-esimo momento es independiente del tiempo.Ahora, la autocorrelacion R (t1, t2) =
∫∞−∞
∫∞−∞ A cos(ω0t1 + θ1)A cos(ω0t2 + θ2)P (θ) dθ1dθ2 = 0,
por lo que se puede concluır que el proceso aleatorio es estacionario en sentido estricto.
Se habla de procesos Ergodicos si todos los promedios en el tiempo de cualquier funcionmuestral son iguales al promedio de del valor esperado, por lo que todo proceso ergodico esestacionario. Sin embargo para sistemas de comunicaciones, se considera necesario que cumplalas condiciones de estacionalidad en sentido amplio, por lo que el analisis se centra en la mediay la funcion de autocorrelacion. Ası, se dice que un proceso es Ergodico en su Media si
mX = lımT→∞
1
T
∫ T
2
−T
2
X(t) dt (1.25)
y sera Ergodico en su Funcion de Autocorrelacion si
R (τ) = lımT→∞
1
T
∫ T
2
−T
2
X(t)X(t + τ) dt (1.26)
Dada la definicion de un proceso ergodico las cantidades y parametros electricos fundamen-tales pueden ser relacionados con los momentos de un proceso aleatorio ergodico, las que seresumen en:
1. La media mX = E X(t) es igual al valor DC de la senal.
10
CAPITULO 1. INTRODUCCION
2. La cantidad m2X es igual a la potencia normalizada de la componente continua.
3. El segundo momento de X(t), E X2(t), es igual a la potencia normalizada total.
4. La cantidad√
E X2(t) es igual al valor rms de la senal de corriente o voltaje.
5. La varianza es igual a la potencia normalizada promedio en la componente AC de la senal.
6. La desviacion estandar es el valor RMS de la componente alterna de la senal.
Ejemplo 1.7Considere un detector inalambrico que se modela linealmente por la ecuacion y(t) = ax(t)+ b+u(t) en donde a y b son constantes y x(t) es una variable aleatoria uniformemente distribuidaen el rango [xmın, xmax]. Considerando que u(t) es un ruido gaussiano con media nula y varianzaconocida, se pide encontrar las constantes a y b.Sol. Considerando que todos los procesos aleatorios son estacionarios, la media estara deter-minada por y = E ax(t) + b + u(t) = ax + b. Por otra parte, la varianza esta dada porσ2
Y = a2σ2X +σ2
u, por lo que la ganancia sera a =√
σ2Y − σ2
u/σX por lo que el offset se puede de-spejar directamente y obtener b = y−ax. Esto es valido pues las variables x y σX son conocidasdesde la distribucion uniforme.
1.5.3. PSD de un Proceso Aleatorio
Anteriormente se dijo que un proceso aleatorio X(t) se clasificaba como una senal de poten-cia, por lo que tendra una PSD caracterıstica ρX(f) que esta descrita por la Ecuacion (1.14). LaPSD es particularmente importante en sistemas de comunicaciones pues describe la distribucionde una senal de potencia en el dominio de la frecuencia, permitiendo determinar como dichasenal pasa atraves de una red de comunicaciones de respuesta en frecuencia conocida.
Como se discutio en forma previa, la PSD y la autocorrelacion se relacionan mediante latransformada de Fourier, por lo que la PSD de una secuancia aleatoria de digitos binariospuede ser obtenida mediante la transformada de fourier de la funcion de autocorrelacion. Deberecordarse que el area bajo la curva de la PSD corresponde a la potencia promedio de la senal.
Por otra parte, resulta interesante mencionar que el ancho de banda de la senal digitalsera inversamente proporcional al ancho del pulso en el tiempo.
11
Capıtulo 2
Teorıa de la Informacion
Los topicos cubiertos en este capıtulo introducen a la teorıa de la informacion como
alternativa para entender conceptos basico y necesarios en las comunicaciones digitales.
2.1. Introduccion
La Teorıa de la Informacion busca contestar dos preguntas fundamentales en la teorıa de lascomunicaciones: Cual es la ultima compresion de datos (Respuesta: La entropıa H) y Cual es laultima tasa de transmision de la comunicacion (Respuesta: La capacidad del canal C). Por estamisma razon, la teorıa de la informacion se considera como una sub-materia de la teorıa de lascomunicaciones, sin embargo resulta ser un area muchısimo mas grande pues tiene mucho queaportar en otras areas como Fısica Estadıstica (Termodinamica), Ciencias de la Computacion(Complejidad de Kolmogorov), Inferencia Estadıstica, Probabilidad y Estadıstica entre otrasmaterias.
2.2. Concepto de Informacion
La informacion –de forma general– corresponde a un conocimiento especıfico o dato deinteres, que agrupado con un conjunto de datos extras constituye un mensaje sobre un deter-minado ente o fenomeno. En otras palabras, se puede decir que el concepto de mensaje, viene aser como una materializacion de la informacion.
La informacion es transferida desde una fuente a un destinatario, solo si este ultimo no laconocıa previamente. Por ejemplo, considere el escenario en que un grupo de gente mira porla ventana. Esto involucra que todos saben (tienen la informacion) que el dıa esta soleado.Si alguien dice “El dıa esta soleado” no es informacion, pues no aporta ningun dato nuevoa lo que todos conocen. Por otro lado si alguien dice “En la noche llovera” para muchos sisera informacion pues no necesariamente todos sabran dicho dato.
Pensando en senales de voltaje, una baterıa de 1.5 volts no tiene mucha informacion queaportar, pues una vez sabido su voltaje mediante un voltımetro, este seguira constante pormuchısimo tiempo lo que no aporta ningun dato nuevo → La informacion esta relacionada concambios.
12
CAPITULO 2. TEORIA DE LA INFORMACION
Por otro lado, una senal sinusoidal de voltaje varıa en el tiempo, sin embargo una vez queesta se ha caracterizado midiendo su amplitud, frecuencia y fase, no existe ninguna informacionnueva que esta senal pueda aportar → La informacion esta relacionada con cambios impredeci-bles.
2.3. Medida de la Informacion
La cantidad de informacion sobre un evento se relaciona estrechamente con la probabilidad desu ocurrencia. Los mensajes que contienen noticias de gran probabilidad de ocurrencia1 llevanrelativamente poca informacion. Por otro lado, aquellos mensajes que contienen noticias conbaja probabilidad de ocurrencia conducen grandes cantidades de informacion. Ası mismo, unevento totalmente cierto (es decir con probabilidad unitaria) lleva cero informacion; en cambioun evento improbable (probabilidad casi nula), su ocurrencia lleva una cantidad infinita deinformacion. Sobre esta base, la medida de informacion asociada a un evento A que ocurre conuna probabilidad PA se define como:
IA = log1
PA
= − log PA (2.1)
La Ecuacion (2.1) se conoce como self-information y fue derivada por Claude E. Shannonen 1948. Es importante tener en cuenta, que la definicion esta hecha con logaritmo en base 2,por lo tanto la unidad de medida de IA es bits. Si se utiliza logaritmos naturales (base e), launidad sera nat y para logaritmo en base 10, se dice que se mide en hartley.
Ejemplo 2.1Considerando el experimento de lanzar una moneda, la probabilidad de tener “sello” es 0,5. Unavez que esto haya sucedido, se tiene Isello = − log2(0,5) = 1 bit de informacion.
Ejemplo 2.2Considerando el experimento de lanzar un dado, la probabilidad de que salga cualquier numeroes 1/6. Suponiendo que salio un 4, la cantidad de informacion es: I4 = log2(6) = 2,5850 bits deinformacion.
Ejemplo 2.3Los sımbolos A, B, C y D ocurren con probabilidades 1/2, 1/4, 1/8 y 1/8 respectivamente.Calcule la informacion en el mensaje de tres sımbolos X = BDA suponiendo que estos sonestadısticamente independientes.Sol. Como los eventos son estadısticamente independientes, la medida de informacion (porser logarıtmica) resulta aditiva, luego: IX = − log2(PX) = − log2(PBPDPA) = − log2(PB) −log2(PD) − log2(PA) = log2 4 + log2 8 + log2 2 = 2 + 3 + 1 = 6 bits de informacion.
1Es decir, que indican muy poca incertidumbre en el resultado.
13
CAPITULO 2. TEORIA DE LA INFORMACION
2.3.1. Entropıa
Lo anteriormente discutido, define la medida de la informacion para el caso en que todoslos mensajes son igualmente probables, lo que resulta ser solo un caso particular. A modo degeneralizacion se define una “informacion promedio” de cada mensaje, llamada Entropıa, H .
La entropıa corresponde a una medida de la incertidumbre de una variable aleatoria. DefınaseX como una variable aleatoria discreta con alfabeto Ω y funcion de probabilidad p(x) = Pr(X =x). Ası, se define la Entropıa H(X) de la variable aleatoria discreta X como:
H(X) = −∑
x∈Ω
p(x) log p(x) (2.2)
en donde el logaritmo se utiliza en base 2 a menos que se especifique lo contrario, y se asumepor convencion que 0 log 0 = 0, lo que se puede justificar por que la relacion x log x → 0 cuandox → 0.
La entropıa de X tambien puede ser interpretada como el valor esperado de − log p(X) loque equivale a la esperanza de la self-information del mensaje, luego
H(X) = E IX = E
log1
p(X)
que esta relacionada con la definicion de entropia en termodinamica.
Ejemplo 2.4Considere la variable aleatoria X ∈ 0, 1. Calcule la entropıa de X, considerando que la fuentede informacion es sin-memoria.Sol. Considerando que la probabilidad de que X = 1 es p, la probabilidad de que X = 0sera 1−p. Entonces su entropıa sera H(X) = −p log p− (1−p) log(1−p) , H(p). Esta funciones conocida como la Funcion de Entropıa Binaria.
En particular H(p) = 1 bit cuando p = 0,5. Si la funcion H(p) se grafica con respecto ap se puede notar una de las propiedades basicas de la entropıa: es una funcion concava de ladistribucion y nula para p = 0 o 1. Ademas el maximo ocurre cuando p = 0,5 lo que es claropues corresponde al punto de maxima incertidumbre.
Ejemplo 2.5Una fuente de informacion discreta sin memoria tiene un alfabeto de tamano N y las salidasson equiprobables. Encuentre la entropia de esta fuente.Sol. Como los eventos son equiprobables, todos tienen una probabilidad de 1
N, luego H(x) =
−∑N
i=11N
log 1N
= log N .
14
CAPITULO 2. TEORIA DE LA INFORMACION
2.3.2. Entropıa Conjunta y Condicional
Cuando se trabaja con 2 o mas variables aleatorias, se introduce el concepto de entropiacondicional y conjunta de la misma forma en que se habla de probabilidades conjuntas y condi-cionales. Este concepto es principalmente importante cuando se trabaja con fuentes con memo-ria.
Ası, se define la Entropia Conjunta de dos variables aleatorias discretas (X, Y ) como:
H(X, Y ) = −∑
x,y
p(x, y) log p(x, y) (2.3)
lo que tambien puede expresarse mediante H(X, Y ) = E log p(X, Y ).Para el caso de n variables aleatorias X = (X1, X2, . . . , Xn), se tiene:
H(X) = −∑
x1,x2,...,xn
p(x1, x2, . . . , xn) log p(x1, x2, . . . , xn)
por lo que se puede decir que la entropia conjunta es simplemente la entropia de una variablealeatoria vectorial.
Ejemplo 2.6Dos variables aleatorias binarias X e Y estan distribuıdas de acuerdo a una PMF conjunta dadapor P (X = 0, Y = 0) = 1
4, P (X = 0, Y = 1) = 1
4y P (X = 1, Y = 1) = 1
2. Determine los valores
de H(X), H(Y ) y H(X, Y ).Sol. Dada la distribucion, se tiene que P (X = 1, Y = 0) = 0. Ası P (X = 0) = P (X = 0, Y =0) + P (X = 0, Y = 1) = 1
2, entonces se tiene que P (X = 1) = 1
2, luego H(X) = − log 1
2= 1.
Por otra parte, P (Y = 0) = 14, lo que implica que P (Y = 1) = 3
4, luego H(Y ) = 0,8113. Ahora
bien, H(X, Y ) = −14log 1
4− 1
2log 1
2− 1
4log 1
4= 3
2.
La Entropia Condicional de la variable aleatoria X, dada la variable aleatoria Y , expre-sada como H(X|Y ) puede ser definida como
H(X|Y ) = −∑
x,y
p(x, y) log p(x|y) (2.4)
En general, se tiene que
H(Xn|X1, X2, . . . , Xn−1) = −∑
x1,x2,...,xn
p(x1, x2, . . . , xn) log p(xn|x1, x2, . . . , xn−1)
El Teorema de la Regla de la Cadena, permite comprobar que
H(X, Y ) = H(X) + H(Y |X) (2.5)
lo que a su vez, como corolario, dice que esto se cumple en forma inversa, vale decir
H(X, Y ) = H(Y ) + H(X|Y )
15
CAPITULO 2. TEORIA DE LA INFORMACION
.Para comprobar esto, se puede considerar la definicion de probabilidad condicional
p(X, Y ) = p(X)p(Y |X)
log p(X, Y ) = log[p(X)p(Y |X)]
= log p(X) + log p(Y |X)
ahora, tomando la esperanza en ambos lados de la ecuacion, se obtiene el resultado esperado.
Ejemplo 2.7Para el Ejemplo 2.6, calcule H(X|Y ) y H(Y |X).Sol. Se tiene que H(Y |X) = H(X, Y ) − H(X) = 1
2, y H(X|Y ) = 1,5 − 0,8113 = 0,6887.
2.3.3. Informacion Mutua
Para variables aleatorias discretas, H(X|Y ) denota la entropıa (o incertidumbre) de la vari-able aleatoria X, luego de que la variable aleatoria Y es conocida. Ası, dado que la entropıa dela variable X es H(X), la cantidad H(X) − H(X|Y ) representa la cantidad de incertidumbreque ha sido removida al revelar la variable aleatoria Y . Esta cantidad juega un rol importantetanto en la codificaciones de canales como de fuentes y es llamada Informacion Mutua entrelas 2 variables aleatorias.
Entonces, la informacion mutua entre dos variables aleatorias discretas X e Y , es denotadapor I(X; Y ) y esta definida por
I(X; Y ) = H(X) − H(X|Y ) (2.6)
por simetrıa, tambien se tiene que I(X; Y ) = H(Y ) −H(Y |X). Ası se puede considerar que Xdice tanto de Y como Y lo dice de X.
Considerando ahora que H(X, Y ) = H(X) + H(Y |X), entonces la informacion mutua tam-bien puede ser calculada por:
I(X; Y ) = H(X) + H(Y ) − H(X, Y ) (2.7)
Finalmente, se puede notar que
I(X; X) = H(X) − H(X|X) = H(X)
Resulta interesante mantener en mente, que al considerar un sistema con entrada X y sal-ida Y , las probabilidades condicionales p(Y |X) y p(X|Y ) son conocidas como Probabilidad de
Transicion y Probabilidad de Union, respectivamente. A su vez, la entropıa de entrada H(X)corresponde a la incertidumbre promedio de la fuente de informacion y la entropıa de la sali-da H(Y ) corresponde ala incertidumbre promedio de la recepcion de un sımbolo. Para el casode las entropıas condicionales, se tiene que H(Y |X) corresponde a la incertidumbre promediorespecto de que el sımbolo que se recibe, dado que se ha transmitido X. La entropıa H(X|Y )serıa la Entropıa de Equivocacion, que corresponde a la incertidumbre promedio de que sımbolosera transmitido despues de haber recibido un sımbolo X. La entropıa conjunta H(X, Y ) es laincertidumbre promedio del sistema de comunicaciones como un todo.
16
CAPITULO 2. TEORIA DE LA INFORMACION
2.4. Representacion de Canales
En esta seccion, se estudiara el canal de comunicacion que es uno de las partes mas impor-tantes de las comunicaciones pues resulta ser el factor limitante a la hora de lograr una buenatasa de transmision.
Como se dijo anteriormente, un canal de comunicacion corresponde a cualquier medio sobreel cual puede ser transmitida informacion, o en el que informacion puede ser almacenada. Ası,ejemplos de canales de comunicaciones serıan: cables coaxiales, propagacion por la ionosfera,espacio libre, fibra optica, discos magneticos u opticos, etc. Lo que resulta comun en estosejemplos, es que ellos reciben senales en sus entradas y entregan senales en sus salidas en untiempo posterior (almacenamiento) o en otra ubicacion (transmision). Por lo mismo, los canalesde comunicacion son modelados mediante la relacion entrada-salida que tengan; en este sentido,un canal de comunicacion puede ser considerado como un sistema.
Existen variados factores que producen que la salida de un canal de comunicacion sea difer-ente a su entrada, tales como atenuacion, nolinealidades, limitaciones de ancho de banda, ruido,etc. Todo esto contribuye a una relacion entrada-salida bastante compleja, que generalmentetiene que ser considerada como una relacion estocastica.
Considere un canal sin memoria, lo que implica que la salida depende de la entrada en esemomento y no de las previas a el. Este tipo de canales, estan definidos por un conjunto deprobabilidades condicionadas que relacionan la probabilidad de cada estado a la salida, con laprobabilidad de la entrada. Suponga un canal con dos entradas x1 y x2, y con tres salidas y1,y2 e y3, como lo muestra la Fig 2.1.
Fig. 2.1: Canal de comunicaciones de 2 entradas y 3 salidas modelado como un sistema.
Las rutas entrada-salida se indican como una probabilidad condicional Pij = P (yj|xi), rep-resentando la probabilidad de obtener a la salida yj, dado que a la entrada xi. Esta probabilidadrecibe el nombre de Probabilidad de Transicion del Canal.
Fig. 2.2: Rutas entrada-salida para el canal de comunicaciones de 2 entradas y 3 salidas.
A menudo, se prefiere especificar al canal por su Matriz de Probabilidades de Tran-sicion, denotada por P(Y|X) = [P (yj|xi)], que para el caso particular que se esta evaluando
17
CAPITULO 2. TEORIA DE LA INFORMACION
estara dada por:
P(Y|X) =
[
P (y1|x1) P (y2|x1) P (y3|x1)P (y1|x2) P (y2|x2) P (y3|x2)
]
Por otra parte, cada una de las entradas debe siempre conducir a una salida, por lo que lasuma de cada fila de la matriz debe ser igual a 1.
P (y1|x1) + P (y2|x1) + P (y3|x1) = P (y1|x2) + P (y2|x2) + P (y3|x2) = 1
La Matriz del canal es util para encontrar probabilidades de salida de acuerdo a las probabil-idades de entrada. Considere la matriz fila de n entradas dada por P(X) = [P (x1) · · · P (xn)].Para una matriz de transicion dada por P(Y|X), la matriz de m salidas estara dada por
P(Y) = P(X) P(Y|X)
Resulta interesante mencionar que si la matriz P(X) es escrita en forma diagonal, el productodado por diag(P(X))P(Y|X) define la Matriz de Union de Probabilidades y es denotadapor P(X,Y). En palabras simples, el termino P (xi, yj) representa la probabilidad de union detransmitir xi y recibir yj. Matematicamente la matriz de union esta dada por:
P(X,Y) =
P (x1) 0 · · · 00 P (x2) · · · 0...
.... . .
...0 0 0 P (xn)
P (y1|x1) P (y2|x1) · · · P (ym|x1)P (y1|x2) P (y2|x2) · · · P (ym|x2)
......
. . ....
P (y1|xn) P (y2|xn) · · · P (ym|xn)
Ejemplo 2.8Considere un canal binario de dos entradas y dos salidas, en donde la fuente es equiprobable yla matriz de transicion esta uniformemente distribuıda al transmitir sin error. Se pide encontrarla matriz de transicion, la matriz de salida, la matriz de union y la probabilidad de error.Sol. Dada la equiprobabilidad de la fuente, la matriz de entrada esta dada por P(X) = [0,5 0,5].Considerando que P (1|0) = P (0|1) = ǫ, la matriz de union estara dada por P(Y|X) =[
1 − ǫ ǫǫ 1 − ǫ
]
. Ası, la matriz de salida sera P(Y) = [0,5 0,5]. La matriz de union sera P(X,Y) =[
0,5 00 0,5
]
P(Y|X) = 0,5 P(Y|X). La probabilidad de transmision con error estara dada por
P (E) = P (0r, 1t) + P (1r, 0t) = P (1)P (0|1) + P (0)P (1|0) = 0,5ǫ + 0,5ǫ = ǫ.
2.5. Capacidad del Canal
Ya se ha discutido que H(X) define el lımite fundamental de la tasa a la que una fuentediscreta puede ser codificada sin errores en su reconstruccion, y tambien se comento en un
18
CAPITULO 2. TEORIA DE LA INFORMACION
principio de que el canal posee su propio lımite fundamental para la transmision de informaciona traves de el.
Evidentemente, el objetivo principal cuando se transmite informacion sobre cualquier canalde comunicacion es la confianza, la que puede ser medida por la probabilidad de una recepcioncorrecta en el receptor. Un resultado muy importante de la teorıa de la informacion, es quelas comunicaciones confiables2 son posibles sobre canales ruidosos, mientras la tasa de trans-mision sea menor que cierto valor, llamado Capacidad del Canal. Este importante resultado,fue dado a conocer inicialmente por Shannon (1948) y es conocido como el Noisy Channel Cod-
ing Theorem. Este teorema enuncia que la limitacion basica que el ruido provoca en un canal
de comunicacion no es en la confiabilidad de la comunicacion, sino en la velocidad de dicha
comunicacion.Definimos anteriormente a un canal discreto como un sistema con alfabeto de entrada
X, alfabeto de salida Y , y matriz de probabilidades de transicion P(Y|X), que expresa laprobabilidad de observar un sımbolo y a la salida, dado que enviamos un sımbolo x. Un canal sedice sin-memoria si la distribucion de probabilidades de la salida depende solo de la entradaen ese tiempo y es condicionalmene independiente de las entradas o salidas anteriores.
Ası, se define la Capacidad del Canal de informacion de un canal discreto y sin memoriamediante la relacion:
C = maxp(x)
I(X; Y ) (2.8)
en donde el maximo es tomado sobre todas las posibles distribuciones de la entrada p(x). Sedebe entender por esta definicion que corresponde al maximo valor de la informacion mutua,que es la informacion promedio maxima por sımbolo que puede ser transmitido a traves delcanal.
La maximizacion es con respecto a las probabilidades de la fuente, puesto que las probabili-dades de transicion son fijadas por el canal. Sin embargo, la capacidad de canal es una funcionsolamente delas probabilidades de transicion del canal, puesto que el proceso de la maximizacionelimina la dependencia de sobre las probabilidades de la fuente.
Ejemplo 2.9Encuentre la Capacidad del Canal para un canal discreto, sin memoria y sin ruido.Sol. Para un canal sin memoria y sin ruido, las probabilidades de error son nulas, lo que equivalea decir que la conexion es uno-a-uno entre las entradas y salidas. Luego p(xi|yj) = 0 ∀i 6= j y por
lo mismo p(xi|yj) = 1 ∀i = j. Considerando que H(X|Y ) = −∑N
i=1
∑N
j=1 p(xi, yj) log p(xi|yj),se tiene que H(X|Y ) = 0. Ası, la informacion mutua sera I(X; Y ) = H(X)−H(X|Y ) = H(X).Para maximizar la entropıa de la fuente, anteriormente se dijo que todos los sımbolos de la fuentedebıan ser equiprobables, entonces C = Imax(X; Y ) = Hmax(X) = −∑N
i=11N
log 1N
= log N , endonde N es el numero de sımbolos de la fuente.
2Se entiende por comunicacion confiable como aquella en que la transmision se logra con una probabilidadde error inferior a un valor pre-establecido.
19
CAPITULO 2. TEORIA DE LA INFORMACION
Ejemplo 2.10Encuentre la capacidad del canal para un canal binario simetrico, en donde la probabilidad derecepcion erronea es p y la probabilidad de que se envie un cero es α.Sol. Para calcular la capacidad del canal, se maximiza I(X; Y ) = H(Y )−H(Y |X). La entropıacondicional esta determinada por H(Y |X) = −
∑
i
∑
j p(xi, yj) log p(yj|xi) = −α(1− p) log(1−p) − (1 − α)p log p − αp log p − (1 − α)(1 − p) log(1 − p) = H(p), considerando la definicion deH(p) dada en el Ejemplo 2.4. Ası I(X; Y ) = H(Y ) − H(p). Entonces, la informacion mutuasera maxima cuando la entropıa de Y sea maxima, caso que se da para una distribucion uniformede los sımbolos. En pocas palabras, H(Y ) ≤ 1, por lo que I(X; Y ) ≤ 1−H(p), y C = 1−H(p).
Considerando este ultimo ejemplo, los resultados obtenidos implican que si p = 0 o p = 1la salida del canal esta completamente determinado por la entrada del canal, y la capacidadsera de 1 bit por sımbolo. Por otro lado, si p = 0,5, un sımbolo en la entrada nos lleva a cualquiersalida con igual probabilidad y la capacidad del canal es nula. Ademas, la probabilidad del errorestara determinada por
PE =∑
i
p(xi, e) =∑
i
p(xi)p(e|xi) = [p(x1) + p(x2)]p = p
lo que establece que la probabilidad de error no condicional PE, es igual a la probabilidad de
error condicional p(yj|xi), ∀i 6= j.
2.6. Algoritmos de Codificacion
La entropıa de una fuente de informacion, da una cota acerca de la tasa a la cual la fuentepuede ser comprimida para una reconstruccion exitosa. Esto significa que a tasas superiores ala entropıa es posible disenat un codigo con una probabilidad de error tan pequena como sequiera, por otro lado, a tasas inferiores a la entropıa, dicho codigo no existe.
Esto se justifica en el Teorema de Codificacion de la Fuente, propuesto por Shannon en 1948y que dice:
Teorema de Codificacion de la Fuente. Una fuente de informacion con entropıa (o tasa deentropıa) H , puede ser codificada con una probabilidad de error arbitrariamente pequenaa cualquier tasa R [bits/simbolo], siempre que R > H . Consecuentemente, si R < H ,el error sera muy lejano a cero, independiente de la complejidad utilizada en la codifi-cacion/decodificacion.
A pesar de la importancia de este resultado, este no da ningun algoritmo para disenar codigosque se aproximen a esta condicion; por esta razon se estudiara el Codigo Huffman.
2.6.1. Codigo Huffman
A modo introductorio, considere una fuente de 5 sımbolos a1, a2, a3, a4, a5 con probabili-dades 1
2, 1
4, 1
8, 1
16, 1
16 respectivamente. Considerando los codigos dados en la Tabla 2.1, se tiene:
20
CAPITULO 2. TEORIA DE LA INFORMACION
Sımbolo Probabilidad Codigo 1 Codigo 2 Codigo 3 Codigo 4a1 0.5 00 10 1 0a2 0.25 01 100 01 10a3 0.125 10 1000 001 110a4 0.0625 11 10000 0001 1110a5 0.0625 110 100000 00001 1111
Tabla 2.1: Posibles codigos para fuente de 5 sımbolos
Codigo 1. El codigo no resulta ser de decodificacion unica, lo que implica que una secuenciade dıgitos binarios puede tener 2 o mas interpretaciones, lo que evidentemente es algo nodeseable. Por ejemplo, al recibir la secuencia 110110 puede ser interpretado como a5a5,o como a4a2a3. Esto se debe a que el codigo no cumple la condicion del prefijo3.
Codigo 2. Este codigo no presenta el problema de confundir entre una palabra y otra, puescada uno esta delimitado por un 1, por lo que se dice que el codigo es autosincronizado. Asu vez, dicho lımite presenta el problema de que se debe esperar la aparicion del proximo1 para saber el final de la palabra previa; en otras palabras se dice que el codigo no esinstantaneo.
Codigo 3. Al igual que para el codigo anterior, este resulta ser autosincronizado. Ademas, ycomo gran diferencia, el presente codigo si es instantaneo, pues con la aparicion de ununo, se sabe que se ha puesto fin a la palabra actual.
Codigo 4. El codigo 4 es igualmente autosincronizado y de decodificacion unica, pero ademastiene como ventaja que posee un largo medio de palabra menor al codigo 3. En efecto, parael codigo 3 E L3 = 0,5 ·1+0,25 ·2+0,125 ·3+0,0625 ·4+0,0625 ·5 = 1,9375 bits/palabray para el codigo 4, E L4 = 0,5 · 1 + 0,25 · 2 + 0,125 · 3 + 0,0625 · 4 + 0,0625 · 4 = 1,8750.
Evidentemente el codigo 4 es el codigo mas deseable de todos los expuestos dado lo optimoque resulta ser en su decodificacion unica, ser instantaneo y ademas de menor largo medio depalabra. Este codigo es un ejemplo de codigo Huffman.
Se define el largo medio de un codigo mediante:
R =∑
x
p(x)l(x) , (2.9)
en donde l(x) es el largo del codigo de palabra asignado a la salida x. Se puede demostrar queR satisface la relacion:
H(X) ≤ R < H(X) + 1 ,
por lo que la eficiencia del codigo Huffman esta dado por:
η =H(X)
R
3Ninguna palabra del codigo debe ser el comienzo de otra.
21
CAPITULO 2. TEORIA DE LA INFORMACION
Algoritmo del Codigo Huffman
El algoritm se puede describir mediante los siguientes pasos:
1. Ordenar las salidas de la fuente en orden de probabilidades decrecientes
2. Agrupar los menos probables y generar una nueva salida cuya probabilidad es la suma delas probabilidades correspondientes a las salidas agrupadas
3. Si quedan 2 salidas disponibles, ir al paso 4; sino, volver al paso 1.
4. Asignar 0 y 1 como codigos de palabra a las 2 salidas. Por acuerdo, se asignara un 0 a lasalida mas probable de las 2 disponibles.
5. Recorrer el arbol en forma inversa, asignando 0 o 1 a cada rama. Repetir hasta llegar alas salidas originales.
Para clarificar el algoritmo, se plantean lo siguientes ejemplos.
Ejemplo 2.11Encuentre el codigo Huffman para la fuente descrita en la Tabla 2.1. Calcule ademas el largopromedio, y la eficiencia del codigo encontrado.Sol. Las probabilidades se mantienen en orden, pues fueron asignadas en forma decreciente,luego:
a1 (12) → a1 (1
2) → a1 (1
2) → a1 (1
2) 0 0
a2 (14) → a2 (1
4) → a2 (1
4) 0⌉ a2345 (1
2) 1 10
a3 (18) → a3 (1
8) 0⌉ a345 (1
4) 1⌋ 110
a4 ( 116
) 0⌉ a45 (18) 1⌋ 1110
a5 ( 116
) 1⌋ 1111
que corresponde al codigo originalmente dado. El largo medio sera R = 0,5 · 1 + 0,25 · 2 +0,125 · 3 + 0,0625 · 4 + 0,0625 · 4 = 1,8750. La entropıa de la fuente esta dada por H(X) =−0,5 log 0,5 − 0,25 log 0,25 − 0,125 log 0,125 − 0,0625 log 0,0625 − 0,0625 log 0,0625 = 2,0488,ası la eficiencia sera η = 91,52 %.
22
Capıtulo 3
Tecnicas de Transmision Digital
Los topicos cubiertos ...
3.1. Introduccion
Ya se han mencionado las ventajas de que la transmision de informacion en forma digitales mejor que hacerlo de forma analoga. Por lo mismo, resulta de vital importancia conocer elprocedimiento de transformar una senal analoga en digital1.
Para realizar dicha tarea, existen tres operaciones: La senal analoga debe ser muestreada,obteniendo una senal de tiempo discreto y amplitud continua. Luego los valores muestreadosque pueden tomar infinitos valores en amplitud, son cuantificados, lo que significa que sonredondeados a un numero finito de posibles valores. La tercera etapa en el proceso de conversionanalogo-digital es la codificacion, en donde una secuencia de bits es asignada para los diferentesvalores posibles de la salida del cuantificador. Dado que el numero de salidas es finito, cadamuestra puede ser representada por un numro finito de bits; por ejemplo 256 = 28 valoresposibles podran ser representados por 8 bits.
3.2. Muestreo de una Senal
Conforma a la experiencia, se puede decir que el muestrear una senal, corresponde a multi-plicarla por un tren de impulsos discretos con periodo Ts (o frecuencia de muestreo fs = 1
Ts).
Ası, considerando la funcion δ(t) definida en la Seccion 1.2.5, la senal x(t) muestreada cada Ts
unidades de tiempo, estara dada por
xδ(t) =
∞∑
n=−∞
x(t)δ(t − nTs) (3.1)
Considerando que x(t) no depende de n y puede salir de la sumatoria, aplicamos la trans-
1Vale decir una seguidilla de bits
23
CAPITULO 3. TECNICAS DE TRANSMISION DIGITAL
formada de Fourier a ambos lados de la Ecuacion (3.1):
Xδ(f) = X(f) ∗ F
[
∞∑
n=−∞
δ(t − nTs)
]
= X(f) ∗ 1
Ts
∞∑
n=−∞
δ(f − nfs)
=1
Ts
∞∑
n=−∞
X(f − nfs)
en donde ∗ representa la convolucion en tiempo-discreto, y se utilizo la propiedad de la convolu-cion de la senal impulso, que dice: X(f) ∗ δ(f − nfs) = X(f − nfs).
Esto muestra que el espectro de la senal muestreada Xδ(f) es una replica de la transformadade Fourier de la senal original que se repite a una tasa de fs [Hz] y que se atenua en un factorde fs.
Por lo mismo, si se considera que la senal x(t) es de espectro acotado con ancho de bandaW , resulta evidente que si la frecuencia de muestreo es fs < 2W , los espectros se traslaparan yla reconstruccion de la senal original sera imposible. Esta distorcion es conocida como aliasing,sin embargo si se garantiza una frecuencia de muestreo superior al doble del ancho de banda,este fenomeno no ocurre y la reconstruccion de la senal se puede realizar facilmente con el filtroapropiado. Cuando se utiliza exactamente el doble del ancho de banda de la senal, se dice quese trabaja con la Frecuencia de Muestreo de Nyquist.
En efecto, para recuperar la senal original, basta que el filtro tenga una respuesta dada por
H(f) =
Ts , | f |< W0 , | f |≥ fs − W
(3.2)
Para el rango W ≤| f |< fs − W , el filtro puede tener cualquier caracterıstica que permitauna facil implementacion, siendo un filtro pasabajos ideal el metodo menos practico en terminosde implementacion.
Considere que el filtro tiene una respuesta en frecuencia dada por
LPF (f) = Ts Π
(
f
2W ′
)
con W ′ como ancho de banda y que satisface la relacion W ≤ W ′ < fs − W .Ahora bien, la reconstruccion de la senal se lograra tomando la convolucion entre la senal
discreta y dicho filtro, o en otras palabras
X(f) = Xδ(f)Ts Π
(
f
2W ′
)
.
Tomando la transformada de Fourier inversa, se tiene:
24
CAPITULO 3. TECNICAS DE TRANSMISION DIGITAL
x(t) = xδ(t) ∗ 2W ′Ts sinc(2W ′t)
=
(
∞∑
n=−∞
x(t)δ(t − nTs)
)
∗ 2W ′Ts sinc(2W ′t)
=∞∑
n=−∞
2W ′Ts x(t) sinc(2W ′(t − nTs)) (3.3)
La relacion dada por la Ecuacion (3.3), demuestra de que la reconstruccion de la senal puedeser perfectamente hecha al utilizar la funcion sinc() para la interpolacion.
En sistemas practicos, el muestreo siempre se realiza a frecuencias superiores a la tasa deNyquist, lo que a su vez implica un diseno de filtro mucho mas relajado. En dichos casos ladistancia entre dos espectros replicados, que esta dada por (fs−W )−W = fs−2W es conocidacomo banda de guarda. Por lo tanto, en sistemas con banda de guarda, la frecuencia demuestreo esta dada por fs = 2W + WG, en donde W es el ancho de banda de la senal de bandalimitada.
3.3. Cuantizacion
Despues del proceso de muestreo, se tiene una senal de tiempo discreto, sin embargo lasamplitudes de dichas senales aun son continuas. Dado que la transmision de numeros reales ennumero de base 2 tienen largo infinito, la transmision de esta senal se hace imposible.
Por esta razon, posterior al muestreo se realiza el proceso de cuantizacion. En este procesose realiza la discretizacion de la amplitud de las senales, lo que permite representar la senal deforma valida con valores binarios de largo finito.
3.3.1. Cuantizacion Escalar
En la cuantizacion escalar, cada muestra es cuantificada como un valor puntual, dentrode un rango finito de valores posibles, lo que se traduce en una accion de redondeo de lascifras. Para esto, el espacio de numeros reales ℜ se particiona en N subconjuntos denotados porRn, 1 ≤ n ≤ N que llamaremos Regiones de Cuantizacion. Asociado a cada subset Rn, un Punto
de Representacion xn es elegido, vale decir que para el instante k, si la muestra x(k) pertenecea Rn, entonces es redondeado al valor xn.
Dado que se tienen N posibles valores de cuantizacion, entonces se requieren log2(N) bitspara poder hacer el encoding en secuencias binarias. De igual forma, el numero de bits que serequieren para transmitir cada muestra de la fuente, sera: R = log2(N) bits.
Resulta facil notar que al incluir estos redondeos, la senal resultante tiene cierta distorcioncon respecto a la senal original. Este error agregado recibe el nombre de Error de Cuantizacion.Para su descripcion, es necesario considerar la funcion de cuantizacion definida por
Q(x) = xi, ∀x ∈ Ri
25
CAPITULO 3. TECNICAS DE TRANSMISION DIGITAL
El error en general se evalua en forma cuadratica, y en este caso recibe el nombre de Error
Cuadratico de Distorcion y se define como
d(x, x) = (x − x)2 (3.4)
sin embargo, dado que se trabaja con variables aleatorias, es necesario especificar el ErrorCuadratico de Distorcion Medio, que esta determinado por
D = E d(x, x) = E
(x − x)2
(3.5)
En la Figura 3.1 se puede ver un ejemplo de un esquema de cuantizacion de 8 niveles, enlos cuales la variable x es seccionada en sus respectivas aproximaciones x1, x2, . . . , x8, para lossubintervalos dados por R1 = (−∞, a1], R2 = (a1, a2], . . . , R8 = (a7, +∞) respectivamente. Enpocas palabras, lo que se muestra es la funcion de cuantizacion Q(x).
Fig. 3.1: Ejemplo de un esquema de cuantizacion de 8 niveles
Ejemplo 3.1La fuente X(t) es una fuente Gaussiana, con media cero, estacionaria y con una PSD dada por:
SX(f) =
2 , | f |< 100Hz0 , i.o.c.
Considere que es muestrada a la frecuencia de Nyquist y que cada muestra esta cuantizada usan-do un cuantizador de 8 niveles como en la Figura 3.1, con niveles ai ∈ −60,−40,−20, 0, 20, 40, 60,
26
CAPITULO 3. TECNICAS DE TRANSMISION DIGITAL
que se redondean a xi ∈ −70,−50,−30,−10, 10, 30, 50, 70. Se pide calcular la distorcion y latasa de transferencia.Sol. Dado el ancho de banda de la fuente, su frecuencia de muestreo sera fs = 2W = 200Hz.Dado que es un cuantizador de 8 niveles, entonces se requieren 3 bits para realizar la descrip-cion de cada muestra. Ası, la tasa estara dada por R = 3fs = 600 bits/s. La varianza de la
fuente, esta dada por σ2X = E X2 = R (0) =
∫ +∞−∞ SX(f)df =
∫ 100
−1002df = 400, ya que es un
proceso con media cero. Esto permite definir la funcion de distribucion de probabilidad dadapor fX(x) = 1√
2π400exp(− x2
800). Ahora bien, la distorcion estara dada por:
D = E
(X − X)2
=
∫ +∞
−∞(x − Q(x))2fX(x) dx
=8∑
i=1
∫
Ri
(x − Q(x))2fX(x) dx
=
∫ a1
−∞(x − x1)
2fX(x) dx +
∫ a2
a1
(x − x2)2fX(x) dx + · · · +
∫ +∞
a7
(x − x8)2fX(x) dx.
Reemplazando los valores de ai, xi y utilizando la definicion de fX(x) se obtiene que D ≈ 33,4.
Es muy interesante comparar el resultado anterior con la distorcion maxima, la que esta dadacuando se utilizan cero bits por cada salida de la fuente. En este caso, la mejor estrategia es fijarla senal reconstruıda en cero, por lo que la distorcion sera Dmax = E (X − 0)2 = E X2 =σ2
X = 400. Esto equivale a decir que al utilizar 3 bits por salida de la fuente, la distorcion se hareducido en un factor de ∼12, o 10.8dB.
A pesar de lo descriptivo del error de cuantizacion D = E
(X − X)2
, existe una metrica
mas exacta pues esta normalizada con respecto a la potencia de la senal original. Recibe el nom-bre de Razon Senal-Ruido de Cuantizacion (SQNR, Signal-to-Quantization Noise Ratio)y esta definida por:
SQNR =E X2
E (X − Q(X))2 (3.6)
Cabe destacar que considerando las definiciones de potencia de la senal original y de lacuantizada, el SQNR esta determinado por la razon entre la potencia de la senal (PX) y lapotencia de senal cuantizada (PX), con X = X − X.
Ejemplo 3.2Determine el SQNR para el esquema de cuantizacion utilizado en el Ejemplo 3.1.Sol. Se determino previamente que PX =
∫
PSDdf = 400. Ademas la potencia del ruido decuantizacion esta dado por PX = D = 33,4, entonces SQNR = 400/33,4 = 11,97 ≈ 10,78dB.
27
CAPITULO 3. TECNICAS DE TRANSMISION DIGITAL
3.3.2. Cuantizacion Uniforme
La cuantizacion uniforme, es la mas simple de todas ya que todas las particiones interioresestan equidistantes a un valor representado por ∆.
En general, se asume que los niveles de cuantificacion xi estan a una distancia de ∆2
de losbordes a1, a2, . . . , aN − 1.
La Figura 3.1 muestra un ejemplo de un cuantizador uniforme.
3.3.3. Cuantizacion Nouniforme
Si se relaja la condicion de que la separacion se igual para todas las regiones, entonces selogra minimizar la distorcion con menos apremios. Ası, el cuantizador nouniforme tiene un mejorrendimiento que el uniforme para un mismo numero de niveles.
Considerando que se quiere disenar un cuantizador de N niveles, optimo en el sentido delerror medio cuadratico, se tiene que la distorcion media es:
D =
∫ a1
−∞(x − x1)
2fX(x) dx +N−2∑
i=1
∫ ai+1
ai
(x − xi+1)2fX(x) dx +
∫ +∞
aN−1
(x − xN )2fX(x) dx ,
en donde existen 2N − 1 variables de las que D depende: (a1, a2, . . . , aN−1, x1, x2, . . . , xN).Tomando derivadas parciales con respecto a todos los ai e igualando a cero, se tiene:
ai =xi + xi+1
2(3.7)
lo que significa que en un cuantizador optimo, los bordes de las regiones de cuantizacion son los
puntos medio de los niveles de cuantizacion.Tomando derivadas parciales con respecto a todos los xi e igualando a cero, se obtiene que
xi =
∫ ai
ai−1xfX(x) dx
∫ ai
ai−1fX(x) dx
(3.8)
lo que significa que el nivel de cuantizacion, debe ser elegido como el centroide de dicha region.
3.4. Encoding
En el proceso de encoding, una secuencia de bits es asignada a los diferetes niveles decuantizacion.
Dado que se tiene un total de N = 2v niveles, entonces v bits son suficientes para el procesode encoding. Basado en lo mismo, como se tienen v bits por muestra, que se tomo a un frecuenciade muestreo de fs Hz, entonces la tasa de bits esta dada por R = vfs bits por segundo.
La asignacion de bits a los niveles de cuantizacion puede ser realizada de diferentes maneras.En cuantizacion escalar, una forma natural de realizar el encoding, es asignando valores de 0 aN − 1 a los diferentes niveles de cuantizacion comenzando desde el nivel mas bajo hacia el masalto de manera creciente. Esto implica que el nivel mas bajo tendra el valor 00. . . 0 y el masalto de 11. . . 1, ambos de largo v. Esta asignacion, recibe el nombre de Codificacion BinariaNatural.
28
CAPITULO 3. TECNICAS DE TRANSMISION DIGITAL
3.5. Codificacion por Forma de Onda
La idea de estos esquemas es reproducir una forma de onda de la fuente en el destino con lamenor distorcion posible. En estas tecnicas no se presta atencion en la forma en que se produce laforma de onda, sino que todos los esfuerzos son dedicados en la reproduccion filedigna de la formade onda de la fuente. Por lo mismo, los codificadores de forma de onda pueden ser utilizadoscon una gran variedad de formas de onda, mientras que estas tengan ciertas similitudes.
3.5.1. Pulse Code Modulation (PCM)
La modulacion PCM es el mas simple y viejo esquema de codificacion por forma de onda.Consiste basicamente en tres secciones: un muestrador, un cuantizador y un encoder.
En PCM se realizan las siguientes suposiciones:
1. La senal es de banda limitada, con una frecuencia maxima de W , por lo que puede sercompletamente reconstruıda de muestras tomadas a una tasa fs ≥ 2W .
2. La senal tiene amplitud finita, vale decir que existe un maximo de amplitud xmax tal que| x(t) |≤ xmax < ∞.
3. La cuantizacion se realiza para un numero alto de niveles de cuantizacion N , que es unapotencia de 2 (N = 2v).
El punto 1 se puede solucionar incluyendo un filtro con ancho de banda W a la entrada delmuestreador para evitar armonicos sobre dicha frecuencia.
Dependiendo del cuantizador utilizado, uniforme o nouniforme, se tiene una modulacionPCM uniforme o nouniforme y esto se selecciona dependiendo de las caracterısticas de la salidade la fuente.
29
Libros de Referencia.
La informacion contenida en el presente texto, ha sido extraıda de variados textos escritosque posee en DIE, el Laboratorio de Transmision y simplemente yo. Toda la informacion aca ex-presada tiene caracter netamente educacional y no pretende ser en ninguna forma un atentadocontra los derechos de copia ni de autor de cada uno de los libros que aca se citan, por lo queel contenido grueso de esta obra es de autorıa de:
“Fundamentals of Communication Systems”, John Proakis, Masoud Salehi. c© 2005,Pearson Education, Inc.
“Introduccion a los Sistemas de Comunicaciones”, F. G. Stremler. c© 1993, Addison-Wesley Iberoamericana, S.A.
“Digital Communcations - Fundamentals and Applications”, Bernard Sklar. c© 1998,Pretince-Hall Inc.
“Elements of Information Theory”, Thomas Cover, Joy Thomas. c© 1999, John Wiley& Sons, Inc.
“Elementary Statistics”, Paul Hoel. c© 1976, John Wiley & Sons, Inc.
30