.-

,INDICE

Introducción , ; XVII

Capítulo 1. Minería de datos: Conceptos, técnicas y sistemas ..............................

Aproximación al concepto de minería de datos ...............................................El proceso de extracción del conocimiento ......................................................Técnicas de minería de datos............................................................................Sistemas de minería de datos ...........................................................................

Capítulo 2. Entorno de trabajo de SPSS Clementine.............................................

Introducción a Clementine ...............................................................................Usando el ratón.............................................................................................

Ayuda en Clementine ,'.......................................................Panel de control en Clementine :.....................................................

Ejemplo de trabajo con Clementine ;....................................................Insertar un nodo fuente (origen) de datos en el área de trabajo....................Enlazar un nodo con una fuente de datos .....................................................

Controlar la carga de datos con el nodo Tabla .............................................Definir variables predictoras con el nodo Tipo ............................................Utilizar un nodo de modelado ......................................................................

Ejecutar una ruta :..................Interpretar un modelo ...................................................................................Predecir con un modelo ...............................................................................Guardar un modelo ......................................................................................

Nodos de orígenes de datos ..............................................................................Nodosde operacionesconregistros ,

1

138

10

13

13161618212223252729293234343535

VIII MINERíA DE DATOS. TÉCNICAS Y HERRAMIENTAS

Nodos de operaciones con campos...................................................................Nodos para gráficos """""""""""""""""""""""""""'"""""""""""""""""Nodos para modelado .......................................................................................Nodos de salida :.........................................................................................

Capítulo 3. Entorno de trabajo de SAS Enterprise Miner.....................................

Introducción aSAS Enterprise Miner ..............................................................Comenzando con SAS Enterprise Miner......................................................Inicio de un proyecto nuevo ,.....................................................Menú principal de SAS Enterprise Miner """"""""""""""""""""""""""

Ejemplo de trabajo con SAS Enterprise MiIier ...............................................Leer ficheros y enlazarlos con Enterprise Miner mediante el nodo

Input Data Source ....................................................................................Definir tipos de variables con el nodo Input Data Source ...........................Enlace de nodos de un diagrama. El nodo Data Partition ...........................Utilizar un nodo de modelado ......................................................................

Capítulo 4. Fase de selección en minería de datos.................................................

Selección en el proceso de extracción del conocimiento .................................Recopilación e integración de datos: Data Warehouse ................................Data Warehouse y Data Mining ..................................................................

Selección de datos mediante muestreo "................................

Muestreo aleatorio simple :..........................Muestreo estratificado ..................................................................................Muestreo sistemático ....................................................................................

Muestreo unietápico de conglomerados .......................................................Muestreo bietápico de conglomerados .........................................................Muestreo polietápico de conglomerados ......................................................Diseños complejos: Bietápico con estratificación en primera etapa ............

Selección de números aleatorios: Método de Montecarlo................................Selección de características relevantes.............................................................

Análisis de correlaciones ,........

Capítulo 5. Fase de selección en SAS Enterprise Miner y SPSS Clementine........

La fase de selección en Enterprise Miner.........................................................El nodo Fuente de Datos ..............................................................................El nodo Muestreo """""""""""""""""""""""""""""""""""""""""""'"El nodo de Partición de Datos .....................................................................El nodo de Selección de Variables ,....................

El nodo de Series Temporales """"""""""""""""""""""""""""'"...........

lo

36 La fase de selecciól37 Importación de d38 Importación de d40 Importación de d

Importación de e!41 Selección de date

41Muestreo de dat

43 Capítulo 6. Fase d44748 Técnicas de muestJ

58 Diseños complejCreación de u

. 58 Asistente de mn

63 Asistente de mu;

65 Preparación de 1

67 Creación de lJ

Preparación de 1

73 Cálculos en mwtablas de eon1

73 Selección de casm

74 Selección de ea:

77 Selección de fe,

78. Selección de un

82Semilla de alea1

85 Operadores para 1:

91 Operadores arit

95 Operadores rel<

99 Operadores lóg

101 Funciones de gen!

101 Selección de la iJ102 Declarando va I

104 Seleccionandol105 Seleccionandol

Seleccionando

109Seleccionando

Operadores para J109

Operadores ar

109Operadores de

117Operadores ló

122Operadores MJ

125Orden de eval1

129Funciones de geCálculos con fun

.......................

., ."'" ..................

.........................

......................

......................

......................

......................

......................nodo

.....................

.....................

.....................

.....................

.......................

,.....................................................................................................................................................................................,...................tapa """"""

...................

......................................

'11entine........

..................

..................

..................

..................

..................

..................

36373840

41

4143474858

58636567

73

737477788285919599

101101102104105

109

109109117122125129

íNDICE

La fase de selección en SPSS Clementine........................................................

Importación de datos ASCII.........................................................................Importación de datos de una fuente ODBC (Access, Excel, etc.) ...............Importación de datos de .SPSS.....................................................................Importación de datos de SAS .......................................................................Selección de datos ........................................................................................Muestreo de datos ........................................................................................

Capítulo 6. Fase de selección en SPSS Muestras Complejas y SAS Base ...........

Técnicas de muestreo a través de SPSS ...........................................................

Diseños complejos y el asistente de muestreo.Creación de un nuevo plan de muestreo...................................................

Asistente de muestreo: modificar un plan existente .....................................Asistente de muestreo: ejecutar un plan de muestreo dado ..........................Preparación de una muestra compleja para su análisis:

Creación de un nuevo plan de análisis .....................................................Preparación de una rimestra compleja para su análisis.................................Cálculos en muestras complejas: Frecuencias, descriptivos,

tablas de contingencia y razones ,...........................................Selección de casos en SPSS .............................................................................

Selección de casos mediante criterios condicionales ...................................

Selección de fechas, horas y filas .................................................................Selección de una muestra aleatoria...............................................................Semilla de aleatorización..............................................................................

Operadores para la selección en SPSS .............................................................Operadores aritméticos.................................................................................Operadores relacionales ...............................................................................Operadores lógicos .......................................................................................

Funciones de generación de números aleatorio s en SPSS................................Selección de la información en SAS Base .......................................................

Declarando valores perdidos con la sentencia MISSING ............................Seleccionando información por grupos: sentencia BY................................Seleccionando variables de frecuencias: sentencia FREQ ...........................Seleccionando variables de pesos: sentencia WEIGTH...............................Seleccionando variables de identificación: Sentencia ID.............................

Operadores para la selección en SAS ...............................................................Operadores aritméticos.................................................................................Operadores de comparación :;......................Operadores lógicos o booleanos...................................................................Operadores MIN, MAX y .concatenación....................................................Orden de evaluación de los operadores en las expresiones ..........................

Funciones de generación de números aleatorio s en SAS .................................Cálculos con funciones en SAS........................................................................

IX

139140140143145148149

151

151

152161164

164168

168174174175175176176176177177177180180180182183184184185185186187188189191

x MINERíA DE DATOS. TÉCNICAS Y HERRAMIENTAS

Capítulo 7. Fase de exploración en minería de datos ............................................

Exploración en el proceso de extracción del conocimiento .............................

Análisis exploratorio : """""""""""""""',

Herramientas de exploración .visual................................................................Histograma de frecuencias ...........................................................................Diagrama de tallo y hojas .............................................................................Gráfico de caja y bigotes ..............................................................................Gráfico múltiple de caja y bigotes.................................................................Gráfico de simetría .......................................................................................

Gráfico de dispersión ,................................................Gráficos para variables cualitativas :..............................................

Herramientas de exploración formal................................................................Contrastes de la bondad de ajuste a una distribución: Test de la Chi-cuadrado....Contraste de Kolmogorov-Smimov Lilliefors de la bondad de ajuste

a una distribución .....................................................................................Estadísticos robustos de centralización ........................................................Estadísticos robustos de dispersión ..............................................................Estadísticos robustos de asimetría y curtosis................................................Contrastesde aleatoriedad............................................................................

Transformaciones de las variables....................................................................Supuestos subyacentes en las técnicas de minería de datos .............................

Normalidad...................................................................................................Heteroscedasticidad. .......................Multicolinealidad ,....................Autocorrelación ............................................................................................Linealidad.....................................................................................................

Un ejemplo .......................................................................................................

Capítulo 8. Fase de exploración en SAS Enterprise Miner ySPSS Clementine ,....................

La fase de exploración en Enterprise Miner.....................................................El nodo Explorador de .distribuciones.........................................................El nodo Multigráficos...................................................................................El nodo de exploración de patrones """""""""""""""""""""""""""""'"

La fase de exploración en SPSS Clementine....................................................El nodo Gráfico """"""""""""""""""""""""""'".....................................El nodo Distribución ....................................................................................El nodo Histograma .....................................................................................El nodo Malla ...............................................................................................El nodo Malla Direccional...........................................................................

El nodo Gráfico Múltiple .............................................................................El nodo Recolectar """"""""""""""'"

193

193194194195196198199201203205207208

209211212214216220221221225227227228230

239

239239243250266267270271273274275276

Capítulo 9. Fase de e:

Análisis exploratorio (Gráficos de análisis e)

Tipos de gráficos ...Histogramas...........Gráficos de normal

Gráficos de caja y tGráficos de dispers

Gráficos interactivos ~

Creación interactiv:Gráficos interactiv(

Histogramas interalDiagramas interact

Análisis exploratorioContraste de aleato

Contraste de ajustePrueba de Kolm

Análisis exploratorio eGráficos de análisise

Gráficos exploratoJGráficos exploratoGráficos explorato

Capítulo 10. Fases d

Limpieza y transfomdel conocimiento.

Valores atípicos (OUlInformación faltante

Soluciones para lode información

Transformación de d

Transponer, fusiorPonderar casos y ePareamiento o ma¡

Transformación de d

Componentes prinAnálisis factoria!..

L-

~

íNDICE XI

Capítulo 9. Fase de exploración en SPSS y SAS............................................

Análisis exp1oratorio de datos con SPSS. Procedimiento Explorar.................Gráficos de análisis exploratorio con SPSS .....................................................

Tipos de gráficos ..........................................................................................Histogramas..................................................................................................Gráficos de normalidad ................................................................................Gráficos de caja y bigotes ............................................................................Gráficos de dispersión ..................................................................................

Gráficos interactivos dinámicos de análisis exploratorio con SPSS ................Creación interactiva de gráficos a partir de tablas........................................Gráficos interactivos de caja y bigotes.........................................................Histogramas interactivos """""""""""""""""""""""""""........................

Diagramas interactivos de dispersión...........................................................Análisisexploratorio formal con SPSS """"""""""""""""""""""""""""""

Contraste de aleatoriedad. Procedimiento Prueba de rachas ......................Contraste de ajuste a una distribución de frecuencias. Procedimiento

Prueba de Kolmogorov-Smirnov..............................................................Análisis exploratorio de los datos con SAS Base. Procedimiento Univariate ......Gráficos de análisis exploratorio con SAS .......................................................

Gráficos exploratorios de alta resolución. Procedimiento GCHART...........Gráficos exploratorios de mapas: Procedimiento GMAP ............................Gráficos exploratorios de caja y bigotes: Procedimiento BOXPLOT ..........

Capítulo 10. Fases de limpieza y transformación de datos ............................

Limpieza y transformación de datos en el proceso de extraccióndelconocimiento """"""""""""""""""

Valores atípicos (Outliers) ...............................................................................Información faltante (Datos missing) :.....................................................

Soluciones para los datos ausentes: Supres~ón de datos e imputaciónde información faltante ~,................................................

Transformación de datos ..................................................................................

Transponer, fusionar, agregar, segmentar y ordenar atchivos......................Ponderar casos y categorizar y numerizar variables.....................................Pareamiento o matching ...............................................................................

Transformación de datos mediante técnicas de reducción de la dimensión .....,Componentes principales .............................................................................Análisis factorial """""""""""""""""""""'"

277

277282282283283286288290297298299301303303

304305318318322328

333

333333337

343346346347348349350357

.............. 193

193194194195196198199201203205207

drado.... 208e

209211212214216220221221225227227228230

239

239,.......... 239

t......... 243250266267270271273274275276

XII MINERíA DE DATOS. TÉCNICAS Y HERRAMIENTAS

Capítulo 11. Las fases de limpieza y transformación de datos enSASEnterprise Miner y SPSS Clementine.................................................

Lasfasesde limpiezay transformaciónde datosen EnterpriseMiner ~.

El nodo Transformación de variables ..........................................................El nodo Asignación de atributos ".....................Tratamiento de los datos atípicos con el nodo Filtro de Outliers ................El nodo Imputación de datos .missing..........................................................El nodo Exploración de patrones para Componentes Principales ...............

Lasa fases de limpieza y transformación de datos en Clementine ...................El nodo Seleccionar......................................................................................

El nodo Muestra para procesos de muestreo................................................El nodo Combinar para procesos de matching ,.El nodo Equilibrar........................................................................................El nodo Ordenar...........................................................................................

El nodo Agregar para calcular estadísticos por subgrupos ..........................El nodo Distinguir "..................................El nodo Añadir para concatenación de archivos ..........................................El nodo Filtrar..............................................................................................

El nodo Derivar para transformación de variables.......................................El nodo Tipo para asignar atributos a variables............................................El nodo Rellenar para imputación de datos missing ....................................El nodo Factor/PCA para Análisis Factorial y Componentes Principales...

Capítulo 12. Fases de limpieza y transformación de datos en SPSS y SAS..

Técnicas de reducción de la dimensión en SPSS Base.....................................

Componentes principales con SPSS.............................................................Análisis factorial con SPSS ..........................................................................

Transformación de datos en SPSS Base...........................................................Transformación de valores de datos .............................................................Remodificación de variables "..............Ordenar casos ...............................................................................................

Transponer, fusionar, agregar y segmentar archivos. Matching ..................Ponderar casos "...........

Categorizar variables: Categorizador visuaL................................................Asignar rangos a casos y tipificar variables .................................................

SPSS y el análisis de datos missing. Imputación..............................................Reemplazar valores perdidos........................................................................

Detección de valores atípico s en SPSS ............................................................Detección de casos atípico s mediante gráficos de control...........................Detección de casos atípicos mediante gráficos de caja y bigotes.................

Técnicas de reducción de la dimensión en SAS STAT ....................................

~

Componentes prinl365 Procedimiento 1

Análisis factorial e

365 Transformación de d:

365 Operaciones con ti

371 Actualizando ficht

378Añadir informació

384 Tipificación de da'

393400 Capítulo 13. Fase de402404 Técnicas de minena405 Técnicas predictivas407 Modelo de regresión408 Estimación del mI409 Estimación del mi411 del cálculo mat411 Análisis de la var412 Predicciones........413 Análisis de los re:415 Técnicas de selec416 Modelos de elecciól417 Modelos de elecc

regresión logís427 Modelos de elecc

Modelo lineal genel

427 Clasificación ad ho,

428 Hipótesis en el ID

439Estimación del ID

447Clasificación me,

447449 Capítulo 14. Técni.451 SAS Enterprise j

451458 Técnicas predictiva459 El nodo Regress¡462 El nodo Regressi463 El nodo Regressí469 Técnicas predictiva470 El nodo RegresÜ470 El nodo RegresÜ472475

tos en""""""""""""'" .

¡seMiner """"""

............................

""""""""""""" .

lutliers """"""""

...........................

lcipales ...............1tine """"""""'"...........................""""""""""""'"

...........................

...........................""""""""""""'"

"""""""""""""

...........................

""""""""""""'"

...........................

...........................""""""""""""'"

""""""""""""'"

tes Principales...

~nSPSSySAS..

""""""""""""'"

""""""""""""'"

...........................

""""""""""""'"

...........................

"""""""""""""

...........................

~ing """""""""

"""""""""""""

""""""""""""',

"""""""""""""

..........................

"""""""""""""

"""""""""""""

"""""""""""""

gotes................."""""""""""""

365

365

365 ,371378384393400402404405407408409411411412413415416417

427

427428439447447449451451458459462463469470470472475

r-

íNDICE XIII

475482487487489491494

Componentes principales en SAS. Procedimiento PRlNCOMP yProcedimiento FACTOR ..........................................................................

Análisis factorial en SAS. Procedimiento FACTOR ....................................Transformación de datos en SAS Base ............................................................

Operaciones con ficheros: Concatenación y Matching ................................Actualizando ficheros de datos SAS """"""""""""""""""""""""""""""

Añadir información. Procedimiento APPEND.............................................

Tipificación de datos: Procedimiento STANDARD......................................

Capítulo 13. Fase de minería de datos. Técnicas predictivas de modelización ...

Técnicas de minería de datos propiamente dichas ...........................................Técnicas predictivas para la modelización.......................................................Modelo de regresión múltiple...........................................................................

Estimación del modelo lineal de regresión múltiple """"""""""""""""""

Estimación del modelo, contrastes e intervalos de confianza a travésdel cálculo matricial .................................................................................

Análisis de la varianza en el modelo de regresión múltiple .........................Predicciones..................................................................................................Análisis de los residuos ................................................................................

Técnicas de selección en el modelo de regresión.........................................Modelos de elección discreta ...........................................................................

Modelos de elección discreta binaria: Modelo lineal de probabilidad yregresión logística binaria ........................................................................

Modelos de elección múltiple: Modelo Logit Multinomial .........................Modelo lineal general de regresión múltiple (GLM) .......................................Clasificaciónad hoc: Análisis discriminante """"""""""""""""""""""""'"

Hipótesis en el modelo discriminante...........................................................Estimación del modelo discriminante """""""""""""""""""""""""""""

Clasificación mediante el modelo discriminante..........................................

Capítulo 14. Técnicas predictivas tie modelización conSAS Enterprise Miner y SPSS Clementine.................................................

Técnicas predictivas de modelización con SAS Enterprise Miner...................El nodo Regression: Modelo de regresión múltiple .....................................El nodo Regression: Modelo lineal general GLM........................................El nodo Regression: Modelo de elección discreta Logit y Probit ................

Técnicas predictivas de modelización con SPSS Clementine..........................El nodo Regresión Lineal: Modelo de regresión múltiple............................El nodo Regresión Logística: Modelos de elección discreta .......................

497

497498504505

506507510511512513

514519521521522523525

529

529530538551554555561

XIV MINERíA DE DATOS. TÉCNICAS Y HERRAMIENTAS

Capítulo 15. Técnicas predictivas de modelización con SAS y SPSS """"""

El modelo lineal general con SAS. Procedimiento GLM.................................Modelos del análisis deJa varianza y la covarianza con SAS..........................Modelo de elección discreta en SAS :

Modelo Logit: Procedimiento LOGISTIC....................................................Modelo Probit: Procedimiento PROBIT ......................................................

SAS y el análisis discriminante: Procedimiento DISCRIM .............................El modelo lineal general con SPSS. Procedi¡niento MLG Multivariante ........Modelo de elección discreta en SPSS """""","""""""""""""""""""""""""

Modelo Logit: Procedimiento LOGISTICA MULTINOMIAL......................Modelo Probit: Procedimiento PROBIT :..............................................

SPSS y el análisis discriminante.......................................................................

Capítulo 16. Técnicas descriptivas y predictivas de clasificación.C/usters y árboles de decisión .....................................................................

11

El análisis cluster como técnica descriptiva de clasificación ...........................Medidas de similitud """"""""""""""""""""""""""""............................Técnicas en el análisis cluster ......................................................................

Clusters jerárquicos, secuenciales, aglomerativos y exclusivos (S.A.H.N.) .....El dendograma en el análisis cluster jerárquico ...........................................Análisis cluster no jerárquico .......................................................................

Los árboles de decisión como técnica predictiva de clasificación ...................Características de los árboles de decisión ....................................................

Herramientas para el trabajo con árboles de decisión :.....................Árboles CHAID............................................................................................Árboles CART..............................................................................................Árboles QUEST """""""""""""""""""""""""""'"..................................

Análisis de conglomerados y árboles de decisión como métodosde segmentación ...........................................................................................

Capítulo 17. Clusters y árboles de decisión con SAS Enterprise Minery SPSS Clementine ......................................................................................

Análisis cluster con Enterprise Miner. El nodo Clustering..............................Árboles de decisión con Enterprise Miner. El nodo Tree ................................

Entrenamiento interactivo (Interactive Training) ........................................Análisis cluster con SPSS Clementine .............................................................

El nodo Entrenar K-medias: Cluster no jerárquico......................................El nodo Cluster Bietápico: Cluster jerárquico """""""""""""""""""""'"

Árboles de decisión con SPSS Clementine ......................................................El nodo Crear C5.0 ......................................................................................

El nodo Arbol C&R """"""""""""""""""""",""""""""............................

565

565571574574579581585593593599601

609

609610614616617617621622626627628630

631

633

633641652656656661662662664

~

Capítulo 18. Clusters

SPSS y el análisis c/uSPSS y el análisis c/uSAS y el análisis clus

Procedimiento AOProcedimiento CLIProcedimiento TRl

SAS y el análisis c1usÁrboles de decisión (

Creación de un árb

Métodos CRT y Q

Capítulo 19. Redesn

Descripción de una fIDefinición............Función de salida:

Redes neuronales y aAprendizaje en las reFuncionamiento de u

El algoritmo de apre]Análisis discriminanAnálisis de series terAnálisis de componeClustering mediante

Capítulo 20. Redes I

y SPSS ClementÍl

Redes neuronales ca

Optimización y ajAnálisis en comp<

Nodo PrincomlPredicción y análi

Nodo Two Sta!Análisis cluster CI

Redes neuronales ccNodo Entrenar reNodo Entrenar K,Nodo Entrenar K

Índice alfabético ...,

...

íNDICE XV

665Capítulo 18. Clusters y árboles de decisión con SAS y SPSS ........................

SPSS y el análisis cluster jerárquico ................................................................SPSSy el análisis cluster no jerárquico """"""""""""""""""""""""""""'"

SASy el análisis cluster jerárquico :.........................................................ProcedimientoACECLUS """""""""""

Procedimiento CLUSTER.............................................................................Procedimiento TREE """""""""""""""""""""""""""""..........................

SAS y el análisis cluster no jerárquico .............................................................Árboles de decisión (o clasificación) con SPSS...............................................

Creación de un árbol de decisión: Método CHAID .....................................Métodos CRT y QUEST. Poda de árboles """"""""""""""""""""""""'"

Capítulo 19. Redes neuronales........................................................................

Descripción de una red neuronal......................................................................Definición.....................................................................................................Función de salida y funciones de transferencia o activación .......................

Redes neuronales y ajuste de modelos de regresión.........................................Aprendizaje en las redes neuronales.................................................................Funcionamientode una red neuronal """"""""""""""""""""""""""""""'"

El algoritmo de aprendizaje Retropropagación (Back-Propagation)...............Análisis discriminante a través del Perceptrón.................................................Análisisde series temporales mediante redes neuronales """"""""""""""""

Análisis de componentes principales con redes neuronales .............................Clustering mediante redes neuronales..............................................................

Capítulo 20. Redes neuronales con SAS Enterprise Minery SPSS Clementine ......................................................................................

Redes neuronales con SAS Enterprise Miner...................................................Optimización y ajuste de modelos con redes: Nodo Neural Network ..........Análisis en componentes principales a través de redes neuronales:

Nodo Princomp/Dmneural ,...................................................Predicción y análisis discriminante a través de redes neuronales:

Nodo Two Stage Model............................................................................Análisis cluster con redes neuronales: Nodo SOM/Kohonen .......................

Redes neuronales con SPSS Clementine..........................................................Nodo Entrenar red ,...................Nodo Entrenar Kohonen ..............................................................................NodoEntrenar K-medias..............................................................................

Índice alfabético ..............................................................................................

665671675675677678681687689695

699

699699701703704707708709713715717

721

721722

745

751756765765769771

775

IS............ 565

""""""'" 565............... 571............... 574""""""'" 574

""""""'" 579

""""""'" 581

'lnte """" 585

............... 593""""""'" 593............... 599""""""'" 601

............... 609

""""""'" 609............... 610""""""'" 614

H.N.)..... 616............... 617"............. 617"............. 621""""""" 622.............. 626.............. 627""""""" 628.............. 630

""""""" 631

iner.............. 633

1............. 633.............. 641.............. 652""""""" 656""""""" 656.............. 661.............. 662............. 662............. 664