PLN Tagging1 Tagging POS Tagging Taggers basados en reglas Taggers estadísticos Otras...
-
Upload
ana-maria-gutierrez-escobar -
Category
Documents
-
view
223 -
download
0
Transcript of PLN Tagging1 Tagging POS Tagging Taggers basados en reglas Taggers estadísticos Otras...
![Page 1: PLN Tagging1 Tagging POS Tagging Taggers basados en reglas Taggers estadísticos Otras aproximaciones.](https://reader036.fdocumento.com/reader036/viewer/2022062315/5665b4ad1a28abb57c9320c3/html5/thumbnails/1.jpg)
PLN Tagging 1
Tagging
• POS Tagging• Taggers basados en reglas• Taggers estadísticos• Otras aproximaciones
![Page 2: PLN Tagging1 Tagging POS Tagging Taggers basados en reglas Taggers estadísticos Otras aproximaciones.](https://reader036.fdocumento.com/reader036/viewer/2022062315/5665b4ad1a28abb57c9320c3/html5/thumbnails/2.jpg)
PLN Tagging 2
POS Tagging: … problema
Yo bajo con el hombre bajo a
tocar el bajo bajo la escalera .
PP VMVMAQNCSP
TD NC
VMVM
SP VMVMAQNCSP
NCSP
TD VMVMAQNCSP
VMVMAQNCSP
TDNCPP
NC FP
Las palabras, tomadas en forma aislada, son ambiguas respecto a su categoría
![Page 3: PLN Tagging1 Tagging POS Tagging Taggers basados en reglas Taggers estadísticos Otras aproximaciones.](https://reader036.fdocumento.com/reader036/viewer/2022062315/5665b4ad1a28abb57c9320c3/html5/thumbnails/3.jpg)
PLN Tagging 3
pero ...
Yo bajo con el hombre bajo a
tocar el bajo bajo la escalera .
PP VMVMAQNCSP
TD NC
VMVM
SP VMVMAQNCSP
NCSP
TD VMVMAQNCSP
VMVMAQNCSP
TDNCPP
NC FP
La categoría de la mayoría de las palabras no es ambigua dentro de un contexto
![Page 4: PLN Tagging1 Tagging POS Tagging Taggers basados en reglas Taggers estadísticos Otras aproximaciones.](https://reader036.fdocumento.com/reader036/viewer/2022062315/5665b4ad1a28abb57c9320c3/html5/thumbnails/4.jpg)
PLN Tagging 4
solución
El objetivo de un desambiguador (tagger) es el de asignar a cada palabra la categoría más "apropiada", dentro de un contexto
desambiguador morfosintáctico (Pos tagger)
• Basados en reglas
• Estadísticos
• Híbridos
![Page 5: PLN Tagging1 Tagging POS Tagging Taggers basados en reglas Taggers estadísticos Otras aproximaciones.](https://reader036.fdocumento.com/reader036/viewer/2022062315/5665b4ad1a28abb57c9320c3/html5/thumbnails/5.jpg)
PLN Tagging 5
Taggers
W = w1 w2 … wn cadena de palabrasT = t1 t2 …tn cadena de etiquetas
Para cada palabra wi sólo algunas de las etiquetas son válidas (excepto las palabrasdesconocidas). Podemos obtenerlas a partir de undiccionario o de un analizador morfológico.f : W T = f(W)
![Page 6: PLN Tagging1 Tagging POS Tagging Taggers basados en reglas Taggers estadísticos Otras aproximaciones.](https://reader036.fdocumento.com/reader036/viewer/2022062315/5665b4ad1a28abb57c9320c3/html5/thumbnails/6.jpg)
PLN Tagging 6
Taggers Basados en reglas 1
• Utilización de conocimiento lingüístico (knowledge-driven taggers)
• Construcción (normalmente) manual de las reglas
• Número limitado ( 1000) de reglas
• Modelos del lenguaje y generalizaciones establecidos de forma explícita
![Page 7: PLN Tagging1 Tagging POS Tagging Taggers basados en reglas Taggers estadísticos Otras aproximaciones.](https://reader036.fdocumento.com/reader036/viewer/2022062315/5665b4ad1a28abb57c9320c3/html5/thumbnails/7.jpg)
PLN Tagging 7
Taggers Basados en reglas 2
• TAGGIT, Green,Rubin,1971• TOSCA, Oosdijk,1991• Constraint Grammars, EngCG, Voutilainen,1994, Karlsson et al, 1995• AMBILIC, de Yzaguirre et al,2000
Reglas motivadas lingüísticamente
Alta precisión ej. EngCG 99.5%
– Alto coste de desarrollo
– No transportable
– mayor coste de etiquetado
![Page 8: PLN Tagging1 Tagging POS Tagging Taggers basados en reglas Taggers estadísticos Otras aproximaciones.](https://reader036.fdocumento.com/reader036/viewer/2022062315/5665b4ad1a28abb57c9320c3/html5/thumbnails/8.jpg)
PLN Tagging 8
ejemplo: Constraint Grammars
• Una CG consiste en una secuencia de subgramáticas cada una de las cuales consiste en una serie de restricciones (constraints) que establecen condiciones de contexto• ej. (@w =0 VFIN (-1 TO))
• descarta la categoría VFIN si la palabra anterior es “to”
• ENGCG• ENGTWOL
• desambiguación morfosintáctica reduccionisa• 1100 constraints
• 93-97% de las palabras quedan totalmente desambiguadas
• 99.7% corrección
• reglas heurísticas aplicables sobre el residuo• 2-3% ambigüedad residual con 99.6% de precisión
• CG sintáctica
![Page 9: PLN Tagging1 Tagging POS Tagging Taggers basados en reglas Taggers estadísticos Otras aproximaciones.](https://reader036.fdocumento.com/reader036/viewer/2022062315/5665b4ad1a28abb57c9320c3/html5/thumbnails/9.jpg)
PLN Tagging 9
Taggers Estadísticos 1
• Modelos del lenguaje y generalizaciones adquiridos automáticamente (a partir de corpus)
• Data-driven taggers
• Uso de inferencia estadística
• Técnicas procedentes del tratamiento del habla
![Page 10: PLN Tagging1 Tagging POS Tagging Taggers basados en reglas Taggers estadísticos Otras aproximaciones.](https://reader036.fdocumento.com/reader036/viewer/2022062315/5665b4ad1a28abb57c9320c3/html5/thumbnails/10.jpg)
PLN Tagging 10
Taggers Estadísticos 2
• CLAWS, Garside et al, 1987• De Rose, 1988• Church, 1988• Cutting et al,1992• Merialdo, 1994
Marco teórico bien fundamentado
Aproximación clara. Modelos simples.
Precisión aceptable > 97%
Independencia de la lengua
– Aprendizaje del modelo
– Sparseness
– Menor precisión
![Page 11: PLN Tagging1 Tagging POS Tagging Taggers basados en reglas Taggers estadísticos Otras aproximaciones.](https://reader036.fdocumento.com/reader036/viewer/2022062315/5665b4ad1a28abb57c9320c3/html5/thumbnails/11.jpg)
PLN Tagging 11
Taggers Estadísticos 3
• Modelos del lenguaje de tipo N-gram• suavizado (smoothing)
• interpolación
• Modelos ocultos de Markov (HMM)
• Aprendizaje supervisado• ML (maximum likelihood)
• Aprendizaje semi-supervisado• Forward-Backward, Baum-Welch (EM
Expectation Maximization)
Charniak, 1993Jelinek, 1998Manning, Schütze, 1999
![Page 12: PLN Tagging1 Tagging POS Tagging Taggers basados en reglas Taggers estadísticos Otras aproximaciones.](https://reader036.fdocumento.com/reader036/viewer/2022062315/5665b4ad1a28abb57c9320c3/html5/thumbnails/12.jpg)
PLN Tagging 12
Aplicación al tagging
• Las palabras se clasifican en función de sus etiquetas morfosintácticas• modelo 1-grama
• MLE si se dispone de corpus etiquetado (desambiguado)
• EM si no es así• Problema de la sparseness
![Page 13: PLN Tagging1 Tagging POS Tagging Taggers basados en reglas Taggers estadísticos Otras aproximaciones.](https://reader036.fdocumento.com/reader036/viewer/2022062315/5665b4ad1a28abb57c9320c3/html5/thumbnails/13.jpg)
PLN Tagging 13
ejemplo: Tagger basado en 3-gram
n
kkkkkk
nntt
twPtttP
wwttPn
112
11
)|(),|(
),,|,,( maxarg1
Probabilidad contextual(trigrams)
Probabilidadléxica
![Page 14: PLN Tagging1 Tagging POS Tagging Taggers basados en reglas Taggers estadísticos Otras aproximaciones.](https://reader036.fdocumento.com/reader036/viewer/2022062315/5665b4ad1a28abb57c9320c3/html5/thumbnails/14.jpg)
PLN Tagging 14
Taggers basados en modelos más complejos 1
• Transformaciones guiadas por los errores (Transformation-based, error-driven)• sistema híbrido: basado en reglas adquiridas
semi-automáticamente
• Máxima Entropía• Combinación de varias fuentes de
conocimiento
• No se asume independencia
• Admite gran número de parámetros (ej. rasgos léxicos)
Brill, 1995Roche,Schabes, 1995
Ratnaparkhi, 1998,Rosenfeld, 1994Ristad, 1997
![Page 15: PLN Tagging1 Tagging POS Tagging Taggers basados en reglas Taggers estadísticos Otras aproximaciones.](https://reader036.fdocumento.com/reader036/viewer/2022062315/5665b4ad1a28abb57c9320c3/html5/thumbnails/15.jpg)
PLN Tagging 15
ejemplo: Tagger de Brill
• Basado en reglas de transformación que solucionan los errores producidos por un tagger inicial de tipo HMM
• regla• cambiar la etiqueta A por la etiqueta B cuando ...
• cada regla corresponde a la instanciación de una templeta
• templetas• la palabra anterior (siguiente) está etiquetada con Z
• alguna de las dos palabras anteriores (siguientes) está etiquetada con Z
• la palabra anterior está etiquetada con Z y la siguiente con W
• ...
• Aprendizaje de las variables A,B,Z,W a base de un proceso iterativo que escoge en cada iteración la regla (la instanciación) que más errores corrige
![Page 16: PLN Tagging1 Tagging POS Tagging Taggers basados en reglas Taggers estadísticos Otras aproximaciones.](https://reader036.fdocumento.com/reader036/viewer/2022062315/5665b4ad1a28abb57c9320c3/html5/thumbnails/16.jpg)
PLN Tagging 16
Taggers basados en modelos más complejos 2
• Árboles de decisión• Aprendizaje supervisado
• ej. TreeTagger
• Aprendizaje basado en casos (Case-based, Memory-based Learning)• IGTree
• Aprendizaje por relajación• Restricciones (constraints) de tipo
estadístico o lingüístico
• ej. RELAX
Black,Magerman, 1992Magerman 1996Màrquez, 1999Màrquez, Rodríguez, 1997
TiMBLDaelemans et al, 1996
Padrò, 1997
![Page 17: PLN Tagging1 Tagging POS Tagging Taggers basados en reglas Taggers estadísticos Otras aproximaciones.](https://reader036.fdocumento.com/reader036/viewer/2022062315/5665b4ad1a28abb57c9320c3/html5/thumbnails/17.jpg)
PLN Tagging 17
ejemplo: TreeTagger (Màrquez)
raiz
P(IN)=0.81P(RB)=0.19Word Form
hoja
P(IN)=0.83P(RB)=0.17tag(+1)
P(IN)=0.13P(RB)=0.87tag(+2)
P(IN)=0.013P(RB)=0.987
“As”,“as”
RB
IN
otros
otros
...
...
ambigüedad IN/RBIN (preposición)RB (adverbio)
interpretación estadística:
P( RB | word=“A/as” & tag(+1)=RB & tag(+2)=IN) = 0.987
P( IN | word=“A/as” & tag(+1)=RB & tag(+2)=IN) = 0.013^
^
![Page 18: PLN Tagging1 Tagging POS Tagging Taggers basados en reglas Taggers estadísticos Otras aproximaciones.](https://reader036.fdocumento.com/reader036/viewer/2022062315/5665b4ad1a28abb57c9320c3/html5/thumbnails/18.jpg)
PLN Tagging 18
Tagging por combinación
• Combinación de modelos del lenguaje en un tagger• STT+
• RELAX
• Combinación de taggers mediante votación• aprendizaje mediante bootstrapping
• Combinación de clasificadores• bagging (Breiman, 1996)
• boosting (Freund, Schapire, 1996)
Màrquez, Rodríguez, 1998Màrquez, 1999Padrò, 1997
Màrquez et al, 1998
Brill, Wu, 1998Màrquez et al, 1999Abney et al, 1999
![Page 19: PLN Tagging1 Tagging POS Tagging Taggers basados en reglas Taggers estadísticos Otras aproximaciones.](https://reader036.fdocumento.com/reader036/viewer/2022062315/5665b4ad1a28abb57c9320c3/html5/thumbnails/19.jpg)
PLN Tagging 19
Viterbialgorithm
Taggedtext
Rawtext
Morphologicalanalysis
Language Model
Disambiguation
N-gramsLexicalprobs. ++
Contextual probs.
ejemplo: STT+ (Màrquez)
![Page 20: PLN Tagging1 Tagging POS Tagging Taggers basados en reglas Taggers estadísticos Otras aproximaciones.](https://reader036.fdocumento.com/reader036/viewer/2022062315/5665b4ad1a28abb57c9320c3/html5/thumbnails/20.jpg)
PLN Tagging 20
Relaxation Labelling
(Padró, 1996)
Taggedtext
Rawtext
Morphologicalanalysis
Language Model
Disambiguation
Linguisticrules
N-grams ++
Set of constraints
ejemplo:RELAX (Padró)
![Page 21: PLN Tagging1 Tagging POS Tagging Taggers basados en reglas Taggers estadísticos Otras aproximaciones.](https://reader036.fdocumento.com/reader036/viewer/2022062315/5665b4ad1a28abb57c9320c3/html5/thumbnails/21.jpg)
PLN Tagging 21
Medidas de la calidad del etiquetado
• nivel de la oración: porcentaje de oraciones etiquetadas correctamente
• f(W) = argmax p(T/W) T
• Algoritmo de Viterbi (esquema de P. dinámica)• Más sencillo de implementar• Más sencillo de interpretar lingüísticamente
• nivel de la palabra: porcentaje de palabras etiquetadas correctamente
• f(W)i = argmax p(ti/W)
T • Algoritmo ML (verosimilitud máxima)• Puede producir secuencias no gramaticales