Procesamiento de lenguaje natural de textos...
Transcript of Procesamiento de lenguaje natural de textos...
![Page 1: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/1.jpg)
Dr. Horacio R. Granero
1
Procesamiento de lenguaje
natural de textos jurídicos
Horacio R. Granero Pablo Andribet
![Page 2: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/2.jpg)
¿Un mundo sin abogados…?
![Page 3: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/3.jpg)
¿Un mundo sin abogados…?
• Los clientes están
– bajo una importante presión para reducir los
gastos en abogados.
– tienen cada vez más trabajo legal que nunca y
un mayor riesgo.
• El reto de la profesión es
ofrecer un mejor servicio
a un menor costo…
![Page 4: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/4.jpg)
4
![Page 5: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/5.jpg)
Los Sistemas Expertos
• Si bien no es técnicamente imposible desarrollar un sistema que contemple los distintos presupuestos legales y jurisprudenciales, el tiempo de construcción y los costos del mismo serían desmesurados.
• En el caso de los “sistemas expertos” la verdad está siempre dada en las reglas que el ingeniero del conocimiento le haya incluido.
![Page 6: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/6.jpg)
![Page 7: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/7.jpg)
Mis dos deseos en el Louvre
![Page 8: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/8.jpg)
El sueño de Hammurabi
![Page 9: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/9.jpg)
Hammurabi y la Inteligencia
Artificial Modelización Estadística de un Ordenamiento Legislativo
Sobre la base del Código de Hammurabi
IV Congreso Iberoamericano de Informática y Derecho,
Reformulación del Derecho y la Seguridad Jurídica,
Bariloche, Argentina en Mayo de 1994
(Horacio R. Granero en conjunto con el científico Joza Vrljicak)
Se postuló la posibilidad de inferir, sobre la base del análisis de las
266 “sentencias” o “leyes” hoy día comprobables de las 282 originalmente escritas el contenido de las 16 de éstas que se
encuentran perdidas
Para ello se tuvo en cuenta que 37 leyes de las 282 comprobables
se refieren a condenas con pena de muerte (PDM)
![Page 10: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/10.jpg)
Hammurabi y la Inteligencia Artificial
• Desarrollo:
– Primer paso : Se contabilizaron 9464 palabras, de las cuales 1225 son distintas.
– Segundo paso: Se analizaron las palabras que pertenecían al contexto PDM, que regula 37 casos diferentes (rapto, violación, incesto, asesinato, robo, malversación de fondos, cobardía en la guerra, mala praxis, etc)
• Ley 229: “Si un arquitecto hizo una casa para otro, y no la hizo sólida, y si la casa que hizo se derrumbó y ha hecho morir al propietario de la casa, el arquitecto será muerto” .
![Page 11: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/11.jpg)
Hammurabi y la Inteligencia Artificial
– Tercer paso: Se amplió la búsqueda a palabras cercanas
Cuarto paso: Se analizaron las correlaciones de PDM con
otras palabras del Código, estudiándolas de a pares:
40 (mata * o muer*) 0,651500
18 muerte 0,466884
7 arrojará 0,341125
…
30 huerto 0,101689
![Page 12: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/12.jpg)
Hammurabi y la Inteligencia Artificial
• Quinto paso: Se efectuó la estimación de funciones estadísticas utilizando el método de “mínimos cuadrados ordinarios” – La “variable dependiente” (VD) es la PDM
– Las variables que ayudan a “explicar” el comportamiento de la VD son las “variables independientes” (VI)
– Las VD se determinaron
• PDM ………………… 1,00
• Ordalía de agua……. 0,50
• Ordalías dudosas….. 0,75
![Page 13: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/13.jpg)
Hammurabi y la Inteligencia Artificial
–Ley 92 Si un negociante prestó a interés trigo o dinero y tomó el interés en su total en trigo o plata y pretende que no recibió ese dinero en trigo o plata….
13
![Page 14: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/14.jpg)
Hammurabi y la Inteligencia Artificial
• Resultado :
– Fue posible estimar una ecuación con grados de significación aceptables (r-cuadrado > 0,5) para relacionar conceptos en una base textual
– Los ejercicios de validación -como la retro simulación- demostraron buenos niveles de efectividad .
– El modelo “predijo” la PDM en 262 casos de las 266 casos de PDM reales (98,5 %)
– En el caso de la Ley 92 indicó
• Si un negociante prestó a interés trigo o dinero y tomó el interés en su total en trigo o plata y pretende que no recibió ese dinero en trigo o plata … no corresponde la pena de muerte.
![Page 15: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/15.jpg)
15
![Page 16: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/16.jpg)
![Page 17: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/17.jpg)
![Page 18: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/18.jpg)
? !
Procesamiento de lenguaje natural de textos jurídicos
![Page 19: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/19.jpg)
A
Natural Language Classifier (NLC)
Desarrollamos una aplicación que funcionara desde nuestro sitio
utilizando la tecnología .NET C#
La aplicación permitía ingresar preguntas relacionadas con la
Liquidación Laboral.
La aplicación respondía con las operaciones relacionadas con la
pregunta realizada.
![Page 20: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/20.jpg)
A
Natural Language Classifier (NLC)
Desarrollamos una aplicación que funcionara desde nuestro sitio
utilizando la tecnología .NET C#
La aplicación permitía ingresar preguntas relacionadas con la
Liquidación Laboral.
La aplicación respondía con las operaciones relacionadas con la
pregunta realizada.
B
Natural Language Understanding
(NLU) (Ex-Alchemy)
Discovery (Ex-Alchemy)
![Page 21: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/21.jpg)
A
Natural Language Classifier (NLC)
Desarrollamos una aplicación que funcionara desde nuestro sitio
utilizando la tecnología .NET C#
La aplicación permitía ingresar preguntas relacionadas con la
Liquidación Laboral.
La aplicación respondía con las operaciones relacionadas con la
pregunta realizada.
B
Natural Language Understanding
(NLU) (Ex-Alchemy)
Discovery (Ex-Alchemy)
C
Generamos una aplicación en .NET C# que envía
la pregunta a NLU y realimenta los resultados,
junto con la pregunta en Discovery.
![Page 22: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/22.jpg)
A
Natural Language Classifier (NLC)
Desarrollamos una aplicación que funcionara desde nuestro sitio
utilizando la tecnología .NET C#
La aplicación permitía ingresar preguntas relacionadas con la
Liquidación Laboral.
La aplicación respondía con las operaciones relacionadas con la
pregunta realizada.
B
Natural Language Understanding
(NLU) (Ex-Alchemy)
Discovery (Ex-Alchemy)
C
Generamos una aplicación en .NET C# que envía
la pregunta a NLU y realimenta los resultados,
junto con la pregunta en Discovery.
D
Etapa actual - Arquitectura de Sherlock
Legal: Primer módulo
Analizamos la pregunta y extraemos toda la información
lingüística necesaria.
Tomando la información de la pregunta se selecciona una
lista de documentos en la base de datos que tienen más
probabilidades de contener la respuesta.
Verificamos contra un modelo entrenado por Naive
Bayes si la lista de documentos es la más pertinente.
![Page 23: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/23.jpg)
A
Etapa actual: Arquitectura de Sherlock Legal
Segundo módulo
Recibe la pregunta junto con los ids de los
documentos.
Los documentos, que fueron previamente pre-
procesados,
se analizan buscando el/los fragmento/s que más se
acerquen
a la respuesta.
Se analiza, en el caso de preguntas fácticas si el/los
fragmentos seleccionados responden por Si o por No.
![Page 24: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/24.jpg)
A
Etapa actual: Arquitectura de Sherlock Legal
Segundo módulo
Recibe la pregunta junto con los ids de los
documentos.
Los documentos, que fueron previamente pre-
procesados,
se analizan buscando el/los fragmento/s que más se
acerquen
a la respuesta.
Se analiza, en el caso de preguntas fácticas si el/los
fragmentos seleccionados responden por Si o por No.
B
![Page 25: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/25.jpg)
A
Etapa actual: Arquitectura de Sherlock Legal
Segundo módulo
Recibe la pregunta junto con los ids de los
documentos.
Los documentos, que fueron previamente pre-
procesados,
se analizan buscando el/los fragmento/s que más se
acerquen
a la respuesta.
Se analiza, en el caso de preguntas fácticas si el/los
fragmentos seleccionados responden por Si o por No.
B C
![Page 26: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/26.jpg)
A
Etapa actual: Arquitectura de Sherlock Legal
Segundo módulo
Recibe la pregunta junto con los ids de los
documentos.
Los documentos, que fueron previamente pre-
procesados,
se analizan buscando el/los fragmento/s que más se
acerquen
a la respuesta.
Se analiza, en el caso de preguntas fácticas si el/los
fragmentos seleccionados responden por Si o por No.
B C D
![Page 27: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/27.jpg)
![Page 28: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/28.jpg)
![Page 29: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/29.jpg)
![Page 30: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/30.jpg)
![Page 31: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/31.jpg)
![Page 32: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/32.jpg)
![Page 33: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/33.jpg)
![Page 34: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/34.jpg)
![Page 35: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/35.jpg)
![Page 36: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/36.jpg)
![Page 37: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/37.jpg)
![Page 38: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/38.jpg)
![Page 39: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/39.jpg)
![Page 40: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/40.jpg)
![Page 41: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/41.jpg)
![Page 42: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados](https://reader034.fdocumento.com/reader034/viewer/2022042213/5eb8bc800827eb4469494adb/html5/thumbnails/42.jpg)
42