Adaptación fonética y validación del método de valoración perceptual de la voz CAPE-V al...

9
Cómo citar este artículo: Nú˜ nez-Batalla F, et al. Adaptación fonética y validación del método de valoración perceptual de la voz CAPE-V al espa˜ nol. Acta Otorrinolaringol Esp. 2014. http://dx.doi.org/10.1016/j.otorri.2014.07.007 ARTICLE IN PRESS +Model OTORRI-610; No. of Pages 9 Acta Otorrinolaringol Esp. 2014;xxx(xx):xxx---xxx www.elsevier.es/otorrino ARTÍCULO ORIGINAL Adaptación fonética y validación del método de valoración perceptual de la voz CAPE-V al espa˜ nol Faustino Nú˜ nez-Batalla a,, Marta Morato-Galán a , Isabel García-López b y Arántzazu Ávila-Menéndez c a Servicio de Otorrinolaringología, Hospital Universitario Central de Asturias, Oviedo, Espa˜ na b Servicio de Otorrinolaringología, Hospital Universitario La Paz, Madrid, Espa˜ na c Logopedia, Facultad de Psicología, Universidad de Oviedo, Oviedo, Espa˜ na Recibido el 22 de julio de 2014; aceptado el 30 de julio de 2014 PALABRAS CLAVE Trastornos vocales; Análisis de la voz; Análisis perceptual de la voz Resumen Objetivo: Con el propósito de promocionar un abordaje estándar para la evaluación y documen- tación de las calificaciones perceptuales de la calidad vocal se desarrolló el método CAPE-V (Consensus Auditory-Perceptual Evaluation of Voice). Originalmente dise˜ nado en el idioma inglés, no existe una adaptación del mismo para ser usado en hispanohablantes. El propósito del presente trabajo es proponer una adaptación del protocolo al espa˜ nol y examinar la fiabilidad y la validez empírica de dicha versión. Método: Con el fin de adaptar el protocolo al espa˜ nol, se proponen seis frases de acuerdo a los requerimientos fonéticos del CAPE-V. Se llevó a cabo una validación instrumental de forma prospectiva. La validez de la versión en espa˜ nol del CAPE-V se investigó mediante la determi- nación de la fiabilidad intra- e interobservador y mediante la comparación de las calificaciones obtenidas mediante el CAPE-V con las obtenidas mediante el GRABS. Resultados: Los coeficientes de fiabilidad interobservador fluctuaron entre el 0,93 para la seve- ridad global y el 0,54 para la intensidad, mientras que la fiabilidad intraobservador varió entre el 0,98 para la severidad global y el 0,85 para la intensidad. La comparación entre las califica- ciones obtenidas mediante el método GRABS y el CAPE-V obtuvo resultados entre el 0,86 para la severidad global y el 0,61 para la calidad aérea. Conclusiones: El presente estudio apoya el uso de la versión en espa˜ nol del CAPE-V dada su validez y fiabilidad. © 2014 Elsevier Espa˜ na, S.L.U. y Sociedad Espa˜ nola de Otorrinolaringología y Patología Cérvico- Facial. Todos los derechos reservados. Autor para correspondencia. Correo electrónico: [email protected] (F. Nú˜ nez-Batalla). http://dx.doi.org/10.1016/j.otorri.2014.07.007 0001-6519/© 2014 Elsevier Espa˜ na, S.L.U. y Sociedad Espa˜ nola de Otorrinolaringología y Patología Cérvico-Facial. Todos los derechos reservados.

Transcript of Adaptación fonética y validación del método de valoración perceptual de la voz CAPE-V al...

Page 1: Adaptación fonética y validación del método de valoración perceptual de la voz CAPE-V al español

ARTICLE IN PRESS+ModelOTORRI-610; No. of Pages 9

Acta Otorrinolaringol Esp. 2014;xxx(xx):xxx---xxx

www.elsevier.es/otorrino

ARTÍCULO ORIGINAL

Adaptación fonética y validación del método devaloración perceptual de la voz CAPE-V al espanol

Faustino Núnez-Batallaa,∗, Marta Morato-Galána,Isabel García-Lópezb y Arántzazu Ávila-Menéndezc

a Servicio de Otorrinolaringología, Hospital Universitario Central de Asturias, Oviedo, Espanab Servicio de Otorrinolaringología, Hospital Universitario La Paz, Madrid, Espanac Logopedia, Facultad de Psicología, Universidad de Oviedo, Oviedo, Espana

Recibido el 22 de julio de 2014; aceptado el 30 de julio de 2014

PALABRAS CLAVETrastornos vocales;Análisis de la voz;Análisis perceptualde la voz

ResumenObjetivo: Con el propósito de promocionar un abordaje estándar para la evaluación y documen-tación de las calificaciones perceptuales de la calidad vocal se desarrolló el método CAPE-V(Consensus Auditory-Perceptual Evaluation of Voice). Originalmente disenado en el idiomainglés, no existe una adaptación del mismo para ser usado en hispanohablantes. El propósito delpresente trabajo es proponer una adaptación del protocolo al espanol y examinar la fiabilidady la validez empírica de dicha versión.Método: Con el fin de adaptar el protocolo al espanol, se proponen seis frases de acuerdo alos requerimientos fonéticos del CAPE-V. Se llevó a cabo una validación instrumental de formaprospectiva. La validez de la versión en espanol del CAPE-V se investigó mediante la determi-nación de la fiabilidad intra- e interobservador y mediante la comparación de las calificacionesobtenidas mediante el CAPE-V con las obtenidas mediante el GRABS.Resultados: Los coeficientes de fiabilidad interobservador fluctuaron entre el 0,93 para la seve-ridad global y el 0,54 para la intensidad, mientras que la fiabilidad intraobservador varió entreel 0,98 para la severidad global y el 0,85 para la intensidad. La comparación entre las califica-ciones obtenidas mediante el método GRABS y el CAPE-V obtuvo resultados entre el 0,86 parala severidad global y el 0,61 para la calidad aérea.Conclusiones: El presente estudio apoya el uso de la versión en espanol del CAPE-V dada su

Cómo citar este artículo: Núnez-Batalla F, et al. Adaptación fonética y validación del método de valoración perceptualde la voz CAPE-V al espanol. Acta Otorrinolaringol Esp. 2014. http://dx.doi.org/10.1016/j.otorri.2014.07.007

validez y fiabilidad.© 2014 Elsevier Espana, S.L.U. y Sociedad Espanola de Otorrinolaringología y Patología Cérvico-Facial. Todos los derechos reservados.

∗ Autor para correspondencia.Correo electrónico: [email protected] (F. Núnez-Batalla).

http://dx.doi.org/10.1016/j.otorri.2014.07.0070001-6519/© 2014 Elsevier Espana, S.L.U. y Sociedad Espanola de Otorrinolaringología y Patología Cérvico-Facial. Todos los derechosreservados.

Page 2: Adaptación fonética y validación del método de valoración perceptual de la voz CAPE-V al español

ARTICLE IN PRESS+ModelOTORRI-610; No. of Pages 9

2 F. Núnez-Batalla et al

KEYWORDSVoice disorders;Voice analysis;Voice perceptualanalysis

Validation of the Spanish adaptation of the Consensus Auditory-Perceptual Evaluationof Voice (CAPE-V)

AbstractObjective: The Consensus Auditory-Perceptual Evaluation of Voice (CAPE-V) was developed.topromote a standardised approach to evaluating and documenting auditory perceptual judgmentsof vocal quality. This tool was originally developed in English language and its Spanish versionis still inexistent. The aim of this study was to develop a Spanish adaptation of CAPE-V and toexamine the reliability and empirical validity of this Spanish version.Method: To adapt the CAPE-V protocol to the Spanish language, we proposed 6 phrases pho-netically designed according to the CAPE-V requirements. Prospective instrument validationwas performed. The validity of the Spanish version of the CAPE-V was examined in 4 ways:intra-rater reliability, inter-rater reliability and CAPE-V versus GRABS judgments.Results: Inter-rater reliability coefficients for the CAPE-V ranged from 0.93 for overall severityto 0.54 for intensity; intra-rater reliability ranged from 0.98 for overall severity to 0.85 forintensity. The comparison of judgments between GRABS and CAPE-V ranged from 0.86 for overallseverity to 0.61 for breathiness.Conclusions: The present study supports the use of the Spanish version of CAPE-V because ofits validity and reliability.© 2014 Elsevier Espana, S.L.U. y Sociedad Espanola de Otorrinolaringología y Patología Cérvico-Facial. All rights reserved.

I

Cestdmlyev

ainecmt

iesqdcpl

iybS

sa

moScadrtediccb

de

ada

M

D

ntroducción

onceptualmente, el método «ideal» para llevar a cabo lavaluación auditivo perceptual de la voz debería cumplir lasiguientes condiciones: analizar cualidades vocales consis-entes que permitan diferenciar claramente la voz normale la patológica y comparar sus cambios en el tiempo,antener una determinada correlación entre la fisiopato-

ogía subyacente y los parámetros objetivos de evaluación, especificar claramente el tipo de escala utilizada en lavaluación, así como el entrenamiento específico del obser-ador.

Sin embargo, existen importantes obstáculos que impiden cualquier método de calificación cumplir estas condicionesdeales, el primero es que no hay una terminología específicai estandarizada que permita describir el tipo de alteraciónn la voz o estratificar su gravedad, también hay una ausen-ia de parámetros estándar que definan la voz normal y loás importante, la poca consistencia, cuestión inherente a

odas las valoraciones auditivo perceptuales.Hasta ahora el juicio perceptual ha sido una tarea

ncierta, marcada por desacuerdos entre los especialistasn fonología y por la variabilidad en la recogida y expo-ición de los datos. En la actualidad no existe un métodoue haya demostrado ser mejor que los demás en la tareae medir la calidad vocal percibida y el conjunto de cono-imientos actuales se considera todavía inadecuado paraoder disenar una herramienta clínica que resuelva todosos temas científicos relevantes.

No obstante, en los últimos anos existe un creciente

Cómo citar este artículo: Núnez-Batalla F, et al. Adaptación fode la voz CAPE-V al espanol. Acta Otorrinolaringol Esp. 2014. h

nterés en el desarrollo de procedimientos normalizados, un buen ejemplo, es la reunión de consenso cele-rada en Pittsburg en 2002 y organizada por la Americanpeech-Language-HearingAssociation’s Division 3, donde se

Ehtm

entaron las bases de la versión inicial del CAPE-V1, cuyadaptación al idioma espanol es el objetivo de este estudio.

El método de evaluación perceptual de la voz deno-inado CAPE-V (ConsensusAuditory-Perceptual Evaluation

f Voice) es el resultado del esfuerzo de la Americanpeech-Language-HearingAssociation para crear un proto-olo clínico que pueda ser utilizado para hacer juiciosuditivos-perceptuales de la calidad vocal de forma estan-arizada. Los procedimientos que se incluyen en el CAPE-Vepresentan las recomendaciones consensuadas por exper-os en la percepción humana, científicos dedicados alstudio del habla y de la voz, y fonoaudiólogos especializa-os en los trastornos vocales. Aunque no existe un métododeal para obtener una calificación fiable y válida de laalidad vocal, este método deriva del más actualizado cono-imiento sobre los factores multidimensionales en los que seasa la medición psicofísica de la percepción humana.

Los autores que describieron el CAPE-V esperan que sirvae soporte y estímulo para lograr mejorar la práctica clínican el campo de la evaluación auditivo-perceptual de la voz.

Este trabajo se basa en este objetivo, y se dirige a ladaptación de este método CAPE-V al idioma espanol, paraespués validarla clínicamente con el fin de que pueda serplicada a los pacientes hispanohablantes.

aterial y métodos

escripción del método CAPE-V

nética y validación del método de valoración perceptualttp://dx.doi.org/10.1016/j.otorri.2014.07.007

ste método califica importantes atributos vocales quean sido identificados por los miembros del grupo derabajo del consenso1 por ser comúnmente utilizados y fácil-ente entendidos. Dichos atributos son: a) severidad global;

Page 3: Adaptación fonética y validación del método de valoración perceptual de la voz CAPE-V al español

IN+Model

nol

b

A

Eeyle

ePlcClcapcgocmytpvalbaeieclbOjucpakt

P

ARTICLEOTORRI-610; No. of Pages 9

Adaptación fonética y validación del método CAPE-V al espa

b) aspereza; c) voz aérea; d) tensión; e) tono y f) intensi-dad. El CAPE-V pondera cada atributo usando una línea de100 mm como escala analógico-visual. El observador indicael grado de desviación percibida respecto de la normalidaden esta escala marcando sobre la línea. Las calificaciones seestablecen por observación directa de la emisión vocal delpaciente, y no por lo que el paciente refiere, ni por otrosmedios. Los seis atributos arriba descritos han de ser consi-derados como los mínimos que han de ser valorados en estemétodo.

a) Grabación. El paciente ha de estar cómodamente sen-tado en un ambiente silencioso para proceder a lagrabación de las tres tareas vocales que el paciente hade completar: una vocal aislada, la repetición de frases yuna muestra de habla espontánea. Han de observarse lossiguientes procedimientos estándar de grabación: usarun micrófono de condensación situado en un azimut de45◦ frente a la boca y a 4 cm de distancia. Se recomiendautilizar un ordenador con 16 bits de resolución y unafrecuencia de muestreo no menor de 20 kHz.

Tarea 1. Vocales sostenidas. Se utilizan dos vocalespara esta tarea. Una vocal laxa o abierta como la /a/yuna tensa como la /i/. Ha de instruirse al paciente paraque produzca una vocalización de la /a/cómoda, con suvoz normal y prolongarla hasta que se le indique. Puedeser preciso mostrar un ejemplo. Se lleva a cabo en tresocasiones y durante 3 - 5 segundos cada una de ellas.Posteriormente se repite la tarea con la vocal /i/. Estatarea da la oportunidad de escuchar la voz del pacientesin influencia de la articulación. Estas vocales ademáspueden ser analizadas acústicamente.

Tarea 2. Frases. Se han disenado seis oraciones paraprovocar distintos comportamientos de la laringe y sig-nos clínicos. La primera oración produce todos los sonidosvocálicos del idioma inglés, es una frase que es útil paraestudiar las influencias coarticulatorias de las tres voca-les /a, i, u/, la segunda hace hincapié en el golpe glóticosuave al iniciarse las palabras con la /h/, la tercera ora-ción es totalmente sonora y nos ofrece el contexto parajuzgar la presencia de espasmos o interrupciones voca-les y la habilidad que tiene el sujeto para enlazar laspalabras manteniendo la vocalización, la cuarta provocael ataque glótico duro, la quinta incorpora sonidos nasa-les, lo que sirve para detectar una posible hiponasalidad;y la última oración se equilibra con consonantes explo-sivas sordas, lo que da la oportunidad para valorar lapresión intraoral y la posible hipernasalidad y emisiónaérea nasal. Se debe entregar al paciente una tarjetapor cada oración para que la lea y la pronuncie, en casode que tenga dificultades para la lectura ha de repetirla frase que se le diga. Las oracionesoriginales en idiomainglés son: a) The blue spot is on the key again; b) Howhard did he hit him; c) We were away a year ago; d) Weeat eggs every Easter; e) My mama makes lemon jam;f) Peter will keep at the peak. Se expone la adaptaciónfonética al espanol en el siguiente apartado.

Cómo citar este artículo: Núnez-Batalla F, et al. Adaptación fode la voz CAPE-V al espanol. Acta Otorrinolaringol Esp. 2014. h

Tarea 3. Habla espontánea. Se debe grabar al menos 20segundos de conversación natural utilizando preguntasestándar de entrevista tales como «Cuéntenos su pro-blema vocal» o «Dígame cómo está funcionando su voz».

E3l

PRESS3

) Puntuación. Antes de comenzar el proceso de puntuaciónse debe tener completa la grabación de las tres tareas. Sedebe cubrir solamente un formulario por cada paciente(Anexo 1), numerando las tareas si han de ser calificadasde forma distinta (una para la vocal sostenida, 2 para lasfrases y 3 para la conversación natural). Una vez cali-ficadas las escalas han de ser medidas de forma físicadesde la izquierda hasta el punto marcado, indicandolos milímetros resultantes referidos al total (por ejemplo73/100 mm).

daptación fonética al espanol del CAPE-V

ste proceso no consistió en una mera traducción inglés-spanol, sino que fue necesario llevar a cabo una adaptación

cambio de las oraciones, ya que una traducción literal deas mismas al castellano no permitiría la valoración de loslementos de la calidad vocal deseados.

Así, para disenar las nuevas oraciones se tuvo en cuental contexto fonético que se pretende evaluar en cada caso.ara esta adaptación se contó con el asesoramiento de unaogopeda (AAM). A continuación se presentan las seis ora-iones que se proponen para la adaptación del métodoAPE-V al espanol: a) Oración 1. Disenada para estudiar

a influencia coarticulatoria de las distintas vocales: ora-ión original en idioma inglés: «The blue spot is on the keygain». Oración adaptada por este trabajo: «Nuria ojeó unaajarita y una blusa amarillas». b) Oración 2. Ofrece unontexto adecuado para valorar la producción de ataqueslóticos suaves y transiciones de sorda a sonora. Oraciónriginal en idioma inglés: «How hard did he hit him». Ora-ión adaptada por este trabajo: «Marta multa mi moto máságica». c) Oración 3. Produce todos los fonemas sonoros

crea un contexto adecuado para juzgar la posible exis-encia de espasmos/detenciones y la habilidad del pacienteara enlazar una palabra con la siguiente (manteniendo laocalización). Oración original en idioma inglés: «We wereway a year ago». Oración adaptada por este trabajo: «Lalave brilla en la mano». d) Oración 4. Incluye muchas pala-ras que comienzan con una vocal y que pueden provocartaques glóticos duros, dando la oportunidad para saber sistos ocurren en el paciente. Oración original en idiomanglés: «Weeat eggs every Easter». Oración adaptada porste trabajo: «Irene adora hacer huevos al horno». e) Ora-ión 5. Incluye numerosas consonantes nasales dando asía oportunidad para valorar la hiponasalidad y si es posi-le la estimulación por medio de la terapia vocal resonante.ración original en idioma inglés: «My mama makes lemon

am». Oración adaptada por este trabajo: «Mamá me mimana mano». f) Oración 6. Presenta una ausencia total deonsonantes nasales y crea un contexto útil para evaluar laresión intraoral y si existe una hipernasalidad y emisiónérea nasal. Oración original en idioma inglés: «Peter willeep at the peak». Oración adaptada por este trabajo: «Atau zapato a tu pata».

articipantes

nética y validación del método de valoración perceptualttp://dx.doi.org/10.1016/j.otorri.2014.07.007

n este trabajo han participado un total de 67 personas:1 hombres y 36 mujeres, con edades comprendidas entreos 21 y 80 anos, con una media de 46 anos.

Page 4: Adaptación fonética y validación del método de valoración perceptual de la voz CAPE-V al español

ARTICLE IN+ModelOTORRI-610; No. of Pages 9

4

Tabla 1 Diagnósticos del grupo de pacientes y del subgrupointervenido quirúrgicamente

Patología N Pacientes intervenidos

Pólipo vocal 13 9Neoformaciones laríngeas 10Edema de Reinke 9 4Quistes subepiteliales 6 6Nódulos 4 2Pseudoquiste seroso 4Leucoplasia 1Parálisis vocal idiopática 1Granuloma tercio posterior 1 1

cyLrcHypysdtaloluqmqhctaApp

Ev

Elmdrlcmllrd

aeepqgdpcdvc

E

S1

b

d

R

F

E

Papilomatosis laríngea 1Total 50 22

Estas 67 personas se dividieron en dos grupos: el primeroonsta de 50 sujetos con disfonía (24 mujeres y 26 hombres)

el segundo de 17 sujetos sanos (12 mujeres, 5 hombres).os sujetos disfónicos que participaron en el estudio fueroneclutados de entre los pacientes que acuden al servicio deonsultas externas del Servicio de Otorrinolaringología delospital Universitario Central de Asturias entre julio de 2013

marzo de 2014. Todos los pacientes accedieron a partici-ar en el estudio tras explicarles la naturaleza del mismo

otorgaron el consentimiento verbal expreso para utilizarus voces en el mismo. El grupo de sujetos sanos constae voluntarios del entorno hospitalario (médicos residen-es, enfermeras del hospital y amistades) que accedieron

participar en el estudio y que no presentan ninguno deos siguientes criterios de exclusión: ser menor de edad,

estar o haber estado diagnosticado de alguna patologíaaríngea. Dentro del grupo de pacientes disfónicos, se crean subgrupo con 22 pacientes (12 mujeres y 10 hombres)ue han sido sometidos a tratamiento quirúrgico medianteicrolaringoscopia directa para extirpar la lesión tipo masaue presentaban. Se trata de un subgrupo de pacientes muyomogéneo en cuanto al tipo de disfonía que presentan y alambio esperado tras la intervención. Estos pacientes cuen-an con dos grabaciones: una preoperatoria y otra posterior

la intervención (no antes de dos meses desde la operación).mbas muestras se aleatorizan y se clasifican de forma inde-endiente. En la tabla 1 se resumen los diagnósticos de losacientes.

valuación auditivo-perceptual de las muestrasocales (GRABS y CAPE-V)

l análisis auditivo-perceptual de las muestras vocales selevó a cabo por dos especialistas familiarizados con ambosétodos. La serie de voces a calificar se almacenaron enos secuencias diferentes determinadas de forma aleato-ia. El observador uno calificó con el método GRABS todaa serie escuchando para ello exclusivamente la graba-ión de la vocal sostenida. Siete días después calificó laisma serie con el método CAPE-V, escuchando ya todas

Cómo citar este artículo: Núnez-Batalla F, et al. Adaptación fode la voz CAPE-V al espanol. Acta Otorrinolaringol Esp. 2014. h

as tareas grabadas. El observador 2 solamente llevó a caboa puntuación CAPE-V. Para la calificación, las voces fueroneproducidas por los observadores en un ambiente exentoe ruido y las escucharon en los altavoces del ordenador o

szsr

PRESSF. Núnez-Batalla et al

uriculares en bloques de 20, con un intervalo de descansontre los bloques consecutivos de 10 minutos. Aunque ambosxaminadores tienen experiencia en el análisis auditivo-erceptual de la voz, recibieron dos escalas de voces patrónue fueron construidas utilizando una ayuda visual espectro-ráfica para voces aéreas y voces ásperas2. Tras la escuchae cada voz, el observador procedió a su calificación sin com-artir información con el otro, pudiendo repetir la escuchauantas veces considerara necesario. Tampoco conocían eliagnóstico del paciente, ni tampoco que se encontrabanoces normales entre las de los pacientes puesto que podríaomprometer la fiabilidad de las calificaciones3.

studio estadístico

e utilizó el programa informático SPSS 18 (PASW Statistics8). El análisis de los datos consistió en la determinación de:

a) Fiabilidad (reliability) o consistencia, grado con el queun instrumento mide con precisión4. Dentro de este apar-tado se distinguen la consistencia intraobservador y laconsistencia interobservador.

) La fiabilidad test-retest, repetitividad o consistenciaintraobservador, mide la estabilidad de las puntuacionesotorgadas por el mismo evaluador en los mismos sujetosy con el mismo método en momentos diferentes, mien-tras que la fiabilidad interobservador consiste en estimarel grado de acuerdo entre dos o más evaluadores.

c) Por otro lado se analiza la validez del protocolo CAPE-V,que se define como la capacidad de un instrumento paramedir aquello para lo que ha sido disenado5. El proto-tipo de validez para el análisis de pruebas diagnósticas esla validez de criterio y se calcula comparando el nuevoinstrumento de medida con otro método de validez yademostrada que se utilizará como criterio de referenciadel fenómeno estudiado. El criterio externo debe ser unamedición independiente y debe obtenerse por un métododiferente, en el que no intervengan los resultados delcuestionario que se pretende validar. En nuestro estu-dio utilizamos como referencia el GRABS, por ser unaescala ya validada y de uso extendido. El estadístico uti-lizado para evaluar las tareas descritas previamente es elcoeficiente de correlación intraclase (ICC), que permitevalorar el nivel de acuerdo entre dos medidas.

) Se determinó también la sensibilidad al cambio de laherramienta validada, que puede definirse como la capa-cidad de un instrumento para detectar cambios en lamuestra tras la aplicación de un tratamiento. Se utilizócomo estadístico la t de Student asumiendo que la hipó-tesis nula es la ausencia de cambio en la respuesta mediade una muestra en dos momentos distintos5.

esultados

iabilidad interobservador

valúa el nivel de acuerdo entre los dos observadores y

nética y validación del método de valoración perceptualttp://dx.doi.org/10.1016/j.otorri.2014.07.007

e expresa a través del ICC con doble efecto aleatori-ado, donde tanto las muestras vocales como el observadore consideran aleatorios. En la tabla 2 se muestran losesultados para cada uno de los 6 parámetros del CAPE-V,

Page 5: Adaptación fonética y validación del método de valoración perceptual de la voz CAPE-V al español

ARTICLE IN PRESS+ModelOTORRI-610; No. of Pages 9

Adaptación fonética y validación del método CAPE-V al espanol 5

Tabla 2 Consistencia interobservador CAPE-V

Parámetro Tarea 1 Tarea 2 Tarea 3

Severidad general 0,935 0,879 0,833Aspereza 0,907 0,775 0,750Calidad aérea 0,894 0,773 0,769Tensión 0,648 0,698 0,738Tono 0,795 0,710 0,806Intensidad 0,763 0,545 0,617

Tabla 3 Consistencia intraobservador CAPE-V

Parámetro Tarea 1 Tarea 2 Tarea 3

Severidad general 0,988 0,972 0,978Aspereza 0,981 0,969 0,972Calidad aérea 0,979 0,968 0,952Tensión 0,971 0,921 0,935Tono 0,963 0,918 0,894

Tabla 4 Resultados nivel de acuerdo entre GRABS y CAPE-V

CAPE versusGRABS

Tarea 1 Tarea 2 Tarea 3 ICCpromedio

Severidad general--- Grade

0,965 0,789 0,866 0,874

Aspereza ---Roughness

0,950 0,755 0,842 0,849

Calidad aérea ---Breathiness

0,961 0,133 0,742 0,612

Tensión---Strain 0,912 0,819 0,799 0,843

3,0

3,0

2,5

2,5

2,0

2,0

G 1,5

1,5

SG

1,0

1,0

,5

,5

,0

,0

Figura 1 Concordancia para la severidad general entre CAPE-V y GRABS.

Tabla 5 Sensibilidad al cambio para la severidad general

SG Medias Grado Medias Diferencia demedias

Significación

lg

S

SlLcuívNt

D

Intensidad 0,961 0,895 0,851

diferenciados a través de las distintas tareas evaluadas. Losresultados fluctúan entre 0,93 para la severidad general dela tarea uno y 0,54 para la intensidad de la tarea 2. Engeneral, la tarea uno toma valores de concordancia superio-res a los del resto de tareas. Por parámetros evaluados losmás consistentes son; severidad general, aspereza y calidadaérea respectivamente (CCI > 0,750), por otro lado la ten-sión y la intensidad son los parámetros menos consistentes(tabla 2).

Fiabilidad intraobservador

Refleja la consistencia de las 50 calificaciones para el mismoobservador en dos momentos diferentes. Como se puedecomprobar en la tabla 3, se alcanzan unos niveles de fia-bilidad muy elevada para todos los parámetros del CAPE-V(CCI > 0,850). Los mejores resultados se obtienen para losparámetros de la tarea uno, reflejando así la mayor expe-riencia de nuestro evaluador en la calificación de vocales.Esto no es inconveniente para que los resultados obtenidosen el resto de las tareas tengan una robusta concordancia.

Validez de criterio entre GRABS y CAPE-V

El grado de acuerdo entre los dos protocolos se expresa a tra-vés del ICC y pone en relación una variable continua basadaen una escala analógica visual de 100 mm como es el CAPE-V con otra variable ordinal con 4 categorías (GRABS). Latabla 4 muestra la correlación entre parámetros homólogosde las distintas escalas. La tarea uno obtiene los mejoresresultados de correlación para todos los ítems. La severi-dad general, como parámetro aislado, es aquel que tienemás consistencia y un nivel de acuerdo más elevado (ICCpromedio: 0,865). Sin embargo, la calidad aérea es el pará-metro que peor correlación tiene (ICC promedio: 0,612), y

Cómo citar este artículo: Núnez-Batalla F, et al. Adaptación fode la voz CAPE-V al espanol. Acta Otorrinolaringol Esp. 2014. h

se debe fundamentalmente a los malos resultados obteni-dos con la tarea 2 (ICC: 0,133). Los parámetros aspereza ytensión tienen una buena correlación con las dos escalas.

Ll

Pre 68,86 Pre 2,36 SG 27,727 0,000Pos 41,14 Pos 1,68 Grado 0,682 0,004

Se adjunta un gráfico que muestra la correlación entreas calificaciones de las distintas escalas para la severidadeneral (fig. 1).

ensibilidad al cambio

e analiza la existencia de diferencias significativas entreos valores promedio de las calificaciones para cada ítem.os resultados posquirúrgicos analizados muestran diferen-ias significativas para la severidad general con ambos testtilizados (tabla 5). Sin embargo, para el resto de lostems estudiados el CAPE-V detecta diferencias significati-as, mientras que el GRABS no detecta ninguna diferencia.inguno de los test detecta diferencias para el parámetroensión (tabla 6).

iscusión

nética y validación del método de valoración perceptualttp://dx.doi.org/10.1016/j.otorri.2014.07.007

a evaluación perceptual es un método imprescindible paraa valoración de la voz patológica, dado que es necesario

Page 6: Adaptación fonética y validación del método de valoración perceptual de la voz CAPE-V al español

ARTICLE IN+ModelOTORRI-610; No. of Pages 9

6

Tabla 6 Sensibilidad al cambio CAPE-V y GRABS

Tarea 1, 2 y 3 Nivel de significaciónde las diferencias

CAPE-V GRABS

Severidad general 0,000 0,004Aspereza 0,002 0,007Calidad aérea 0,000 0,038

alfi

hlvdpm

tvtcEdddtctpd

lcscam

mlpo

mpsLnlmvcby

l

fiuuvhgehpinl

pcsdcelhmp

eozNpqtide

ctrlvc

fvldsicaqtomcy

e

Tensión 0,044 0,090

plicarla en un importante número de pacientes en los cua-es las medidas de la perturbación a corto plazo no sonables o no se pueden calcular6.

A pesar de que la percepción de la voz es la principalerramienta para juzgar si existe una alteración en la voz,os métodos que califican la calidad vocal nunca podrán lle-arse a cabo con una perfecta validez y fiabilidad. Se hanescrito varias metodologías para realizar esta evaluaciónerceptual de la voz de una forma consistente y clínica-ente útil.En la actualidad no existe un método que haya demos-

rado ser mejor que los demás en la tarea de medir la calidadocal percibida. El conjunto de conocimientos actualesodavía es inadecuado para poder disenar una herramientalínica que resuelva todos los temas científicos relevantes.n efecto, los esfuerzos para conseguirlo se han acompanadoe un sinnúmero de problemas relacionados con la fiabili-ad, utilidad y validez. Sin embargo, existen intentos deesarrollar protocolos con el fin de documentar las carac-erísticas auditivo-perceptuales de las alteraciones de laalidad vocal. La construcción de un procedimiento consis-ente y específico con un formato documental ha servidoara dotar a estos métodos de consistencia clínica y mejorae comunicación entre los clínicos.

Los estudios llevados a cabo hasta la fecha no sostienena sustitución de las medidas instrumentales por la valora-ión auditivo-perceptual. Para tener consideración clínica,in embargo, la valoración perceptual ha de seguir un pro-edimiento estándar. Los dos métodos más empleados en lactualidad que proporcionan un protocolo estándar son elétodo GRABS y el CAPE-V7.Con todo esto en mente, se ha intentado crear un

étodo «ideal» de evaluación vocal que proponga protoco-os consistentes para diferenciar voces normales de aquellasatológicas, y que pueda correlacionarse con las medidasbjetivas y con la fisiopatología subyacente.

La sensación psicoacústica de la voz es la principal herra-ienta en la evaluación de los trastornos vocales, tantoara los pacientes cuando explican el cambio que notan enu voz, como para los clínicos a la hora de describirlos8---11.as medidas auditivo perceptuales de la calidad vocal defi-en la presencia o ausencia de alteraciones clínicas a nivelaríngeo, ya que el continuo que existe entre la voz nor-al y la patológica se relaciona estrechamente con la salud

ocal. Los especialistas en fonología describen las altera-iones vocales mediante sus propios juicios perceptuales,

Cómo citar este artículo: Núnez-Batalla F, et al. Adaptación fode la voz CAPE-V al espanol. Acta Otorrinolaringol Esp. 2014. h

asados en su experiencia, en aspectos culturales, sociales asociados al medio en el que trabajan.

Sin embargo, las calificaciones auditivo perceptuales dea voz nunca se llevarán a cabo con perfecta validez ni

ydet

PRESSF. Núnez-Batalla et al

abilidad, porque se trata de métodos subjetivos12,13. Esn tema controvertido porque los evaluadores no tienenn entrenamiento específico y además existe una ampliaariabilidad en la correlación inter- e intraevaluadores. Sea demostrado que los observadores experimentados juz-an de forma más consistente que los inexpertos y usanstrategias perceptuales distintas, determinándose que 8oras de entrenamiento en observadores previamente inex-ertos son suficientes para obtener un 80% de fiabilidadnterobservador6. También está demostrado que la homoge-eidad de criterios en la aplicación del cuestionario mejoraa consistencia entre los distintos observadores14.

Por eso existe la clara necesidad de crear un protocoloara realizar estas evaluaciones de una forma más teórica,línicamente significativa y consistente. El método que máse aproxima a este enfoque es el método CAPE-V, ya queescribe un protocolo preciso para llevar a cabo la evalua-ión perceptual de la forma más consistente posible. Sinmbargo, su aplicación al idioma espanol es imposible sinlevar a cabo una adaptación de la tarea que analiza elabla conectada en frases establecidas (tarea 2), hecho queotivó el presente trabajo de adaptación y validación delrotocolo CAPE-V al espanol.

Nuestro trabajo comenzó con la adaptación al idiomaspanol de las frases en inglés descritas en el documentoriginal, tarea que hasta el momento no había sido reali-ada, imposibilitando el uso del CAPE-V en nuestro medio.o cabe una mera traducción de las frases de la tarea 2 delrotocolo, ya que carecería totalmente de sentido, por loue se proponen frases en espanol que cumplen las carac-erísticas fonéticas de las disenadas en el idioma originalnglés. Por tanto, se ha realizado una adaptación lingüísticae las frases basándose en la descripción fonética incluidan el artículo original del CAPE-V1.

Estas frases ponen de manifiesto situaciones fonéticasomprometidas que nos ayudarán a detectar determinadoipo de alteraciones vocales en relación a la capacidad deesonancia del aparato fonador o la capacidad de articu-ación vocal que no son valorables mediante el estudio deocales sostenidas, pero que permiten completar la califi-ación.

Una vez adaptado a nuestro idioma, el siguiente pasoue validar el CAPE-V como herramienta útil y fiable para laaloración perceptual de la voz, asegurándonos que reflejeas características vocales relevantes de la voz humana, esecir, demostrar la validez de constructo. De esta manera,e pretende conseguir un protocolo de evaluación de la vozntegral, completo y universalmente validado por los espe-ialistas. Para conseguir este último paso es necesaria sudaptación e implantación en los países de habla hispanaue no había sido realizado hasta el momento. El presenterabajo se basa en el estudio de validación del protocoloriginal CAPE-V que fue publicado por Zraick et al. sobre 74uestras vocales (de entre las cuales 37 son disfónicas, 22

orrespondientes a controles sanos, 11 muestras repetidas 4 voces para entrenamiento)15.

A diferencia del GRABS y otros protocolos de evaluación,l CAPE-V incorpora en la evaluación vocal rutinaria el tono

la intensidad. Estos parámetros no se incluyen en muchas

nética y validación del método de valoración perceptualttp://dx.doi.org/10.1016/j.otorri.2014.07.007

e las herramientas de valoración perceptual de la voz (porjemplo el GRABS) y por tanto la comparación de los resul-ados en la literatura es limitada16. Los escasos artículos en

Page 7: Adaptación fonética y validación del método de valoración perceptual de la voz CAPE-V al español

IN+Model

nol

sqed

eltp

dcddjdddccLa

snsllr

drpdeC

ireauc

C

1

2

3

dard), la severidad general es la que obtiene mejores

ARTICLEOTORRI-610; No. of Pages 9

Adaptación fonética y validación del método CAPE-V al espa

los que se incluyen, demuestran que son parámetros pococonsistentes y que presentan mucha variabilidad inter- eintraobservador15.

El uso del habla conectada en forma de frases o con-versación espontánea por parte del método CAPE-V es ladiferencia más importante con el método GRABS, que sola-mente utiliza las vocales sostenidas. Este aspecto merecenuestra atención ya que hemos encontrado diferenciasentre las calificaciones con vocales o habla conectada,hecho que ya constataron con anterioridad otros autorescomo Zraick et al.15 en su evaluación de muestras vocalesmediante vocales sostenidas, discurso natural y voz conec-tada, determinando que existen diferencias significativasentre la primera tarea vocal y las segundas: las calificacio-nes más severas se obtienen con las vocales sostenidas. Nose observaron diferencias significativas entre las dos tareasrelativas al habla conectada: el discurso natural y la lecturade un pasaje literario17. Estos hallazgos también se encuen-tran en congruencia con los estudios de Wolfe et al.18.Existen numerosas publicaciones que estudian la compara-ción entre ambas tareas de fonación sin lograr consenso enla materia19,20. A pesar de todo esto y con el objetivo desimplificar, no es raro encontrar artículos que adaptan lametodología bien estructurada del CAPE-V para evitar eva-luar las tres tareas vocales y simplificar así los resultados,como es el estudio de Kelchner en la población pediátricaque solo utiliza la tarea 2 para la calificación vocal21. Ennuestro estudio observamos resultados muy similares a lospublicados por Zraick et al.15.

En la comparación que hacemos entre nuestra valoraciónmediante CAPE-V con la que obtenemos mediante el sistemaGRABS, el «gold standard» actual, obtenemos diferenciassignificativas entre las calificaciones de la tarea uno frentea las calificaciones de la tarea 2 y 3. Como es de esperar, lastareas correspondientes al habla conectada tienen un com-portamiento similar, los niveles de acuerdo son superiores al0,94 para todos los parámetros evaluados. En relación con latarea uno se obtienen diferencias significativas frente a lastareas 2 y 3, pero no condicionan desacuerdo con las valora-ciones previas manteniendo una fuerza de concordancia porencima de 0,85.

Por otro lado, y en relación a la validez de criterio,los resultados obtenidos para la tarea uno son similaresa los obtenidos con el GRABS, garantizando un nivel deacuerdo muy elevado entre los dos test. Sin embargo, losresultados de la tarea 2 y 3 reflejan una menor afectaciónen la gravedad de la voz en comparación con la tarea unoy esto disminuye el nivel de acuerdo en relación al GRABS.En este último caso, la fuerza de la concordancia es demenor magnitud que la obtenida para la mencionadafonación de vocales pero se mantiene en niveles interme-dios/altos. Mención aparte requiere el comportamientode la tarea 2 obtenida mediante las frases fonéticamenteadaptadas que reflejan el peor nivel de acuerdo con elGRABS de las 3 tareas evaluadas. Puede deberse a lapenalización atribuible al contexto fonético dirigido quepotencie las alteraciones vocales de las muestras generandoataques glóticos bruscos, transiciones sorda-sonora, etc.

Separando los resultados por parámetros, es la severidad

Cómo citar este artículo: Núnez-Batalla F, et al. Adaptación fode la voz CAPE-V al espanol. Acta Otorrinolaringol Esp. 2014. h

general aquel que obtiene mejores resultados. La aspereza,la calidad aérea y la tensión reflejan una buena correlaciónentre el CAPE-V y el GRABS pero con menos fuerza que la

PRESS7

everidad general, excepto la calidad aérea en la tarea 2ue adquiere un nivel de acuerdo muy bajo, lo que podríaxplicarse porque el contexto lingüístico potencia el escapee aire durante la fonación.

La consistencia intraobservador detectada en nuestrostudio es muy elevada, en todas las tareas y para todosos parámetros, con correlaciones superiores al 90% enodos los casos, hallazgos que son similares a los de estudiosrevios15,16.

En cuanto a la fiabilidad interobservador de nuestro estu-io tiene rangos variables de los que podemos sacar variasonclusiones. Los parámetros más consistentes son la severi-ad general, la aspereza y la calidad aérea. Estos, indepen-ientemente de la tarea, adquieren valores elevados y refle-an una buena fiabilidad o consistencia. El resto, la intensi-ad, el tono y la tensión, toman cifras variables comprendi-as en un rango de consistencia intermedio. A la luz de losatos publicados en la literatura existente son conclusionesonfirmadas por otros autores: la severidad, la aspereza y laalidad aérea que son parámetros de consistencia probada.a intensidad y el tono son ítems de difícil calificación debido

la dificultad de definir y cuantificar sus alteraciones22---25.Autores como Karnell14 han publicado estudios de con-

istencia interobservador con resultados similares a los deuestra serie, y sugieren que el protocolo CAPE-V tiene másensibilidad a las pequenas diferencias de calificación quea escala GRABS. Esta característica también se destaca ena publicación de Zraick et al.15, defendiendo unos mejoresesultados en consistencia del CAPE-V frente al GRABS.

En cuanto a la sensibilidad al cambio, solo se observaniferencias significativas en los dos protocolos para la seve-idad general. Podría deberse a la elevada consistencia delarámetro, siendo este el que más se afecta de forma globalespués de un tratamiento sobre las cuerdas vocales. Paral resto, se observan diferencias significativas solo con elAPE-V en la aspereza, calidad aérea, intensidad y tono.

De esta forma quedaría validado el protocolo CAPE-V aldioma espanol quedando patente su concordancia con losesultados obtenidos con el actual criterio de referencia ques el GRABS. Es importante senalar que el método CAPE-Vporta mayor riqueza en la calificación perceptual al ofrecerna evaluación integral de la calidad de la voz, enrique-iendo y completando la calificación de vocales sostenidas.

onclusiones

. La adaptación del sistema CAPE-V al espanol que se pro-pone en este trabajo se puede considerar validada conlos resultados del presente trabajo.

. La evaluación perceptual de las frases fonéticamenteadaptadas reflejan el peor nivel de acuerdo con la eva-luación perceptual mediante el sistema GRABS (vocalessostenidas). Por ello, el método CAPE-V aporta mayorriqueza en la calificación perceptual dado que ofrece unaevaluación integral de la calidad de la voz, enriqueciendoy completando la misma.

. En la comparación de las calificaciones obtenidasmediante el método CAPE-V con el GRABS (gold stan-

nética y validación del método de valoración perceptualttp://dx.doi.org/10.1016/j.otorri.2014.07.007

resultados. La aspereza, la calidad aérea y la tensiónreflejan una buena correlación entre el CAPE-V y elGRABS pero menos robusta que con la primera.

Page 8: Adaptación fonética y validación del método de valoración perceptual de la voz CAPE-V al español

IN+ModelO

8

C

L

ARTICLETORRI-610; No. of Pages 9

Cómo citar este artículo: Núnez-Batalla F, et al. Adaptación fode la voz CAPE-V al espanol. Acta Otorrinolaringol Esp. 2014. h

onflicto de intereses

os autores declaran no tener ningún conflicto de intereses.

Aa

Consenso sobre la e

Los siguientes parámsiguientes tareas voca

Tarea 1. Vocal sosten

Tarea 2. Oraciones: (mi moto más mágica.horno. (e) Mamá me m

Tarea 3. Conversacióo “dígame como le fun

Severidad global:

_________________

LE

Aspereza: _________________

LE

Escape:_________________

LE

Tensión:_________________

LE

Tono: Indicar la na

_________________

LE

Intensidad: Indica

__________________

LE

Característica adicio1:________________

LE

Característica adicio2:________________

LE

Comentarios sobre l

Describir:__________

Caracteristicas adiciafonía, inestabilidad drelevantes:_________

PRESSF. Núnez-Batalla et al

nexo 1. Consenso sobre la evaluaciónudiotivo-perceptual de la voz (Cape-V)

valuacion audiotivo-perceptual de la VOZ (cape-v)

etros de la calidad vocal serán calificados tras completar las les:

ida /a/ e /i/ durante 3 a 5 segundos.

a) Nuria ojeó una pajarita y una blusa amarillas. (b) Marta multa (c) La llave brilla en la mano. (d) Irene adora hacer huevos al

ima una mano. (f) Ata tu zapato a tu pata.

n natural en respuesta a: “cuénteme acerca de su trastorno vocal” ciona la voz”.

Puntuación

_____________________________________ C I ____/100.

MO SE

_____________________________________ C I ____/100.

MO SE

_____________________________________ C I ____/100.

MO SE

_____________________________________ C I ____/100.

MO SE

turaleza de la desviación:_______________________.

_____________________________________ C I ____/100.

MO SE

r la naturaleza de la desviación:_______________________.

____________________________________ C I ____/100.

MO SE

nal ______________________________________ C I ____/100.

MO SE

nal ______________________________________ C I ____/100.

MO SE

a nasalidad: normal____________. otros:________________

__________________________________________________

nética y validación del método de valoración perceptualttp://dx.doi.org/10.1016/j.otorri.2014.07.007

onales: diplofonía, vocal fry, falsetto, astenia, el tono, temblor, fonación húmeda, otros términos _________________________________________________.

Page 9: Adaptación fonética y validación del método de valoración perceptual de la voz CAPE-V al español

IN+Model

nol

1

1

1

1

1

1

2

2

2

2

2

ness. J Voice. 2012;26:416---24.

ARTICLEOTORRI-610; No. of Pages 9

Adaptación fonética y validación del método CAPE-V al espa

Bibliografia

1. Kempster GB, Gerratt BR, Verdolini Abbott K, Barkmeier-KramerJ, Hillman RE. Consensus auditory perceptual evaluation ofvoice: Development of a standardized clinical protocol. Am JSpeech Lang Pathol. 2009;18:124---32.

2. Núnez-Batalla F, Díaz-Molina JP, García-López I, Moreno-MéndezA, Costales-Marcos M, Moreno-Galindo C, et al. El espectro-grama de banda estrecha como ayuda para el aprendizaje delmétodo GRABS de análisis perceptual de la disfonía. Acta Otorri-nolaringol Esp. 2012;63:173---9.

3. Eadie T, Sroka A, Wright DR, Merati A. Does knowledge of medi-cal diagnosis bias auditory-perceptual judgments of dysphonia?J Voice. 2011;25:420---9.

4. García de Yébenes MJ, Rodríguez Salvanés F, Carmona Ortells L.Validación de cuestionarios. Reumatol Clin. 2009;5:171---7.

5. De YébenesProus MJG, Rodríguez Salvanés F, Carmona Ortells L.Sensibilidad al cambio de las medidas de desenlace. ReumatolClín. 2008;4:240---7.

6. Núnez Batalla F, Corte Santos P, Sequeiros Santiago G, SenarisGonzález B, Suárez Nieto C. Evaluación perceptual de la disfo-nía: correlación con los parámetros acústicos y fiabilidad. ActaOtorrinolaringola Esp. 2004;55:282---7.

7. Núnez F, Mate A. Historia clínica y valoración subjetiva de la voz(calidad de vida en relación con la voz). En: Cobeta I, NúnezF, Fernández S, editors. Patología de la voz. Barcelona: MargeMédica Books; 2013.

8. Carding PN, Wilson JA, MacKenzie K, Deary IJ. Measuringvoice outcomes: State of the science review. J Laryngol Otol.2009;123:823---9.

9. Hirano M. Clinical examination of voice. New York: SpringerVerlag; 1981.

10. Oates J, Russell A. Learning voice analysis using an interactivemulti-media package: Development and primary evaluation. JVoice. 1998;12:500---12.

11. Wilson DK. Voice problems of children. 3. rd edition. Baltimore:Williams and Wilkinns; 1987.

12. Gerratt BR, Kreiman J. Sources of listener disagreement in voice

Cómo citar este artículo: Núnez-Batalla F, et al. Adaptación fode la voz CAPE-V al espanol. Acta Otorrinolaringol Esp. 2014. h

quality assessment. J Acoust Soc Am. 2000;108:1867---76.13. Gerratt BR, Kreiman J, Antonanzas-Barroso N, Berke GS.

Comparing internal and external standards in voice quality judg-ments. J Speech Hear Res. 1993;36:14---20.

2

PRESS9

4. Karnell M, Melton S, Childes J, Coleman T, Dailey S, Hoffman H.Reliability of clinician-based (GRBAS and CAPE-V) and patient-based (V-RQOL and IPVI) documentation of voice disorders. JVoice. 2007;21:576---90.

5. Zraick R, Kempster GB, Connor NP, Klaben BK, Bursac Z, GlazeL. Establishing validity of the Consensus Auditory-PerceptualEvaluation of Voice (CAPE-V). Am J Speech Lang Pathol.2011;20:14---22.

6. Kelchner LN, Brehm S, Weinrich B, Middendorf J, de AlarconA, Levin L, et al. Perceptual evaluation of severe pediatricvoice disorders: rater reliability using the consensus audi-tory perceptual evaluation of voice. J Voice. 2010;24:441---9.

7. Zraick R, Wendel D, Smith-Olinde L. The effect of speaking taskon perceptual judgment of the severity of dysphonic voice. JVoice. 2005;19:574---81.

8. Wolfe VI, Cornell R, Fitch J. Sentence/vowel correlation in theevaluation of dysphonia. J Voice. 1995;9:297---303.

9. De Krom G. Consistency and reliability of voice quality ratingsfor different types of speech fragments. J Speech Hear Res.1994;37:985---1000.

0. Wolfe V, Cornell R, Fitch J. Sentence/vowel correlation in theevaluation of dysphonia. J Voice. 1995;9:297---303.

1. Kelchner LN, Brehm SB, Weinrich B, Middendorf J, DeA-larcon A, Levin L, et al. Perceptual evaluation of severepediatric voice disorders: rater reliability using the consen-sus auditory perceptual evaluation of voice. J Voice. 2008;24:441---9.

2. Dejonckere PH, Obbens C, de Moor GM, Wieneke GH. Perceptualevaluationof dysphonia: reliability and relevance. Folia Phoniatr(Basel). 1993;45:76---83.

3. De Bodt MS, Wuyts FL, Van de Heyning PH, Croux C. Test-reteststudy of the GRABS scale: influence of experience and profes-sional background on perceptual rating of voice quality. J Voice.1997;11:74---80.

4. Moers C, Mobius B, Rosanowski F, Noth E, Eysholdt U, HaderleinT. Vowel- and text-based cepstral analysis of chronic hoarse-

nética y validación del método de valoración perceptualttp://dx.doi.org/10.1016/j.otorri.2014.07.007

5. Choi SH, Zhang Y, Jiang JJ, Bless DM, Welham NV. Nonlineardynamic- based analysis of severe dysphonia in patients withvocal fold scar and sulcus vocalis. J Voice. 2012;26:566---76.