• Metodología WebQEM • Fases, Modelos y Herram.
• Método Heurístico• Conclusiones
Contenidos Contenidos Parte IVParte IV
Dr. Luis Olsina Luis Olsina
GIDIS_Web, Dpto. de Informática,GIDIS_Web, Dpto. de Informática,
Facultad de Ingeniería, UNLPamFacultad de Ingeniería, UNLPam
E-mail E-mail [email protected]@ing.unlpam.edu.ar
©© 2007 GIDIS_Web 2007 GIDIS_Web
Ingeniería Web: Ingeniería Web: Marco de Marco de
Medición y Evaluación de CalidadMedición y Evaluación de Calidad
Curso de Posgrado Universidad Nacional de San Luis / La Rioja / Catamarca
EsquemaEsquema
• Una Metodología de Inspección: Una Metodología de Inspección: WebQEMWebQEM
• Otro Método: Método HeurísticoOtro Método: Método Heurístico• ConclusionesConclusiones
Taxonomía de Métodos de EvaluaciónTaxonomía de Métodos de Evaluación
-- Testing-- Testing-- -- InspecciónInspección-- Consulta, ...-- Consulta, ...
-- Análisis de Log Files -- Análisis de Log Files -- Evaluación Heurística-- Evaluación Heurística-- -- Evaluación de CaracterísticasEvaluación de Características, ..., ...
-- Manual-- Manual-- Semi-Automático-- Semi-Automático-- Automático-- Automático
FaseFase
-- Requerimientos-- Requerimientos-- Captura-- Captura-- Análisis-- Análisis-- Recomendaciones-- Recomendaciones
-- Fácil de Usar, Aprender-- Fácil de Usar, Aprender-- Efectivo, Preciso-- Efectivo, Preciso-- Rango de Aplicabilidad-- Rango de Aplicabilidad
Clase de MétodoClase de Método
TaxonomíaTaxonomíade Métodos dede Métodos deEvaluaciónEvaluación
Tipo de MétodoTipo de Método
Tipo de AutomatizaciónTipo de Automatización
Nivel de EsfuerzoNivel de Esfuerzo
Ejemplo de Método de EvaluaciónEjemplo de Método de Evaluación
-- Inspección-- Inspección
-- Evaluación de Características-- Evaluación de Característicasy atributosy atributos
-- Manual-- Manual-- Automático-- Automático
FaseFase
-- Análisis-- Análisis-- Recomendaciones-- Recomendaciones
-- Medianamente Fácil de Usar-- Medianamente Fácil de Usar-- Efectivo-- Efectivo
Clase de MétodoClase de Método
WebQEMWebQEM
Tipo de MétodoTipo de Método
Tipo de AutomatizaciónTipo de Automatización
Nivel de EsfuerzoNivel de Esfuerzo
MotivacionesMotivaciones
No había una No había una Metodología Cuantitativa Metodología Cuantitativa ampliamente reconocida para la evaluación de ampliamente reconocida para la evaluación de WebApps, en el tipo de Métodos de Inspección por WebApps, en el tipo de Métodos de Inspección por Características.Características.
» Al menos hasta 1998 - Al menos hasta 1998 - WebQEMWebQEM» (2000) (2000) WebQUAL, 2QCV2Q ...WebQUAL, 2QCV2Q ...
Los procesos de Evaluación y Medición para que Los procesos de Evaluación y Medición para que sean efectivos requieren no sólo soporte sean efectivos requieren no sólo soporte metodológicometodológico sino también sino también tecnológico.tecnológico.
Problemática en la EvaluaciónProblemática en la Evaluación
¿La ¿La Evaluación de la CalidadEvaluación de la Calidad, está basada en , está basada en modelos y métricasmodelos y métricas de calidad, o está librada de calidad, o está librada a la a la intuición y subjetividadintuición y subjetividad de los de los evaluadores?evaluadores?
¿Los procedimientos de valoración de atributos ¿Los procedimientos de valoración de atributos y características, están centrados en y características, están centrados en modelos modelos de agregación y métodos cuantitativosde agregación y métodos cuantitativos de de cálculo, o en cálculo, o en modelos cualitativosmodelos cualitativos? ?
Problemática en la EvaluaciónProblemática en la Evaluación
¿Las decisiones fundamentales de la evaluación están ¿Las decisiones fundamentales de la evaluación están centradas y dirigidas por el centradas y dirigidas por el juicio de expertosjuicio de expertos, o por el, o por el juicio de los usuariosjuicio de los usuarios??
¿El ente a valorar, puede ser considerado ¿El ente a valorar, puede ser considerado simple o simple o complejocomplejo, desde el punto de vista de la evaluación?, desde el punto de vista de la evaluación?
¿Cuáles son los ¿Cuáles son los componentes objetivos y subjetivoscomponentes objetivos y subjetivos en el proceso de evaluación? ¿Los subjetivos pueden en el proceso de evaluación? ¿Los subjetivos pueden ser minimizados?ser minimizados?
Propuesta de WebQEMPropuesta de WebQEM
Evaluar y Comparar la Calidad de Artefactos Web Evaluar y Comparar la Calidad de Artefactos Web – más o menos complejosmás o menos complejos
Basada en Modelos y Métricas de calidadBasada en Modelos y Métricas de calidad– Modelo de Calidad ISO (modelo mixto)Modelo de Calidad ISO (modelo mixto)– Cuantificar atributos directos e indirectos Cuantificar atributos directos e indirectos
Basada en modelos de Agregación de Atributos y Basada en modelos de Agregación de Atributos y CaracterísticasCaracterísticas
– Modelo de cálculo meramente aditivoModelo de cálculo meramente aditivo– Modelo de cálculo multi-atributo no lineal Modelo de cálculo multi-atributo no lineal
Centrada en el juicio de evaluadores expertos en el Centrada en el juicio de evaluadores expertos en el dominiodominio
Permita Trazabilidad en el proceso de evaluaciónPermita Trazabilidad en el proceso de evaluación– Favorezca seguimiento y justificación de resultadosFavorezca seguimiento y justificación de resultados
Propuesta de Metodología Integral, Sistemática y Propuesta de Metodología Integral, Sistemática y Cuantitativa centrada en principios de ISCuantitativa centrada en principios de IS
– para evaluar la Calidad de Aplicaciones Web para evaluar la Calidad de Aplicaciones Web
““Si no sabemos dónde estamos parados un mapa no ayuda”Si no sabemos dónde estamos parados un mapa no ayuda”– Evaluar, para realizar recomendacionesEvaluar, para realizar recomendaciones
Propuesta de WebQEMPropuesta de WebQEM
Definición de los Requerimientos de CalidadDefinición de los Requerimientos de Calidad» Metas de EvaluaciónMetas de Evaluación» Perfil de Usuario (gerente, desarrollador, visitante)Perfil de Usuario (gerente, desarrollador, visitante)» Definición de Requisitos No-funcionalesDefinición de Requisitos No-funcionales
Evaluación ElementalEvaluación Elemental» Considerando etapas de Diseño e ImplementaciónConsiderando etapas de Diseño e Implementación
Evaluación Parcial/GlobalEvaluación Parcial/Global» Considerando etapas de Diseño e ImplementaciónConsiderando etapas de Diseño e Implementación
Conclusión de la EvaluaciónConclusión de la Evaluación» Considerando RecomendacionesConsiderando Recomendaciones
Propuesta de WebQEM: Propuesta de WebQEM: FasesFases
““Si no sabemos dónde estamos parados un mapa no ayuda”Si no sabemos dónde estamos parados un mapa no ayuda”
Fases de WebQEMFases de WebQEM
Se le cció nd e l
D o m in io
W e b- S1
W e b- S2
W e b- Sn
Pu n to d e Vis tad e l U s u a rio
Car
acte
ríst
icas
y A
trib
utos
del
Arb
ol d
e R
equ
erim
ient
os
Atr
ibut
os C
uant
ifica
bles
X 1
X n
A 1
A n
F ( X 1 )
F ( X n )
Pre
fere
nci
as
Ele
me
nta
les
I E n
I E 1
Mo d e lod e
Sco rin g(L SP)
F
unci
ón d
e C
riter
io E
lem
enta
l
E v a lu ac ió n y C o m p ar ac ió n
100 %
50%
0
R an k in g F in al d e lo s A rt efact o s W eb
I G - S iMe ta s
D e fin ic ió n y Es p e cifica ció nd e R e q u e rim ie n to s
Eva lu a ció n E le m e n ta l:D e fin ic ió n e Im p le m e n ta ció n
Eva lu a ció n G lo b a l:D e fin ic ió n e Im p le m e n ta ció n
An á lis is d e R e s u lta d o s , C o n clu s io n e s y D o cu m e n ta ció n
P la n ifica ció n y P ro g ra m a ció n d e la Eva lu a ció n
Mar
gina
lU
nsa
tisf
acto
rySa
tisf
acto
ry
100 %
50%
0
W e b- S2
W e b- Sn
W e b- S1
Q u ality R eq u ir em en tsD ef in it io n
M e tric D e fin ition E le m e nta ryIndic a tor D e fin ition
G loba l Indic a torD e fin ition
M eas u r em en tI m p lem en ta tio n
E lem en tar y I n d ic a to rI m p lem en ta tio n
G loba l Indic a torIm ple m e nta tion
Re q u ire me n tsS p e c ific a t io n
IS O / IEC 9126-1 Q u a lity M o d e ls o r o w n -d e fin e d W e b Q u a lity M o d e ls
W e b A u d ie n c e 's N e e d s Co n te xtu a lD e c is io nCrit e ria
M e a s u reVa lu e
In d ic a to rVa lu e
Des
ign
o
fth
e E
val
uat
ion
D o c um e ntat io n / C o nc lus io n o f the E valuat io n
F in a lRe s u lt s
Rec
om
men
dat
ion
s
N on-func tiona l R e quire m e nts E le m e nta ry E va lua tion P a rtia l/G loba l E va lua tion
W e b P ro d u c tD e s c rip t io n s
Ev a lu a t io nGo a l
Ex
ecu
tio
n o
fth
e E
val
uat
ion
Ele me n ta ryIn d ic a to rS p e c ific a t io n
W e b P ro d u c tCo mp o n e n t s
Glo b a lIn d ic a to rS p e c ific a t io n
M e t ricS p e c ific a t io n
El Modelo de Calidad El Modelo de Calidad ISO 9126-1ISO 9126-1
Software
Quality
Software
Quality
ReliabilityReliability
Suitability
Accuracy
Interoperability
Security
Compliance
Suitability
Accuracy
Interoperability
Security
Compliance
FunctionalityFunctionality
Maturity
Fault Tolerance
Recoverability
Compliance
Maturity
Fault Tolerance
Recoverability
Compliance
Understandability
Learnability
Operability
Attactiveness
Compliance
Understandability
Learnability
Operability
Attactiveness
Compliance
Time behaviour
Resource utilization
Compliance
Time behaviour
Resource utilization
Compliance
Analysability
Changeability
Stability
Testeability
Compliance
Analysability
Changeability
Stability
Testeability
Compliance
Adaptability
Instalability
Co-existence
Replaceability
Compliance
Adaptability
Instalability
Co-existence
Replaceability
Compliance
UsabilityUsability EfficiencyEfficiency MaintainabilityMaintainability PortabilityPortability
CharacteristicsCharacteristics
SubcharacteristicsSubcharacteristics
Usability :Usability : “The capability of the software product to be understood, “The capability of the software product to be understood, learned, used and attractive to the user, when used under specified learned, used and attractive to the user, when used under specified conditions”conditions”
Comparación de SubcaracterísticasComparación de Subcaracterísticas
UsabilidadUsabilidad
ISO 9126 Título: Usabilidad Tipo: Característica Sub-característica/s: Comprensibilidad
Facilidad de Aprender
Operabilidad Grado de Atracción
IEEE 1061 Título: Usabilidad Tipo: Característica Sub-característica/s: Comprensibilidad
Facilidad de Aprender
Operabilidad
Nivel de Comunicación
Modelo de Calidad para la Web Título: Usabilidad Tipo: Característica Sub-característica/s: Comprensibilidad (Global del Sitio)
Mecanismo de Ayuda y Retroalimentación
Aspectos de Interfaces
Aspectos Estéticos y de Estilo
Características y SubcaracterísticasCaracterísticas y Subcaracterísticas
Usabilidad Usabilidad » Comprensión Global del SitioComprensión Global del Sitio» Ayuda y RetroalimentaciónAyuda y Retroalimentación» Aspectos de Interface Aspectos de Interface » Aspectos EstéticosAspectos Estéticos
Funcionalidad Funcionalidad » Búsqueda y RecuperaciónBúsqueda y Recuperación» Navegación y ExploraciónNavegación y Exploración» Funciones y Contenido Específicos del Dominio (E-commerce, Funciones y Contenido Específicos del Dominio (E-commerce,
Museos, Universidades ...)Museos, Universidades ...) ConfiabilidadConfiabilidad
» EnlacesEnlaces» PáginasPáginas» Compatibilidad de NavegadoresCompatibilidad de Navegadores
EficienciaEficiencia» PerformancePerformance» AccesibilidadAccesibilidad
Usabilidad Usabilidad Comprensión Global del SitioComprensión Global del Sitio
– Esquema de Organización GlobalEsquema de Organización Global» Tabla de ContenidosTabla de Contenidos» Mapa del SitioMapa del Sitio» Indices (Alfabéticos, Temáticos, Híbridos ...)Indices (Alfabéticos, Temáticos, Híbridos ...)
– Visita Guiada (convencional y/o virtual)Visita Guiada (convencional y/o virtual)– Mapa de ImagenMapa de Imagen
Aspectos de Interfaces y EstéticosAspectos de Interfaces y Estéticos– Permanencia y Estabilidad en la Presentación de los Controles Permanencia y Estabilidad en la Presentación de los Controles
PrincipalesPrincipales» Controles DirectosControles Directos» Controles IndirectosControles Indirectos» EstabilidadEstabilidad
– Mantenimiento del Color de los EnlacesMantenimiento del Color de los Enlaces
Características yCaracterísticas y AtributosAtributos
ConfiabilidadConfiabilidad– EnlacesEnlaces
» Enlaces RotosEnlaces Rotos
» Enlaces InválidosEnlaces Inválidos
» Enlaces no ImplementadosEnlaces no Implementados
– PáginasPáginas» Páginas MuertasPáginas Muertas
» Páginas bajo ConstrucciónPáginas bajo Construcción
» Errores de OrtografiaErrores de Ortografia
Características y AtributosCaracterísticas y Atributos
Atributos y MétricasAtributos y Métricas
Porcentaje de Enlaces Rotos de un SitioPorcentaje de Enlaces Rotos de un Sitio
100×+
=talEnlacesCantidadTo
ExternoslacesRotosCantidadEnInternoslacesRotosCantidadEnosEnlacesRotPorcentaje
100×=stalImágeneCantidadTo
ágenesALTCantidadImLTPresenciaAPorcentaje
Porcentaje de Presencia de la propiedad ALTPorcentaje de Presencia de la propiedad ALT..
Evaluación ElementalEvaluación Elemental Panorama Panorama
Me
as
ura
ble
Att
rib
ute
s
X 1
X n
A1
An
F (X 1 )
F (X n )E
lem
en
tary
Pre
fere
nc
es
EQ n
EQ 1
Cri
teri
a F
un
cti
on
De
finit
ion
E lem entary E valuation:Des ign and Im plem entation
100 %
50%
0
Métrica Web y Criterio ElementalMétrica Web y Criterio Elemental
Métrica Métrica Porcentaje de Enlaces RotosPorcentaje de Enlaces Rotos
X = #Enlaces_Rotos / #Total_Enlaces_del_Sitio
Indicador de Calidad ElementalIndicador de Calidad Elemental
IE = 1 (or 100%) si X = 0;IE = 0 (or 0%) si X >= X max ;otherwise IE = (X max – X) / X max si 0 < X < X max
donde X max es algún umbral superior acordado, tal como 0.03
Amazon Barnes & Noble Cúspide Díaz de Santos Borders1. Usability1.2.3.1 100 100 100 0 1001.2.3.2 100 100 80 80 1002. Functionality2.1.1.1 100 100 100 0 1002.1.1.2 100 100 100 100 702.3.1.1.1 100 100 40 24 702.3.1.1.2.1 100 100 50 50 02.3.1.1.2.2 42 42 12 12 212.3.1.2.1 0 0 0 0 02.3.2.1.1.1.1 100 100 100 100 1002.3.2.1.1.1.2 100 70 0 0 402.3.2.1.1.1.3 100 100 100 100 1002.3.2.1.1.2 100 0 0 0 1002.3.2.1.1.3.1 100 100 100 0 1002.3.2.1.1.3.2 100 100 100 0 03. Reliability3.1.1.1 98.4 97.45 99.83 60.07 76.344. Efficiency4.1.1 100 77.75 100 99.75 99.70
Preferencias de Calidad ElementalPreferencias de Calidad Elemental
Caso de Estudio de Caso de Estudio de E-bookstoreE-bookstore
Evaluación GlobalEvaluación Global Panorama Panorama
EQ n
EQ 1 Ranking P roc es s
Glo b a l Q u a lit y P re fe re n c e s
G Q -S i
G lobal Evaluation:Des ign and Im plem entation
Ag
gre
ga
tio
n P
roc
es
s
(Ad
itiv
e o
r L
SP
Mo
de
l) 100 %
50%
0
Mar
gina
lU
nsat
isfa
ctor
ySa
tisf
acto
ry
W e b - S2
W e b - S1
W e b - Sn
Evaluación GlobalEvaluación Global Modelos de Puntaje Modelos de Puntaje
Modelo de Puntaje AditivoModelo de Puntaje Aditivo (T.Gilb)(T.Gilb)
Indicador Global = Indicador Global = (Peso componente x Indicator elemental) (Peso componente x Indicator elemental)
IG/P = PIG/P = P11 IE IE11+ ....+ P+ ....+ Pnn IE IEnn
Modelo de Puntaje LógicoModelo de Puntaje Lógico Multi-criterio (LSP) Multi-criterio (LSP) (Weighted Power Mean(Weighted Power Mean Model - J. Dujmovic)Model - J. Dujmovic)
IG/PIG/P (r) = (P(r) = (P11 IE IE r r11 + P + P2 2 IEIE r r
2 2+ ... + P+ ... + Pm m IEIE r r m m))
1/ r 1/ r
Simultaneidad (“y lógico”)Simultaneidad (“y lógico”)Reemplazabilidad (“o lógico”)Reemplazabilidad (“o lógico”)Neutralidad Neutralidad
Evaluación Parcial:Evaluación Parcial: Modelo Aditivo Modelo Aditivo
2.3 Specific Functionality and Contents for E-learning.……………………………………………………..2.3.3.1 Virtual Learning Environment Features (for a WbIS) <.0.35> (?)2.3.3.2 Synchronous Communication and Collaboration Resources <0.40> (44.63) 2.3.3.1.1 Class Session Palette <0.20> (60.00) 2.3.3.1.2 Participation/Collaboration Mechanisms <0.25> (62.50) 2.3.3.1.2.1 Hand Raising <0.25> (0) 2.3.3.1.2.2 Class Member List <0.20> (100) 2.3.3.1.2.3 Synchronized Web Navigation <0.15> (100) 2.3.3.1.2.4 Assistant Instructor Participation <0.20> (50) 2.3.3.1.2.5 Workgroup Facility <0.25> (70) 2.3.3.1.3 Synchronous Resources. <0.25> (68.00) 2.3.3.1.3.1 Streaming Slides <0.20> (0) 2.3.3.1.3.2 Streaming Video <0.20> (100) 2.3.3.1.3.3 Shared Applications (e.g., Whiteboard) <0.20> (50) 2.3.3.1.3.4 Audio/Video Conference <0.20> (90) 2.3.3.1.3.5 Chat <0.20> (100) 2.3.3.1.4 Virtual Lab <0.30> (0.00) 2.3.3.1.3 = 0.20 * 0 + 0.20 * 100 + 0.20 * 50 + 0.20 * 90 + 0.20 * 100 = 68 %
Límites del Modelo de Agregación Meramente Aditivo Límites del Modelo de Agregación Meramente Aditivo
Número limitado de componentes para la evaluación.Número limitado de componentes para la evaluación. peso peso promediopromedio de cada componente es 1/n (o 100/n %). de cada componente es 1/n (o 100/n %).
Imposibilidad de modelar requerimientos obligatorios.Imposibilidad de modelar requerimientos obligatorios.
Imposibilidad de modelar requerimientos simultáneos. Imposibilidad de modelar requerimientos simultáneos.
Imposibilidad de modelar requerimientos suficientes.Imposibilidad de modelar requerimientos suficientes.
Malgasto en el esfuerzo de la evaluación. Malgasto en el esfuerzo de la evaluación.
Modelos de Estructuración y PuntajeModelos de Estructuración y Puntaje
Modelo LSP con 17 Operadores LógicosModelo LSP con 17 Operadores Lógicos
Modelo LSP - Mecanismo de AgregaciónModelo LSP - Mecanismo de Agregación
1Us abi l i dad
2Fu n ci on a l i dad
0 .3
0 .3
C - +Pre fe re n ciaG lo ba l
3C on fi abi l i dad
4 Efi ci e n ci a
0 .2
0 .2
Actividades en el Proceso de AgregaciónActividades en el Proceso de Agregación
Selección del tipo de relación lógica entre elementos y/o Selección del tipo de relación lógica entre elementos y/o
componentes:componentes: es decir, cabe preguntarse: ¿es la relación entre las entradas con es decir, cabe preguntarse: ¿es la relación entre las entradas con
una polarización lógica conjuntiva, disyuntiva o neutra?una polarización lógica conjuntiva, disyuntiva o neutra?
Selección del tipo de función conforme a la relación de Selección del tipo de función conforme a la relación de
entradas entre elementos y/o componentes:entradas entre elementos y/o componentes: es decir, la cuestión es decir, la cuestión
básica a considerar consiste en decidir ¿es la relación de entradas simétrica o básica a considerar consiste en decidir ¿es la relación de entradas simétrica o asimétrica? asimétrica?
Selección del operador conforme al nivel de intensidad de Selección del operador conforme al nivel de intensidad de la polarización lógicala polarización lógica
Selección de la importancia relativa de cada entrada Selección de la importancia relativa de cada entrada
conforme a los requerimientosconforme a los requerimientos (esto es, la selección de los pesos)(esto es, la selección de los pesos)
Preferencias de Calidad GlobalPreferencias de Calidad Global
Characteristic and Sub-characteristics Amazon B&N Cúspide Díaz Stos Borders1. Usability 76.16 82.62 75.93 56.09 72.872. Functionality 83.15 80.12 61.69 28.64 61.452.1 Searching and Retrieving Issues 100 100 91 42.67 72.062.2 Navigation and Browsing Issues 70.71 69.85 73.25 64.12 51.952.3 Domain Specific Functionality and Content 81.99 76.53 45.81 14.42 61.552.3.1 Product Information 63.72 42.20 40.64 10.20 15.982.3.2 Purchase Features 91.76 84.84 67.72 17.11 81.922.3.3 Customer Features 100 85 20 28.08 652.3.4 Store Features 100 96.80 71.20 33.60 93.572.3.5 Promotion Policies 60 100 40 0 1003. Reliability 99.44 99.11 90.97 78.51 91.664. Efficiency 96.88 74.54 90.17 86.01 90.90Global Quality Preference 86.81 82.95 75.52 50.37 74.86
Consideraciones FinalesConsideraciones Finales
Los desarrollos Web tienen cada vez más complejidad Los desarrollos Web tienen cada vez más complejidad añadida y están creciendo rápidamente añadida y están creciendo rápidamenteOrientación a Documentación y a Funcionalidad de Orientación a Documentación y a Funcionalidad de
AplicaciónAplicación– Sin embargo, las prácticas recientes para desarrollos Web han Sin embargo, las prácticas recientes para desarrollos Web han
sido mas bien ad-hocsido mas bien ad-hoc– Y el aseguramiento y el Y el aseguramiento y el control de la calidadcontrol de la calidad han sido, por lo han sido, por lo
general, procesos poco tenidos en cuenta. general, procesos poco tenidos en cuenta. – Urge un cambio de paradigma para minimizar la crisis en la WebUrge un cambio de paradigma para minimizar la crisis en la Web
Web QEM realiza un aporte ingenieril mediante el uso de un Web QEM realiza un aporte ingenieril mediante el uso de un enfoque disciplinado y cuantitativo que se adecua a la enfoque disciplinado y cuantitativo que se adecua a la evaluación, comparación, análisis y recomendaciones de la evaluación, comparación, análisis y recomendaciones de la calidad Webcalidad Web
Describimos las fases y actividades principales y los Describimos las fases y actividades principales y los procedimientos para realizarlas.procedimientos para realizarlas.
Fase de Definición y Especificación de los Fase de Definición y Especificación de los Requerimientos de CalidadRequerimientos de Calidad Determinación de Metas y Perfil de UsuarioDeterminación de Metas y Perfil de Usuario
Selección del Modelo de Calidad Selección del Modelo de Calidad – Modelo fijo de CalidadModelo fijo de Calidad– Defina su propio modeloDefina su propio modelo– Modelo mixto de CalidadModelo mixto de Calidad
Especificación del Arbol de RequerimientosEspecificación del Arbol de Requerimientos– Arbol de Requerimientos reusable para Dominios WebArbol de Requerimientos reusable para Dominios Web
Consideraciones FinalesConsideraciones Finales
Fase de Diseño e Implementación de la Evaluación Fase de Diseño e Implementación de la Evaluación ElementalElemental
Criterios de Evaluación para cada Atributo CuantificableCriterios de Evaluación para cada Atributo Cuantificable– Valores y RangosValores y Rangos
– Tipos de Criterios de Preferencia ElementalTipos de Criterios de Preferencia Elemental
Marco Descriptivo (Plantillas) de Características y Atributos Marco Descriptivo (Plantillas) de Características y Atributos – Favorece la creación de documentos hiperenlazadosFavorece la creación de documentos hiperenlazados
– Modelo de TrazabilidadModelo de Trazabilidad
Recolección de datos Manual y Automático Recolección de datos Manual y Automático – Website_MAWebsite_MA
Consideraciones FinalesConsideraciones Finales
Fase de Diseño e Implementación de la Evaluación Fase de Diseño e Implementación de la Evaluación GlobalGlobal
Selección de un Modelo Cuantitativo que permita derivar y calcular Selección de un Modelo Cuantitativo que permita derivar y calcular Subcaracterísticas y Características de más alto nivelSubcaracterísticas y Características de más alto nivel
– Modelo meramente aditivo, linealModelo meramente aditivo, lineal
– Modelo no-lineal multiatributo, LSP Modelo no-lineal multiatributo, LSP » Fortalezas y DebilidadesFortalezas y Debilidades
Cálculo Automático Cálculo Automático – WebQEM_ToolWebQEM_Tool
Consideraciones FinalesConsideraciones Finales
Fase de Análisis de Resultados y RecomendacionesFase de Análisis de Resultados y Recomendaciones
Web-site QEM permite ComprenderWeb-site QEM permite Comprender El estado del arte de Sitios Web OperativosEl estado del arte de Sitios Web Operativos
– Subcaracterísticas y Atributos Ausentes Subcaracterísticas y Atributos Ausentes
– Problemas de Diseño Problemas de Diseño (Interface, Navegación, Contenido, Performance, (Interface, Navegación, Contenido, Performance, Funcionalidad ...)Funcionalidad ...)
– Requerimientos Pobremente ImplementadosRequerimientos Pobremente Implementados
Especificar y Controlar Requerimientos de Calidad para Nuevos Especificar y Controlar Requerimientos de Calidad para Nuevos ProyectosProyectos
Web-site QEM permite realizar Recomendaciones para MejorarWeb-site QEM permite realizar Recomendaciones para Mejorar la Calidad de Productos Web la Calidad de Productos Web
Consideraciones FinalesConsideraciones Finales
ReferenciasReferencias
Olsina L., 2000, “Metodología Cuantitativa para la Evaluación y Comparación de Calidad de Sitios Web”, Tesis doctoral defendida en Abril del 2000, Facultad de Ciencias Exactas, UNLP, La Plata.
Olsina L., Papa, M.F., Souto, M.E., Rossi, G.; 2001, “Providing Automated Support for the Web Quality Evaluation Methodology”, Proceed. of the Fourth Workshop on Web Engineering, at the 10th International WWW Conference, Hong Kong, pp 1-11.
ReferenciasReferencias
Olsina, L.; Lafuente, G.J; Rossi, G.; 2000, E-commerce Site Evaluation: a Case Study, LNCS of Springer-Verlag; 1st International Conference on Electronic Commerce and Web Technology, London, UK.
Olsina L., Rossi G., 2002, Measuring Web Application Quality with WebQEM, IEEE Multimedia, Vol. 9, Nº 4, pp. 20-29.
EsquemaEsquema
• Una Metodología de Inspección: Una Metodología de Inspección: WebQEMWebQEM
• Otro Método: Método HeurísticoOtro Método: Método Heurístico• ConclusionesConclusiones
El Método de Evaluación HeurísticaEl Método de Evaluación Heurística
-- Inspección-- Inspección
-- Basada en Guías Heurísticas-- Basada en Guías Heurísticas
-- Manual-- Manual-- Automático-- Automático
FaseFase
-- Análisis-- Análisis-- Recomendaciones-- Recomendaciones
-- Fácil de Usar-- Fácil de Usar-- Efectivo en Costos-- Efectivo en Costos-- Impreciso-- Impreciso
Clase de MétodoClase de Método
EvaluaciónEvaluaciónHeurísticaHeurística
Tipo de MétodoTipo de Método
Tipo de AutomatizaciónTipo de Automatización
Nivel de EsfuerzoNivel de Esfuerzo
En En EvaluaciónEvaluación Heurística Heurística uno o más uno o más evaluadores (expertos en el dominio) evalúan evaluadores (expertos en el dominio) evalúan independientemente un sitio Web, usando una independientemente un sitio Web, usando una Lista de Heurísticas. Lista de Heurísticas. HeurísticasHeurísticas en el sentido de guías venidas de en el sentido de guías venidas de
expertosexpertos– Principios, Rule of Thumbs (Reglas Prácticas)Principios, Rule of Thumbs (Reglas Prácticas)
Evaluación HeurísticaEvaluación Heurística, es la tarea de estimar el , es la tarea de estimar el estado de Usabilidad al aplicar RP establecidas y estado de Usabilidad al aplicar RP establecidas y derivar un puntaje para el sitio basado en cuan derivar un puntaje para el sitio basado en cuan próximo se cumplimentan los requerimientos próximo se cumplimentan los requerimientos establecidos (J. Nielsen).establecidos (J. Nielsen).
Método de Evaluación HeurísticaMétodo de Evaluación Heurística
En En EvaluaciónEvaluación HeurísticaHeurística el resultado del el resultado del proceso de evaluación es típicamente una lista proceso de evaluación es típicamente una lista de posibles problemas de Usabilidad; esto es, de posibles problemas de Usabilidad; esto es, violaciones RoT.violaciones RoT.
Los evaluadores luego de evaluar Los evaluadores luego de evaluar independientemente el sitio Web, determinan y independientemente el sitio Web, determinan y asocian grados de severidad para cada potencial asocian grados de severidad para cada potencial problema de Usabilidad. problema de Usabilidad.
Método de Evaluación HeurísticaMétodo de Evaluación Heurística
Evaluación Heurística Evaluación Heurística es el método de es el método de inspección más informal aunque efectivo en inspección más informal aunque efectivo en costos. costos.
Con frecuencia, con RoT contradictorias!!!Con frecuencia, con RoT contradictorias!!!
Es un método rápido de aplicar, barato, fácil de Es un método rápido de aplicar, barato, fácil de usarusar..
Método de Evaluación HeurísticaMétodo de Evaluación Heurística
Heurísticas para el atributo Texto de Página Heurísticas para el atributo Texto de Página Users prefer pages with more content as opposed to breaking Users prefer pages with more content as opposed to breaking
content over multiple pages content over multiple pages (Landesman and Schroeder 2000).(Landesman and Schroeder 2000).
Keep text short; use 50% less text than in print publications Keep text short; use 50% less text than in print publications (Nielsen 2000).(Nielsen 2000).
Break text up into smaller units on multiple pages Break text up into smaller units on multiple pages (Flanders 1998; (Flanders 1998; Nielsen 2000).Nielsen 2000).
Heurísticas para el atributo Título de PáginaHeurísticas para el atributo Título de Página Use no more than 64 characters Use no more than 64 characters (Berners-Lee 1995).(Berners-Lee 1995).
Use 2-6 words (40-60 characters) Use 2-6 words (40-60 characters) (Flanders 1998).(Flanders 1998).
Use different page titles for each page Use different page titles for each page (Nielsen 2000).(Nielsen 2000).
Guías HeurísticasGuías Heurísticas
Heurísticas para el atributo Longitud del Texto del Heurísticas para el atributo Longitud del Texto del EnlaceEnlaceUse 2-4 words in text links Use 2-4 words in text links (Nielsen 2000).(Nielsen 2000). Use links with 7-12 “useful" words Use links with 7-12 “useful" words (Sawyer and (Sawyer and
Schroeder 2000).Schroeder 2000).
Heurísticas para el atributo Banner de PropagandaHeurísticas para el atributo Banner de PropagandaAds afect the user experience; integrate ads with Ads afect the user experience; integrate ads with
content content (Klee and Schroeder 2000).(Klee and Schroeder 2000). Usability dictates that ads should be eliminated Usability dictates that ads should be eliminated
(Nielsen 2000).(Nielsen 2000). Ads increase credibility Ads increase credibility (Kim and Fogg 1999).(Kim and Fogg 1999).
Guías HeurísticasGuías Heurísticas
An An Advocacy Web PageAdvocacy Web Page is one sponsored by an organization attempting is one sponsored by an organization attempting to influence public opinion (that is, one trying to sell ideas). URL to influence public opinion (that is, one trying to sell ideas). URL frequently ends in frequently ends in .org.org..
Criterion #1: AUTHORITY Criterion #1: AUTHORITY 1.1. Is it clear what organization is responsible for the contents of the Is it clear what organization is responsible for the contents of the
page? page?
2.2. Is there a link to a page describing the goals of the organization? Is there a link to a page describing the goals of the organization?
3.3. Is there a way of verifying the legitimacy of this organization? Is there a way of verifying the legitimacy of this organization? That is, is there a phone number or postal address to contact for That is, is there a phone number or postal address to contact for more information? (Simply an email address is not enough.) more information? (Simply an email address is not enough.)
4.4. Is it clear whether this is a page from the national or local chapter Is it clear whether this is a page from the national or local chapter of the organization? of the organization?
5.5. Is there a statement giving the organization's name as copyright Is there a statement giving the organization's name as copyright holder? holder?
Guías Heurísticas Guías Heurísticas (segun Tate (segun Tate et alet al))
Criterion #2: ACCURACYCriterion #2: ACCURACY
1.1. Are the sources for any factual information clearly listed so Are the sources for any factual information clearly listed so they can be verified in another source? (If not, the page they can be verified in another source? (If not, the page may still be useful to you as an example of the ideas of the may still be useful to you as an example of the ideas of the organization, but it is not useful as a source of factual organization, but it is not useful as a source of factual information). information).
2.2. Is the information free of grammatical, spelling, and Is the information free of grammatical, spelling, and typographical errors? (These kinds of errors not only typographical errors? (These kinds of errors not only indicate a lack of quality control, but can actually produce indicate a lack of quality control, but can actually produce inaccuracies in information.) inaccuracies in information.)
Guías Heurísticas Guías Heurísticas (segun Tate (segun Tate et alet al))
Criterion #3: OBJECTIVITY Criterion #3: OBJECTIVITY 1.1. Are the organization's biases clearly stated? Are the organization's biases clearly stated? 2.2. If there is any advertising on the page, is it clearly If there is any advertising on the page, is it clearly
differentiated from the informational content? differentiated from the informational content?
Criterion #4: CURRENCYCriterion #4: CURRENCY1.1. Are there dates on the page to indicate: Are there dates on the page to indicate:
a.a. When the page was written? When the page was written? b.b. When the page was first placed on the Web? When the page was first placed on the Web? c.c. When the page was last revised?When the page was last revised?
2.2. Are there any other indications that the material is kept Are there any other indications that the material is kept current?current?
Guías Heurísticas Guías Heurísticas (segun Tate (segun Tate et alet al))
Criterion #5: COVERAGE Criterion #5: COVERAGE
1.1. Is there an indication that the page has been Is there an indication that the page has been completed, and is not still under construction? completed, and is not still under construction?
2.2. Is it clear what topics the page intends to address? Is it clear what topics the page intends to address?
3.3. Does the page succeed in addressing these topics, or Does the page succeed in addressing these topics, or has something significant been left out? has something significant been left out?
4.4. Is the point of view of the organization presented in a Is the point of view of the organization presented in a clear manner with its arguments well supported?clear manner with its arguments well supported?
http://www2.widener.edu/Wolfgram-Memorial-Library/webevaluation/http://www2.widener.edu/Wolfgram-Memorial-Library/webevaluation/advoc.htmadvoc.htm
Guías Heurísticas Guías Heurísticas (segun Tate (segun Tate et alet al))
ReferenciasReferencias
Alexander, J.; Tate, M., 1999, “Web Wisdom: How to Evaluate and Create Information Quality on the Web”, Lawrence Erlbaum Pub., 1999.
Nielsen, J., Molich, R; Snyder, C; Farrel, S; 2001, “E-Commerce User Experience”, Nielsen Norman Group.
EsquemaEsquema
• Una Metodología de Inspección: Una Metodología de Inspección: WebQEMWebQEM
• Otro Método: Método HeurísticoOtro Método: Método Heurístico• ConclusionesConclusiones
ConclusionesConclusiones
Web EngineeringWeb Engineering is concerned with the establishment and is concerned with the establishment and use of sound scientific, engineering and management use of sound scientific, engineering and management principles and disciplined and systematic approaches to the principles and disciplined and systematic approaches to the successful development, control, deployment and successful development, control, deployment and maintenance of maintenance of high quality WebApps within budgetary high quality WebApps within budgetary constraintsconstraints
Debemos seleccionar los métodos y prácticas apropiadas Debemos seleccionar los métodos y prácticas apropiadas en el momento adecuado con el fin de Asegurar la en el momento adecuado con el fin de Asegurar la Calidad de WebAppsCalidad de WebApps
One size does not fit all needs and preferences … however, we One size does not fit all needs and preferences … however, we ought to use some of them!ought to use some of them!
Top Related