JUPEMA Calidad Software 2015 09

Copyright Cenfotec S.A. 2000..2014


Calidad del software Calidad en los sistemas de información

Junta de Pensiones del Magisterio Nacional JUPEMA Ignacio Trejos Zelaya Universidad Cenfotec, Cenfotec 17 de setiembre del 2015


Agradecimientos

• Watts Humphrey • Capers Jones • John Nicholls • Tony Hoare • Tom Gilb • Dorothy Graham • Marcelo Jenkins • Mario Jiménez (Eximius) • Roberto Sasso • Edwin Garro • Gregory Alfaro • Exactus / Softland • Mis alumnos, mis colegas • Cenfotec, ITCR


51-100%

tarde

9%

101-200%

tarde

16%

Cancelados

29%

Más de 200%

tarde

6%

A tiempo

26%

21-50% tarde

8%

Menos que

20% tarde

6%

Res

ult

ad

os d

e 8

,000 p

royecto

s

Standish Group


Calidad y sexo

"Salvando las diferencias, la calidad tiene mucho en común con el sexo. Todo el mundo lo quiere. Todo el mundo cree que lo conoce. Todo el mundo cree que su ejecución es sólo cuestión de seguir las inclinaciones naturales.

Y, por supuesto, la mayoría de las personas piensa que los problemas en estas áreas son producidos por otra gente."

Philip Crosby, Quality is free, Mc Graw Hill, 1979


Falta de compromiso de la administración superior con el proyecto

No conseguir el compromiso de los usuarios

Mala comprensión de los requerimientos

Inadecuada participación de usuarios

Manejar mal las expectativas de usuarios finales

Alcances: cambios / objeciones

Falta de conocimiento / habilidades requeridas en el personal del proyecto

Falta de requerimientos congelados

Introducción de nuevas tecnologías

Dotación de personal insuficiente / inadecuado

Conflicto entre departamentos usuarios

1 = menos importante, 10 = más importante

Keil, Cule, Lyytinen, Schmidt. 1998* * 40 proyectos,. CACM 41(11), 11.1998


Factores de desafío


Factores de deterioro


Éxito en el tiempo


CHAOS Manifesto, 2013


Ágil vs Cascada - diferencias


Falta de compromiso de la administración superior con el proyecto

No conseguir el compromiso de los usuarios

Mala comprensión de los requerimientos

Inadecuada participación de usuarios

Manejar mal las expectativas de usuarios finales

Alcances: cambios / objeciones

Falta de conocimiento / habilidades requeridas en el personal del proyecto

Falta de requerimientos congelados

Introducción de nuevas tecnologías

Dotación de personal insuficiente / inadecuado

Conflicto entre departamentos usuarios

1 = menos importante, 10 = más importante

Keil, Cule, Lyytinen, Schmidt. 1998* * 40 proyectos,. CACM 41(11), 11.1998


¿Qué es calidad?

"La totalidad de las características de un producto o servicio, que tienen que ver con su capacidad de satisfacer necesidades enunciadas o implícitas"

ISO 8402

The International Standard Quality Vocabulary


Vistas de calidad - Garvin

5. Transcendente

(excelencia innata)

Reputación

4. Basada en el producto (obtener lo que se paga)

Mismo producto –

más características

2. Basada en el usuario

(adecuación al propósito)

Visión del cliente

3. Basada en el proceso

(conforme a los requerimientos)

Satisfacer especificación del cliente

1. Basada en el valor

(diseño s/ precio)

Calidad por costo

Calidad


Calidad - cuantitativa

Grado de conformidad


Calidad – adecuación a propósito

Utilidad y practicidad


Calidad - comparativa

Grado de excelencia


Calidad del software

“Grado con el cual el cliente o usuario percibe que el software satisface sus expectativas”

IEEE 729-83


Beneficios para el cliente

• Satisfacción del cliente

• Mayor confiabilidad del software

• Reducción de errores al operar el software

• Satisfacción de los requerimientos del usuario


Beneficios para la organización

• Se satisfacen los requerimientos del cliente

• Estabilidad de los requerimientos

• Verificación de haber implementado los requerimientos para las diversas características

• Los procesos se aplican de manera consistente

• El proceso mejora al transcurrir el tiempo


Es multidimensional

Debe

trabajar por

largo tiempo

Buen

rendimiento

Sin pulgas

ni defectos

Fácil de usar Adaptado a mis

necesidades

específicas

Ser capaz de usarlo

con UNIX o

Windows


… ¡Bueno!


Obviar el diseño


Modelo de calidad de McCall

Revisión Transici

ón

Operación

Facilidad de Mantenimiento

(¿Puedo corregirlo?)

Flexibilidad

(¿Puedo cambiarlo?)

Facilidad de Prueba

(¿Puedo probarlo?)

Portabilidad

(¿Podré usarlo en otra máquina?)

Reutilizabilidad

(¿Podré reutilizar alguna parte del software?)

Interoperabilidad

(¿Podré hacerlo interactuar

con otro sistema?)

Correctitud (¿Hace lo que quiero?)

Confiabilidad (¿Lo hace de forma confiable todo el tiempo?)

Eficiencia (¿Se ejecutará en mi hardware lo mejor que pueda?)

Integridad (¿Es seguro?)

Facilidad de uso (¿Está diseñado para ser usado?)


Modelo de calidad – ISO 9126


Cómo un factor

de abajo afecta

un factor a la

derecha

‘Cor-

recti-

tud’

Utili-

zabili-

dad

Efi-

cien-

cia

Con-

fiabili-

dad

Inte-

gridad

Adap-

tabili-

dad

Exac-

titud

Ro-

bus-

tez

‘Correctitud’

Utilizabilidad

Eficiencia

Confiabilidad

Integridad

Adaptabilidad

Exactitud

Robustez

Conflictos entre factores M

cC

onnell


Caída

Anomalía

Zafis

Pulga

Errare humanum est


La primera “pulga” (“bicho”)


Error, defecto, falla


NIST Report, 2002

• Errores de software costaron $59,500 M / año, 0.6% PIB EUA

• 1/3 de esos costos, $22,200 M, podría ser eliminado si se mejora la infraestructura y los procesos de validación de software

• 80% de los costos del desarrollo de software en un proyecto típico se gastan en la identificación y corrección de defectos


Potenciales de defectos

• requerimientos

• diseño

• código

• documentación

• malas correcciones


Causas más comunes

• Definición de requerimientos errónea

• Fallas en la comunicación entre cliente y desarrollador

• Desviaciones de los requerimientos de software

• Errores de diseño lógico

• Errores de codificación

• Incumplimiento de instrucciones de documentación y codificación

• Deficiencias en el proceso de pruebas

• Problemas de interfaz de usuario

• Errores en procedimientos

• Errores de documentación


8000 proyectos

51-100%

tarde

9%

101-200%

tarde

16%

Cancelados

29%

Más de 200%

tarde

6%

A tiempo

26%

21-50% tarde

8%

Menos que

20% tarde

6%Standish Group


Fuentes de defectos

Bender & Associates


Costos de detectar + reparar defectos (HP)

Actividad

Requerimientos

Diseño

Codificación

Integración

Pruebas finales

Entrega

Costo Esfuerzo

$45 < 1 h/p

$450 6 h/p

$1,500 20 h/p

$1,500 20 h/p

$45,000 600 h/p

$450,000 6,000 h/p

Hewlett-Packard 1991


Costos de reparación (IBM)


Costo de los errores

Sistema


Acumulación de defectos

Análisis de

Reqs.

Diseño

Construcción

Pruebas

Especif.

correcta

PROBLEMA

Especif.

incorrecta

Diseño

correcto

Diseño

erróneo

Diseño de

espec. errónea

Construcción

correcta

Construcción

errónea

Construyó s/un

diseño erróneo

Funciones

correctas

Errores

corregibles

Errores

incorregibles

Construyó s/

ideas erróneas

Problemas

ocultos

Davis


Trabajo y re-trabajo

requerimientos diseño programación pruebas aceptación


Detección tradicional



Probabilidad de resultados

Capers Jones, 2009


¿Cómo lograr calidad en el software?

“The quality of a system is governed by the quality of the processes used to develop and evolve it”

Watts S. Humphrey


¿Importa el proceso?

Porcentaje de

esfuerzo

Tiempo

Trabajo productivo

Proceso

Trabajo no

productivo

Mc Connell


Atención al proceso

Trabajo productivo

Proceso

Trabajo no

productivo

Mc Connell


Quién hace Qué, Cuándo y Cómo

Proceso de Software

Actividades

(cómo, cuando)

Roles (quién)

Artefactos (qué)

Personas

Ciclo de vida Herramienta

Notación Prácticas y principios

Paradigma

Proceso de software


La calidad se construye...

• En la especificación de necesidades

• En el diseño de productos o servicios

• En la construcción del producto

• En la provisión del servicio

• Mediante el soporte ofrecido a lo largo del ciclo de vida del producto

... a través de los procesos


Hacia la calidad

• Los defectos son evitables

• El mejoramiento continuo de la calidad no reside en aumentar las pruebas, sino en mejorar continuamente los procesos de producción


Costo de la calidad

Prevención Evaluación Falla

Interna Externa

Costo de la calidad (resumen)


Costo de la (no-) calidad

• Costos de prevención: costo de actividades diseñadas para evitar baja calidad en productos o servicios

• Costos de evaluación: costos asociados con medir, evaluar o auditar productos o servicios para asegurar conformidad con estándares de calidad o requerimientos de rendimiento

• Costos de falla: costos que resultan de productos o servicios que no conforman con los requerimientos o que no satisfacen las necesidades de los usuarios – costos resultantes de la baja calidad


Costos de falla

• Costos de falla internos: costos de falla que ocurren antes de enviar el producto al cliente o antes de proveerle un servicio

• Costos de falla externos: costos de falla que ocurren después de enviar el producto al cliente, o que le ocurren durante o después de proveerle un servicio


Costos de prevención

• Descripciones de puestos

• Filtrado de candidatos

• Evaluaciones de personal

• Educación

• Capacitación

• Análisis de mercado

• Encuestas

• Planeamiento

• Pronósticos

• Proyectos piloto

• Revisiones de procedimientos

• Redacción de procedimientos

• Adopción de estándares

• Planeación de la calidad

• Capacitación en calidad

• Administración del aseguramiento de la calidad

• Incentivos de calidad

• Estudios de capacidades

• Revisiones de diseño

• Prototipaje

• Revisiones de requerimientos con usuarios

• Biblioteca de reutilización

• Administración de la configuración

• Evaluación de proveedores

• Encuestas a proveedores


Costos de evaluación

• Lectura de documentos

• Revisiones

• Caminatas (walkthroughs)

• Inspecciones de proceso

• Inspecciones finales

• Validación de prototipos

• Auditorías de producto

• Pruebas de unidades

• Pruebas de integración

• Pruebas del sistema

• Pruebas de aceptación

• Evaluación de calidad de proveedores externos

• Actividades de verificación y validación

• Auditorías de proceso

• Pruebas de rendimiento en el campo

• Preparación y configuración de equipo para pruebas

• Benchmarking


Costos de falla internos

• Accidentes

• Errores de contabilización

• Cambios de diseño

• Rotación de personal

• Equipo no disponible

• Gastos financieros en exceso

• Gastos de viaje en exceso

• Reparar defectos

• Re-trabajo correctivo

• Actualizar documentos

• Re-integración

• Restauración de versiones

• Horas extra

• Obsolescencia

• Sobrepagos

• Rediseño

• Reinspección

• Re-probar

• Retrabajo

• Desechar elementos

• Pruebas de regresión


Costos de falla externos

• Visitas a clientes quejosos • Insatisfacción del cliente • Avisos de cambios a productos en operación • Soporte técnico para quejas provocadas por

defectos • Equipo no disponible • Mantenimiento de código (y otra

documentación) y liberación de versiones corregidas

• Evoluciones de productos debido a defectos • Gastos financieros excesivos • Gastos de viaje en exceso • Mejora debida a defecto • Multas • Capacitación a personal en servicio • Pérdida de reputación • Reducción de ventas

• Revisiones de fallas en campo • Reclamos por acuerdos de servicio • Pérdida de clientes • Re-trabajo, re-inspección, etc. • Garantías, costos financieros, etc. • Litigios • Pago de daños y perjuicios • Pérdida de participación de mercado • Obsolescencia • Sobrepagos • Concesiones de precio • Errores de precio • Rediseño • Reinspección • Reparación en-caliente • Re-probar • Devoluciones • Costos crecientes de mercadeo y promoción

de ventas


El témpano


La calidad afecta los costos del software

Capers Jones


Corrección tardía de defectos es cara

Fase en que se

crea un defecto

Costo de

corregir

Requerimientos

Arquitectura

Diseño detallado

Construcción

Requerimientos

Arquitectura

Diseño detallado Construcción

Liberación

50-200X

1X

Fase en que se corrige un defecto

50-200X

1X

McConnell


Detección localizada



Corregir más defectos más temprano

Fase en que se

crea un defecto

Costo de

corregir

Requerimientos

Arquitectura

Diseño detallado

Construcción

Requerimientos

Arquitectura


Liberación

50-200X

1X


50-200X

1X

Arreglar acá

No acá

McConnell


Tasa de defectos (0)

Kan / Westfall


Tasa de defectos (1)

Kan / Westfall


Aseguramiento

• Patrones planificados y sistemáticos de acciones necesarias para proveer confianza

– Producto : requerimientos técnicos pre-establecidos

– Proceso : conforme a estándares pre-establecidos


Verificación y validación

• Verificación -- ¿estamos construyendo el producto correctamente?

– are we building the product right?

• Validación -- ¿estamos construyendo el producto correcto?

– are we building the right product?


Costo de la calidad

• Enfocarse en calidad desde temprano típicamente reduce el esfuerzo y acorta el tiempo

McConnell


Estática y dinámica

Sommerville, 2000


Verificación y validación

Necesidades del

Negocio

Definición de

Requerimientos

Diseño del

Sistema

Construcción

Del Sistema

Verifica

Pruebas de

Aceptación

Pruebas del

Sistema

Pruebas de

Integración

Pruebas

Unitarias

Verifica

Verifica

Verifica

Valida

Valida

Valida

Valida

Valida

Valida

Valida

Valida

Revisiones

Estáticas Pruebas

Dinámicas

69


Ciclo (de vida) V

LEGEND

SDLC

Phase

Baselined

Phase products

Feasibility

Study

Requirements

definition

Statement of

requirements

Project

initiation

Plans Updated

requirements

Requirements

specification

Requirements

specification

Architectural

design

Design

specification

Detailed

design

Module

designs

Code

Coding

Operation Project

phase out

Operational

software

Operational

test

Project

completion

Acceptance

test

Accepted

software

Tested

software

Integration

test

Integrated

software

Integration

Tested

modules

Unit

Test

Test data Test cases



Test

data Test cases

Test data

Test cases

Integrati

on

plan Buil

d

File

s

Test

data Test

cases

Review

Review

Walkthrough

Code Reading


Integración con ciclo

Especificación de

requerimientos

Especificación de

requerimientos

Diseño

arquitectónico

Pruebas de

aceptación

Pruebas de

integración

Software

probado

Casos de prueba

Casos de prueba

Revisión

Revisión


Detección localizada



Descubrimiento de defectos usual

Capers Jones


Descubrimiento de defectos con inspecciones

Capers Jones


Desarrollo incremental

Davis et al.


Proceso iterativo + V&V

R

D

C PU

PI

PA R

D

C PU

PI

PA R

D

C PU

PI

PA

iteración


Filtrado de defectos


Eficiencia en remoción de defectos

Capers Jones


Bajar costos de defectos

Fase en que se

crea un defecto

Requerimientos

Arquitectura

Diseño detallado

Construcción

Requerimientos

Arquitectura


Liberación

1X


1X

10X?

10X?

Costo de

corregir

McConnell


• Reducción de tiempos: del 10% al 45%

• Cuando comienzan las pruebas, las inspecciones han atrapado 85% de los defectos

¿Qué significa todo esto?


• Reducción del 50% defectos liberados (a clientes), respecto de versión anterior

• Cronograma bajó en 15%

• Pruebas: de 3 turnos en 60 días a 1 turno en 40 días

• Valoración por clientes: pasaron de ‘pobre’ a ‘bueno’

• Mantenimiento: reducción de costo del 45% (año 1)

IBM (DBMS)


Tasa de descubrimiento de defectos (Rayleigh)

Putnam & Myers


Tasa de descubrimiento de defectos

0

10

20

30

40

50

1 3 5 7 9 11 13 15 17 19

Week

Defect Discovery Rate


Costo de los errores

Sistema


Prevención y detección temprana


• “El software de alta calidad no es más caro. Es más rápido y barato construir y mantener software de alta calidad que software de baja calidad, desde el desarrollo inicial hasta llegar al costo total de propiedad.” Capers Jones

• “High-quality software is not expensive. High-quality software is faster and

cheaper to build and maintain than low-quality software, from initial development all the way through total cost of ownership.” Capers Jones

Más bueno, más barato, más rápido


• Reducir cancelación de proyectos

• Reducir litigio en contratación externa

• Acortar cronogramas de desarrollo

• Bajar costos de desarrollo

• Bajar costos de mantenimiento

• Reducir costos de garantías

• Incrementar satisfacción de clientes

• Aprovechar oportunidades de mercado

• Desarrollar oportunidades de innovación

• Mejorar moral de equipos técnicos

Beneficios calidad <-> economía


Softland (Exactus ERP)


Satisfacción de clientes (94% entregas a tiempo)


Satisfacción de los clientes (93% satisfechos o más)


Inicial

Repetible

Definido

Administrado

Optimizante

?

CMM


Visibilidad del proceso


CoSQ: CMM/1 vs CMM/3

Krasner


Raytheon CMM


Ahorros en costos (DB Systems GmbH)

SEI – Carnegie Mellon University – Performance Results of CMMI Based process improvement


Rendimiento


Costo de calidad y CMM

Sedigh-Ali et al.


Efectos avance en CMM

Hersleb et al.


CoSQ versus Mejoras en rendimiento

Krasner, 1999


¡Gracias por su atención!

Ignacio Trejos Zelaya

[email protected]


Las personas, la gente

• La tecnología se hace por la gente

• La tecnología la hace la gente:

– Invención (concepto, diseño, construcción de prototipos)

– Construcción, fabricación, adaptación

– Comercialización

– Soporte técnico, soporte a usuarios

– Mantenimiento, integración

– Educación, capacitación, entrenamiento

– Documentación (manuales, guías, etc.)

– Administración

– Contratos, registro y protección de propiedad intelectual

• ¡El éxito de las TIC exige más que informáticos!


Causas comunes de conflicto en equipos

• Metas que compiten (en conflicto)

• Mala comprensión de las responsabilidades del puesto o trabajo

• Mala comprensión de requerimientos

• Interdependencia

• Mecanismo de retroalimentación

• Sistema de evaluación de desempeño

• Conflictos de interés

• Desacuerdos sobre estrategia

• Desacuerdos sobre ejecución



• Falta de foco

• Planificación deficiente

• Cultura de echar la culpa

• Egocentrismo

• Búsqueda de reconocimiento individual

• Falta de conocimiento de principios y valores de agilidad

• Temor al fracaso

• Falta de responsabilidad del equipo



• Metas que compiten (en conflicto) 31

• Mala comprensión de las responsabilidades del puesto o trabajo 55

• Mala comprensión de requerimientos 51

• Interdependencia 22

• Mecanismo de retroalimentación 25

• Sistema de evaluación de desempeño 35

• Conflictos de interés 37

• Desacuerdos sobre estrategia 35

• Desacuerdos sobre ejecución 33



• Falta de foco 30

• Planificación deficiente 33

• Cultura de echar la culpa 58

• Egocentrismo 45

• Búsqueda de reconocimiento individual 44

• Falta de conocimiento de principios y valores de agilidad 24

• Temor al fracaso 42

• Falta de responsabilidad del equipo 50

JUPEMA Calidad Software 2015 09

Documents

Transcript of JUPEMA Calidad Software 2015 09