sexta-feira, 16 de maio de 2008

Medindo o desempenho do seu teste...

Os testes possuem uma medida de qualidade e estimativa de tempo dos testes (APT) baseada em Pontos por Função que erra por volta de 10%, pelo menos segundo o professor e estatísticas levantadas em uma empresa grande que ele tentou implantar a medida.

Mas como não pretendemos calcular PF na empresa que trabalho, isso já ficou de lado, nem vou comentar muito. Mas ele deu outra estatística (chamada de Defect Removal Efficiency ou DRE), dizendo que o resultado médio das empresas é de 0,3 (sem equipes de testes ou pelo menos um processo de testes bem feito, o que atualmente é raro) e o ideal seria acima de 0,75 (ou ainda chegar acima de 0,9 que é considerado high level). Essa estatística já achei bem mais interessante por ser muito mais fácil de medir e mesmo que não seja 100%, é algum guia.

Esse número é calculado com a fórmula:

NBE = Número de Bugs Encontrados
NBN = Bugs Não Encontrados (achados em produção)

DRE = NBE/(NBE+NBN)

Em média as empresas encontram apenas 1/3 dos defeitos no seu processo de validação. Dito isso eu fiz o cálculo para algumas versões mais simples de calcular, no meu trabalho, o que certamente não é o valor real de verdade, mas deve ser bem razoável (em produção só tenho uma estatística de problemas mais graves, já que detalhes não são pegos lá e são pegos aqui dentro o que distorce um pouco o número).

Por isso acabei descartando os problemas mais simples que encontramos em validação. Ainda assim chegamos em um resultado bem animador de 0,88. Nem perto de estar ruim para uma equipe com um software grande para dar manutenção e sem equipe terceirizada de testes =)

Nenhum comentário: