Os projetos submetidos ao PBQP Software e concluídos em um ciclo são avaliados de acordo com os seguintes critérios:

• Relevância - Indica a importância do projeto no cenário nacional, englobando: o alinhamento à política atual de software; a importância estratégica do projeto para que o software brasileiro alcance padrões internacionais de qualidade e produtividade; a contribuição para a melhoria da qualidade do software brasileiro.

• Impacto - Avalia o potencial de repercussão do projeto no cenário nacional, considerando: a capacidade de articulação (ser multiinstitucional e possuir movimentos coordenados entre instituições); o potencial de repercussão (ser capaz de gerar influência, em função do êxito/prestígio alcançado); o poder de difusão / disseminação; o poder de mobilização (preparação para uma determinada ação); o poder para gerar ações e respostas decorrentes de sua realização.

• Abrangência - Verifica o alcance do projeto no âmbito espacial, considerando vários níveis: interno à organização; municipal; estadual; regional; nacional; internacional.

• Inovação - Analisa se o projeto é novo (inédito / original) ou se compartilha experiência ou conhecimento anterior, gerando um resultado inovador, bem como se ele é criativo (possui inventividade / engenhosidade).

• Qualidade da Apresentação do Artigo - Verifica se os requisitos estabelecidos para a apresentação do artigo foram seguidos, englobando: a seqüência de itens definida; o padrão definido (formato, tamanho ...); o nível de detalhamento e a objetividade; a clareza de conteúdo, com redação adequada.

• Resultados Obtidos pelo Projeto - Considera aspectos relevantes dos produtos e demais resultados gerados, entre eles: definição clara dos produtos derivados do projeto; obtenção e importância dos produtos e demais resultados previstos para o ano em curso; possibilidade de integrar outras disciplinas às boas práticas da engenharia e qualidade de software; estímulo a outras iniciativas semelhantes.

Cada critério a ser avaliado está dividido em um conjunto de atributos, que são submetidos ao avaliador como uma declaração, para a qual ele deve manifestar o seu grau de concordância ou discordância utilizando a escala abaixo, para a qual foi estabelecida a seguinte correspondência numérica:

 Cada critério receberá uma nota entre 1 e 5, obtida como a média dos valores atribuídos às declarações, onde a nota 1 significa a menor avaliação e a nota 5 significa a maior avaliação associada a cada critério definido. A seguir, é calculada a média ponderada das notas obtidas por critério, utilizando a estrutura de pesos abaixo:

 Obtém-se, desta forma, a nota final de cada projeto. A planilha utilizada pelos avaliadores é apresentada na figura seguinte. Além de manifestar o seu grau de concordância ou discordância às declarações definidas para cada critério, cada avaliador deverá anotar pontos fortes e oportunidades de melhoria observadas nos projetos. Estas informações serão repassadas aos responsáveis pelos projetos, bem como poderão subsidiar uma possível discussão posterior durante a revisão conjunta dos projetos melhor avaliados, atividade que antecede a definição dos vencedores e atribuição do Prêmio Dorgival Brandão Júnior da Qualidade e Produtividade em Software, conforme descrito acima, no item “Avaliação dos Projetos Concluídos em um Ciclo”.

Planilha para avaliação individualizada de projeto