Proposta de um Modelo de Avaliação para o Programa Segundo Tempo do Ministério do Esporte – ME sob a Ótica da Metodologia Multicritério de

Apoio à Decisão - Construtivista

Autoria: Raquel Silva de Faria, Marcelo Grangeiro Quirino, Ludmila Ferreira Bandeira, Nair Aguiar Miranda

Resumo Este artigo trata-se de um estudo de caso que apresenta uma proposta de avaliação de desempenho dos Núcleos do Programa Segundo Tempo (PST) do Ministério do Esporte. Esse programa oferece prática esportiva no contraturno escolar a crianças e adolescentes em situação de vulnerabilidade social. O modelo de avaliação foi construído baseado na Metodologia Multicritério de Apoio à Decisão – Construtivista (MCDA-C), onde foram identificados 8 fatores críticos de sucesso e 28 critérios de avaliação. A análise dos resultados da avaliação permitiu identificar os possíveis pontos de sucesso e entrave no desempenho dos Núcleos, apresentando ações para aperfeiçoamento na gestão do PST.

2

INTRODUÇÃO Avaliar a gestão de programas governamentais é fundamental para o aperfeiçoamento de planos, programas e políticas públicas. A pesquisa de avaliação de políticas sociais é uma área de atividades dedicada a coletar, analisar e interpretar informações sobre a formação, implementação e o impacto das ações governamentais que visam alterar as condições de vida da população, em particular dos segmentos sociais mais destituídos. Para Souza (2006) define política pública como “o campo do conhecimento que busca, ao mesmo tempo, “colocar o governo em ação” e/ou analisar essa ação (variável independente) e, quando necessário, propor mudanças no rumo ou curso dessas ações (variável dependente)”. Nesse sentido, o presente artigo pretende analisar uma ação de governo o Programa Segundo Tempo (PST) do Ministério do Esporte (ME), ação que compõe a Política Nacional do Esporte e pretende democratizar o acesso ao esporte, oferecendo mecanismos para realização de prática desportiva no contraturno escolar, essa ação é destinada, em especial, a crianças, adolescentes e jovens em situação de vulnerabilidade econômica e social. Utilizaremos como objeto de análise os núcleos de atividades do Programa. O enquadramento metodológico desse trabalho é de pesquisa exploratória qualitativa do tipo estudo de caso. O objetivo desse artigo é desenvolver um modelo avaliativo utilizando a Metodologia Multicritério de Apoio à Decisão – Construtivista (MCDA-C), para que esse modelo seja capaz de subsidiar as decisões dos gestores governamentais. Para tanto, pretende-se gerar conhecimento sobre o desempenho da execução descentralizada do programa, destacando os fatores que estão contribuindo ou se opondo ao seu sucesso. O leque de soluções apontará para formas mais eficientes de se realizar os termos de parcerias e a gestão dos recursos financeiros e materiais disponíveis para o programa. Para atingir este objetivo geral, os seguintes objetivos específicos deverão ser alcançados: (i) identificar os fatores críticos de sucesso e os critérios de avaliação relevantes para o programa com os decisores; (ii) mensurar os fatores críticos de sucesso e os critérios de avaliação de acordo com as preferências dos decisores do programa; (iii) testar a validação do modelo construído com os decisores, questionando se o modelo construído apresenta a realidade do problema e; (iv) apresentar o funcionamento do modelo com um estudo de caso. A relevância deste artigo consiste em apresentar uma metodologia de avaliação congruente com os propósitos e o modelo de funcionamento do programa Segundo Tempo. Os programas governamentais geralmente não têm uma metodologia eficaz no acompanhamento e na verificação dos resultados de suas ações. Há instrumentos que são desenvolvidos de forma genérica e não se adaptam a realidade de cada programa ou não são capazes de fornecer informações suficientes e úteis para subsidiar as decisões. Há ainda programas que não têm nenhum instrumento de acompanhamento e avaliação e ficam limitados ao “achismo” dos gestores. Este artigo apresenta uma avaliação construída sob a ótica da MCDA-C, que poderá diagnosticar as fragilidades e as potencialidades e sugerir ações de aperfeiçoamento que promova a alavancagem de políticas públicas para o Programa Segundo Tempo. O Programa Segundo Tempo O Programa Segundo Tempo (PST), do Ministério do Esporte (ME), está ligado a Política Nacional do Esporte, a qual pretende colocar o Estado como garantidor do direito a prática desportiva do cidadão, conforme previsto no artigo 217 da Constituição Federal de 1988, que

3

diz: “É dever do Estado fomentar práticas desportivas formais e não-formais, como direito de cada um, ...”. Nesse sentido, o PST tem por objetivo central criar mecanismos para incentivar e promover a prática desportiva de crianças, adolescentes e jovens brasileiros, especialmente, os matriculados na rede de ensino pública. De acordo com o documento, Diretrizes do Programa Segundo Tempo, publicado pelo Ministério do Esporte em 2011, o foco do Programa está em democratizar o acesso à prática esportiva, como ferramenta educacional capaz de proporcionar aos beneficiados além do bem-estar físico, a promoção da saúde, o exercício da cidadania e a inclusão social. A utilização de espaços físicos já existentes para a realização de atividades no contra-turno escolar visa que os alunos permaneçam em um ambiente de convivência com enfoque no esporte educacional, capaz de fortalecer seu desenvolvimento humano. O público-alvo do programa são crianças, adolescentes e jovens entre 06 e 17 anos, prioritariamente matriculados em escolas públicas e/ou em áreas de vulnerabilidade social. Pretende-se desenvolver neles, além das habilidades esportivas, noções de liderança, de trabalho em equipe e de disciplina individual e coletiva, o que deverá contribuir para formar cidadãos mais preparados, mais solidários e com maior sentido de cooperação. Os limites de beneficiados/núcleos, por entidade proponente, baseiam-se na População Escolar da Rede Pública do Ensino Fundamental e Médio, segundo informações do Censo Escolar – IBGE/2009. O PTS foi iniciado em abril de 2003. O projeto piloto envolveu uma parceria do Ministério do Esporte com o Ministério da Educação atendendo a 543 escolas públicas urbanas e alcançando a marca de 523.764 mil beneficiados. Oficializado em outubro de 2003 e a partir de 2004 passa a ser incluído como um Programa no Plano Plurianual (PPA) 2004/2007. Como observado, o programa tem abrangência nacional. Sua gestão é destacada por se orientar de forma descentralizada. A descentralização da execução no âmbito do Segundo Tempo se consolida por meio de parcerias formalizadas a partir de instrumentos legais especificados na Figura 1, conforme a esfera e o tipo de órgão/entidade selecionada: Figura 1. Quadro de especificações de tipos de parcerias firmadas no âmbito do PST

Fonte: extraído da Publicação Diretrizes do Programa Segundo Tempo 2011

4

A partir 1° de setembro de 2008, o interessado em apresentar pleito específico para desenvolver o Programa Segundo Tempo e seus projetos especiais deverá proceder às orientações e normativas estabelecidas em chamada pública disponibilizada no Portal de Convênios do Ministério do Planejamento, Orçamento e Gestão (SICONV) e portal do Ministério do Esporte (www.esporte.gov.br/segundotempo). O Ministério do Esporte é o órgão gestor do Programa, responsável por estabelecer as orientações e diretrizes para sua execução. Em suas atribuições está estabelecer, regular, fiscalizar e renovar os convênios com as entidades parceiras, além de acompanhar e avaliar o programa. O ME financia o material esportivo, o material esportivo suplementar, o material técnico-didático, se necessário, e a bolsa para os recursos humanos envolvidos. FUNDAMENTAÇÃO TEÓRICA Processo Decisório em Políticas Públicas O processo decisório em políticas públicas pode ser entendido por dois paradigmas de racionalidade, podemos interpretar racionalidade como uma classe específica e bastante familiar de procedimentos de escolha. Podemos dividir esse conceito entre teoria da racionalidade pura e teoria da racionalidade limitada. (MARCH, 2009) A teoria da racionalidade pura parte da premissa de que todos os indivíduos compartilham um conjunto comum de preferências, de que alternativas e suas consequências são definidas pelo ambiente, e de que os indivíduos envolvidos em decisões têm um conhecimento perfeito dessas alternativas e de suas consequências. Esse paradigma é entendido como lógica da consequência. (MARCH, 2009) Já na Teoria da Racionalidade Limitada, a ideia central da racionalidade limitada é que os indivíduos procuram ser racionais. Contudo, são restringidos por uma capacidade cognitiva limitada e informações incompletas e, assim, suas ações podem não ser completamente racionais, apesar de suas melhores intenções e de seus melhores esforços. Assim procuram a “melhor alternativa possível”, uma ação que seja “boa o suficiente”. (MARCH, 2009) Souza (2006) destaca que o conceito de racionalidade limitada dos decisores públicos foi introduzido por Simon:

Simon (1957) introduziu o conceito de racionalidade limitada dos decisores públicos (policy makers), argumentando, todavia, que a limitação da racionalidade poderia ser minimizada pelo conhecimento racional. [...], mas a racionalidade, segundo Simon, pode ser maximizada até um ponto satisfatório pela criação de estruturas (conjunto de regras e incentivos) que enquadre o comportamento dos atores e modele esse comportamento na direção de resultados desejados, impedindo, inclusive, a busca de maximização de interesses próprios. (SOUZA, 2006, p.23)

Nessa perspectiva, este artigo propõe como pano de fundo a adoção do paradigma da lógica da adequação para o enquadramento da análise de processos decisórios em políticas públicas. Essa abordagem procura interpretar o comportamento humano como resultado das restrições impostas por um conjunto de “regras adequadas ou comportamentos exemplares”, que possuem componentes cognitivos e normativos.

5

Para tanto, iremos utilizar a Metodologia Multicritério de Suporte a Decisão com enfoque Contrutivista como instrumental de nossa proposta. A área de pesquisa sobre análise multicritério não é, conceitualmente, um tema recente. Essa área de pesquisa a Multicriteria Decision Aid (MCDA) enfatiza, primordialmente, a geração de conhecimento, aprendizagem e a busca de uma solução satisficiente do problema em análise (ENSSLIN; MONTIBELLER NETO; NORONHA, 2001). A atividade de apoio à decisão, conforme praticada segundo as premissas da metodologia MCDA, consiste em três fases básicas, diferenciadas, mas intrinsecamente correlacionadas: (i) a estruturação do contexto decisório; (ii) a construção de um modelo de avaliação de alternativas/ações; e (iii) a formulação de recomendações para as alternativas mais satisfatórias (ENSSLIN; MONTIBELLER NETO; NORONHA, 2001). Metodologia Multicritério Critério de Apoio à Decisão Os métodos multicritério, segundo Baash (1995), tiveram suas origens no século XVIII, nos trabalhos de Bernouilli que, que modelava as preferências individuais para escolher entre opções com riscos. A partir de Segunda Guerra Mundial, surge a Pesquisa Operacional, para os quais vários pesquisadores no campo da Matemática, Estatística e Computação foram convocados a fim de apresentar soluções de ordem militar para o Exército, Marinha e Aeronáutica. O sucesso das análises e decisões realizadas, com uso de conhecimento interdisciplinar, invadiu os meios acadêmico e empresarial, nas soluções de problemas complexos e de tomada de decisão. No campo das metodologias multicritério, surgiram duas escolas distintas, a Escola Americana (Multicriteria Decision Making – MCDM) e a Escola Européia Multicriteria Decision Aid – MCDA (Escola Européia). A Escola Americana se apóia em procedimentos mais racionais, em que o tomador de decisão busca solução ótima e informações quantitativas para um problema conhecido e percebido por todos da mesma forma. A Escola Européia focaliza o aspecto da compreensão e a aprendizagem do problema pelo tomador de decisão, onde os decisores participam ativamente do processo de estruturação do problema, conhecendo-o melhor. Adquirem conhecimento necessário para gerar um conjunto de soluções de acordo com suas preferências, alcançando os objetivos desejados, (ENSSLIN et al., 2010). Segundo Roy (1996), a MCDA admite que o conjunto de opções que se modifica no desenvolvimento do processo, o poder de decisão é representado por um ou vários decisores, as preferências não estão definidas, dadas as percepções, as incertezas e as contradições dos atores envolvidos no processo. O modelo é construído, com base na tendência epistemológica de Piaget e sua visão construtivista: “conhecimento como resultado da relação entre o sujeito e o objeto em estudo” (LANDRY, 1995, p. 317). Desta forma, segundo Vegini et al., (2012, p. 245), os modelos MCDA, utiliza na sua aplicação o paradigma construtivista para caracterizar a sua prática científica, cujo principal diferencial está no desenvolvimento de modelos personalizados que levam em conta os objetivos e valores dos decisores, possibilitando ao mesmo participar ativamente em todas as fases de desenvolvimento do modelo, legitimando-o constantemente (STOLT e ENSSLIN, 2009). (ROY, 1993; LANDRY, 1995) destacam a importância da visão construtivista no processo decisório, pois busca desenvolver o conhecimento através de um processo metodológico e científico.

6

A pesquisa em estudo segue a MCDA e a seus pressupostos construtivistas. As principais etapas que vai nortear o trabalho, tais etapas são apresentadas seqüencialmente, porém, esse processo é, na prática, interativo: (i) Estruturação, (ii) Avaliação e (iv) Elaboração das Recomendações (ENSSLIN; DUTRA; ENSSLIN, 2000). A Figura 2 apresenta graficamente a construção do modelo de avaliação de desempenho de forma sistêmica e sistemática nas três fases que facilitam seu entendimento e aplicação, (BORTOLUZZI et al., 2010, p., 428). Figura 2 - Fases do MCDA

  Fonte: Adaptado de (ENSSLIN et al., 2000) A primeira etapa (estruturação) consiste em determinar os fatores críticos de sucesso (FCS) que são os pontos chave que os decisores julgam necessários e suficientes para avaliar o contexto e os critérios com seus respectivos indicadores de avaliação de desempenho (IAD). A segunda etapa (avaliação), constituída de três fases: (a) consiste em determinar os pesos dos FCS, subFCS e critérios, segundo o juízo de valor dos gestores (decisores); (b) determinar as funções de valor dos IAD e (c) diagnosticar o desempenho das alternativas de avaliação. A terceira etapa (elaboração e recomendação) fornecem subsídios, aos decisores, para que estes tenham condições de selecionar a estratégia mais adequada a ser implementada ou para minimizar as fragilidades diagnosticadas. Em todas as três etapas a serem cumpridas para construção do modelo proposto utilizam-se os pressupostos construtivistas da metodologia MCDA. Agora passa a ser chamada de Metodologia Multicritério de Apoio à Decisão Construtivista (MCDA-C). METODOLOGIA Estruturação do Modelo

7

Para elaborar a estruturação do problema, foram realizadas várias reuniões com todos os envolvidos (decisores) responsáveis pelo programa, e foi explicado a metodologia proposta na pesquisa. Devido à indisponibilidade de tempo dos gestores diretos do Programa Segundo Tempo, responsáveis pela Coordenadoria de Pré-Análise e Formalização de Convênios e a Coordenadoria de Operação, indicaram seus representantes diretos, os técnicos responsáveis pelos contatos com os Núcleos. Sendo assim, cada fase da construção do modelo os representantes (técnicos) participavam ativamente da construção do modelo. Construção dos FCS e dos Critérios Como resultado deste estudo foi possível identificar junto com os gestores os fatores críticos de sucesso (FCS). Percebeu-se que apenas essas dimensões não seriam suficientes para definir e mensurar todas as alternativas de avaliação. Assim, foi necessário a decomposição de alguns FCS, denominados de subfatores críticos de sucesso (SubFCS), denominados de critérios. No total, foi encontrada uma família de 8 FCS e 28 critérios, conforme Tabela 3. O FCS 1 – Beneficiário: o perfil dos alunos que atuam no programa. O FCS 2 – Coordenadores e Monitores: o perfil dos professores e monitores que atuam no programa. O FCS 3 – Infraestrutura: localização e as condições adequadas dos Núcleos. O FCS 4 – Funcionamento do Programa: período de funcionamento e as atividades desenvolvidas nos Núcleos. O FCS 5 – Reforço Alimentar: qualidade e quantidade suficiente de alimentação, oferecidas aos participantes do programa. O FCS 6 – Material Esportivo: qualidade quantidade suficiente para os participantes. O FCS 7 – Divulgação do Programa: existência de uma divulgação sobre o Programa Segundo Tempo na comunidade local. O FCS 8 – Fiscalização: existência de uma fiscalização da comunidade e de entidade fiscalizadora sobre atuação do Programa Segundo Tempo no Núcleo. Construção dos Indicadores de Avaliação de Desempenho Identificados os critérios, a próxima etapa da estruturação do modelo consiste na construção dos indicadores de avaliação de desempenho (IAD), que vão permitir a mensuração e a avaliação do desempenho das alternativas avaliativas (nesta pesquisa os núcleos). Para cada critério, foi construído um indicador. “Um IAD pode ser definido como um conjunto de níveis de impactos que servem como base para descrever os desempenhos plausíveis das alternativas avaliativas em termos de cada critério” (BANA e COSTA, 1992; BANA e COSTA et al, 1999 apud ENSSLIN et al, 2001, p.145). Os níveis de impacto dos IAD são ordenados em termos de preferência segundo o juízo de valor dos decisores. O primeiro nível deve ser o reconhecido pelo decisor como o que tem o melhor desempenho do possível e, conseqüentemente, o último nível é o que apresenta o pior desempenho aceitável. Os demais níveis de impacto são dispostos de acordo com o sistema de valor dos decisores, respeitando essa ordenação de preferências. A Figura 3 apresenta um IAD construído nesta pesquisa relativo ao critério 1.3 – Continuidade no Programa, decomposto do FCS 1 – Público – Alvo com 4 níveis de impacto, ordenados de acordo com o nível de impacto preferencial dos representantes do Programa Segundo Tempo. Nessa essa etapa, conclui-se a fase de estruturação do modelo.

8

Figura 3. Indicador de Avaliação de Desempenho (IAD) do critério 1.3 – Continuidade no Programa

Nível de Impacto Descrição N4 Acima de 90% dos alunos permanecem até o fim da vigência do convênio. N3 Entre 70 e 90% dos alunos permanecem até o fim da vigência do convênio. N2 Entre 50 e 69% dos alunos permanecem até o fim da vigência do convênio. N1 Abaixo de 50%.

Fonte: Resultado da Pesquisa AVALIAÇÃO Mensuração da Árvore de Decisão O próximo passo foi determinar os pesos das dimensões (FCS e dos critérios) da árvore de decisão, que informa a importância relativa de cada dimensão no modelo construído, segundo o juízo de valor dos decisores. O método utilizado, Pesos Balanceados (Swing Weights), (BODILY, 1985; VON WINTERFELDT e EDWARDS, 1986; GOODWIN e WRIGTH, 1991; BEINAT, 1995 apud ENSSLIN et al, 2001, p., 224). Este método usa as preferências dos decisores, neste caso, os representantes do Programa Segundo Tempo para determinar os pesos das dimensões, conforme mostra a Tabela 1 os FCS hierarquicamente ordenados com seus respectivos pesos. Tabela 1. Os pesos dos FCS, pelo método de Pesos Balanceados (Swing Weights)

Fator Crítico de Sucesso– FCS Peso 1 – Público Alvo 0,16 2 – Coordenadores e Monitores 0,12 3 – Infraestrutura 0,14 4 – Funcionamento do Programa 0,13 5 – Reforço Alimentar 0,15 6 – Material Esportivo 0,11 7 – Divulgação 0,10 8 – Fiscalização 0,09

Fonte: Resultado da pesquisa Após a identificação dos pesos dos FCS, foram determinados os pesos dos demais critérios. Funções de Valor dos Indicadores de Avaliação de Desempenho O próximo passo foi definir as Funções de Valor que permitem que se descreva o grau de atratividade entre os diferentes níveis de impacto construídos para cada IAD. São representações matemáticas - por meio de gráficos ou escalas numéricas – que refletem o julgamento de valor do decisor para o determinado ponto de vista. (ENSSLIN et al, 2001). A Tabela 2 mostra o IAD com as Funções de Valor determinada por intermédio do software Measuring Attractveness by a Categorical Based Evaluation Technique (MACBETH) desenvolvido por Bana e Costa, Stewart e Vanisck (1995). Ele utiliza os julgamentos semânticos do decisor para determinar a função de valor (valor numérico) que melhor represente tais julgamentos do decisor, com um de modelo de Programação Linear (WAGNER, 1986).

9

Tabela 2. Indicador de avaliação de desempenho (IAD) completo coma as escalas cardinais construídas do critério 1.3 – Continuidade no Programa com as funções de valor

Nível de Impacto

Descrição Função de Valor

(MACBETH) N4 Acima de 90% dos alunos permanecem até o fim da vigência do convênio. 100 N3 Entre 70 e 90% dos alunos permanecem até o fim da vigência do convênio. 60

N2 Entre 50 e 69% dos alunos permanecem até o fim da vigência do convênio. 0

N1 Abaixo de 50%. –40 Fonte: Resultado da Pesquisa

Após a construção dos 28 IAD (um para cada critério) o modelo de avaliação está concluído, alcançou seu objetivo maior. A partir desse processo de construção do modelo, foi possível identificar, 8 FCS decomposto em 28 critérios que devem compor o modelo a ser utilizado para avaliar o desempenho de duas escolas públicas denominadas de Núcleos Vila Basevi e Boa Vista conveniada ao Programa Segundo Tempo. Avaliação Local das Alternativas de Avaliação Com o modelo de avaliação estruturado, o passo seguinte foi utilizá-lo para avaliar o desempenho das alternativas avaliativas, ou seja, os Núcleos Vila Basevi e Boa Vista escolhidos pelos os representantes responsáveis pelo Programa Segundo Tempo. Para realizar esta tarefa é preciso identificar qual o desempenho de cada núcleo em cada critério do modelo construído. Nesse processo de avaliação dos núcleos utilizou-se o software Hiview (BARCLAY, 1984), que é usado em processos de Apoio à Decisão, particularmente na avaliação de modelos obtidos por Metodologias Multicritério de Apoio à Decisão. A Tabela 3 mostra avaliação local dos núcleos, em todos os critérios do modelo, isto é, onde cada núcleo foi pontuado seu desempenho em cada critério. Tabela 3. Avaliação Local dos Núcleos Vila Basevi e Boa Vista

Pontuação Local Fatores Críticos de Sucesso

(FCS) Critérios Vila Basevi

Boa Vista

1.1 – Risco Social 100 100 1.2 - Quantidade 100 100 1 – Beneficiários 1.3 – Continuidade no Programa 60 100 2.1.1 - Freqüência – Coordenador 100 0 2.1.2 - Freqüência – Monitores 100 100 2.2.1 - Qualificação - Coordenador -50 0 2.2.2 - Qualificação – Monitores -50 -50 2.2.3 - Curso de Capacitação 50 50

2 – Coordenadores e Monitores

2.3 - Atividades Extras 100 0 3.1 - Locais de Esporte -60 -60 3.2 - Refeitórios e Bebedouros -33 -33 3 – Infraestrutura 3.3 - Banheiros 0 -30 4.1.1 – Dias 100 100 4.1.2 – Turnos 100 100 4.2.1 - Modalidades Esportivas 0 100

4 – Funcionamento do Programa

4.2.2 – Modalidades Complementares 125 0

10

5.1 - Quantidade 100 100 5.2 - Qualidade 0 0 5 – Reforço Alimentar 5.3 - Pontualidade 0 100 6.1 - Distribuição 100 100 6.2 - Qualidade -50 0 6 – Material Esportivo 6.3 - Reposição 100 100 7.1 - Identificação do Núcleo 0 0 7.2 - Uniforme do Programa 100 100 7 – Divulgação do Programa 7.3 - Divulgação Local 40 80 8.1 - Pais 0 0 8.2 - Comunidade 50 100 8 – Fiscalização 8.3 - Entidade Fiscalizadora 125 100

Fonte: Resultados da pesquisa Analisando-se conjuntamente a avaliação local dos Núcleos Vila Basevi e Boa Vista, o Quadro 5, apresenta os seguintes resultados: o FCS 1 – Beneficiário, os Núcleos apresenta uma pontuação ótima, ou seja, o perfil dos alunos estão adequados para o Programa Segundo Tempo; o FCS 2 – Coordenadores e Monitores, os Núcleos apresentaram dois pontos crítico na qualificação dos coordenadores e dos monitores; o CFS 3 – Infraestrutura, os dois Núcleos apresentam uma pontuação muito baixa nos três critérios que compõe a infraestrutura; o FCS 4 – Funcionamento do Programa, os Núcleos apresentaram uma excelente pontuação com exceção da Vila Basevi no critério modalidade esportiva que tem uma pontuação neutra (zero); 5 – Reforço Alimentar, os Núcleos deixam a desejar no critério qualidade tem uma pontuação neutra (zero) e a Vila Basevi, ainda deixa a desejar na pontualidade das refeições. 6 – Material Esportivo, os Núcleos tem um desempenho fraco no critério qualidade do material usado pelos os alunos a Vila Basevi apresenta uma pontuação negativa; 7 – Divulgação do Programa, os Núcleos deixam a desejar no critério identificação do núcleo, apresentam uma pontuação neutra (zero); 8 – Fiscalização - os dois Núcleos deixam a desejar no critério pais dos alunos participantes do programa apresentam uma pontuação neutra (zero). Perfil de Impacto das Avaliações Locais Para melhor visualização da avaliação local dos Núcleos Vila Basevi e Boa Vista, realizado em todos os critérios, traça-se graficamente o perfil de impacto (BELTON, 1990). Com as informações da avaliação local podem-se identificar quais foram os pontos fracos e fortes de cada núcleo, conforme mostra a Figura 5.

Figura 5. Perfis de Impacto das Avaliações Locais dos Núcleos Vila Basevi e Boa Vista

Perfis de Impacto dos Núcleos Vila Basevi 1 e Boa Vista 2

-100

-50

0

50

100

150

PVE

1.1

PVE

1.2

PVE

1.3

PVE

2.1.

1

PVE

2.1.

2

PVE

2.2.

1

PVE

2.2.

2

PVE

2.2.

3

PVE

2.3

PVE

3.1

PVE

3.2

PVE

3.3

PVE

4.1.

1

PVE

4.1.

2

PVE

4.2.

1

PVE

4.2.

2

PVF

5.1

PVE

5.2

PVE

5.3

PVE

6.1

PVE

6.2

PVE

6.3

PVE

7.1

PVE

7.2

PVE

7.3

PVE

8.1

PVE

8.2

PVE

8.3

Pont

uaçã

o

Bom Neutro Núcleo 1 Núcleo 2 Fonte: Resultado da Pesquisa

11

O eixo horizontal refere-se aos critérios, já o eixo vertical, à pontuação de desempenho de cada núcleo. A pontuação entre 0 e 100 inclusive está dentro da expectativa desejada, acima de 100 pontos está acima da expectativa e abaixo de 0 ponto está abaixo da expectativa desejada, ou seja, está com o desempenho abaixo do mínimo (pontuação negativa) que se espera de uma alternativa avaliada. Analisando-se conjuntamente os perfis de impacto dos Núcleos, o gestor pode identificar pontos críticos em comum aos núcleos. Os dois Núcleos na área de Infraestrutura nos critérios 3.1, 3.2 e 3.3, apresentaram um desempenho fraco, considerado comprometedor, consequentemente foram penalizados com pontuações negativas. Sendo assim, os gestores poderiam verificar se o desempenho dos Núcleos na Infraestrutura é recorrente, para gerar possíveis estratégias que aprimorem esta avaliação. Já o Núcleo Vila Basevi nos critérios 4.2.2 e 8.3, foi impactado em nível de excelência, ou seja, acima da expectativa. No geral, o núcleo Vila Basevi apresentou os seguintes resultados:

• Impactou abaixo da expectativa (pontuação negativa) em 5 critérios, que corresponde 17,9%;

• Impactou dentro da expectativa (pontuação entre 0 e 100 pontos inclusive) em 21 critérios, que corresponde 75%;

• Impactou acima da expectativa (pontuação acima de 100 pontos) em 2 critérios, que corresponde 7,1%.

No geral, o núcleo Boa Vista apresentou os seguintes resultados:

• Impactou abaixo da expectativa (pontuação negativa) em 4 critérios, que corresponde 14,3%.

• Impactou dentro da expectativa (pontuação entre 0 e 100 pontos inclusive) em 24 critérios, que corresponde 85,7%;

Avaliação Global Após, obtidos os resultados das avaliações locais dos núcleos, realiza-se a Avaliação Global. As avaliações locais dos Núcleos são agregadas em um único valor denominado de Avaliação Global. Dada pela equação matemática de agregação aditiva que pode ter várias formas, sendo a mais usual a aditiva, (KEENEY e RAIFFA, 1993; KEENEY, 1992). A equação é dada por: V(a) = W1.v1(a) + W2.v2(a) + W3.v3(a) +……. + Wn.vn(a) ou de forma genérica

∑−

=n

iii avWaV

1

)()( , (1)

onde:

• V(a) → Valor Global da alternativa avaliativa a;

• v1(a), v2(a), v3(a), ….vn(a) → Valor da avaliação local da alternativa avaliativa “a” em

cada critério i, i = 1, 2, 3,....n.

• W1, W2, W3,….Wn → Pesos dos FCSi, i = 1, 2, 3,...n.

A equação (1) está submetida às seguintes restrições:

12

• A soma dos pesos dos FCSi é igual a 1

W1 + W2 + W3 +…….+ Wn = 1.

• Os valores dos pesos dos FCSi deve ser maior que 0 e menor que 1. Substituindo os valores dos pesos dos FCS, dos critérios e as Avaliações Locais dos Núcleos na fórmula do modelo construído (2), obtêm os seguintes resultados:

• Núcleo Vila Basevi V(VB) = 45 pontos. • Núcleo Boa Vista V(BV) = 51,5 pontos.

Percebe-se que os desempenhos globais (Avaliação Global) dos dois Núcleos foram semelhantes. Essa característica pode significar que os dois núcleos estão sendo influenciados, positiva ou negativamente, por linhas estratégicas comuns ao programa, que devem ser estudadas pelos gestores dos Núcleos do Programa Segundo Tempo. Para os gestores os desempenhos globais dos dois Núcleos estão abaixo do esperado. Deve haver uma intervenção para melhoria de forma significativa, onde os núcleos impactaram negativamente. Desta forma, analisar os demais núcleos para verificar se estão em condições semelhantes. Robustez do Modelo Construído o MCDA, pode, então, o decisor usufruir das informações, do conhecimento gerado, para encontrar a solução que considera mais adequada, de acordo com o seu sistema de valor. Entretanto, pode acontecer de o decisor considerar cabível uma alteração nos pesos dos FCS. Para tanto, é necessário verificar se o modelo é suficientemente robusto para suportar essas alterações. Essa verificação é denominada Análise de Sensibilidade. Esta análise consiste, usualmente, em mudar os valores dos pesos e observar o que acontece com o resultado final (avaliação das alternativas). É uma fase importante na aplicação de qualquer modelo, contribuindo para superar a falta de precisão na determinação dos pesos dos FCS, e assim, gerar conhecimento sobre o problema e, finalmente, aumentar a confiança nos resultados obtidos. (DIAS et al., 1997 apud ENSSLIN et al, 2001, p.269). Para se realizar a análise de sensibilidade, recomenda-se o uso de ferramentas que a facilite, pois pode demonstrar-se complexa e demorada. O software utilizado neste artigo é o HIVIEW (BARCLAY, 1984). Além de realizar os cálculos necessários, esse software permite a observação gráfica desta análise, o que se faz imprescindível tanto para os decisores como para os facilitadores visualizarem melhor o resultado das variações nos pesos dos FCS. Os gestores dos Núcleos escolheram os FCS para Análise de Sensibilidade que julgaram poder haver alterações nos pesos dos FCS no decorrer do tempo: 2 – Coordenadores e Monitores; 3 – Infraestrutura; e, 6 – Material Esportivo. Para o entendimento da Análise de Sensibilidade, o FCS escolhido para esta apresentação é o 2 – Coordenadores e Monitores. A análise consistiu em observar o impacto de uma variação de 10% para mais ou para menos no peso do FCS escolhido. Se alterar o resultado da ordenação da Avaliação Global dos Núcleos, isto é, o Núcleo Basevi passar a ter uma Avaliação Global, maior do que o, Núcleo Boa Vista, então dizemos que o modelo não é

13

robusto. A robustez do modelo é legitimada se a variação para mais ou para menos nos pesos Taxas de Substituição não alterarem a ordenação dos Núcleos, como mostra a Figura 4.

Figura 4 – Análise de Sensibilidade do FCS 2 – Coordenadores e Monitores. Obtido com o software HIVIEW.

Fonte: Resultado da pesquisa.

O eixo vertical representa a Avaliação Global dos Núcleos e a linha vertical mostra o valor do peso do FCS 2 – Coordenadores e Monitores no eixo horizontal, que corresponde a 0,12 em percentual 12%.

Como se pode observar, deslocando a reta vertical entre 10% e até 14%. Estes pesos não foram suficientes para inverter os resultados, do Núcleo Boa Vista pelo Núcleo Basevi, o modelo não se mostrou sensível. Os mesmos procedimentos foram realizados para os demais FCS, confirmando-se a robustez do modelo. Recomendações aos Núcleos do Programa Segundo Tempo Na fase de elaboração de recomendações foram, sugeridos aos Núcleos que obtiveram em alguns FCS baixo desempenho, a reformulação de suas políticas de atuação para melhorarem em relação ao status quo. E aos núcleos que obtiveram desempenho satisfatório em alguns FCS que sirva como modelo para os demais núcleos, exercer esta prática de êxito. CONCLUSÃO Este trabalho teve como proposta construir um modelo que fosse capaz de avaliar o desempenho dos Núcleos do Programa Segundo Tempo. Devido à amplitude do Programa e à dificuldade de se acompanhar os Núcleos, faz-se necessário um modelo que compreendesse os múltiplos fatores que envolvessem a linha estratégica do Programa para atingir seus objetivos. O modelo multicritério de apoio à decisão se mostrou capaz de representar e gerar informações sobre a situação-problema apresentada. A partir da análise dos resultados da avaliação, podem-se identificar pontos críticos que afetam o funcionamento do Programa Segundo Tempo e possíveis soluções para sua melhor eficácia. Como o modelo foi concebido de acordo com o sistema de valor dos gestores do programa, as informações e o conhecimento gerado não se encontram alheios a sua realidade, o que legitima sua utilidade e qualidade.

14

O Programa é visto como estratégico pelo governo, que pretende aumentar seu escopo de abrangência para 1 milhão de beneficiados. Para aumentar sua eficácia e eficiência, ou mantê-las com a ampliação de seu alcance, é recomendável que os gestores possam se apoiar em uma ferramenta que lhes dê suporte a um monitoramento de qualidade. O principal objetivo alcançado foi o aprendizado do decisor com a construção da Metodologia Multicritério para a avaliação de processo nos Núcleos do Programa Segundo Tempo. A fase de elaboração desse modelo permitiu acumular conhecimento junto aos gestores sobre o funcionamento do programa, além de, ao final, conseguir fornecer uma visão geral do desempenho dos dois Núcleos avaliados. A possibilidade de elaborar um modelo para um Programa abrangente e com diversas variáveis, como o Segundo Tempo, foi poder estruturar seu funcionamento, identificando ações essenciais e seus desempenhos. A visualização do processo do Programa permitiu aos gestores encontrarem tanto ações bem-sucedidas e mal-sucedidas como os fatores que acarretaram esse desempenho. Esta visão macroscópica sobre o Programa gera um conhecimento que permite ao decisor identificar as possibilidades de ações estratégicas para otimizar o alcance aos seus objetivos. Neste trabalho, a principal limitação encontrada foi à indisponibilidade de tempo dos gestores diretos do programa, devendo-se, assim, construir a metodologia com base no sistema de valores de seus subordinados. Outro problema encontrado está relacionado à atribuição de pontos para as alternativas avaliativas. A dificuldade dos gestores em reproduzirem quantitativamente um julgamento qualitativo que exigiu reflexão e estudo sobre as ações, para adequar o resultado das atribuições de valores à percepção qualitativa, com o fim de preservar a conexão entre a realidade e o modelo criado para o Programa Segundo Tempo. A peculiaridade das avaliações realizadas com as Metodologias Multicritério em Apoio à Decisão está em ser capaz de compreender e avaliar situações complexas, sem eleger um foco do problema, mas abordando sua variedade de componentes. Na área de avaliação de programas governamentais, o uso dessa metodologia é adequado e recomendável, uma vez que a maior parte desses programas constitui situações complexas com diversos decisores, diversas variáveis, além de escopo nacional. O Ministério do Esporte na gestão do Programa Segundo Tempo e de demais programas pode utilizar essa ferramenta para auxiliar no acompanhamento de suas ações e resultados. Observada a utilidade dessa ferramenta, sugere-se o aperfeiçoamento do modelo multicritério, incluindo em sua elaboração o sistema de valor dos decisores de modo direto, sem intermediários, para que assim se apresente como uma ferramenta ainda mais útil. Aplicar esse modelo a uma amostra regional, ou mesmo nacional, dos núcleos poderia se mostrar útil no que diz respeito a identificar a regularidade do desempenho de cada ação. Assim seria possível identificar ações que requeiram, nesses âmbitos, novas estratégias para alcançar os objetivos almejados. REFERÊNCIAS

BANA E COSTA, C.A.. Structuration, Construction et Exploitation d' un Modèle Multicritère d'Aide à la Decision, Universidade Técnica de Lisboa, Tese de doutorado,1992

15

BANA E COSTA, C. A.; DE CORTE, J. M.; VANSNICK, J.C. Software Macabeth. Version 1.0, 1995. BARCLAY, S. Hiview Software Package. London School of Business, 1984. BRASIL. Ministério do Esporte. Secretaria Nacional de Esporte Educacional. Diretrizes do Programa Segundo Tempo 2011. Brasília: Ministério do Esporte, 2011. BODILY, S.E. Modern Decision Marking.: A Guide to Modeling with Decision Support Systems. New York: McGraw-Hill., 1985. BORTOLUZZI, Sandro César et al. Avaliação de Desempenho dos Aspectos Tangíveis e Intangíveis da Área de Mercado: estudo de caso em uma média empresa industrial. Revista Brasileira de Gestão de Negócio. São Paulo, v. 12, n.37, p. 425-446, 2010 ENSSLIN, Leonardo ; MONTIBELLER NETO, Gilberto ; NORONHA, Sandro Mac Donald. (2001) - Apoio à Decisão: Metodologias para Estruturação de Problemas e Avaliação Multicritério de Alternativas. 1ª ed. Florianópolis - SC: Insular, p. 296. ENSSLIN, L. et al. Avaliação do desempenho de empresas terceirizadas com o uso da metodologia multicritério de apoio à decisão-construtivista. Pesquisa Operacional, v. 30, n. 1, p. 125-152, 2010. KEENEY, R. L., RAIFFA, H.Value Focused-Thinking: A Path to Creative Decision-making. Cabridge: Harvard University Press, 1992. KEENEY, R. L., RAIFFA, H. Decisions with Multiple Objectives: Preferences and Value Tradeoffs. Cambridge: Cambridge University Press,1993. LANDRY, M. A Note on the Concept of ´Problem`. Organization Studies, n. 16, p. 315-343, 1995. MARCH, J.G. Como as decisões realmente acontecem: princípios da tomada de decisões nas organizações. [Tradução André Alonso Machado], --1ª. Ed. -- São Paulo : Leopardo, 2009.

ROY, B. Decision science or decision-aid science? European Journal of Operational Research, v. 66, n. 2, p. 184-203, 1993. ROY, B.; VANDERPOOTEN, D. The European School of MCDA: Emergence, Basic Features and Current Works. Journal of Multi-Criteria Decision Analysis, v. 5, p. 22-38, 1996. SOUZA, C. Políticas Públicas : uma revisão de literatura. Sociologias ; Porto Alegre, ano 8, nº. 16, jul/dez 2006, p. 20-45.

STOLT, R. e ENSSLIN, L. Avaliação de pilotos da Very Light Jets utilizando-se a MCDA-C. Conexão SIPAER, v. 1, n. 1, p. 85-103, 2009.

16

VEGINI, Diogo ET AL.MODELO DE AVALIAÇÃO DE DESEMPENHO DE FOGÕES COM FOCO EM ERGONOMIA, UTILIZANDO O MÉTODO MCDA-C. Revista Científica Eletrônica de Engenharia de Produção – ABREPO. Florianópolis, SC, v.12, n. 2, p. 423-454, abr./jun. 2012. VON WINTERFELDT, D.; EDWARDS, W. Decision Analysis and Behavioral Research. Cambridge: Cambridge University press,1986. WAGNER, H. M. Pesquisa Operacional . Rio de Janeiro: Prentice-Hall, 2 ed., 1986.