RELATÓRIO DE AVALIAÇÃO DOS INDICADORES E METAS DA ...§ão-dos... · referentes ao bimestre...

Secretaria de Estado da Educação da Paraíba

Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais Centro Administrativo Integrado

Av. João da Mata, s/n - Bloco I – 4º Andar – Jaguaribe

João Pessoa-PB CEP 58019-900

RELATÓRIO DE AVALIAÇÃO DOS INDICADORES E

METAS DA ORGANIZAÇÃO SOCIAL

ECOS

BIMESTRE AGOSTO / SETEMBRO DE 2017





SUMÁRIO

1 INTRODUÇÃO................................................................................................ 7

2 ACORDO DO NÍVEL DE LIMPEZA (AL).................................................. 9

2.1 DESENHO DA PESQUISA E COLETA DE

DADOS..............................................................................................................

9

2.2 PLANO AMOSTRAL....................................................................................... 9

2.2.1 Dimensionamento da amostra............................................................................ 9

2.2.2 Amostragem: Tipo de amostra........................................................................... 10

2.2.3 Estratificação...................................................................................................... 11

2.3 MÉTRICA (PONTUAÇÃO)............................................................................. 11

2.4 META................................................................................................................ 12

2.5 DESEMPENHO (NOTA).................................................................................. 12

2.6 AVALIAÇÃO QUALITATIVA.......................................................................... 14

3 ESCOLAS COM ACESSO À INTERNET (EAI)........................................ 16

3.1 META................................................................................................................ 16

3.2 DESEMPENHO (NOTA).................................................................................. 16


4 ALUNOS INFREQUENTES ACOMPANHADOS (ALI)............................ 20

4.1 META................................................................................................................ 20





4.2 DESEMPENHO (NOTA).................................................................................. 20


5 ÍNDICE DE SATISFAÇÃO DA MERENDA ESCOLAR (IME)............... 24

5.1 DESENHO DA PESQUISA E COLETA DE DADOS.................................... 24

5.2 PLANO AMOSTRAL....................................................................................... 24



5.2.3 Estratificação...................................................................................................... 26


5.4 META................................................................................................................ 27

5.5 DESEMPENHO (NOTA).................................................................................. 28


6 ÍNDICE DE SATISFAÇÃO DE ATENDIMENTO AO PÚBLICO (AP)... 32

6.1 DESENHO DA PESQUISA E COLETA DE DADOS.................................... 32

6.2 PLANO AMOSTRAL....................................................................................... 32



6.2.3 Estratificação...................................................................................................... 34


6.4 META................................................................................................................ 35





6.5 DESEMPENHO (NOTA).................................................................................. 36


7 PONTUAÇÃO GLOBAL................................................................................ 38

7.1 PONTUAÇÃO GLOBAL E NOTA CONCEITO............................................. 38


8 PLANO DE AÇÃO………………………………………………………….. 43

ANEXOS.......................................................................................................... 44

ANEXO A - Instrumento de coleta para o Acordo de Nível de Serviço de

Limpeza..............................................................................................................

44

ANEXO B - Instrumento de coleta para o Índice de satisfação da Merenda

Escolar................................................................................................................

54

ANEXO C – Instrumento de coleta para o Índice de satisfação de atendimento ao

público......................................................................................

55

ANEXO D - Amostra aleatória do Acordo de Nível de Serviço de Limpeza

(AL)....................................................................................................................

56

ANEXO E - Amostra aleatória do Índice de Satisfação da Merenda Escolar

(IME)..................................................................................................................

58

ANEXO F - Amostra aleatória do Índice de Satisfação do Atendimento ao

Público (AP).......................................................................................................

59





LISTA DE TABELAS

Tabela 1 Definição da Amostra Estratificada Proporcional.......................... 11

Tabela 2 Resultado do Indicador Acordo de Nível de Serviço de Limpeza

(AL)................................................................................................. 13

Tabela 3 Percentual de cumprimento da meta e desempenho do Indicador

Acordo de Nível de Serviço de Limpeza (AL)............................... 13

Tabela 4 Resultado do Indicador Escolas com Acesso à Internet................. 17

Tabela 5 Percentual de cumprimento da meta e desempenho do Indicador

Escolas com Acesso à Internet (EAI)............................................. 18

Tabela 6 Levantamento dos problemas verificados nas informações da

FICAI disponibilizadas pelas GRE’s.............................................. 22

Tabela 7 Resultado Índice de Satisfação da Merenda Escolar (IME)........... 28

Tabela 8 Percentual de cumprimento da meta e desempenho do Índice de

Satisfação da Merenda Escolar (IME)............................................ 29

Tabela 9 Unidades escolares que atingiram a meta de pontuação................. 29

Tabela 10 Definição da amostra estratificada proporcional............................ 34

Tabela 11 Resultado Índice de Satisfação de Atendimento ao Público (AP).. 36

Tabela 12 Percentual de cumprimento da meta do Índice de Satisfação de

Atendimento ao Público (AP)......................................................... 36

Tabela 13 Pontuação Global Insaúde............................................................... 40





LISTA DE QUADROS

Quadro 1 Metas para o Acordo de Nível de Serviço de

Limpeza...........................................................................................

12

Quadro 2 Metas do Indicador Escolas com Acesso à Internet........................ 16

Quadro 3 Escolas que perderam o acesso à internet durante o período.......... 17

Quadro 4 Metas para Alunos Infrequentes

Acompanhados............................

20

Quadro 5 Metas para o IME............................................................................ 28

Quadro 6 Metas para o Índice de Satisfação de Atendimento ao Público...... 35

Quadro 7 Peso dos Grupos de Indicadores na Nota Global da Avaliação…..

38

Quadro 8 Pontuação Global - Conceito.......................................................... 39

Quadro 9 Avaliação qualitativa gerencial…………………………………... 42





7

1. INTRODUÇÃO

A metodologia anteriormente utilizada para a seleção das unidades escolares para a Gestão

Pactuada foi a aplicação da técnica estatística Análise de Componente Principal (PCA) a

partir da priorização das 35 (trinta e cinco) variáveis para as principais dimensões de variáveis

das escolas para resumir as variáveis em 4 (quatro) dimensões: Perfil da unidade escolar,

Desempenho, Infraestrutura e Ensino Oferecido. Considerando quantidade de unidades

escolares e proximidade territorial, foi definida a divisão das 14 GRE em 4 (quatro) grupos:

Grupo 1 - escolas da 1ª GRE; Grupo 2 - escolas da 2ª, 12ª e 14ª GRE; Grupo 3 - escolas da 3ª,

4ª e 5ª GRE; e Grupo 4 – escolas da 6ª, 7ª, 8ª, 9ª, 10ª, 11ª e 13ª GRE.

Isso permitiu que grupos captassem as características especificas das diferentes regiões da

Paraíba. Para estimular a competição administrada dentro de cada grupo entre as

Organizações Sociais participantes da Gestão Pactuada, foi definida a divisão de cada grupo

em dois lotes, formando oito lotes no total. De forma a garantir o equilíbrio entre os dois lotes

de cada grupo, primeiro foi utilizado o clustering de Ward. Formaram-se clusters de escolas

semelhantes em relação às quatro dimensões priorizadas. Cada cluster possui características

homogêneas internamente e heterogêneas em relação aos outros clusters de unidades

escolares dentro do mesmo grupo de GRE.

Cada lote foi assim formado pela divisão aleatória de metade das unidades escolares de cada

cluster. Dessa forma, cada par de lotes do mesmo grupo tem uma proporção semelhante de

tipos de escola, garantindo seu equilíbrio e, portanto, estimulando a competição administrada

em cada grupo.

Dessa forma, os processos metodológicos utilizados a seguir para mensuração dos indicadores

referentes ao bimestre contratual compreendido de agosto a setembro de 2017 foram

determinados com base na metodologia adotada anteriormente.

Conforme estabelecido na cláusula VII – DOS PRAZOS no item 7.4 do EDITAL Nº

001/2017/SEAD/SEE

7.4 A execução do Contrato de Gestão Pactuada tem previsão de início no mês de agosto/2017 para as

Unidades Escolares pertencentes aos lotes 1, 2, 3, 4, 5 e 6, e o mês de dezembro/2017 para as Unidades

Escolares pertencentes aos lotes 7 e 8, descriminados no anexo I.

No que se refere à Organização Social Ecos, a execução e os valores repassados

correspondentes ao Contrato de Gestão Pactuada dos serviços de apoio das unidades escolares

até o mês de dezembro/2017 correspondem às unidades escolares pertencentes aos lotes 2, 4 e

6.

Portanto, com vistas à avaliação dos indicadores referentes ao seguinte período, considerou-se

as 225 escolas objeto da Gestão Pactuada sob responsabilidade da Organização Social Ecos

até o mês de dezembro/2017.

Devido à periodicidade, dos 21 indicadores previsto em Edital, 4 foram considerados para fins

de avaliação por estes serem bimestrais, sendo eles:





8

a. Acordo de Nível de Limpeza (AL)

b. Escolas com acesso à internet (EAI)

c. Alunos Infrequentes Acompanhados (ALI)

d. Índice de Satisfação de atendimento ao público (IP)

O Índice de Satisfação da Merenda Escolar (IME) foi adicionado na avaliação bimestral por

ser considerado, pela Comissão, fundamental ao bem-estar dos alunos e no bom

funcionamento das unidades escolares. Seu resultado em menor periodicidade permite uma

ação corretiva mais rápida e, por conseguinte mais melhorias.





9

2. ACORDO DO NÍVEL DE LIMPEZA (AL)

Como estabelecido no Edital os indicadores poderiam ser medidos de forma censitária ou

amostral, a critério da Comissão de Acompanhamento, Monitoramento e Avaliação da

Secretaria de Estado da Educação.

O indicador de Acordo do Nível de Limpeza (AL) foi auferido de forma amostral visando

economia de tempo e de recursos dado que a escolha de uma amostra representativa da

população permite estender as conclusões obtidas para toda a população das 225 unidades

escolares contempladas até dezembro com a Gestão Pactuada sob responsabilidade da OS.

2.1 DESENHO DA PESQUISA E COLETA DE DADOS

Esse indicador é definido no Edital da seguinte forma:

“Esse especificará os serviços a serem realizados e sua periodicidade

(diariamente, semanalmente, mensalmente, anualmente etc.). Esse

indicador será mensurado bimestralmente. ”

O público alvo desse questionário são Gestores Escolares da rede estadual. O procedimento

de coleta de dados foi realizado a partir do questionário estruturado enviado aos gestores das

unidades escolares amostradas por meio de formulário eletrônico (formulários google),

apresentado no Anexo A ao final do documento. O questionário enviado permitia apenas uma

resposta por unidade.

Dessa forma, o indicador foi mensurado para o primeiro bimestre de vigência da Gestão

Pactuada, compreendendo este de 01/08/2017 a 30/09/2017.

2.2 PLANO AMOSTRAL

2.2.1. Dimensionamento da amostra

A meta do indicador do Acordo do Nível de Limpeza consiste em uma proporção como

indicado pelo Edital. Dessa forma, o tamanho da amostra calculado para estimativa da

proporção populacional para população finita para o indicador da Organização Social Ecos foi

determinado conforme equação a seguir:

𝑛 =𝑁. 𝑝. 𝑞

(𝑁 − 1). 𝐷 + 𝑝. 𝑞

sendo n = tamanho da amostra; p = proporção populacional; q = (1-p), o complementar de p;

N = tamanho da população de 225 unidades escolares e D = ε2

4⁄ , em que ε é o erro amostral





10

considerado de 0,10, isto é, foi considerada a amostra ao nível de 90% de significância

(α=10%). O nível de significância de 90% foi considerado em vistas às limitações impostas

pelo tempo de coleta dos dados e dificuldades de contatar os gestores escolares para responder

os questionários.

Considerando que nesta expressão, n depende de p (1-p), que é desconhecido e considerando

que a função p (1-p) é uma parábola simétrica em torno de p = 0,5, em que o máximo de p (1-

p) é 0,25, alcançado quando p= 0,5, então, na prática, substituímos p(1-p) por seu valor

máximo, seguindo uma abordagem conservadora conforme recomendado pela literatura

estatística. Sendo assim, para esse indicador, foi determinada uma amostra de 70 entrevistas.

2.2.2 Amostragem: Tipo de amostra

A amostragem probabilística foi adotada para fins de avaliação do indicador, por ser este um

método rigoroso em termos estatísticos e aceito cientificamente. Amostragens probabilísticas

são amostragens em que cada elemento da população tem uma probabilidade conhecida de

fazer parte da amostra.

Dentre os tipos de amostragem probabilística, a amostragem estratificada foi escolhida como

a mais conveniente para fins da seleção dos elementos da população de interesse pelo fato da

população de unidades escolares está dividida em subgrupos mais homogêneos (estratos) de

acordo com variáveis que caracterizam as escolas estaduais do Estado da Paraíba, havendo

homogeneidade dentro dos estratos e heterogeneidade entre os estratos, de forma, que a

retirada de amostras dos estratos (lotes) se justifica como método mais adequado tendo em

vista as características da população de interesse. A estratificação procura explorar a ideia de

que, quanto mais homogênea for população, mais precisos são os resultados amostrais.

Segundo Bolfarine e Bussab (2004, p. 93)

Amostragem estratificada consiste na divisão de uma população em grupos

(estratos) segundo alguma (s) característica (s) conhecida (s) na população sob

estudo, e de cada um desses estratos são selecionadas amostras em proporções

convenientes. A estratificação é usada principalmente para resolver

alguns problemas como: a melhoria da precisão das

estimativas; produzir estimativas para a população toda e subpopulações; por

questões administrativas, etc.

A estratificação é recomendada quando a população é muito heterogênea e as razões de custo

limitam o tamanho da amostra e, sendo assim, torna-se impossível definir uma Amostra

Aleatória Simples com reposição da população com toda uma precisão possível. Dessa

maneira, uma saída para esse problema é utilizar-se da estratificação para dividir a população

em subpopulações internamente mais homogêneas, ou seja, grupos com variâncias pequenas

que diminuirão o erro amostral global.

Dentre os tipos de alocação amostral, utilizou-se a Amostragem Estratificada Proporcional

(AEpr). Nesse tipo de procedimento, a amostra de tamanho n é distribuída proporcionalmente

ao tamanho dos estratos, isto é, o número de elementos amostrados em cada estrato é





11

proporcional ao número de elementos existentes no estrato. Após definido o número de

unidades amostrais de cada estrato, geralmente, tal número é escolhido por processo aleatório.

2.2.3 Estratificação

Seguindo a metodologia antes especificada, após a etapa de definição do tamanho amostral, os

lotes foram considerados para fins de estratificação. Para estratificação, foi considerado o

número de unidades escolares de cada respectivo estrato ou lote. Calculou-se a proporção ou

peso do número de escolas de cada estrato (Wh) na população total de unidades escolares de

cada OS. Então, obteve-se o a alocação amostral apresentada na Tabela 1 a seguir:

Tabela 1: Definição da Amostra Estratificada Proporcional

Lotes Tamanho dos

estratos

(Nh)

Peso (proporção)

dos estratos

(Wh)

Número de gestores alocados por

estrato

(n x Wh)

L2 85 37,78% 26

L4 57 25,33% 18

L6 83 36,89% 26

Total 225 100,00% 70

Na etapa seguinte, para escolha das unidades escolares a serem entrevistadas, foi realizado um

sorteio aleatório sem repetição das unidades escolares respeitando os limites quantitativos

para cada estrato observados anteriormente. Foram coletadas 70 respostas dos gestores

escolares das unidades escolares sob gestão pactuada durante o período de 10/10/2017 a

26/10/2017, apresentadas no Anexo A ao final do documento.

Houve a necessidade de reposição de algumas escolas selecionadas inicialmente para amostra

pela impossibilidade de obtenção de resposta devido aos diversos empecilhos particulares,

como por exemplo dificuldade de contato, e-mail incorreto, problemas com acesso à internet

na unidade escolar e por impasses na atuação das OS nas escolas indígenas.

2.3. Métrica (Pontuação)

O questionário possui 110 itens com pontuação de 1 a 5. Dessa forma, cada questionário tem

como valor mínimo 𝐴𝐿min=110 e valor máximo 𝐴𝐿max=550. A seguir é definida a fórmula de

cálculo do resultado de cada questionário. Esse resultado varia entre 0 e 100.





12

𝑃𝑜𝑛𝑡𝑢𝑎çã𝑜𝐴𝐿 = 𝑆𝑂𝑀𝐴− 𝐴𝐿𝑚𝑖𝑛

𝐴𝐿max − 𝐴𝐿𝑚𝑖𝑛

Sendo 𝑃𝑜𝑛𝑡𝑢𝑎çã𝑜𝐴𝐿 o resultado de um questionário do Acordo de Nível de Serviço de

Limpeza e define-se 𝑆𝑂𝑀𝐴 como a soma dos pontos dos itens respondidos no questionário.

Para os itens deixados em branco, o que significa que aquele item não se aplica à realidade do

respondente, os valores mínimo e máximo do questionário foram ajustados desconsiderando

aquele item.

2.4 Meta

A meta para este indicador é que 75% das escolas tenham como resultados pontuação maior

ou igual a 60 para o segundo semestre de 2017.

A meta para o semestre corrente e consequente bimestre são apresentadas no quadro a seguir.

O quadro apresenta a meta de proporção (Prop.) e de pontuação (Pont.) para o período. A

proporção se refere à proporção de questionários que devem ter nota maior ou igual à

pontuação para que a meta seja atendida.

Quadro 1: Metas para o Acordo de Nível de Serviço de Limpeza.

Meta2° semestre de 2017

1° bimestre 2° bimestre 3° bimestre

Prop. Pont. Prop. Pont. Prop. Pont.

75% 60 75% 60 75% 60

Fonte: Indicadores e Metas da Gestão Pactuada da Paraíba

2.5 DESEMPENHO (NOTA)

O desempenho desse indicador foi medido de acordo com à proporção de escolas que

atingiram a pontuação da meta.

𝑁𝑜𝑡𝑎 = {

𝑃𝑟𝑜𝑝𝐴𝐿

75%

10, 𝑠𝑒 𝑃𝑟𝑜𝑝𝐴𝐿 ≥ 75% ∗ 10, 𝑠𝑒 𝑃𝑟𝑜𝑝𝐴𝐿< 75%

Sendo 𝑃𝑟𝑜𝑝𝐴𝐿 a proporção de questionários que atingiram a meta de pontuação do Acordo de

Nível de Serviço de Limpeza.

A Tabela 2 a seguir apresenta os resultados para o Indicador do Acordo de Nível de Limpeza:





13

Tabela 2: Resultado Indicador Acordo de Nível de Serviço de Limpeza (AL)

Cumprimento da Meta Número Percentual

Sim 16 22,86%

Não 54 77,14%

Total 70 100,00%

Fonte: Elaboração pela Comissão de Avaliação e Monitoramento das Organizações Sociais a partir dos dados

obtidos por meio da aplicação dos questionários.

Como percebe-se pelos dados da Tabela acima apresentada, apenas 22,86% das unidades

escolares sob gestão pactuada da ECOS atingiram a meta de pontuação, o desempenho da

escola atingiu nota 3, como exposto pela Tabela 3 a seguir:

Tabela 3: Percentual de cumprimento da meta e desempenho do Indicador Acordo de

Nível de Serviço de Limpeza (AL)

Percentual de

questionários que

atingiram a meta

Meta Desempenho

(Nota)

22,86% 75% dos questionários com

pelo menos 60 pontos 3



Dentro das respostas das 54 escolas que não atingiram a meta, os itens críticos avaliados com

em ordem decrescente são:

1-) Equipamentos Internos:

A. Maçanetas

B. Tomadas

C. Portas

D. Cestos de lixo

E. Teto

2-) Banheiros e Sanitários:

A. Ralos





14

B. Torneiras

C. Válvulas

3-) Área de Alimentação:

A. Talheres

B. Cestos de Lixo

C. Torneiras

D. Tomadas

4-) Áreas de circulação (Pátio e Quadras):

A. Pisos

5-) Equipamentos, utensílios de limpeza, apresentação e uniformes:

A. Baldes

B. Panos (Chão, paredes e manuais)

C. Equipamentos gerais

2.6 AVALIAÇÃO QUALITATIVA

Conforme previsto no Edital:

A pontuação de cada indicador será complementada por uma avaliação qualitativa pela

Comissão de Acompanhamento Monitoramento e Avaliação da Secretaria de Estado da

Educação de modo a contextualizar os resultados.

No mês de agosto a organização social ECOS visitou as escolas e regionais para compreender

o contexto local. Além disso, estruturou sua equipe na Paraíba e a partir disso fez todo o

planejamento de ações para transição de contratação do apoio escolar para a CLT.

No mês de setembro, a SEE e a OS ECOS mobilizaram 225 escolas com mais de 2000

funcionários para formalizar o processo. Neste período, houve apresentação de documentos,

exames médicos, assinatura de contratos e entregas de carteira de trabalho.

Deste modo, entende-se que não houve tempo suficiente para nenhum tipo de treinamento

para os funcionários da limpeza embora tenha se instaurado um clima de mudança. Toda

logística pertinente ao processo de contratação ocupou o período avaliado.





15

Ademais, devido à um maior rigor ao cumprimento de horários e regras estabelecidas, alguns

prestadores de serviço preferiram se demitir. Portanto, não seria produtivo realizar

capacitações com o intuito de padronizar o trabalho e minimizar falhas durante um período de

instabilidade.

A Comissão de Acompanhamento, Monitoramento e Avaliação considera sua atuação

razoável possível até o momento, firmando o compromisso de fornecer o diagnóstico inicial,

transparecendo os desafios iniciais e visando fortalecer a parceria em prol das mudanças

institucionais.

Tendo em vista o desempenho obtido pela OS ECOS, prevê o Edital:

Caso algum indicador apresente nota menor que 7,0, a Organização Social deverá

apresentar um plano de ação para melhoria à Comissão de Acompanhamento

Monitoramento e Avaliação da Secretaria de Estado da Educação. Após avaliação a

Comissão pode propor alterações ao Plano de Ação.

Uma descrição detalhada do modelo de plano de ação a ser apresentado à Comissão se

encontra na seção 8 deste documento. O prazo para envio é 15 dias após a entrega do

relatório.





16

3. ESCOLAS COM ACESSO À INTERNET (EAI)

Esse indicador é definido no edital da seguinte forma:

“O objetivo desse indicador é garantir que o funcionamento da internet seja mantido em

escolas que já o possuem, visto que a instalação de acesso à internet permanecerá de

responsabilidade da SEE. O indicador será calculado a partir da fórmula a seguir:

Quantidade de escolas com internet em funcionamento

Quantidade de escolas com acesso a internet no período anterior

Esse indicador é medido bimestralmente e sua meta é de 100% para todo bimestre. Caso a

meta não seja atingida esse indicador pontuará 0 (zero).

Em outras palavras, a instalação de acesso à internet permanece de responsabilidade da SEE e

a partir do momento que uma escola têm acesso à internet é de responsabilidade da OS

garantir que esse acesso seja mantido nos níveis adequados.

3.1 META

As metas para esse indicador, que foram definidas no Edital, são apresentadas a seguir:

Quadro 2: Metas do Indicador Escolas com Acesso à Internet.

Metas

2017 2018 2019

100% 100% 100%

Fonte: Edital Nº 001/2017/SEAD/SEE de Gestão pactuada entre as Organizações Sociais e a Secretaria de

Estado da Educação.


Segundo o Edital, o indicador terá desempenho de nota 10 caso a meta seja atendida ou

superada e terá desempenho de nota 0 alguma escola perca o acesso à internet.

Essa regra é formalmente descrita pela equação a seguir:





17

𝑁𝑜𝑡𝑎 = {0 , 𝐸𝐴𝐼 < 100%

10, 𝐸𝐴𝐼 = 100%

Sendo 𝐸𝐴𝐼 o resultado do indicador de Escolas com acesso à internet. Isso significa que a OS

só receberá nota positiva caso mantenha o acesso à internet em todas as escolas que já

possuíam.

Para mensuração do resultado do indicador, foram extraídas bases de dados da plataforma

SABER utilizando um filtro da variável descritiva escolas com acesso à internet para os

períodos T01 e T12. A base de dados tomada como referência para o período T0 se justifica

pela impossibilidade de extração de relatório na plataforma SABER com data referente ao

início do contrato de gestão pactuada (01/08/2017), visto que, na plataforma só é possível

gerar tais informações para o período corrente. Dessa forma, devido à falta de informação

ideal, considerou-se mais conveniente utilizar a base de dados gerada na fase de elaboração do

Edital.

A Tabela 4 a seguir apresenta os resultados para o Indicador de Escolas com Acesso à

Internet:

Tabela 4: Resultado do Indicador Escolas com Acesso à Internet.

Escolas que mantiveram o

funcionamento do acesso à internet (t)

(a)

Escolas com acesso à internet em

funcionamento (t-1)

(b)

Resultad

o

(a/b)

188 192 98% Fonte: Elaboração pela Comissão de Avaliação e Monitoramento das Organizações Sociais a partir de relatórios

extraídos da plataforma Saber.

Como percebe-se pelos dados da Tabela acima apresentada, apenas 98% das unidades

escolares sob gestão pactuada da ECOS conseguiram manter o funcionamento do acesso à

internet nas unidades escolares que possuíam internet no período anterior, ou seja, quatro

escolas perderam o acesso à internet durante o período analisado. No Quadro 3 a seguir são

apresentadas as unidades escolares que deixaram de ter acesso à internet:

Quadro 3: Escolas que perderam o acesso à internet durante o período.

INEP Nome da Unidade Escolar

1 Saber - Relatório gerado como produto do Edital. Contexto: Escolas. Dados: Descritivos. Filtros: Situação: ;

Unidade Administrativa: N/D. 2Saber - Relatório gerado em 05/10/2017 às 15:24. Contexto: Escolas. Dados: Descritivos. Filtros: Situação: ;

Unidade Administrativa: N/D.





18

25100041

EEEF Barão do Abiaí

25048848

EEEF Vasconcelos Brandão

25094750

EEEFM Professor Olívio Pinto

25048880

EEEFM Senador Jose Gaudêncio

Fonte: Elaboração pela Comissão de Avaliação e Monitoramento das Organizações Sociais a partir de relatórios

extraídos da plataforma Saber.

O desempenho ou nota do indicador é apresentado na Tabela 5 a seguir:

Tabela 5: Percentual de cumprimento da meta e desempenho do Indicador Escolas com

Acesso à Internet (EAI)

Resultado

(a/b) Meta

Desempenho

(Nota)

98%

Manter 100%das escolas

com acesso à internet no

período anterior no período

atual

0

Fonte: Elaboração pela Comissão de Avaliação e Monitoramento das Organizações Sociais.

Portanto, o desempenho da ECOS nesse indicador atingiu nota 0, visto que a OS não

conseguiu manter o acesso à internet em todas as escolas da rede estadual que já o possuíam.

As planilhas em que constam a base de dados utilizadas para avaliação do indicador no

período analisado sob gestão pactuada da OS são apresentadas como parte deste documento.










19

A ECOS realizou 57 visitas das 225 escolas sob sua gestão pactuada no período de agosto e

setembro. Sendo destas 30 escolas nas regionais de João Pessoa (1ª), Itabaiana (12ª) e

Mamanguape (14ª) e 27 escolas nas regionais de Guarabira (2ª), Campina Grande (3ª), Cuité

(4ª) e Monteiro (5ª).

Considerando os dias úteis do mês, foi realizado no mínimo 1 vistoria por dia. Ademais, a

equipe de TI da ECOS reuniu com a Gerência de Tecnologia da Informação da Secretária

Estadual de Educação e Comissão para compreender e alinhar ações.

No período referente, a equipe da ECOS demonstrou transparência, cumprimento de prazos,

estabelecimento de processos e uma comunicação proativa com a Comissão.

Entende-se que a ECOS deve se atentar ao monitoramento da Plataforma SABER e ajustar as

internets da escola assim que houver alteração e/ou acionamento dos gestores escolares. A

capacidade de atendimento deve ser atrelada com o planejamento e metas.

Tendo em vista o cumprimento do edital:





O plano de ação deve abranger todas as escolas sob sua gestão pactuada.



relatório.





20

4. ALUNOS INFREQUENTES ACOMPANHADOS (ALI)

4.1 DADOS

O Edital define esse indicador como:

“Esse indicador busca medir o acompanhamento de alunos infrequentes a partir da Ficha de

Comunicação do Aluno Infrequente (FICAI), regulamentada pelo decreto 32.303 de 29 de julho de

2011. A fórmula do indicador é apresentada a seguir:

Alunos com a FICAI preenchida

𝑇𝑜𝑡𝑎𝑙 𝑑𝑒 𝑎𝑙𝑢𝑛𝑜𝑠 𝑖𝑛𝑓𝑟𝑒𝑞𝑢𝑒𝑛𝑡𝑒𝑠

“O indicador traz a porcentagem de alunos acompanhados e será calculado bimestralmente. O

preenchimento da FICAI deve ser realizado seguindo a legislação cabível e o direcionamento

da SEE. ”

A aferição de presença nas aulas e, portanto, infrequência continua sendo responsabilidade

dos professores e da gestão escolar. Entretanto, é estratégico que a OS apoie esse processo de

aferição da melhor forma possível de acordo com os pedidos da gestão escolar. Além disso, a

inserção no sistema de informações sobre frequência dos estudantes é de responsabilidade da

OS e será medida no indicador Escolas com dados atualizados.

4.2 META

As metas para esse indicador foram definidas no edital de acordo com o quadro a seguir:

Quadro 4: Metas para Alunos Infrequentes Acompanhados

Metas

2017 2018 2019

90% 95% 100%







21

A meta para este indicador para o ano de 2017 e, consequentemente, para o bimestre avaliado

é de 90% de alunos infrequentes acompanhados nas escolas sob gestão pactuada da OS.

4.3. DESEMPENHO (NOTA)

O desempenho desse indicador será proporcional ao alcance das metas. Caso a meta seja

superada o desempenho não passará da nota 10. Esse tipo de medida é formalizado pela

fórmula a seguir:

𝑁𝑜𝑡𝑎 = {𝐴𝐿𝐼

𝑀𝑒𝑡𝑎

10 , 𝐴𝐿𝐼 ≥ 𝑀𝑒𝑡𝑎 *10, ALI < Meta

Sendo ALI o resultado do indicador Alunos infrequentes acompanhados.

Através da análise das informações dos relatórios de acompanhamento de alunos infrequentes

referentes ao 3° Bimestre Escolar enviados pelas Gerências Regionais de Ensino (GRE’s)

foram constatados diversos problemas nas informações disponibilizadas que culminaram por

inviabilizar a mensuração do indicador de Alunos Infrequentes Acompanhados (ALI).

Destacam-se como os mais importantes e primordiais:

a) Inconsistência nas informações dos relatórios enviados à SEE pelas GRE’s;

b) Unidades escolares que não comunicam acerca do preenchimento (aplicação) ou não

da FICAI;

c) Unidades escolares que aplicam a FICAI nos casos em que a mesma não deveria ser

aberta como doença, comprovada por atestado médico; transferência escolar; e para

alunos maiores de 18 anos.

d) Unidades escolares que não realizam devidamente o acompanhamento do aluno

infrequente por meio dos encaminhamentos necessários à posterior aplicação da

FICAI ou então, do cômputo de tais informações periodicamente;

e) Falha das unidades escolares na identificação dos motivos de não-retorno do aluno

infrequente.

A Tabela 6 a seguir indica os problemas constatados nas informações da aplicação da FICAI:





22

Tabela 6: Levantamento dos problemas verificados nas informações da FICAI

disponibilizadas pelas GRE’s

GRE Erros de

preenchimento

Falta de

informação Total

1° GRE 11 64 75

2° GRE 2 11 13

3° GRE 12 12 24

4° GRE 0 5 5

5° GRE 2 1 3

12° GRE 0 8 8

14° GRE 3 1 4

Total 30 102 132 Fonte: Elaboração pela Comissão de Avaliação e Monitoramento das Organizações Sociais a partir dos Quadros

Consolidados do Procedimento de Aplicação e Acompanhamento da FICAI enviados pelas Gerências Regionais

de Ensino à GEAGE/SEE.

A 1° GRE foi a que apresentou maior número de escolas com falhas no processo de

preenchimento da ficha FICAI, um total de 75 escolas (11 com erros de preenchimento e 64

não informaram sobre o preenchimento), logo em seguida, a 3° GRE com 24 erros (12 com

erros de preenchimento e 12 não informaram), logo após, a 2° GRE com 13 escolas com erros

(2 erros de preenchimento e 11 não informaram), em seguida, a 12° GRE com 8 erros (8 não

informaram), depois a 4° GRE com 5 erros (5 não informaram) e a 14° GRE com 4 erros (3

erros de preenchimento e 1 não informou) . A 5° GRE foi a gerência que menos apresentou

falhas nas informações da FICAI com 3 erros, sendo 2 erros de preenchimento e 1 não

informou.

A planilha completa com o consolidado dos relatórios do 2° Bimestre de 2017 enviados pelas

Gerências Regionais de Ensino e a identificação das falhas encontram-se disponibilizadas em

anexo como parte deste documento.

Constatado tais limitações neste período inicial, a Comissão de Acompanhamento,

Monitoramento e Avaliação das Organizações Sociais decidiu pela não mensuração de tal

indicador e o seu peso redistribuído igualmente para os outros indicadores bimestrais

auferidos como definido e recomentado pelo Edital de forma a melhor representar o

desempenho da OS no período, conforme trecho transcrito abaixo:

“A Pontuação Global será atualizada assim que algum indicador seja atualizado. Como só se terá

todos os indicadores após 12 meses do início da implementação, caso algum indicador ainda não

tenha sido calculado devido à sua periodicidade, seu peso deve ser redistribuído igualmente para os

outros indicadores de forma a melhor representar o desempenho da OS no período. ”





23




Comissão de Acompanhamento, Monitoramento e Avaliação da Secretaria de Estado da

Educação de modo a contextualizar os resultados

A análise do indicador “Alunos Infrequentes Acompanhados” identificou a necessidade de

padronizar processos, realizar treinamentos e supervisionar o preenchimento da FICAI de

acordo com as diretrizes do DECRETO Nº 32.303, DE 29 DE JULHO DE 2011.

Sugere-se a atuação da OS em parceria com a direção escolar, e uma forte integração com as

GRE’s visando garantir o envio das informações corretas e de todas as escolas para cada

órgão competente da SEE, assim como comunicar à mesma os possíveis casos de escolas em

que não houveram casos de alunos infrequentes ou em que não foi possível a aplicação da

FICAI (por motivos de calendário especial, falta de acesso à internet, etc.) por meio de ofício.

Portanto, o resultado do indicador proporciona a ECOS quais são os principais desafios a

serem superados nessa fase inicial da Gestão Pactuada.

Em vista da não mensuração devido ao processo, considera-se a mesma ação corretiva:







relatório.





24

5. ÍNDICE DE SATISFAÇÃO DA MERENDA ESCOLAR (IME)3

Conforme definido no Edital em sua cláusula II – Indicadores e Metas:

Para os indicadores que dependem da aplicação de questionários, como os índices de

satisfação, a aferição poderá ser realizada de forma amostral, caso determinado pela SEE.

Dessa forma, o “Índice de Satisfação da Merenda Escolar (IME) ” foi auferido de forma

amostral visando economia de tempo e de recursos dado que a escolha de uma amostra

representativa da população permite estender as conclusões obtidas para toda a população das

225 unidades escolares contempladas até dezembro sob Gestão Pactuada da ECOS.


Sobre o Índice de satisfação da Merenda escolar, o Edital define:

“O questionário abordará perguntas sobre a qualidade, equidade, variedade, disponibilidade

e quantidade da merenda escolar de modo a garantir o seu fornecimento de forma adequada.

Ele será aplicado bimestralmente e será calculado como um índice consolidado das

respostas. ”

O Instrumento de coleta do Índice de satisfação da Merenda Escolar está disponível no Anexo

B.

O procedimento de coleta dos dados utilizado deu-se através de pesquisa de campo com

aplicação de questionários estruturados abordando questões acerca da qualidade, equidade,

variedade, disponibilidade e quantidade da merenda escolar, como previsto pelo Edital. O

público alvo desse questionário foram alunos da rede pública de ensino estadual da Paraíba

sob gestão pactuada, sendo que foram aplicados no período de 17/10/2017 a 09/11/17.

Acerca da periodicidade da avaliação, o indicador foi mensurado para o primeiro bimestre de

vigência da Gestão Pactuada, compreendido de 01/08/2017 a 30/09/2017.

5.2 PLANO AMOSTRAL


3 A nota obtida pela OS nesse indicador não foi considerada no cálculo da Pontuação Global, apenas para que

sua avaliação em menor periodicidade permita uma ação corretiva mais rápida e, por conseguinte mais

melhorias.





25

A meta do Índice de Satisfação da Merenda Escolar (IME) trata-se de uma proporção como

indicado pelo Edital. Em relação ao tamanho amostral, conforme previsto no Edital na sua

claúsula II – Indicadores e Metas:

Nesse caso, a quantidade de estudantes pesquisados deverá ser representativa do universo de

alunos presentes na escola de forma a alcançar erro amostral e nível de confiança estatística

a serem definidos pela SEE.

Dessa forma, o tamanho da amostra calculado para estimativa da proporção populacional para

população finita para o indicador da Organização Social Ecos foi determinado conforme

equação a seguir:


(𝑁 − 1). 𝐷 + 𝑝. 𝑞


N = tamanho da população de 118.708 alunos da rede pública estadual de ensino das unidades

escolares sob gestão pactuada da OS e D = ε2

4⁄ , em que ε é o erro amostral considerado de

0,05, isto é, foi considerada a amostra ao nível de 95% de significância (α=5%).

Considerando que nesta expressão, n depende dep(1-p), que é desconhecido e considerando

que a função p(1-p) é uma parábola simétrica em torno de p = 0,5, em que o máximo de p(1-





A amostragem probabilística foi adotada para fins de avaliação do indicador, por ser este um

método rigoroso em termos estatísticos e aceito cientificamente. Amostragens probabilísticas

são amostragens em que cada elemento da população tem uma probabilidade conhecida de

fazer parte da amostra.

Dentre os tipos de amostragem probabilística, a metodologia da amostragem em múltiplos

estágios foi a escolhida como a mais conveniente para fins da seleção dos elementos da

população de interesse, visto a indisposição de um sistema de referências completo, a saber de

uma listagem das unidades elementares, no caso, de alunos, dispondo-se apenas de

informação precisas a nível das unidades escolares (grupos de unidades elementares). Além

do mais, pelo fato dos conglomerados ou unidades escolares serem homogêneos, o uso da

amostragem por conglomerados, isto é, a coleta de todas as suas unidades elementares

(alunos), torna-se inviável. Assim, uma saída para aumentar a eficiência, sem aumentar o

tamanho da amostra, é subsortear elementos (alunos) dos conglomerados (escolas)

selecionados (as).

É um método muito utilizado por motivos de ordem prática e econômica em populações

humanas, onde inicialmente sorteiam-se cidades, depois bairros, quarteirões, domicílios e





26

finalmente moradores. O uso de várias unidades de sorteio define em cada estágio uma

diferente unidade amostral. Assim no primeiro estágio, tem-se a Unidade Primária de

Amostragem (UPA), no segundo estágio a Unidade Secundária de Amostragem (USA), etc.

Para o referido plano amostral, as UPA’s foram consideradas as unidades escolares e as

USA’s os alunos. Dessa forma, primeiro sortearam-se as unidades escolares e, após os alunos.

Dentre as vantagens desse método, pode-se citar a redução do custo de locomoção e acesso,

dispensa de uma listagem de todos os elementos da população e uma saída para aumentar a

eficiência sem aumentar o tamanho da amostra.


Após definição do tamanho amostral, a estratificação foi utilizada para delineamento do plano

amostral. A divisão da população de alunos em lotes foi considerada para fins da

estratificação. Para estratificação, foi considerado o número de matrículas de alunos de cada

respectivo estrato ou lote. Calculou-se a proporção ou peso do número de matrículas de cada

estrato/lote (Wh) na população total de alunos das unidades escolares sob responsabilidade da

OS. Então, multiplicando o tamanho amostral pela proporção dos lotes obteve-se o

quantitativo de alunos amostrados por estrato/lote apresentado na Tabela 6 a seguir:


Lotes Tamanho do estrato

(Nh)

Peso (proporção)

do estrato

(Wh)

Número de alunos

alocados por

estrato

(n x Wh)

L2 45.642 38,45% 153

L4 28.608 24,10% 96

L6 44.458 37,45% 149

Total 118.708 100,00% 399

Fonte: Elaboração pela Comissão de Avaliação e Monitoramento das Organizações Sociais.

Na etapa seguinte, foi determinado o número de conglomerados ou de Unidades Primárias de

Amostragem (escolas) de cada estrato de onde seriam retiradas as unidades secundárias de

amostragem (alunos). Tal número foi determinado proporcionalmente ao número de escolas

de cada lote e levando em conta variáveis como custo logístico da aplicação e limitação de

tempo. Após determinado tal quantitativo, as unidades escolares foram escolhidas por meio de

amostragem aleatória simples sem repetição.





27

O número de alunos a serem entrevistados por escola foi determinado de forma proporcional

ao porte escolar, ou seja, do número de matrículas existentes na unidade escolar, como pode-

se verificar em tabela apresentada no Anexo D ao final deste documento.

Foram entrevistados 399 alunos de unidades escolares sob gestão pactuada da ECOS durante

o período de 17/10/2017 a 08/11/2017. Os alunos foram escolhidos por acessibilidade ou

conveniência nas unidades escolares da amostra.

5.3. MÉTRICA (PONTUAÇÃO)

O questionário possui 10 itens nos quais os alunos escolhem o desenho de uma face feliz ou

triste. A pontuação dos itens é 1 para a face feliz e 0 para a face triste.

Dessa forma, cada questionário tem como valor mínimo 0 e valor máximo 10. A seguir é

definida a fórmula de cálculo do resultado de cada questionário. Esse resultado varia entre 0 e

100.

𝑃𝑜𝑛𝑡𝑢𝑎çã𝑜𝐼𝑀𝐸 = 𝑆𝑂𝑀𝐴

𝑃𝑜𝑛𝑡𝑢𝑎çã𝑜𝑀𝑎𝑥𝐼𝑀𝐸 x 100

Sendo 𝑃𝑜𝑛𝑡𝑢𝑎çã𝑜𝐼𝑀𝐸 o resultado de um questionário de Satisfação da Merenda Escolar.

Define-se 𝑆𝑂𝑀𝐴 como a soma dos pontos dos itens respondidos no questionário. Caso algum

item seja deixado em branco, ou sejam marcadas todas as opções, o que significa que aquele

item não se aplica à realidade do respondente, o valor máximo do questionário é ajustado

desconsiderando aquele item.

O Índice de satisfação da Merenda Escolar será calculado por escola como a média da

pontuação dos questionários respondidos.

5.4. META

A meta para este indicador é que 75% das escolas tenham como resultado pontuação acima ou

iguais a 70 para o segundo semestre de 2017. Em outras palavras, fica determinado que 75%

das escolas tenham um Índice de satisfação com pontuação maior ou igual a 70 para esse

período.

A meta para o semestre corrente e consequente bimestre são apresentadas no Quadro 5 a

seguir. O Quadro 5 apresenta a meta de proporção (Prop.) e de pontuação (Pont.) para o

período. A proporção se refere à proporção de escolas que devem ter nota maior ou igual à

pontuação para que a meta seja atendida.





28

Quadro 5: Metas para o IME

Meta 2° semestre 2017



75% 70 75% 70 75% 70

Fonte: Indicadores e Metas da Gestão Pactuada da Paraíba

5.5 Desempenho (Nota)

O desempenho desse indicador foi medido de acordo com à proporção de escolas que

atingiram a pontuação da meta.


𝑃𝑟𝑜𝑝𝐼𝑀𝐸

75%

10, 𝑠𝑒 𝑃𝑟𝑜𝑝𝐼𝑀𝐸 ≥ 75% * 10, se 𝑃𝑟𝑜𝑝

𝐼𝑀𝐸< 75%

Sendo 𝑃𝑟𝑜𝑝IME a proporção de questionários que atingiram a meta de pontuação do Índice de

Satisfação da Merenda Escolar.

A Tabela 7 a seguir apresenta os resultados para o Índice de Satisfação da Merenda Escolar:

Tabela 7: Resultado Índice de Satisfação da Merenda Escolar (IME)

Cumprimento da Meta Número de Unidades

Escolares

Percentual

Sim 7 25,93%

Não 20 74,07%

Total 27 100,00%



Como percebe-se pelos dados da Tabela acima apresentada, apenas 25,93% das unidades

escolares da OS atingiram a meta de pontuação, o desempenho da OS nesse indicador atingiu

nota 3, como exposto pela Tabela 8 a seguir:





29

Tabela 8: Percentual de cumprimento da meta e desempenho do Índice de Satisfação da

Merenda Escolar (IME)

Percentual de unidades

escolares que atingiram a

meta

Meta Desempenho

(Nota)





A Tabela 9 abaixo apresenta as unidades escolares que atingiram a meta de pontuação.

Tabela 9: Unidades escolares que atingiram a meta de pontuação

Nome da Unidade Escolar Média de Pontuação da UE

EEEF Profª Rita de Miranda Henriques 92

EEEFM Jocelyn Velloso Borges 70

EEEF Dr Carlos Pessoa 70

EEEFM SENADOR RUI CARNEIRO 82

EEEF Ii e Eja Umbelina Garcez 79

EEEFM de Forte Velho 70

EEEFM Luiz Ribeiro Limeira 86








A avaliação atribuída ao “Índice de Satisfação da Merenda Escolar (IME)” proporciona um

diagnóstico inicial e embora poucas, evidencia as escolas com as melhores práticas neste

quesito.





30

Deste modo, permite que a ECOS entenda quais são os procedimentos adotados podendo

replicar em outras unidades. Valorizar o desempenho dos gestores escolares nas que possui

alta pontuação e conscientizar sobre a responsabilidade da atuação dos demais, por meio de

orientações qualificadas.

Ademais, em setembro a ECOS atendeu de forma satisfatória a denúncia do Lyceu Paraibano

assegurando a segurança alimentar, entrega pontuais e realizando melhorias na logística das

filas. A equipe atendeu de forma ágil, integrada e manteve uma comunicação proativa com a

Comissão.

Neste caso, a Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações

Sociais avalia a equipe de supervisão da qualidade com um desempenho progressivo e

alinhado com as melhorias esperadas.

Em relação às escolas que não atingiram a meta de pontuação estabelecida, os itens mais mal

avaliados nos questionários referentes ao oferecimento de pelo menos duas vezes na semana

frutas cruas (1), verduras e legumes frescos (2), com 85% e 74% de avaliações negativas.

Em relação à qualidade da merenda escolar:

a. 46% dos alunos entrevistados declararam que refeições servidas na escola não são

saborosas;

b. 36% afirmaram que nem todos os alimentos oferecidos têm boa qualidade e;

c. 15% afirmou que os pratos oferecidos não têm bom tempero.

d. Quanto à variedade:

e. 41% disseram que o cardápio não é variado.

f. No que se refere à disponibilidade:

g. 85% afirmaram que não há oferta pelo menos duas vezes por semana de frutas cruas;

h. 74% responderam que não há oferta pelo menos duas vezes por semana de verduras e

legumes frescos;

i. 37% alegaram que falta água potável para beberem e, quanto à quantidade.

j. Quanto à quantidade:

k. 40% afirmaram que a quantidade de merenda oferecida é insuficiente para todos.

l. Em relação à higienização:

m. 39% responderam que as (os) merendeiras (os) não usam touca e usam jóias ou

adornos para servir as merendas;

n. 38% declararam que não fazem as refeições em um lugar apropriado (por exemplo,

um refeitório).

Embora a maioria dos alunos avaliou positivamente os itens, o percentual de respostas

negativas é muito significativo, enfatizando a necessidade de um plano de ação para aumentar

a satisfação dos alunos e garantir o fornecimento da merenda escolar de forma apropriada,

como estabelecido no Edital, Anexo II - Diretrizes, indicadores e metas dos serviços da

Gestão Pactuada, item I – Diretrizes e Atividades, subitem 9. Alimentação.





31

Em vista de tal desempenho obtido pela OS, prevê o Edital:





O plano de ação deve abranger todas as escolas sob sua gestão pactuada.



relatório.

6. ÍNDICE DE SATISFAÇÃO DE ATENDIMENTO AO PÚBLICO (AP)

O Índice de Satisfação de Atendimento ao Público (AP) foi auferido de forma amostral

visando economia de tempo e de recursos dado que a escolha de uma amostra representativa

da população permite estender as conclusões obtidas para toda a população das 225 unidades

escolares contempladas até dezembro com a Gestão Pactuada sob responsabilidade da OS.


Sobre o Índice de Satisfação do Atendimento ao Público, o edital define:

“Será elaborado um questionário para avaliar a qualidade do Atendimento ao Público realizado pela

Organização Social responsável pela Gestão Pactuada, a partir da perspectiva dos atendidos. O

questionário deverá ser fornecido pela Organização Social e oferecido a todos atendidos. Ele

abordará perguntas sobre a qualidade, receptividade, proatividade e atendimento às demandas entre

outros aspectos relevantes. Ele será calculado bimestralmente como um índice consolidado das

respostas. ”

O Instrumento de coleta do “Índice de Satisfação do Atendimento ao Público” está disponível

no Anexo C.

Seguindo as diretrizes do Edital, o público-alvo desse questionário foram os atendidos pelas

escolas da rede pública de ensino estadual da Paraíba sob gestão pactuada da ECOS. Ficou a

cargo da OS disponibilizar esse questionário em todas as secretárias de unidades escolares sob

sua responsabilidade para o preenchimento pelo público após o atendimento em formato

físico e enviar as informações sobre os questionários preenchidos para SEE.

A avaliação do indicador se refere ao primeiro bimestre de vigência da Gestão Pactuada,

compreendido de 01/08/2017 a 30/09/2017.





32

6.2 PLANO AMOSTRAL


A meta do Índice de Atendimento ao Público (AP) trata-se de uma proporção como indicado

pelo Edital. Dessa forma, o tamanho da amostra calculado para estimativa da proporção

populacional para população finita para o indicador da Organização Social foi determinado

conforme equação a seguir:


(𝑁 − 1). 𝐷 + 𝑝. 𝑞


N = tamanho da população de 356.1244 atendidos pelas unidades escolares da rede pública

estadual de ensino sob gestão pactuada da OS e D = ε2

4⁄ , em que ε é o erro amostral

considerado de 0,05, isto é, foi considerada a amostra ao nível de 95% de significância

(α=5%).

Considerando que nesta expressão, n depende de p(1-p), que é desconhecido e considerando

que a função p(1-p) é uma parábola simétrica em torno de p = 0,5, em que o máximo de p(1-





Assim como o Índice de Satisfação da Merenda Escolar, a amostragem probabilística foi

adotada para fins de avaliação deste indicador, por ser este um método rigoroso em termos

estatísticos e aceito cientificamente. Amostragens probabilísticas são amostragens em que

cada elemento da população tem uma probabilidade conhecida de fazer parte da amostra.

Dentre os tipos de amostragem probabilística, a metodologia da amostragem em múltiplos

estágios foi a escolhida como a mais conveniente para fins da seleção dos elementos da

população de interesse, visto a indisposição de um sistema de referências completo, a saber de

uma listagem das unidades elementares, no caso, de atendidos pelas escolas, dispondo-se

apenas de informação precisas a nível das unidades escolares (grupos de unidades

4Devido à inexistência de um dado exato do número de atendidos pelas 225 unidades escolares sob gestão

pactuada da Insaude, assumiu-se a existência de dois pais/responsáveis por cada aluno , sendo assim, obteve-se

um número aproximado de 356.124 atendidos (118.708 x 3).





33

elementares). Além do mais, pelo fato dos conglomerados ou unidades escolares serem

homogêneos, o uso da amostragem por conglomerados, isto é, a coleta de todas as suas

unidades elementares (atendidos), torna-se inviável. Assim, uma saída para aumentar a

eficiência, sem aumentar o tamanho da amostra, é subsortear elementos (atendidos) dos

conglomerados (escolas) selecionados (as).

É um método muito utilizado por motivos de ordem prática e econômica em populações

humanas, onde inicialmente sorteiam-se cidades, depois bairros, quarteirões, domicílios e

finalmente moradores. O uso de várias unidades de sorteio define em cada estágio uma

diferente unidade amostral. Assim no primeiro estágio, tem-se a Unidade Primária de

Amostragem (UPA), no segundo estágio a Unidade Secundária de Amostragem (USA), etc.

Para o referido plano amostral, as UPA’s foram consideradas as unidades escolares e as

USA’s os potenciais atendidos pelas escolas. Dessa forma, primeiro sortearam-se as unidades

escolares e, após os atendidos.

Dentre as vantagens desse método, pode-se citar a redução do custo de locomoção e acesso,

dispensa de uma listagem de todos os elementos da população e uma saída para aumentar a

eficiência sem aumentar o tamanho da amostra.


Seguindo a metodologia antes especificada, após a etapa de definição do tamanho amostral, os

lotes foram considerados para fins de estratificação. Para estratificação, foi considerado o

triplo do número de matrículas de alunos de cada respectivo estrato ou lote visando considerar

dois pais por aluno de forma a chegar a uma aproximação do número de potenciais atendidos

por escola. Calculou-se a proporção ou peso do número potencial de atendidos de cada

estrato/lote (Wh) na população potencial total de atendidos pelas unidades escolares sob

responsabilidade da OS. Então, obteve-se o a alocação amostral apresentada na Tabela 10 a

seguir:


Lotes Tamanho dos

estratos

(Nh)

Proporção dos

lotes

(Wh)

Número de

atendidos

potenciais alocados

por estrato

(n x Wh)

L2 136.926 38,45% 154

L4 85.824 24,10% 96

L6 133.374 37,45% 150





34

Total 356.124 100,00% 400

Na etapa seguinte, foi determinado o número de conglomerados ou de Unidades Primárias de

Amostragem (escolas) de cada estrato de onde seriam retiradas as unidades secundárias de

amostragem (atendidos). Tal número foi determinado proporcionalmente ao número de

escolas de cada estrato/lote e levando em conta variáveis como custo logístico da aplicação e

escassez de tempo. Após determinado tal quantitativo, as unidades escolares foram escolhidas

por meio de sorteio aleatório sem repetição.

O número de questionários a serem disponibilizados nas secretarias das unidades escolares

escolhidas para o preenchimento pelo público após o atendimento foi determinado de forma

proporcional ao número potencial de atendidos da unidade escolar, como pode-se verificar em

tabela apresentada no Anexo F ao final deste documento.

Foram coletadas as respostas de 400 atendimentos nas secretarias das unidades escolares sob

reponsabilidade da OS durante o período de 17/10/2017 a 08/11/2017. Os atendidos

responderam o questionário logo após o atendimento realizado pela secretaria escolar nas

unidades escolares da amostra.

6.3. MÉTRICA (PONTUAÇÃO)

O questionário possui 3 itens com respostas fechadas e um quarto item aberto para

comentários. Não será associada pontuação ao item comentários, no entanto ele deverá ser

utilizado pela OS e pela SEE como suporte no diagnóstico de possíveis problemas e pontos de

melhoria. A pontuação dos 3 primeiros itens irá variar entre 0 e 3 de acordo com os critérios a

seguir, sendo atribuídas as seguintes pontuações:

0) Discordo totalmente; 1) Discordo parcialmente; 2) Concordo parcialmente e 3) Concordo

totalmente.

Dessa forma, cada questionário terá como valor mínimo 0 e valor máximo 9. A seguir é

definida a fórmula de cálculo do resultado de cada questionário. Esse resultado varia entre 0 e

100.

𝑃𝑜𝑛𝑡𝑢𝑎çã𝑜𝐴𝑃 = 𝑆𝑂𝑀𝐴

𝑃𝑜𝑛𝑡𝑢𝑎çã𝑜𝑀𝑎𝑥𝐴𝑃 x 100

Sendo 𝑃𝑜𝑛𝑡𝑢𝑎çã𝑜𝐴𝑃 o resultado de um questionário Satisfação do Atendimento ao Público.

Define-se 𝑆𝑂𝑀𝐴 como a soma dos pontos dos itens respondidos no questionário. Caso algum

item seja deixado em branco, ou sejam marcadas todas as opções, o que significa que aquele

item não se aplica à realidade do respondente, o valor máximo do questionário deve ser

ajustado desconsiderando aquele item.

6.4. META





35

Determina-se que 75% dos questionários tenham como resultado valores acima ou iguais a 65

para o segundo semestre de 2017. Em outras palavras, fica determinado que 75% dos

atendimentos tenham um Índice de Satisfação com pontuação maior ou igual a 65 para esse

período.

O Quadro 6 a seguir apresenta a meta de proporção (Prop.) e de pontuação (Pont.) para o

período. A proporção se refere à proporção de questionários que devem ter nota maior ou

igual à pontuação para que a meta seja atendida.

Quadro 6: Metas para o Índice de Satisfação de Atendimento ao Público

Meta 2° semestre 2017



75% 65 75% 65 75% 65

Fonte: "Indicadores e Metas da Gestão Pactuada da Paraíba"


O desempenho desse indicador será de acordo com à proporção de questionários que

atingirem a pontuação da meta.


𝑃𝑟𝑜𝑝𝐴𝑃

75%

10, 𝑠𝑒 𝑃𝑟𝑜𝑝𝐴𝑃 ≥ 75% * 10, se 𝑃𝑟𝑜𝑝

𝐴𝑃< 75%

Sendo 𝑃𝑟𝑜𝑝𝐴𝑃 a proporção de questionários que atingiram a meta de pontuação do Índice de

Satisfação do Atendimento ao Público. Caso mais de 75% dos questionários atinjam a meta de

pontuação, o desempenho não passará da nota 10.

A Tabela 11 a seguir apresenta os resultados para o Índice de Satisfação de Atendimento ao

Público:





36

Tabela 11: Resultado Índice de Satisfação de Atendimento ao Público (AP)

Cumprimento da Meta Número de Atendimentos Percentual

Sim 354 88,50%

Não 46 11,50%

Total 400 100,00%



Como percebe-se pelos dados da Tabela 11 acima apresentada, 88,50% das unidades

escolares da OS atingiram a meta de pontuação de 65 pontos, sendo assim, o desempenho da

OS nesse indicador atingiu nota 10 como exposto pela Tabela 12 a seguir:

Tabela 12: Percentual de cumprimento da meta e desempenho do Índice de Satisfação

de Atendimento ao Público (AP)

Percentual de

atendimentos que

atingiram a meta

Meta Desempenho

(Nota)



Fonte: "Indicadores e Metas da Gestão Pactuada da Paraíba"



“A pontuação de cada indicador será complementada por uma avaliação qualitativa pela


Educação de modo a contextualizar os resultados. ”

O resultado alcançado supera a meta estipulada, portando não há exigência de um plano de

ação. Entretanto, vale ressaltar a importância de uma melhoria contínua nos processos

garantindo que os atendimentos nas unidades escolares por meio da secretaria tenham

informações atualizadas e funcionários treinados.

A equipe da ECOS entregou os questionários nos prazos estabelecidos e alcançou o número

estipulado de respostas. A Comissão de Acompanhamento, Monitoramento e Avaliação

considera o desempenho da equipe excelente na contribuição do indicador.





37

7. PONTUAÇÃO GLOBAL

Devido à periodicidade, dos 21 indicadores previsto em Edital, 3 foram passíveis de avaliação

por estes serem bimestrais e mensuráveis, sendo eles:

a. Acordo de Nível de Limpeza (AL)

b. Escolas com acesso à internet (EAI)

c. Índice de Satisfação de atendimento ao público (IP)

Considerando que os indicadores estão organizados em grupos e que a cada um dos grupos de

indicadores é atribuído um peso específico em função da sua importância relativa no contexto

da sistemática de avaliação, conforme a seguinte distribuição apresentada no Quadro 7:

Quadro 7: Peso dos Grupos de Indicadores na Nota Global da Avaliação

Grupo Peso

IN1 – AEE, suporte pedagógico e

desempenho escolar 40%

IN2 – Suporte administrativo 20%

IN3 – Acordo de Nível de Serviço (ANS) 35%

IN4 – Índice de Equilíbrio Financeiro (IEF) 5%



Como definido em Edital:

A Pontuação Global será atualizada assim que algum indicador seja atualizado. Como só se

terá todos os indicadores após 12 meses do início da implementação, caso algum indicador

ainda não tenha sido calculado devido à sua periodicidade, seu peso deve ser redistribuído

igualmente para os outros indicadores de forma a melhor representar o desempenho da OS

no período.

Após a atribuição individual da nota para cada indicador e/ou meta, foi calculada a média

aritmética do conjunto de indicadores por grupo avaliado (IN) e essa multiplicada pelo peso

atribuído ao grupo considerando a redistribuição igualitária do peso dos indicadores não

avaliados para os indicadores mensurados no referido ciclo bimestral.

As notas ponderadas foram somadas resultando numa nota final a qual foi atribuída uma Nota

Conceito, conforme tabela abaixo:





38

Quadro 8: Pontuação Global - Conceito

Pontuação Global Conceito Impacto

9,1 a 10 pontos A – ÓTIMO

Aprovado – Sugestão de

Renovação

8,1 a 9,0 pontos B – MUITO BOM


Renovação

7,1 a 8,0 pontos C – BOM


Renovação

5,1 a 7,0 pontos

D – SATISFATÓRIO

Aprovado – Passível de

Renovação após diagnóstico

conjunto

4,1 a 5,0 pontos E – RUIM

Reprovado – Não renova o

Contrato

< 4,0 pontos

F – INSUFICIENTE

Reprovado – Não renova o

Contrato Sugestão de

Desqualificação



A partir da sistemática de avaliação definida anteriormente, apresenta-se a Nota Global de

Avaliação obtida pela Organização Social na Tabela 13 seguir:





39

Tabela 13: Pontuação Global Ecos

I

N META

NOT

A

MÉDI

A

(a)

PESO

(i)

PESO

IN

REPONDERAÇÃO

IGUALITÁRIA

(b)

TOTAL

DA IN

(c) = (a) x

(b)

1

Sistema de Avaliação da Educação da Paraíba – Avaliando

IDEPB

8%

40%

Integração de alunos com deficiência, transtornos globais

do desenvolvimento e altas habilidades ou superdotação 8%

Índice de satisfação do AEE 8%

Alunos infrequentes acompanhados 8%

Índice de Clima Escolar – ICE 8%

2

Índice de satisfação do Atendimento ao Público 10

5

4%

20% 36% 1,80

Escolas com dados atualizados 4%

Escolas com acesso à internet 0 4%

Índice de satisfação da Merenda Escolar – IME 4%

Índice de Segurança Escolar 4%

3 Índice de Suporte de TI

3,5%

Índice de Limpeza

3,5%





40

Índice de Manutenção

3

3,5% 35%

64%

1,92

Realização da manutenção predial preventiva 3,5%

Prazo de atendimento de chamados para manutenção

corretiva 3,5%

Prazo de solução dos problemas na manutenção corretiva 3,5%

Realização da manutenção preventiva anual de TI 3,5%

Prazo de atendimento de chamados para manutenção

corretiva de TI 3,5%

Prazo de solução dos problemas na manutenção corretiva

de TI 3,5%

Acordo de Nível de Serviço de limpeza 3 3,5%

4 Índice de Equilíbrio Financeiro – IEF 5% 5%

NOTA GLOBAL DA AVALIAÇÃO = Σ(c) 3,72

Como pode-se observar pelos dados da Tabela 13, a Organização Social obteve 3,72 como Nota Global da Avaliação. Dado que essa nota atribuída é

menor que 4,0 pontos, foi atribuído Conceito F - INSUFICIENTE que confere status de Reprovação e sugestão de Não Renovação do Contrato e

Desqualificação de acordo com o estabelecido no Edital e disposto no Quadro 7.

Como definido no Edital, a Pontuação Global determinará a parte variável que incidirá sobre a folha de pagamento do Corpo Técnico e Diretivo da OS

pelo período subsequente até sua próxima atualização e a liberação da parcela variável do Contrato de Gestão será feita a partir do conceito “C – BOM”.





41

Dada a reprovação da OS na Nota Conceito, a mesma não atingiu a Nota Conceito mínima

necessária para fazer jus à remuneração variável incidente sobre a folha de pagamento do

Corpo Técnico e/ou Diretivo da OS.

7. 2 Avaliação Qualitativa

A Comissão de Acompanhamento, Monitoramento e Avaliação das Organizações Sociais,

segundo os valores do Programa de Organizações Sociais, avaliou qualitativamente o

desempenho da ECOS nos quesitos gerenciais:

Quadro 9: Avaliação qualitativa gerencial

Valores Not

a Comentários

Transparência 5 Informa à Comissão de forma proativa e encaminha os dados e

relatórios nos prazos estabelecidos.

Equidade 5 Assume responsabilidades e focam na resolução do problema em

parceria

Ética 5 Equipe com valores definidos

Respeito 3 Membros com postura profissional e qualificada, porém constante

reclamação nas escolas de tratamento dos funcionários da ECOS

Compromisso 5 Instaura processos estabelecidos pela Comissão, sugere melhorias e

informa qualquer imprevisto.

Eficiência 4 Alta capacidade de planejamento, organização e readequação



Nota: 1.Péssimo 2. Ruim 3. Regular 4. Bom 5. Excelente





42

8. PLANOS DE AÇÃO

Caso algum indicador apresente nota menor que 7,0, a Organização Social deverá apresentar

um plano de ação para melhoria à Comissão de Acompanhamento Monitoramento e

Avaliação da Secretaria de Estado da Educação. Após avaliação a Comissão pode propor

alterações ao Plano de Ação.

Os Planos de Ação devem identificar:

I. Ações a serem tomadas;

II. Prazo de cada Ação;

III. Responsável por cada Ação;

IV. Escolas ou áreas prioritárias;

O Plano de Ação deve ser um documento simples com foco em ações que causem impacto

positivo em dois meses. Caso se faça necessária uma ação mais estruturada de médio-longo

prazo deve-se dividir essa ação em passos menores para adequá-la ao modelo.

A OS com melhor desempenho deverá contribuir, auxiliando a SEE na disseminação de boas

práticas.

A Comissão de Acompanhamento, Monitoramento e Avaliação da Secretaria de Estado da

Educação pode avaliar mensalmente, ou a qualquer período, a partir de dados e indicadores

prévios a serem criados e a partir desses exigir da OS que apresente Planos de Ação caso seja

verificada uma tendência de não alcance das metas futuras.





43

ANEXOS

ANEXO A - Instrumento de coleta para o Acordo de Nível de Serviço de Limpeza





44





45





46





47





48





49





50





51





52





53

ANEXO B - Instrumento de coleta para o Índice de satisfação da Merenda Escolar





54

ANEXO C – Instrumento de coleta para o Índice de satisfação de atendimento ao público





55

ANEXO D – Amostra aleatória do Acordo de Nível de Serviço de Limpeza (AL)

Unidade Escolar

EEEFM Irineu Pinto

EEEFM Antonio Coelho Dantas

EEEFM Maria Balbina Pereira

EEEF Jose Tavares

EEEIEF Francisco de Assis Gonzaga

EEEF Felinto Elizio

EEEFM Dr Hortensio de Sousa Ribeiro

EEEF Padre Ibiapina

EEEFM Juarez Maracajá

EEEFM Jose R de Ataide

EEEFM Jose Rocha Sobrinho Cepes Bn-1

EEEF Maria de Melo

EEEFM Adauto Cabral de Vasconcelos

EEEF Antenor Navarro

EEEFM Senador Jose Gaudêncio

EEEFM Governador Clovis Bezerra Cavalcanti

EEEFM Odilon Nelson Dantas

EEEM Dr Elpidio de Almeida

Escola Walnyza Borborema Cunha

EEEF Epitacio Pessoa

EEEFM Teonas da Cunha Cavalcante

EEEFM Jocelyn Velloso Borges

EEEF Ii e EjaUmbelina Garcez

EEEFM Conego Nicodemos Neves

Centro Est Exp de Ens A Sesquicentenario

EEEF Targino Pereira Cepes An1

EEEF Des Boto de Menezes

EEEF Vasconcelos Brandao

EEEF Elidio Sobreira

EEEF Monsenhor Odilon Coutinho

EEEF Frederico Lundgren

EEEF Borges da Fonseca

EEEFM Prof Jose Baptista de Mello

Ete Erenice Cavalcante Fideles

EEEF Pref Jose Antonio Neves

EEEF Profª Rita de Miranda Henriques





56

EEEF Professora Dagmar Mendonca Limeira

EEEFM Prof Olivio Pinto

EEIEFM Drº Jose Lopes Ribeiro

EEEIEJAFM Dona Alice Carneiro

EEEF Claudina Mangueira de Moura

EEEF Nina Alves de Lima

EEEFM Padre Hildon Bandeira

EEEFM Mons Jose Paulino

EEEF Alberto Lundgren

Nucleo de Educacao de Jovens e Adultos do Ensino Medio

EEEFM Ministro José Américo de Almeida

EEEF Dr Cunha Lima

EEEFM Orlando Venancio dos Santos

EEEF Prof Jose Coelho

EEEF Frei Alberto

Ene Oswaldo T de Albuquerque Melo

EEEFM Eng Jose Davila Lins

EEEFM Con Francisco Gomes de Lima

EEEFM Escritor Jose Lins do Rego

EEEF Mons Walfredo Leal

EEEM Prefeito Aguitônio Dantas

EEEFM Manoel Avelino de Paiva

EEEFM Benedita Targino Maranhao

EEEFM Severina de Holanda Cavalcanti

EEEM Cineasta Linduarte Noronha

EEEFM Monsenhor Sales

EEEF Prof Antonio Garcez

EEEFM Cicero dos Anjos

EEE Fundamental e Medio Melquiades Tejo

EEEIEF Augusto dos Anjos

EEEF Dr Carlos Pessoa

EEEFM Padre Hildon Bandeira

EEEFM Prof Raul Cordula

Escola Estadual de Educacao Especial





57

ANEXO E - Amostra aleatória do Índice de Satisfação da Merenda Escolar (IME)

Lote Unidade Escolar

Número de

matrículas

Quantidade de

alunos pesquisados

2 Lyceu Paraibano 2109 34

2 EEEIEJAFM Dona Alice Carneiro 550 9

2 Centro Est Exp de Ens A Sesquicentenario 2210 35

2 EEEF Profª Rita de Miranda Henriques 557 9

2 EEEFM Luiz Ribeiro Limeira 520 8

2 EEEFM de Forte Velho 263 4

2 EEEF Barao do Abiai 1205 19

2 EEEFM Conego Nicodemos Neves 1023 16

2 EEEFM Mons Pedro Anisio Bezerra Dantas 492 8

2 EEEFM Riachao do Poco 239 4

2 EEEF ProfAdelia de Franca 478 8

2 Subtotal 9626 153

3 EEEFM Jose Rocha Sobrinho Cepes Bn-1 1096 23

3 EEEF Ii e EjaUmbelina Garcez 831 18

3 EEEFM SENADOR RUI CARNEIRO 721 15

3 EEEF Celso Cirne 915 19

3 EEEFM Jocelyn Velloso Borges 691 15

3 EEE F Dr Joao Florentino Meira de

Vasconcelos 290 6

3 Subtotal 4544 96

5 EEEFM Padre Hildon Bandeira 1720 37

5 EEEM DrElpidio de Almeida 1505 33

5 Ene Oswaldo T de Albuquerque Melo 171 4

5 EEEM Prefeito Aguitônio Dantas 126 3

5 EEEF Vasconcelos Brandao 405 9

5 EEEF Dr Carlos Pessoa 189 4

5 EEEFM Jose R de Ataide 891 19

5 Escola Walnyza Borborema Cunha 528 11

5 EEEFM DrHortensio de Sousa Ribeiro 928 20

5 EEEFM Felix Araujo 408 9

5 Subtotal 6871 149

TOTAL 21041 399 Fonte: Elaboração pela Comissão de Avaliação e Monitoramento das Organizações Sociais.





58

ANEXO F - Amostra aleatória do Índice de Satisfação do Atendimento ao Público (AP)

Lote Unidade Escolar

Número potencial

de atendidos

Quantidade de

atendimentos

2 Centro Est Exp de Ens A Sesquicentenario 6630 30

2 EEEF Maria Honorina Santiago 4083 19

2 EEEF Tancredo Neves 1026 5

2 EEEF Getulio Vargas 1572 7

2 EEEIEJAFM Dona Alice Carneiro 1650 8

2 EEEFM Tenente Lucena 2349 11

2 Instituto de Educacao da Paraiba (Iep) 3783 17

2 EEEFM de Forte Velho 789 4

2 EEEFM Jose do Patrocinio 2193 10

2 Lyceu Paraibano 6327 29

2 EEEFM Conego Nicodemos Neves 3069 14

2 Subtotal 33.471 154

4 EEEFM Jose Rocha Sobrinho Cepes Bn-1 3288 27

4 EEEFM Benjamin Maranhao 2580 21

4 EEEFM Sagrado Coracao de Jesus 1077 9

4 EEEFM Jocelyn Velloso Borges 1287 17

4 EEEFM Maria Lins 1713 14

4 EEEF Xavier Junior 933 8

4 Subtotal 11.664 96

6 EEEFM Padre Hildon Bandeira 5160 29

6 EEEM Dr Elpidio de Almeida 4515 26

6 EEEFM Monsenhor José Borges de Carvalho 3171 18

6 EEEF Prof Jose Coelho 1125 6

6 EEEFM Deputado Álvaro Gaudêncio de

Queiroz

1917

11

6 EEEF de Aplicacao 1650 9

6 EEEFM Felix Araujo - (Caturité) 1224 7

6 EEEIEFM Carlota Barreira 2526 14

6 EEEF Nina Alves de Lima 981 6

6 EEEFM Felix Araujo - (Campina Grande) 4179 24

6 Subtotal 26.448 150

TOTAL 71.583 400 Fonte: Elaboração pela Comissão de Avaliação e Monitoramento das Organizações Sociais.

RELATÓRIO DE AVALIAÇÃO DOS INDICADORES E METAS DA ...§ão-dos... · referentes ao bimestre...

Documents

Transcript of RELATÓRIO DE AVALIAÇÃO DOS INDICADORES E METAS DA ...§ão-dos... · referentes ao bimestre...