Minicurso - cult.ufba.br · •Enfraquecimento do pacto federativo e canais de ... The Economic...

MINICURSO INTRODUÇÃO À AVALIAÇÃO SISTÊMICA DE POLÍTICAS PÚBLICAS NO CAMPO DA CULTURAMINICURSO INTRODUÇÃO À AVALIAÇÃO SISTÊMICA DE POLÍTICAS PÚBLICAS NO CAMPO DA CULTURA

Minicurso

INTRODUÇÃO À AVALIAÇÃO SISTÊMICA DE POLÍTICAS PÚBLICAS NO CAMPO DA CULTURA

Paulo de Martino Jannuzzi (ENCE)

Leonardo Hernandes (UnB)

Geraldo Alvarenga (EPPGG)

MINICURSO INTRODUÇÃO À AVALIAÇÃO SISTÊMICA DE POLÍTICAS PÚBLICAS NO CAMPO DA CULTURA


Por quê fazer avaliação de Políticas e Programas Públicos ?

É preciso resistir ao desmonte das Políticas Públicas


Orçamento Federal em 2017 por Função: R$ 2,6 Tri

R$ 1,2 Tri (46%)


Orçamento Federal em 2017 por Função: R$ 2,6 Tri

R$ 1,2 Tri (46%)

R$ 651 Bi (25%)


Eficiência

Eficácia

Efetividade

Sustentabilidade

fiscal

Coesão social

Equidade

Diversidade

Valor Público das Políticas e Programas

No atual contexto de disputa política e de deslegitimação do Estado , é cada vez mais necessário produzir informações sobre eficiência, eficácia e efetividade das ações para

avaliação do valor público das Políticas e Programas


Desafios das Politicas Públicas no curto e médio prazo

• Primazia do foco na Eficiência econômica do Gasto Público -> Cobertura das políticas sociais, questionamento crescente das políticas ativas em áreas menos consolidadas (Meio-ambiente, Cultura, Minorias etc)

• Judicialização das PP e ação dos órgãos de controle e MP -> conformidade procedural implicará em retomada do burocratismo pré- Reforma Bresser e baixa inovação

• Subfinanciamento das PP, redução da oferta e crescente descrédito da ação estatal

• Enfraquecimento do pacto federativo e canais de participação social


Risco de Avaliações mal formuladas/conduzidas/divulgadas/conduzidas segundo primado da eficiência


Informação e conhecimento produzido pelas Avaliações vão orientar decisões acerca da alocação do Gasto Público

Estado Bem-estar- Modelo Europeu Continental- Modelo Social Democrata Nordico

Estado Liberal- Regulador- Social Liberal

Brasil 2014563 mil presos148 mil p.domiciliar374 mil mandados prisãoTotal = 985 mil

Brasil 201451 milhões Bolsa Família4 milhões BPC32 milhões Após/Pensões9 milhões Seg Desemprego


Objetivo instrucional

Ao final do minicurso espera-se que o aluno tenha entendido os principaisconceitos e instrumentos sobre Avaliação de Programas em uma perspectivasistêmica de Políticas e Programas Públicas, os valores públicos a que respondem eentender sua aplicação em situações concretas no campo das Políticas Culturais.


Tópicos

1) Contextualização sobre Políticas Públicas, Valores e papel da Avaliação

2) Conceitos básicos de Avaliação Sistêmica

3) Avaliação Sistêmica do Pronatec

4) Avaliação de Programas Públicos na Área da Cultura


Material de referência

Estudos em Avaliação Educacional

n. 58 (2014) e n.66 (2016)

Editora AlíneaLINK :

https://drive.google.com/drive/f

olders/0B0rv-

8MCU4JdaWM1ZnFMakg5d00

?usp=sharing

https://drive.google.com/drive/folders/0B0rv-8MCU4JdaWM1ZnFMakg5d00?usp=sharing


O Estado Contemporâneo requer muita Informação e conhecimento para que possa exercer suas “capacidades estatais”

Gomide e Boschi. Capacidades Estatais em Países Emergentes. Brasilia, IPEA, 2016.

Capacidade

coercitiva

Capacidade

relacional

Capacidade

política

Capacidade

burocrática

Capacidade

regulatória

Capacidade

fiscal

Dados

Pesquisas

Estudos

Estado

Moderno

Estado

Contemp


7 %

+ 35 %

A produção de informação estatística e sobre monitoramento e avaliação segue a estruturação do Estado Contemporâneo no século XX


A Carga Fiscal (%PIB) tem se ampliado para atender às necessidades de financiamento das Políticas Sociais, Infraestrutura, Defesa e Segurança Pública

Modelo 1870 1913 1920 1937 1960 1980 1990 2002 2007 2014

Euro-Continental

Alemanha 10 15 25 34 32 48 45 49 44 45

Nórdico

Suécia 6 10 11 17 31 60 59 64 52 48

Anglo-saxão

EUA 7 8 12 20 27 31 33 32 32 32

Fonte: 1870-2002 Vito Tanzi. The Economic Role of the State in the 21st Century

2007-2014: IMF Fiscal Monitor – tabelas


Informação e conhecimento produzido pelas Avaliações vão orientar decisões acerca da alocação do Gasto Público e a implementação das Políticas

PrevidênciaEducaçãoSaúdeAssistência SocialTrabalhoHabitaçãoCultura

Defesa NacionalSegurança PúblicaIsenções às empresasPagamento de juros

Estado Bem-estar- Modelo Europeu Continental- Modelo Social Democrata Nordico

Estado Liberal- Regulador- Social Liberal


Como nos países desenvolvidos no passado, esse processo de ampliação de escopo e escala das Políticas Públicas se verifica em toda a América Latina nas últimas décadas, especialmente com

relação às Políticas Sociais


No Brasil o aumento dos recursos públicos investidos em Políticas Sociais passam de 16 % PIB em 1991 para 25% em 2014


No Brasil, a demanda por informação amplia-se com a Constituição de 1988 e décadas seguintes com a estruturação de sistema mais abrangente em escopo e escala de políticas

públicas

Castro (2011) – Revista Brasileira de Monitoramento e Avaliação n.1


Mesmo em contextos menos favoráveis, a produção de estudos segue a demanda por estruturação de Políticas Públicas: o Caso dos EUA

1940 1965

Estudos avaliativos na Educação Básica-currículos, desempenho, testes -seguindo preocupação e modelos na Inglaterra.

Técnicas de pesquisa para melhorar eficiência de processos, desenvolvida na Segunda Guerra, passa a ser aplicada na avaliação de programas de qualificação profissional, moradia, planejamento familiar, educação

Forte influência de técnicas quantitativas psicométricas, aquelas aplicadas na indústria, desenhos experimentais e quase experimentais (aval. resultados)


1965 1980

•Grande impulso na avaliação de programas em pobreza, qualificação profissional, criminalidade, saúde infantil com a constituição da GreatSociety (institucionalização do Estado de Bem-Estar Social americano), e aumento substancial do financiamento à educação e bolsas de estudo paras escolas municipais e universidades.

•Carência de profissionais com formação adequada leva à criação de vários programas de mestrado na área, com proposição de desenhos avaliativos mais ecléticos (abordagens qualitativas, voltadas a avaliação de processos) e produção de vários livros, manuais clássicos e revistas periódicas especializadas



1980 2000 •No Governo Reagan, com a ênfase na desregulamentação e descentralização na prestação de serviços e programas sociais, há um arrefecimento na avaliação em nível federal

•Entrada de cena das ONGS- com a privatização dos serviços sociais induzida pelo Governo Reagan-também requerem estudos de avaliação, para justificar e validar experiências inovadores e financiamentos de Agências Federais e Privadas

•Institucionalização crescente da atividade de avaliação de programas, com profissionais especializados, criação de Associação de Profissionais

•Reconhecimento da natureza transdisciplinar da pesquisa avaliativa, da necessidade de desenhos quali-quantitativos integrados, da avaliação interna, emprego de novos recursos tecnológicos



2000 2030

•Desafios e instabilidades colocados pela financeirização econômica, pelos abalos ambientais, pelas crises humanitárias e as agendas internacionais tendem a fortalecer a produção de informação e estudos mais específicos (pesquisas e BIG Datas estruturados), contrapondo valores públicos em disputa


Eficiência do Gasto Social frente a outras oportunidades no mercado

Valor Público e Legitimidade Social das escolhas políticas pelos governantes eleitos

Eficiência Econômica

Justiça Distributiva do Contrato Social

Justiça Distributiva do Mercado


Institucionalização da Avaliação de Programas (Associações e Revistas)

American Evatuation Association

www.eval.org

Evaluation Practice

New Directions for Program Evatuation

Encontro anual em outubro-novembro nos EUA

Canadian Evaluation Society

www.evatuationcanada.ca

Canadian Journal of Program Evatuation

Conferência anual em maio

European Evaluation Society

www.europeanevaluation.org

Evaluation

Conferência bi-anual em novembro

Societé Française d´Evaluation

http://www.sfe.asso.fr

Evaluation et mesure de la performance

Jornadas de Estudos anuais – nacional e internacional

Associação Brasileira de Avaliação Educacionalwww.abave.com.br

Revistas de instituições parceiras

Seminários bi-anuais

Rede Brasileira de Monitoramento e Avaliação

http://redebrasileirademea.ning.com/

Revista Brasileira de Monitoramento e Avaliação

Seminários anuais – nacional e regionais

http://www.eval.org/

http://www.evatuationcanada.ca/

http://www.europeanevaluation.org/

http://www.sfe.asso.fr/

http://www.abave.com.br/

http://redebrasileirademea.ning.com/


Principais fontes de pesquisas em Avaliação de Programas - Brasil

Principais Publicações (várias no www.scielo.br )

Revista do Serviço Público (ENAP)

Revista de Administração Pùblica (RAP)

Cadernos de Saúde Pública

Revista Brasileira de Monitoramento e Avaliação

Estudos em Avaliação Educacional (Carlos Chagas)

Planejamento e Políticas Públicas (IPEA)

Revista Avaliação em Políticas Públicas (MAPP-UFC)

Publicações do IPEA (Textos para Discussão, Estado da Nação)

Publicações do IBGE (Indicadores Sociais, Publ.anual PNAD)

Tribunal de Contas da União (Auditoria Operacional)

Controladoria Geral da União (Avaliação de programas)

http://www.scielo.br/


Políticas Públicas

• Política Pública é um sistema de decisões públicas que visa a ações ou omissões, preventivas ou corretivas, destinadas a manter ou modificar a realidade de um ou vários setores da vida social, por meio da definição de objetivos e estratégias de atuação e da alocação dos recursos necessários para atingir os objetivos estabelecidos. (SARAVIA, 2006, p.29).

• Política Pública não é sinômico de Politica para população pobre. É para populaçãoe instituições, podendo ser universal ou dirigida a públicos-específicos

• Campos da Política Pública• Social: Educação. Saúde, Assistência Social etc• Econômica: Industrial, Macroeconômica, Tributária• Ambiental• Cultura



• As decisões que conformam a política pública podem ser de natureza

– distributiva (Pensões e Aposentadorias)

- redistributiva (Politica de valorização do Sal.Mínimo)

- regulatória (Normas de Vigilância Sanitária)

• Políticas e programas públicos são intrinsecamente multi-objetivos, não são projetos com corpo restrito de executores e voltados a uma finalidade específica

• As Políticas e programas públicas, sobretudo as sociais, operam por meio de articulação federativa, com pactuação de objetivos e atividades entre as três esferas de governos – União, estados e municípios- com participação maior ou menor de entidades estatais, privadas ou filantrópicas na produção dos serviços e “entregas”



• As Políticas e programas operam em contextos sociais e econômicos muito diversos, múltiplos públicos-alvo e em ambientes diferenciados de capacidade de gestão

• Uma parte muito expressiva das Políticas e programas sociais foram efetivamente criados nos últimos 25 anos, pós Constituição de 1988, estando pois em diferentes estágios de maturidade institucional

• Envolvem diretamente mais de 10 milhões de gestores e técnicos públicos nas 3 esferas, com diferentes formações, em diferentes regimes de contratação, operando mais de 300 programas federais, além dos existentes em 27 UF e nos 5.570 municípios


Problemas

sociais

Avaliação

somativa

Necessidades de informação e

conhecimento

Definição da agenda Formulação

Decisão

Implementação

Avaliação de

desenho do

projeto

Avaliação das

demandas

sociais

Avaliação de

Processos e

Implementaçã

oAvaliação

dos custos e

efetividade Avaliação

dos

Impactos e

efeitos

Prospecção de

programas existentes

Estudos de Cenários

Futuros

Meta-Avaliações

Políticas e Programas demandam diferentes Produtos de Informação e

Conhecimento segundo ciclo de vida do programa


Tópicos

1) Contextualização sobre Políticas Públicas, Valores e papel da Avaliação

2) Conceitos básicos e Etapas de Avaliação Sistêmica

3) Avaliação Sistêmica do Pronatec

4) Programas Públicos na Área da Cultura


As perspectivas politico-institucionais dos Sistemas de Monitoramento e Avaliação


Auditoria de Conformidade

• Programa é entendido como uma organização hierárquica, em que o governo central tem todo o controle dos processos necessários à consecução dos objetivos (e os instr. punição)

• Política Social é centrada na Educação Básica e Saúde Pública Higienista

• Todas as atividades e agentes devem seguir os protocolos e normas definidos pelo Escritório Central

• Perspectiva dos órgão de controle e sistema de justiça

• Avaliação: checar se atividades e produtos estão em conformidade com o normatizado

• Valor público primaz: Conformidade procedural

Insumos• Pessoas• Orçamento• Tecnologia• Equipmentos

Processos• Contratações• Adesões• Capacitação• Estruturação

Produtos• Serviços• Bens• Benefí-

cios

Impactos• Bem-estar

social• Legitimidade

do Estado


Avaliação Econômica de Projetos

• Programa é entendido como um contrato de serviços com múltiplos operadores concorrentes, no qual o governo central tem mecanismos de premiação e regulação

• O importante é selecionar os agentes e operadores no setor privado e filantrópico que podem entregar resultados com maior eficiência econômica

• Política Social está centrada em Educação, Qualificação, Saúde Básica, todos voltados à população mais pobre

• Familiar aos técnicos da área fazendária

• Avaliação : medir os impactos e resultados quantitativos que podem ser atribuídos aos Programas em relação aos custos

• Valor público primaz: Eficiência do recurso subtraído do mercado




cios



do Estado


Avaliação Sistêmica

• Programa é entendido como um sistema, operado por vários agentes, como sistema aberto ou rede, com pactuação de metas, responsabilidades e compartilhamento de recursos

• Politica Social combina programas de cunho universal com ações estratégicas de natureza equitativa (Estado do Bem-Estar Social), desenhada nos escritórios de planejamento mas discutida com operadores e sociedade

• Triangulação de métodos e perspectiva multidisciplinar

• Avaliação : produzir dados quali-quanti em todas as etapas de implementação dos programas

• Valor público primaz: Efetividade Social (Equidade, Coesão, Sust.Ambiental, Diversidade Cultural)




cios



do Estado


Definição de Avaliação de Programas

Avaliação refere-se ao esforço analítico de produzir informação e conhecimento para

• desenho, implementação e validação de programas e projetos sociais,

• por meio de abordagens metodológicas interdisciplinares da pesquisa social,

• com a finalidade de aprimorar a gestão das intervenções, seja no cumprimento dos seus objetivos (eficácia),

• nos seus impactos mais duradouros e abrangentes em termos de públicos e dimensões sociais alcançados (efetividade),

• seja nos custos condizentes com a escala e complexidade da intervenção (eficiência).


Avaliação de Programas requer uma abordagem sistêmica para investigação dos programas


Avaliação de Programas requer abordagens multi-métodos e multi-sujeitos (Triangulação)


Avaliação de Programas requer a escolha dos métodos de investigação mais apropriados ao problema. Não existe padrão-ouro !!


Avaliação como aprendizagem organizacional e inovação requer estruturação de atividades emum ciclo complexo de produção e apropriação da informação e conhecimento


Avaliação de Programas é campo de conhecimento tecnocientíficoe político

Conhecimento Humano

Costumes e Tradição

Religião

Artes e Cultura

Política

Ciência

Tecnologia

Gestão

Pesquisa SocialAplicada a avaliação de

programas

Valores humanos

Princípios éticos

Visões de mundo

Prioridades políticas

Conhecimento disciplinar

Práticas e técnicas de gestão

• Não existe conhecimento neutro• Não existe método mais legítimo• Conhecimento é contingente


Avaliação de Programas: tipologia segundo momento da avaliação


Avaliação de Programas: tipologia segundo executor da avaliação

Avaliações com equipes externas podem garantir maior independência técnica quanto à condução do estudo avaliativo do programa que as realizadas internamente, se tem conhecimento aprofundado sobre a questão social e sobre o desenho do programa.

Equipes internas detêm, em geral, conhecimento sobre os problemas e as dificuldades mais prementes que afetam os programas públicos, mas precisam de apoio técnico de consultores especializados e pesquisas de campo para entender melhor e mais aprofundadamente.



Com equipes mistas, garante-se a sinergia entre

- conhecimento interno de gestão e - especialidade técnica externa,

O que gera produtos

- com maior potencialidade de apropriação, não apenas pela adequação às demandas mais relevantes para avaliação

- como também pela legitimidade conferida pelo envolvimento inicial dos agentes internos ao programa.



Em algumas situações, menos frequentes na avaliação de programas públicos, desenvolvem-se abordagens participativas – ou ‘quase-participativas’- com participação direta ou com algum nível de interação participativa do público-alvo e dos agentes operadores no processo de coleta e sistematização de informação.

É como uma pesquisa-ação, em que a obtenção de informações é tão importante quanto promover a busca de soluções para as dificuldades do programa.


Avaliação de Programas: tipologia segundo formato do produto final

Relatórios-Síntese : conjunto de tabelas e textos que sumarizam indicadores de resultados de políticas e programas, para fins de divulgação a públicos mais abrangentes

Estudos Avaliativos: análises com base em dados secundários, material documental ou estudos já realizados anteriormente na temática

Meta-avaliações: recensões sobre estudos avaliativos, pesquisas e experiências nacionais, subnacionais e internacionais de programas e projetos realizados

Pesquisas de avaliação: levantamentos primários, qualitativos ou quantitativos, desenhadas com objetivos de produção de evidências específicas, em geral, não disponíveis, mas necessárias ao aprimoramento da intervenção.


Exemplos de Relatórios-Sintese


Exemplos de Relatórios-Sintese

http://biblioteca.ibge.gov.br/visualizacao/livros/liv94254.pdf


http://www.pnud.org.br/Docs/5_RelatorioNacionalAcompanhamentoODM.pdf

Síntese Indicadores IBGE Ind Desenv Sustentável 5o. Relatorio Acomp

ODM



http://www.pnud.org.br/Docs/5_RelatorioNacionalAcompanhamentoODM.pdf


Acesso ao Ensino Superior : políticas de cotas, ampliação de vagas, FIES, Prouni

20% + Pobres 2 % para 8 % vagas no Ens.Sup.Publico


Atlas Econômico da Cultura Brasileira


•

•

•

•


CADASTRO NACIONAL DE ATIVIDADES ECONÔMICAS – CNAE’s DA CULTURA

CÓDIGO CNAE DESCRIÇÃO CNAE 2.0 CADEIAS GERAIS SETOR ÁREA MinC

3211 Lapidação, fab. Ourivesaria e Joalheria Design Design Não se aplica

3212 Fabricação de Bijuterias e Artefatos semelhantes Design Design Não se aplica

3220 Fab. Instrumentos musicais Música Jogos e Brinquedos Artes Integradas

4647 Com. Atac. Livros, jornais, papelaria. Editoração Livros e Publicações Humanidades

4756Comércio varejista especializado de instrumentos musicais e acessórios Música Jogos e Brinquedos Artes Integradas

4761 Com. Var. Livros, jornais, papelaria. Editoração Livros e Publicações Humanidades

4762 Com. Var. Discos, CDs, DVDs Música Produção e Edição Musical Música

4783 Comércio varejista de jóias e relógios Design Design Não se aplica

5811 Edição de livros Editoração Livros e Publicações Humanidades

5812 Edição de jornais Editoração Livros e Publicações Humanidades

5813 Edição de revistas Editoração Livros e Publicações Humanidades

5821 Edição integrada impressão livros Editoração Livros e Publicações Humanidades

5822 Edição integrada impressão jornais Editoração Livros e Publicações Humanidades

5823 Edição integrada impressão revistas Editoração Livros e Publicações Humanidades

5911 Produção cine, vídeos, programa TV Audiovisual Audiovisual Audiovisual

5912 Pós-Produção cine, vídeos, programa TV Audiovisual Audiovisual Audiovisual

5913 Distribuição cine, vídeos, programas TV Audiovisual Audiovisual Audiovisual

5914 Exibições cinematográficas Audiovisual Audiovisual Audiovisual

5920 Gravação de som e edição música Música Produção e Edição Musical Música


CADASTRO NACIONAL DE ATIVIDADES ECONÔMICAS – CNAE’s DA CULTURA

CÓDIGO CNAE DESCRIÇÃO CNAE 2.0 CADEIAS GERAIS SETOR ÁREA MinC

6010 Atividades de rádio Audiovisual Audiovisual Audiovisual

6021 TV aberta Audiovisual Audiovisual Audiovisual

6022 TV por assinatura Audiovisual Audiovisual Audiovisual

6141 Operadoras de televisão por assinatura por cabo Audiovisual Audiovisual Audiovisual

6142 Operadoras de televisão por assinatura por microondas Audiovisual Audiovisual Audiovisual

6143 Operadoras de televisão por assinatura por satélite Audiovisual Audiovisual Audiovisual

7111 Serviços arquitetura Arquitetura Design Não se aplica

7420 Atividades fotográficas e similares Artes Artes Plásticas e Visuais Artes Visuais

7722 Aluguel de fitas vídeo, DVD, etc. Audiovisual Audiovisual Audiovisual

8592 Ensino de Arte Cultura Formação Formação Artística Humanidades

8593 Ensino de Idiomas Formação Formação Artística Humanidades

9001 Artes cênicas, espetáculos, etc. Artes Artes Cênicas Artes Cênicas

9002 Criação artística ArtesCriação Literária, Musical e Teatral Artes Integradas

9003 Gestão espaço para espetáculos Gestão Todos os Setores Artes Integradas

9101 Bibliotecas e arquivos Patrimônio Patrimônio Material Patrimônio Cultural

9102 Museus, restaurações, prédios históricos Patrimônio Patrimônio Material Patrimônio Cultural

9103 Jardim botânico, zoo, parques e reservas ecológicas. Patrimônio Patrimônio Natural Patrimônio Cultural

9493 Atividades de organizações associativas ligadas à cultura e à arte Gestão Todos os Setores Artes Integradas

7410-2 Desenho e decoração Design Design Não se aplica

9321-2 Parques de Diversão e Parques Temáticas Entretenimento Jogos e Brinquedos Artes Integradas

9329-8 Atividades de Lazer não especificadas anteriormente Entretenimento Jogos e Brinquedos Artes Integradas


CÓDIGO BRASILEIRO DE OCUPAÇÕES – CBOs CULTURAIS

131105 Diretor de serviços culturais 262305 Cenógrafo carnavalesco e festas populares

131115 Gerente de serviços culturais 262310 Cenógrafo de cinema

226305 Musicoterapeuta 262315 Cenógrafo de eventos

231310 Professor de educação artística do ensino fundamental 262320 Cenógrafo de teatro

232105 Professor de artes no ensino médio 262325 Cenógrafo de tv

234710 Professor de arquivologia do ensino superior 262330 Diretor de arte

234715 Professor de biblioteconomia do ensino superior 262405 Artista (artes visuais)

234755 Professor de museologia do ensino superior 262415 Conservador-restaurador de bens culturais

234905 Professor de artes do espetáculo no ensino superior 262505 Ator

234910 Professor de artes visuais no ensino superior (artes plásticas 262605 Compositor

234915 Professor de música no ensino superior 262610 Músico arranjador

251105 Antropólogo 262615 Músico regente

251110 Arqueólogo 262620 Musicólogo

261205 Bibliotecário 262705 Músico intérprete cantor

261210 Documentalista 262710 Músico intérprete instrumentista

261215 Analista de informações (pesquisador de informações de rede) 262805 Assistente de coreografia

261305 Arquivista 262810 Bailarino (exceto danças populares)

261310 Museólogo 262815 Coreógrafo

261505 Autor-roteirista 262820 Dramaturgo de dança

261510 Crítico 262825 Ensaiador de dança

261515 Escritor de ficção 262830 Professor de dança

261520 Escritor de não ficção 313210 Técnico de manutenção eletrônica (circuitos de máquinas com comando

261525 Poeta 313215 Técnico eletrônico

261705 Âncora de rádio e televisão 313220 Técnico em manutenção de equipamentos de informática



261710 Comentarista de rádio e televisão 352405 Agente de direitos autorais

261715 Locutor de rádio e televisão 352420 Técnico em direitos autorais

261720 Locutor publicitário de rádio e televisão 371105 Auxiliar de biblioteca

261725 Narrador em programas de rádio e televisão 371110 Técnico em biblioteconomia

261730 Repórter de rádio e televisão 371205 Colecionador de selos e moedas

261805 Fotógrafo 371210 Técnico em museologia

261810 Fotógrafo publicitário 372105 Diretor de fotografia

261815 Fotógrafo retratista 372110 Iluminador (televisão)

261820 Repórter fotográfico 372115 Operador de câmera de televisão

262105 Produtor cultural 373105 Operador de áudio de continuidade (rádio)

262110 Produtor cinematográfico 373110 Operador de central de rádio

262115 Produtor de rádio 373115 Operador de externa (rádio)

262120 Produtor de teatro 373120 Operador de gravação de rádio

262125 Produtor de televisão 373125 Operador de transmissor de rádio

262130 Tecnólogo em produção fonográfica 373205 Técnico em operação de equipamentos de produção para televisão

262135 Tecnólogo em produção audiovisual 373210 Técnico em operação de equipamento de exibição de televisão

262205 Diretor de cinema 373215 Técnico em operação de equipamentos de transmissão/recepção de televisão

262210 Diretor de programas de rádio 373220 Supervisor técnico operacional de sistemas de televisão e produtoras

262215 Diretor de programas de televisão 374105 Técnico em gravação de áudio

262220 Diretor teatral 374110 Técnico em instalação de equipamentos de áudio



374115 Técnico em masterização de áudio 742135 Confeccionador de órgão

374120 Projetista de som 742140 Confeccionador de piano

374125 Técnico em sonorização 752310 Ceramista (torno de pedal e motor)

374130 Técnico em mixagem de áudio 752405 Decorador de cerâmica

374135 Projetista de sistemas de áudio 752410 Decorador de vidro

374140 Microfonista 752415 Decorador de vidro à pincel

374145 Dj (disc jockey) 752420 Operador de esmaltadeira

374205 Cenotécnico (cinema, vídeo, televisão, teatro e espetáculos) 752425 Operador de espelhamento

374210 Maquinista de cinema e vídeo 752430 Pintor de cerâmica, a pincel

374215 Maquinista de teatro e espetáculos 766405 Laboratorista fotográfico

374305 Operador de projetor cinematográfico 766410 Revelador de filmes fotográficos, em preto e branco

374310 Operador-mantenedor de projetor cinematográfico 766415 Revelador de filmes fotográficos, em cores

374405 Editor de tv e vídeo 766420 Auxiliar de radiologia (revelação fotográfica)

374410 Finalizador de filmes 768105 Tecelão (tear manual)

374415 Finalizador de vídeo 768110 Tecelão de tapetes, a mão

374420 Montador de filmes 768115 Tricoteiro, à mão

376105 Dançarino tradicional 768120 Redeiro

376110 Dançarino popular 768125 Chapeleiro (chapéus de palha)

376205 Acrobata 768130 Crocheteiro, a mão

376210 Artista aéreo 768205 Bordador, a mão

376215 Artista de circo (outros) 768210 Cerzidor

376220 Contorcionista 768305 Artífice do couro

376225 Domador de animais (circense) 768310 Cortador de calçados, a mão (exceto solas)

376230 Equilibrista 768315 Costurador de artefatos de couro, a mão (exceto roupas

376235 Mágico 768320 Sapateiro (calçados sob medida)

376240 Malabarista 768325 Seleiro

376245 Palhaço 768705 Gravador, à mão (encadernação)

376250 Titeriteiro 768710 Restaurador de livros

376255 Trapezista 776405 Cesteiro



376310 Apresentador de festas populares 776420 Confeccionador de móveis de vime, junco e bambu

376315 Apresentador de programas de rádio 791105 Artesão bordador

376320 Apresentador de programas de televisão 791110 Artesão ceramista

376325 Apresentador de circo 791115 Artesão com material reciclável

376405 Modelo artístico 791120 Artesão confeccionador de biojóias e ecojóias

415105 Arquivista de documentos 791125 Artesão do couro

513305 Camareira de teatro 791130 Artesão escultor

513310 Camareira de televisão 791135 Artesão moveleiro (exceto reciclado)

513325 Guarda-roupeira de cinema 791140 Artesão tecelão

516130 Maquiador de caracterização 791145 Artesão trançador

715605 Eletricista de instalações (cenários) 791150 Artesão crocheteiro

740110 Supervisor de fabricação de instrumentos musicais 791155 Artesão tricoteiro

742105 Afinador de instrumentos musicais 791160 Artesão rendeiro

742110 Confeccionador de acordeão 915205 Restaurador de instrumentos musicais (exceto cordas arcadas)

742115 Confeccionador de instrumentos de corda 915210 Reparador de instrumentos musicais

742120 Confeccionador de instrumentos de percussão (pele, couro ou plástico) 915215 Luthier (restauração de cordas arcadas)

742125 Confeccionador de instrumentos de sopro (madeira) 915405 Reparador de equipamentos fotográficos

742130 Confeccionador de instrumentos de sopro (metal)


Estudos Avaliativos e Pesquisas de AvaliaçãoCadernos de Estudos 5, 13, 16 e 27


Estudos Avaliativos e Pesquisas de AvaliaçãoPesquisa de Avaliação – Pesquisa PBF Indígenas


Estudos Avaliativos e Pesquisas de AvaliaçãoEstudo Avaliativo


Estudos Avaliativos e Pesquisas de AvaliaçãoMeta-avaliação


A complexidade do desenho e operação dos programas requer aprodução, disseminação e apropriação de um volume considerável deInformação e Conhecimento – Pesquisas de Avaliação- segundo estágiodo ciclo de um programa (Tipologia de Peter Rossi)

• Levantamento de demandas sociais

• Diagnósticos de Públicos-Alvo

• Prospecção de Experiências eDesenho de Programas

• Avaliações de Implementação deações de Programas

• Avaliações de Resultados e Impactos

• Estudos de Custo-Efetividade


Avaliação de Programas não investiga apenas os resultados e impactos

Configuram-se como avaliação, as pesquisas

• para dimensionamento e entendimento dos determinantes de problemas sociais,

• para dimensionamento e caracterização de públicos-alvo de possíveis programas,

• para investigar as dificuldades de desenvolvimento de determinadas atividades previstas na implementação de um programa,

• para analisar os resultados, efeitos mais abrangentes e custos


Um Caso concreto de produção de informação e estudos ao longo do ciclo: Pronatec – Prog Nacional de Acesso ao Ensino Técnico e Emprego

• O Pronatec tem o objetivo de expandir, interiorizar e democratizar a oferta de cursos de educação profissional e tecnológica, visando à melhoria da qualidade do ensino médio e ampliar as oportunidades educacionais aos trabalhadores.

• Contribui assim com o desenvolvimento do país, de forma sustentável, promovendo a inclusão social, a inovação tecnológica e o aumento da produtividade e competitividade da economia

• A proposição do programa tinha como contexto • Diretriz estratégica de governo: “Pais rico é pais sem pobreza”• Plano Brasil Sem Miséria• Preocupação com a manutenção do dinamismo do emprego• Preocupação em lançar programas novos, “novas marcas de governo”, em especial na Educação

e Moradia• Questionamento sobre as “portas de saída” e perda de adesão social ao Bolsa Família• Fracassos anteriores na Qualificação Profissional• Baixa capacidade de implementação do Min. Trabalho


Pronatec5 iniciativas

• Expansão da Rede Federal de Educação Profissional, Científica e Tecnológica;

• Brasil Profissionalizado;

• Rede e-Tec Brasil;• Acordo de Gratuidade

com o Sistema S;• Bolsa-Formação.

Objetivos

❖ expandir, interiorizar e democratizar a oferta de EPT

❖ Melhoria da qualidade do ensino médio

❖ ampliar as oportunidades educacionais aos trabalhadores

❖ inclusão social❖ aumento da

produtividade e competitividade da economia

Público Alvo

• estudantes do ensino médio,

• Beneficiários do Bolsa Família

• Homens e mulheres de baixa renda inscritos no Cadastro Unico,

• trabalhadores desempregados,

• pessoas com deficiência,

• populações do campo, • trabalhadores de

setores específicos conforme projetos desenv. local



Contexto-Participantes com baixa escolaridade-Parte deles sem exp de trabalho-Oferta em todo o território nacional, em peq/méd/grande município

Recursos-Capital político

-SETEC/MEC

-Rede do IFCTs-Sistema S- Orçamento

“blindado”- Aprendizagem

anterior

Atividades

-Adesão do Município

ao programa-Definição da demanda de cursos pelo município-Pactuação da oferta com MEC-Acerto da oferta com Sistema S/IFCTs-Divulgação da oferta nos CRAS e Rede SUAS-Pré-matrícula nos cursos-Confirmação e informação para alunos-Transporte e lanche para alunos

Produtos

-Vagas nos cursos

-Inscrição no Mais Emprego

-Informações sobre Microcrédito e outros programas

Resultados

-Trabalhadores qualificados em todo o país

-Trabalhadores com maior conhecimento sobre politicas ativas de Trabalho e fomento à produção

Impactos

- Inserção no mercado de trabalho

- Ascensão no emprego ou ao emprego formal

- Aumento da renda

- Volta ao sistema escolar (básico, técnico ou superior)

- Rompimento com ciclo intergeracional

de pobreza

Mapa de Processos e Resultados do Pronatec – Bolsa Formação – Brasil Sem Miséria

- Articulação efetiva

com MTE nos municípios

Pressuposto Pressuposto

- Oferta de

empregos e cursos pelo país



O Pronatec envolve diferentes atores e agentes públicos em todo o país• MEC e outros Ministérios interessados

• Sistema S

• Rede de escolas técnicas e IFCTs

• Prefeitura (Trabalho e Assist.Social)


O Programa ilustra a importância de produção de Insumos informacionais ao longo de diferentes etapas para garantir efetividade social do mesmo

1. Levantamento de demandas sociais eDiagnósticos de Públicos-Alvo

2. Prospecção de Experiências e Desenhode Programas

3. Avaliações de Implementação de açõesde Programas

4. Avaliações de Resultados e Impactos


1

4

2

3Indicadores para Avaliação Sistêmica: o Caso PronatecEstudos em Avaliação Educacionalhttps://drive.google.com/drive/folders/0B0rv-8MCU4JddDZBMC1ETXpRZ3c

https://drive.google.com/drive/folders/0B0rv-8MCU4JddDZBMC1ETXpRZ3c


A produção de informação e conhecimento para um Programa complexo- o caso Pronatec


Pesquisa de avaliação Metodologia Dimensão investigada

Pesquisa de Avaliação de

Ações em

Desenvolvimento Social

de 2012

SAGI (2014)

Pesquisa amostral em 6 mil

domicílios no país, com dois

módulos, realizados em maio e

dezembro de 2012.

Diagnóstico do acesso a programas

de qualificação profissional e outros

programas públicos associados,

além da trajetória ocupacional.


1. Levantamento de demandas sociais e Diagnósticos de Públicos-Alvo


• 30% dos entrevistados disseram ter feito um curso de qualificação ao longo da vida• Entre os mais pobres (ED2), 18% da pesquisa, somente 10% haviam feito algum curso de

qualificação em sua vida, a larga maioria pagando do próprio bolso

Avaliação Diagnóstica: Estudo de Demanda de Qualificação Profissional e Outras ações de Inclusão Produtiva em 2012



Módulo de Inclusão Produtiva

no Censo Suas 2011

Martignoni (2011)

Levantamento pela Internet na

quase totalidade dos municípios

(97%)s, acerca da oferta de

cursos de qualificação e outras

iniciativas de Inclusão Produtiva.

Diagnóstico de capacidade de

implementação e gestão de ações

em Inclusão Produtiva pela

Assistência Social

Suplemento de Inclusão

Produtiva na Pesquisa de

Informações Básicas

Municipais e Estaduais 2014 -

IBGE (2015)

Levantamento institucional junto

a todas as prefeituras e governos

estaduais no país, pelo IBGE

Avaliação da cobertura do

Pronatec, parceiros operacionais e

públicos atendidos

Diagnóstico de práticas de 21

modalidades de Inclusão Produtiva

Urbana e Rural no país


2. Prospecção de Experiências e Desenho de Programas


Prospecção de Programas: Suplemento de Inclusão Produtiva da Pesq Informações Básicas Estaduais e da Pesquisa de Informações Básicas Municipais em 2014

Qualificação profissional era a iniciativa mais presente nos municípios, além do fomento ao artesanato

Ofertas diferenciadas demandariam maior apoio técnico aos muncípios



Módulo de Inclusão

Produtiva no Censo Suas

2014

SAGI (2015).

Levantamento pela Internet na quase totalidade

dos municípios (99%), acerca da oferta de

cursos de qualificação, articulação com outras

políticas de emprego e outras iniciativas de

Inclusão Produtiva.

Avaliação da cobertura da oferta de

cursos do Pronatec, Acessuas e papel

da Assistência na articulação com

outros programas de trabalho e

renda.

Pesquisa Qualitativa do

Pronatec em 2013

VARELLA et al (2015)

Pesquisa qualitativa em 12 municípios,

envolvendo Grupo Focal com concluintes e

desistentes e Entrevistas com diretor de centro

de formação e agente municipal

Avaliação de implementação da

qualidade da oferta em sala de aula e

da atuação dos agentes locais

Análise do papel do

Acessuas-Trabalho em

2013/14

AMANCIO (2015)

Estudo avaliativo com base em dados

secundários e referencial normativo que criou o

ACESSUAS-Trabalho, para mobilização dos

públicos do SUAS para o Pronatec

Análise institucional dos conflitos e

avanços da introdução do ACESSUAS-

Trabalho como serviço ofertado

regularmente


3. Avaliações de Implementação de ações do Programa


Avaliação de Implementação: Pesquisa Qualitativa em alguns municípios com egressos e desistentes do programa

Problemas na adequação da oferta“... as unidades ofertantes têm, em maior ou menor medida, se adaptado ao Pronatec/BSM. As unidades ofertantes com menor expressão tendem a ser mais flexíveis na relação com os interlocutores municipais. .....atendendo com maior frequência às suas demandas de aberturas de cursos, turmas e flexibilidade de horários.....

O SENAI e, em menor grau, o SENAC, tendem a ser mais resistentes às demandas dos gestores, às mudanças solicitadas em termos de estrutura, horários e especialmente às regras e padrões de condutas impostos aos alunos do Pronatec/BSM...

Problemas de evasão

“... há dificuldades para evitar a evasão dos cursos do Pronatec/BSM daqueles que sãoos responsáveis pelo sustento das famílias e mais ainda para possibilitar o ingressodas mulheres ao mercado formal de trabalho, o que depende não só de políticas detransferência de renda, mas também da universalização do acesso às creches e tambémuma mudança na cultura organizacional das unidades ofertantes”.



Estudo de Acesso,

Adequação da oferta e

Desempenho em 2014

SOUSA et al 2015)

Estudo descritivo com base na

integração de registros dos alunos do

Pronatec BSM com Cadastro Único

Avaliação de resultados do programa

quanto à cobertura, adequação ao

mercado, equidade no acesso e

desempenho

Contribuição do Pronatec na

empregabilidade formal dos

egressos em 2015

SOUSA, SILVA e JANNUZZI

(2015)

Estudo descritivo com base na

integração de registros dos alunos do

Pronatec BSM com Cadastro Único,

RAIS e Caged

Avaliação de resultados em termos de

empregabilidade formal


4. Avaliações de resultados e impactos


Avaliação de Resultados: Estudo de Acesso, Adequação da oferta e Desempenho em 2014

Escala Nacional do Programa e capilaridade no território em curto espaço de tempo em 4 mil municípios


79,0

76,5

79,3

81,4

65,0 70,0 75,0 80,0 85,0

Tota

l de

mat

rícu

las

Ind

ivíd

uo

s n

ãoin

scri

tos

no

Cad

Ún

ico

Ind

ivíd

uo

sap

enas

insc

rito

s n

oC

adÚ

nic

o

Ben

efic

iári

os

do

Bo

lsa

Fam

ília

Taxa

de

con

clu

são

Taxa de conclusão mais baixa que a média observada no passado (anos 1990)

Participantes do Bolsa Família com taxas de conclusão mais elevadas que a média

Boa adesão entre oferta e dinâmica local do mercado de trabalho

Avaliação de Resultados: Estudo de Acesso, Adequação da oferta e Desempenho em 2014



Efeito do Pronatec no

Mercado 2015

LUCENA e FONSECA

(2016)

Estudo com desenho quasi-

experimental com a base integrada do

Pronatec BSM, Cadastro Único, RAIS e

Caged, com alunos e seus “pares

similares” não cursantes de mesma

idade, sexo, cor, escolaridade e local

Avaliação de impacto do programa em

termos de empregabilidade formal

Suplemento de

Mobilidade Social e

Qualificação Profissional

na PNAD 2014

IBGE ( 2017)

Pesquisa amostral em mais de 130 mil

domicílios no país, realizada em outubro

a novembro de cada ano, com

questionário multitemático e

suplementos

Avaliação da cobertura e equidade de

acesso do programa, assim como efeito

na empregabilidade


4. Avaliações de resultados e impactos


Avaliação de Resultados e Impactos: Estudo Quasi-experimental de empregabilidade formal alunos do Cadastro Único e “seus pares” não

participantes

Estudo de integração de bases de dados: Cadastro Único, Sistec, RAIS e Caged entre 2011 e 2014

Para cada participante do Pronatec, inscrito no Cadastro Único, identificou-se um não participante no Cadastro, no mesmo município, de mesmo sexo, faixa etária, escolaridade, raça/cor

Pronatec ampliou chances de inserção no mercado formal para participantes: em 2014, participantes e não participantes do Pronatec tinham mesma taxa de formalização

12 pontos

5 pontos


Avaliação de Programas: etapas de especificação

A especificação da pesquisa de avaliação requer um processo de estruturação e realização em 6 etapas


Pior que não dispor de uma avaliação, é ter um estudo mal especificado, mal conduzido, orientado segundo premissas equivocadas, pior ainda se conduzido por equipes ou instituições externas reconhecidas.

Não geram conhecimento para aprimoramento, mas ruído e factoides que conspiram contra o mesmo, levando muitas vezes a decisões políticas equivocadas sobre o programa, sobretudo em ambientes pouco propícios ao debate amplo, técnico e plural.

Avaliação de Programas não é uma atividade simples de se fazer, muito menos de se entender

Minicurso - cult.ufba.br · •Enfraquecimento do pacto federativo e canais de ... The Economic...

Documents

Transcript of Minicurso - cult.ufba.br · •Enfraquecimento do pacto federativo e canais de ... The Economic...