TRIBUNAL DE CONTAS DO ESTADO DA BAHIA

AUDITORIA DE NATUREZA OPERACIONAL - ANOP

ESCOLHA E PLANEJAMENTO DE TÉCNICAS QUALITATIVAS DE COLETA

E ANÁLISE DE DADOS

  

 

TÉCNICAS QUALITATIVAS NA AVALIAÇÃO 

-ENTREVISTAS:

* ABERTAS OU NÃO-ESTRUTURADAS 

* SEMI-ESTRUTURADAS OU FOCALIZADAS 

* ESTRUTURADAS

   

- GRUPO FOCAL

- OBSERVAÇÃO   

TÉCNICAS QUALITATIVAS NA AVALIAÇÃO 

-ENTREVISTAS instrumento diferente do questionário não padroniza respostas.-Tipos:

* ABERTAS OU NÃO-ESTRUTURADAS 

* SEMI-ESTRUTURADAS OU FOCALIZADAS 

* ESTRUTURADAS

   

  

GRUPO FOCALNão busca consenso, mas a emergências de todas as opiniões, percepções e representações dos informantes

Possibilita compreensão de situações sociais complexas e heterogêneas

Característica distintiva: sinergia entre os membros

Não requer grandes amostras: deve-se resguardar a heterogeneidade do tecido social e, ao mesmo tempo, compor grupos homogêneos (obedecendo a critérios pre-estabelecidos)

NÚMERO DE GRUPOS

PONTO DE SATURAÇÃO: quando as respostas começam a se repetir, ficando claras as regularidades existentes

TECNICAS QUALITATIVAS:

O PAPEL DO ENTREVISTADOR/MODERADOR * DOIS PARÂMETROS:  1) OBJETIVO DA PESQUISA ROTEIRO

- Roteiro deve ser flexível, mas não deve se afastar dos objetivos, das questões a serem investigadas 2) PECULIARIDADES DE CADA CONTATO AMBIENTE - E’ o entrevistado ou grupo que configura o campo: o entrevistador é um agente de provocação, controle e análise - Requer sensibilidade e flexibilidade

 

TÉCNICAS QUALITATIVAS CARACTERÍSTICAS:

1) Entrevistador/Moderador é o elemento crucial: requer treinamento e experiência

2) Momento e ambiente afetam os resultados e suas percepção e registro são parte da coleta de dados

3) Devem ser captados tanto os aspectos manifestos como os latentes, as expressões verbais e não verbais

4) As questões a serem investigadas devem estar o mais claras possível: o planejamento e desenho da pesquisa são fundamentais

5) O processo de análise se inicia com a própria coleta, entremeando e retroalimentando o processo de coleta.

  ELABORAÇÃO DO ROTEIRO:- Do tema mais genérico para o mais específico- Cuidado para cobrir todas as áreas- Definição de possíveis estratégias alternativas

 DISCUSSÃO EM GRUPO: CUIDADOS ESPECIAIS

Entender o grupo como um todo, um sistema interativo/iterativonão são indivíduos isolados, não é uma entrevista coletiva

-Atentar para a dinâmica do grupo: tipos de liderança, porta-vozes, elementos dissonantes ativos e passivos, relação estabelecida com o moderador

ASPECTO FUNDAMENTAL: SELEÇÃO DOS INFORMANTES

 

- Não se trata de pesquisa quantitativa, não permite inferência estatística, e o número de informantes necessariamente é restrito, logo, não se faz amostragem probabilística. - Mas a seleção não pode ser enviesada: é necessário ter critérios para seleção, que variam de acordo com os problemas pesquisados, com os objetivos da pesquisa e com o tipo de público envolvido. - E’ possível usar sorteios e também a lógica das amostras não-probabilísticas por cotas e por tipicidade. - Em outras ocasiões, usa-se critério reputacional ou decisional. - Há casos em que o único critério é o da acessibilidade. Ex: usuários de drogas. vítimas de violência, etc

Cuidados com os Grupos Focais

•Local da discussão: deve ser neutro e reservado

•Não é admissível interferência de terceiros

•Não é admissível a interrupção das discussões

•Tempo de discussão: no mínimo uma hora, no máximo três horas.Idealmente, 100 minutos.

•Discussão estabelecida a partir de um roteiro testado.

•Pode-se flexibilizar o roteiro para incluir questões; JAMAIS para excluir

•Uso de estímulos externos: adequação ao público e ao tempo de reunião

•Controlar as participações individuais (tempo) para evitar que a discussão fique incompleta e que haja assimetrias.

Técnicas para a Condução do Grupo Focal

Ganhar a confiança do Grupo: esclarecer a atividade, seus objetivos; explicar o princípio da confidencialidade e do anonimato

Esclarecer: após um participante ter respondido a uma pergunta, repeti-la ou desdobra-la para aprofundar

Substituir: mudar a formulação da pergunta sem mudar o conteúdo, evitando que se torne enfadonha

Reorientar: aproveitar a resposta dada por uma pessoa, refazendo a pergunta para outras

Neutralizar: controlar membros dominantes, estimular os retraídos

Controlar: evitar participações individuais demoradas demais; mediar divergências e conflitos

Funções do Moderador:

•Apresentar a atividade, explica-la, apresentar o tema; apresentar-se e ao assistente, apresentar os membros.

•Esclarecer as regras do jogo: gravação, confidencialidade, anonimato, não-interrupção, não-interferência externa

•Se for o caso, utilizar/controlar o uso de estímulos ao debate

•Dirigir o grupo:formular as perguntas, estar atento às reações, estimular a participação, controlar intervenções individuais, guiar a discussão segundo o roteiro

•Ser flexível ao surgimento de informações relevantes não previstas.

•Balancear o que é importante para o grupo e o que é importante para a pesquisa.

•Controlar o tempo e o ritmo da discussão, evitando a fuga aos temas

Funções do Assistente:

Preparar o material a ser utilizado na discussão: gravadores, fitas, pilhas, vídeos, cartazes, lâminas, etc

Registrar informações: linguagem gestual e comunicaçao não-verbal dos membros; dados não gravados:local, número de componentes, sexo, idade; clima da reunião; existência de elementos dominantes, etc

Colaborar em momentos de silêncio ou de perda de controle do grupo

Retomar comentários ou perguntas que tenham escapado ao moderador

Sinalizar ao moderador membros retraídos ou desejosos de participar

Atuar como observador e, ao final, comentar com o moderador as principais idéias surgidas durante a discussão

Elaborar relatório escrito da reunião de cada grupo.

Análise dos Resultados

Transcrição das fitas gravadas

Identificação das variáveis (segundo o roteiro de discussão)

Identificação das categorias que emergem da discussão

Hierarquização das categorias segundo a frequência com que aparecem em cada grupo

Comparação inter-grupos e inter-variáveis busca de regularidades e singularidades (divergências) entre categorias de informantes

Checagem: com novos grupos ou com outras bases de dados

Selecionar mensagens-chave ilustrativas das regularidades e singularidades

Análise

Depende do tipo de relatório que o projeto deve produzir:

-se o GF foi usado em pesquisa exploratória, a análise é voltada para produzir instrumentos, etc

-se o GF é usado em pesquisa aplicada, a análise vai depender dos objetivos do contratante

-Se o GF vai alimentar avaliações ou auditorias, dependerá das dimensões a serem enfatizadas perante o gestor

-Os objetivos da análise devem estar claros antes da coleta, pois o que é coletado obedece ao que se pretende na análise e no relatório.

Análise:

1)definir a unidade de análise o grupo não é uma entidade, mas os indivíduos são afetados pela sua dinâmica COMO REGRA A UNIDADE É O GRUPO

2) Se cada GF cobre os mesmos tópicos, na mesma ordem, deve-se estabelecer um grid que sumarize sistematicamente o que cada GF respondeu

3)Analise preliminar: começar com um ou dois GF, analisados por duas pessoas diferentes

4)pode-se contar categorias, mesmo sendo dados qualitativos: estatísticas descritivas podem ser usadas para observações independentes.

Qual a frequência com que cada tópico é mencionado em diferentes grupos?

USA-SE: Códigos de análise: são unidades de significado criados a priori ou como resultado do encontro com os dados

Criação de Esquema de Códigos:

1-Definir as unidades de dados: palavras? Expressão verbal? Sentença? Parágrafo? Texto completo?

Geralmente usa-se sentenças, frases que permitem contar quando palavras são encontradas juntas

Permitem identificar associações que expressam referencias positivas, negativas ou neutras e avaliar sua força (ênfase, com advérbios, adjetivações, etc)

Só se usa parágrafos ou texto todo quando os recurso ou o tempo são muitos escassos

2-Definir as categorias, decidindo se (a) são mutuamente excludentes; (b) quão específicas ou genéricas devem ser

3-Testar uma amostra do texto para avaliar a acurácia (codificação correta, sem ambiguidades) e fidedignidade (replicação sem superposições)

4- Revisar os códigos e suas regras

5- Voltar ao passo 3

6- Codificar todo o texto

7- Reavaliar a acurácia e fidedignidade

Análise por “validação grupo-a-grupo”

três passos seguintes

1-Contar quantos grupos mencionaram um tópico ou manifestaram uma posição

2-Contar quantas pessoas dentro de cada grupo mencionaram um tópico ou manifestaram uma posição

3-Avaliar quanta energia um tópico provocou em cada grupo (tempo ou número de palavras gasto na discussão de um tópico ou número de intervenções)

Validação grupo-a-grupo significa que sempre que um tópico se apresenta, ele produz um nível de energia em uma proporção consistente de participantes EM TODOS OS GRUPOS OU QUASE TODOS.

- Método Observacional: Método Observacional:

os fatos são percebidoos fatos são percebidos s diretamente, sem intermediação. diretamente, sem intermediação.

Requer: Requer:

(a)(a) objetivo formulado; objetivo formulado;

(b)(b) planejamento sistemático; planejamento sistemático;

(c) registro sistemático; (c) registro sistemático;

(d) verificação e controles de (d) verificação e controles de validade e precisãovalidade e precisão

-Observação é Observação é umauma atividade atividade deliberada e controlada de deliberada e controlada de coleta de coleta de dados. dados.

-Envolve o critério da Envolve o critério da intersubjetividadeintersubjetividade: outro observador, : outro observador, na mesma situação, obtém a mesma na mesma situação, obtém a mesma conclusão (é o recurso para controlar conclusão (é o recurso para controlar os vieos viesseses ou ou " "biasbias" da observação" da observação))..

-Observação passiva ou simples: apenas Observação passiva ou simples: apenas acompanhamento dos fatos. acompanhamento dos fatos. -Usada em estudos exploratórios. Usada em estudos exploratórios. -Procedimentos:Procedimentos:-(1) identificar os sujeitos;(1) identificar os sujeitos;-(2) descrever os cenários; (2) descrever os cenários; -(3) descrever os comportamentos;(3) descrever os comportamentos;-(4) registro + análise(4) registro + análise;;-(5) (5) levantar hipóteses.levantar hipóteses.

- Observação Sistemática: Observação Sistemática: - é feita após estudo exploratório, e é feita após estudo exploratório, e

busca descrever com precisão os busca descrever com precisão os fenômenos e testar hipóteses.fenômenos e testar hipóteses.

- Requer: Requer:

(a)(a)plano de observação; plano de observação;

(b) definição das categorias de análise; (b) definição das categorias de análise;

(c) definição das hipóteses a serem (c) definição das hipóteses a serem testadas.testadas.

- Observação Participante: - Observação Participante:

a)tipo natural - o observador a)tipo natural - o observador pertence à comunidade que pertence à comunidade que investigainvestigadada; ;

b)tipo artificial - o observador é um b)tipo artificial - o observador é um ator externo, ator externo, que se integra à que se integra à situaçãosituação observada. observada. Ex: mistery Ex: mistery shoppingshopping

- - InconvenientesInconvenientes da observação da observação: : alteração dos comportamentos dos alteração dos comportamentos dos observados.observados.

  

- Erros de Observação: são - Erros de Observação: são compensados com compensados com controlescontroles metodológicosmetodológicos..

Controles Metodológicos:Controles Metodológicos:

a)observações análogas: a)observações análogas: multiplicidade de observações.multiplicidade de observações.

b)multiplicidade de observadoresb)multiplicidade de observadores

c)registro das observações c)registro das observações contrárias(não desprezar as outras contrárias(não desprezar as outras possibilidades)possibilidades)

d)noção clara de que a observação d)noção clara de que a observação ""se fazse faz" : Não se observa tudo o que " : Não se observa tudo o que há para ser visto; é preciso um bom há para ser visto; é preciso um bom foco, planejado, para que a foco, planejado, para que a seletividade seja conscientemente seletividade seja conscientemente controlada.controlada.

Observação X Grupos FocaisObservação X Grupos Focais

Observação é mais vantajosa quando se Observação é mais vantajosa quando se pretende analisar contextos complexos e pretende analisar contextos complexos e comportamentos no contexto natural e comportamentos no contexto natural e acompanhar tais comportamentos durante acompanhar tais comportamentos durante tempo mais longo.tempo mais longo.

Grupos focais são mais vantajosos Grupos focais são mais vantajosos quando se quer observar a interação dos quando se quer observar a interação dos indivíduos com um perfil (atributos) indivíduos com um perfil (atributos) específico, orientada por um tópico específico, orientada por um tópico artificialmente introduzido (Foco)artificialmente introduzido (Foco)

Observação permite:Observação permite:

•Coletar dados tendo por base um amplo Coletar dados tendo por base um amplo espectro de comportamentosespectro de comportamentos

•Uma grande variedade de interações de Uma grande variedade de interações de indivíduos em situações naturais diversificadasindivíduos em situações naturais diversificadas

•Uma discussão mais aberta dos tópicos de Uma discussão mais aberta dos tópicos de pesquisapesquisa

Os grupos focais:Os grupos focais:

•São mais limitados aos comportamentos São mais limitados aos comportamentos verbaisverbais

•Interagem somente no contexto restrito da Interagem somente no contexto restrito da discussãodiscussão

•São criados e controlados pelo pesquisador São criados e controlados pelo pesquisador

Entrevistas Individuais X Grupos FocaisEntrevistas Individuais X Grupos Focais

Entrevistas são mais vantajosas que Entrevistas são mais vantajosas que grupos focais porque: grupos focais porque:

•Permitem maior controle por parte do Permitem maior controle por parte do entrevistadorentrevistador

•Permitem obter maior quantidade de Permitem obter maior quantidade de informação de cada um dos informantes informação de cada um dos informantes isoladamenteisoladamente

Grupos focais:Grupos focais:

•Permitem confronto dinâmicoPermitem confronto dinâmico

•O pesquisador tem maior controle do O pesquisador tem maior controle do foco e a sua ação é que define o resultadofoco e a sua ação é que define o resultado

--CConstrução de indicadores de desigualdade e onstrução de indicadores de desigualdade e exclusão socialexclusão social deve levar em consideração: deve levar em consideração:

     IImportância de variáveis sociais: raça, mportância de variáveis sociais: raça, identidade étnica, gênero, etcidentidade étnica, gênero, etc devem ser o MAIS devem ser o MAIS DESAGREGADOS POSSÏVELDESAGREGADOS POSSÏVEL

  oos elementos culturais da desigualdade e s elementos culturais da desigualdade e exclusãoexclusão

  oo papel e o impacto das ações de diferentes papel e o impacto das ações de diferentes níveis de governo na luta contra a pobreza, a níveis de governo na luta contra a pobreza, a desigualdade e a exclusão social.desigualdade e a exclusão social.

osos indicadores sociais e indicadores sociais e asas metodologias para metodologias para avaliar o impacto da pobreza, desigualdade e avaliar o impacto da pobreza, desigualdade e exclusão nos programas governamentais.exclusão nos programas governamentais.

Foco da avaliação de políticas e programas sociais:

Pobreza/riqueza; desigualdade/igualdade exclusão X inclusão/equidade

RequerDistinções dos conceitos de pobreza, desigualdade e exclusão social.

Avaliar a importância da pobreza, desigualdade e exclusão em esferas não materiais: acessos a direitos, instituições e processos decisórios.

Compreender os impactos diferenciados da pobreza, da desigualdade e da exclusão social (vulnerabilidade)