Método de Análise e Validação nas Investigações em ... · 3 Dados Internacionais de...

1

UNIVERSIDADE FEDERAL DE MATO GROSSO

UNIVERSIDADE FEDERAL DO PARÁ

UNIVERSIDADE DO ESTADO DO AMAZONAS

Programa de Pós-Graduação em Educação em Ciências e Matemática - PPGECEM/REAMEC

Rede Amazônica de Educação em Ciências e Matemática

NERIO APARECIDO CARDOSO

Método de Análise e Validação nas Investigações em Educação em Ciências

e Matemática na REAMEC: Método Delphi como Critérios de Triagem

CUIABÁ-MT

2016

2




Tese apresentada a banca examinadora do

Programa de Pós-Graduação em Educação em

Ciências e Matemática - PPGECEM/REAMEC

da Universidade Federal de Mato Grosso, como

um dos requisitos à obtenção do título de Doutor

em Educação em Ciências e Matemática.

Linha de Pesquisa: Fundamentos e Metodologias

para a Educação em Ciências e Matemática.

Orientador: Prof. Dr. Yuri Expósito Nicot.

CUIABÁ-MT

2016

3

Dados Internacionais de Catalogação na Fonte.

Ficha catalográfica elaborada automaticamente de acordo com os dados fornecidos pelo autor.

Permitida a reprodução parcial ou total, desde que citada a fonte.

4




Tese apresentada a banca do Programa de Pós-Graduação em Educação em Ciências e

Matemática - PPGECEM/REAMEC da Universidade Federal de Mato Grosso, como um dos

requisitos à obtenção do título de Doutor em Educação em Ciências e Matemática, avaliada

pela Comissão Julgadora composta pelos seguintes membros:

_____________________________________________________________

Dr. Yuri Expósito Nicot

Membro Presidente da Universidade Federal do Amazonas – UFAM

_____________________________________________________________

Dra. Josefina Barrera Kalhil

Membro Interno da Universidade do Estado do Amazonas – UEA

_____________________________________________________________

Dra Gladys Denise Wielewski

Membro Interno da Universidade Federal do Mato Grosso – UFMT

_____________________________________________________________

Dr. Sanderson Francisco Fernandes Pereira da Silva

Membro Externo da Universidade Federal do Amazonas – UFAM

_____________________________________________________________

Dr. José Anglada Rivera

Membro Externo da Instituto Federal do Amazonas – IFAM

_____________________________________________________________

Dra. Maria Corette Pasa

Membro Interno da Universidade Federal do Mato Grosso – UFMT

Aprovado em 15 de agosto de 2016.

Local: Universidade Estadual do Amazonas – Manaus

5

Dedico esta TESE ao meu pai Valdir um

homem negro, simples, não alfabetizado e

honesto, que no meu primeiro dia de escola

entregou, humildemente, um saco plástico

contendo uma caderneta usada e um lápis, e

disse: “as palavras valem ouro, estude muito

para que um dia você seja um doutor”, e a

partir disto nunca mais parei de estudar e

trabalhar. A minha Amada mãe Onilda, que

me alfabetizou em casa e sempre esteve

presente nas alegrias e principalmente nas

minhas dificuldades. A minha Amada Esposa

Michele, uma grande mulher e guerreira que

suportou firme as dificuldades que um

doutorando proporciona a sua família. Aos

meus amados filhos Bruno, Darah e Danillo

por existirem e tornar a minha vida muito

mais feliz....

A eles dedico....

6

AGRADECIMENTOS

Este momento é muito especial, pois aqui estão algumas pessoas, dentre muitas outras que

contribuíram para a realização deste trabalho.

Agradeço a Deus por proporcionar a existência minha e das demais pessoas;

Em especial agradeço a minha família da qual obtive valores de formação que contribuíram

para elaboração deste trabalho;

Ao meu orientador Prof. Dr. Yuri Expósito Nicot, que orientou-me desde os primeiros passos

nesta pesquisa científica com conhecimentos científicos necessários a esta tese, ao meu

orientador sou eternamente grato;

À Profª Drª Marta Maria Portín Darsie e Profª Drª Gladys Denise Wielewski , Coordenadoras

do Pólo Acadêmico de Mato Grosso da Rede Amazônica de Educação em Ciências e

Matemática (REAMEC), pelas palavras de apoio que tornaram esta tese uma realidade,

através da Rede Amazônica de Educação em Ciências e Matemática – REAMEC;

À Profª Drª. Josefina Diosdada Barrera. Kalhil, Coordenadora do Pólo Acadêmico de Manaus

da Rede Amazônica de Educação em Ciências e Matemática (REAMEC), pelo amparo com

palavras de sabedoria e atitudes elegantes nos momentos mais críticos deste trabalho, um

exemplo de pessoa e profissional a ser seguido.

Aos professores do Programa de Programa de Pós-Graduação em Educação em Ciências e

Matemática – Doutorado em Educação em Ciências e Matemática/REAMEC do Polo da

UFMT, UEA e UFPA, que foram sempre muito atenciosos, receptíveis e amigáveis.

Aos membros das bancas de qualificação e defesa, os professores e pesquisadores Dr. Yuri

Expósito Nicot, Dra. Josefina Barrera Kalhil, Dra Gladys Denise Wielewski, Dr. Sanderson

Francisco Fernandes Pereira da Silva, Dr. José Anglada Rivera, Dra. Maria Corette Pasa, Dr.

Nilomar Vieira de Oliveira, pelas valiosas sugestões, correções e discussões estimulantes.

A todos os amigos e colegas professores do Programa de Programa de Pós-Graduação que de

alguma forma contribuíram para este trabalho.

A todos os especialistas que contribuíram valorosamente para a elaboração deste trabalho.

7

―As palavras podem limitar ou incentivar‖

8

―VERDADE

A porta da verdade estava aberta,

mas só deixava passar

meia pessoa de cada vez.

Assim não era possível atingir toda a verdade,

porque a meia pessoa que entrava

só trazia o perfil de meia verdade.

E sua segunda metade

voltava igualmente com meio perfil.

E os dois meios perfis não coincidiam.

Arrebentaram a porta. Derrubaram a porta.

Chegaram a um lugar luminoso

onde a verdade esplendia seus fogos.

Era dividida em duas metades,

diferentes uma da outra.

Chegou-se a discutir qual a metade mais bela.

As duas eram totalmente belas.

Mas carecia optar. Cada um optou conforme

seu capricho, sua ilusão, sua miopia‖.

(Poesia Completa / Carlos Drumond de Andrade, 2002)

9



RESUMO

Há extensas opções para os pesquisadores em Educação em Ciências e Matemática de métodos científicos

possíveis de serem adotados em pesquisas para análises de registros e validações de resultados, dentre as opções

há o Método Delphi que desde a segunda guerra mundial contribui significativamente entre os estudos que o

adotam para obter estimativas originadas através de interativas avaliações realizadas por um conjunto de pessoas

anônimas especializadas sobre o assunto. Porém observa-se nos procedimentos do método a ausência de

estruturas sistêmica e metodológica nas análises e validações, e asserto do nível de confiabilidade. Portanto, o

objetivo deste estudo é desenvolver, a partir do Método Delphi, critérios de triagem com estrutura sistêmica e

metodológica para obter resultados a partir da confluência das valorações realizadas pelos especialistas com

determinado nivel de confiabilidade. Para validar os critérios de triagem, foi realizada uma pesquisa com

abordagem quali-quantitativa no âmbito da Educação em Ciências e Matemática, onde foram submetidos

questionários a um grupo de especialistas escolhidos aleatoriamente para que realizassem valorações em cinco indicadores obtidos de trabalhos de doutoramento na área de Educação em Ciências e Matemática. Os elementos

estruturais considerados para construir os indicadores foram o problema, objetivo geral, metodologia e

resultados. Para avaliar a contribuição dos trabalhos de doutoramentos foi elaborado o indicador denominado

Contribuição. O grupo que emitiu as valorações, por meio do correio eletrônico, era estruturado por 16

especialistas. Para registro das valorações foram utilizados questionários com questões abertas e fechadas

durante as três interações necessárias para obter a confluência das respostas. As valorações realizadas pelos

especialistas consideram a coerência entre os elementos que compõe cada indicador e a contribuição destes para

a Ciência na área da Educação em Ciências e Matemática. Os conteúdos estatísticos utilizados para elaborar os

critérios de triagem possibilitaram acompanhar a confluência das valorações com determinado grau de

confiabilidade conhecida. A implementação dos critérios de triagem, possibilitou desenvolver atividades de

orientações metodológicas com os especialistas propiciou a reflexão individual e coletiva durante as interações.

O procedimento de triagem possibilitou registrar e minimizar a amplitude de variação em 5% e afirmar com confiabilidade que os cinco indicadores e suas contribuições são extremamente relevantes para área de Educação

em Ciências e Matemática. Os resultados comuns entre os indicadores declaram a necessidade de um professor

reflexivo e criativo para possibilitar a contextualização atual dos conhecimentos científicos, que contribui para

um ambiente escolar menos desafiador e mais atraente. Outrossim, a necessidade de considerar e reconhecer os

conhecimentos prévios do aluno para fundamentar os aperfeiçoamentos metodológicos e estratégicos no

processo de ensino e aprendizagem.

Palavras Chave: Método Quali-Quantitativo, Método Misto, Dispersão Controlada, Interação de grupos,

Método de Pesquisa em Educação.

10

Analysis Method and Validation of Research on Education in Science and

Mathematics in REAMEC: Delphi Method as Screening Criteria

ABSTRACT

There is a wide array of options of scientific methods for researchers on Education in Science and Mathematics

that are possible to be adopted in research on analysis of records and validation of results, and among these

options there is the Delphi Method, which since World War II, significantly contributes to the studies that adopt

it in order to obtain estimates raised from interactive assessments carried out by a specialized set of anonymous people. However, it is observed in the method‘s procedures the absence of a systemic and methodological

structure in the analysis and validation and the accuracy of the reliability level. Therefore, this study aims to

develop some screening criteria with systemic and methodological structure to get results from the confluence of

the valuations performed by experts with a certain degree of reliability. For the validation of the screening

criteria, a survey of qualitative and quantitative approach in the Education in Science and Mathematics‘

framework was held, in which questionnaires were submitted to a group of experts selected randomly so they

would evaluate five of the indicators obtained from doctoral work in the Education in Science and Mathematics‘

area. The structural elements that have been taken into consideration to build the indicators were the problem,

the general objective, the methodology and results. To evaluate the contribution of doctoral works, and indicator

(also) called contribution was prepared. The group that issued the valuations, through e-mail, was structured by

16 experts. Open and closed-questions questionnaires were used for register of the valuations during the three interactions needed to obtain an answers‘ confluence. The valuations carried out by experts take into

consideration the consistency between the elements that make up each indicator and their contribution to Science

in the Education in Science and Mathematics‘ area. The statistical content used to elaborate the screening criteria

made it possible to monitor the confluence of valuations with a determined degree of well-known reliability. The

implementations of a screening criteria enabled the development of methodological guidance activities with the

experts and provided the individual and collective reflection during the interactions. The screening procedure

made It possible to register and to minimize the variation range of 5% and to reliably affirm that the 5 indicators

and their contributions are extremely relevant to the Education in Science and Mathematics‘ area.

Keyword: Quali-Quantitative Method, Mixed Method, Controlled Dispersion, Group Interaction, Method of

Research in Education.

11

LISTA DE QUADROS

Quadro 1: Súmula dos procedimentos metodológicos para avaliar os registros obtidos através

de pesquisas tradicionais e pelo Método Delphi.................................................................... 49

Quadro 2: Critério de avaliação do anonimato dos respondentes para avaliar os registros

obtidos através de pesquisa tradicional e pelo Método Delphi. ............................................. 51

Quadro 3: Critério de avaliação da discrepância das respostas, para avaliar os registros

obtidos através de pesquisas tradicional e pelo Método Delphi. ............................................ 52

Quadro 4: Critério de avaliação das respostas do grupo vs. individuais e a riqueza de detalhes

das respostas, para avaliar os registros obtidos através de pesquisa tradicional e pelo Método

Delphi. ................................................................................................................................. 53

Quadro 5: Critério de avaliação para confiabilidade e resposta revisada, para avaliar os

registros obtidos através de pesquisa tradicional e pelo Método Delphi. ............................... 53

Quadro 6: Critério de avaliação para representatividade da amostra, para avaliar os registros

obtidos através de pesquisas tradicional e pelo Método Delphi. ............................................ 54

Quadro 7: Critério de avaliação para dimensionar a amostra, considerando resultados

significativos, para avaliar os registros obtidos através de pesquisas tradicional e pelo Método

Delphi. ................................................................................................................................. 55

Quadro 8: Critério de avaliação da validade dos resultados, para avaliar os registros obtidos

através de pesquisa tradicional e pelo Método Delphi. .......................................................... 55

Quadro 9: Critério de avaliação das questões de não-resposta, para avaliar os registros

obtidos através de pesquisa tradicional e pelo Método Delphi. ............................................. 56

Quadro 10: Características de investigação em grupo ......................................................... 57

Quadro 11: Linha do tempo dos métodos de previsão, onde o Método Delphi é o propulsor

dos métodos. ........................................................................................................................ 61

12

Quadro 12: Dimensionamento do tamanho amostral de especialistas participantes de estudos

nacionais e internacionais que utilizaram o Método Delphi nos procedimentos metodológicos

de pesquisa........................................................................................................................... 88

Quadro 13: Estudo de Oliveira et al. (2008) que apresenta as vantagens e desvantagens do

Método Delphi. .................................................................................................................... 89

Quadro 14: Classificação para abordagem qualitativa e quantitativa nas investigações

científicas............................................................................................................................. 94

Quadro 15: Sistematização das características dos quatro tipos de conhecimento. ............. 111

Quadro 16: Fontes de argumentação empregadas na investigação realizada em 2015 com

especialistas da área da Educação com tema ―Avaliação de pesquisas na área da Educação‖.

.......................................................................................................................................... 113

Quadro 17: Questões a serem apresentadas para especialistas no primeiro contato para

assinalar seu grau ordinal discreto de influência sobre o tema investigado, acervo do autor

(2015). ............................................................................................................................... 117

Quadro 18: Grupo de cinco questões, apresentados aos especialistas na investigação de

abordagem qualitativa (Acervo do autor, 2015). ................................................................. 126

Quadro 19: Grupo de cinco argumentos "Crono", "Héstia", "Eros", "Ares" e "Hades",

apresentados como última questão aos especialistas na investigação de abordagem qualitativa

no segundo semestre de 2015 para verificar a contribuição dos argumentos para a Ciência no

âmbito da Educação em Ciências e Matemática (Acervo do autor, 2015). .......................... 126

Quadro 20: Indicador ‖Crono‖ encaminhado aos especialistas para receber uma avaliação

discreta entre ―0‖ a ―10‖ (Acervo do autor, 2015). ............................................................. 129

Quadro 21: Exemplo de elaboração da primeira matriz de registros do fenômeno, após a

obtenção do consenso dos especialistas no Método Delphi atribuído de critérios de triagem

(Acervo do autor, 2015). .................................................................................................... 130

Quadro 22: Resumo descritivo dos quatro elementos que caracterizam o estudo científico

―Crono‖. ............................................................................................................................ 147

13


―Héstia‖. ............................................................................................................................ 148


―Eros‖. ............................................................................................................................... 148


―Ares‖. ............................................................................................................................... 149


―Hades‖. ............................................................................................................................ 150

Quadro 27: Repositórios de estudo científicos nacionais e internacionais, acessado

gratuitamente em 2015, com maior frequência de trabalhos da área da Educação. .............. 195

Quadro 28: Primeira matriz de registros do fenômeno, após definida a confluência das

opiniões dos especialistas com relação as valorações realizadas sobre o tema ―Avaliação de

pesquisas na área da Educação‖ realizada no segundo semestre de 2015. ........................... 197

14

LISTA DE FIGURAS

Figura 1: Trabalhos selecionados em 10/03/2015 na base de teses da CAPES utilizaram o

Método Delphi como principal método de execução da investigação. ................................... 63

Figura 2: Trabalhos selecionados em 10/03/2015 na base de teses da Universidade de Lisboa

– Centro de Documentação Européia, que utilizaram o Método Delphi como principal método

de execução da investigação. ................................................................................................ 64

Figura 3: Trabalhos selecionados em 10/03/2015 na base de teses da TDX de Cataluña –

Espanha, onde foi utilizado o Método Delphi como principal método de execução da

investigação. ........................................................................................................................ 65

Figura 4: Representação de uma interação do pesquisador com especialista de qualquer

região. .................................................................................................................................. 86

Figura 5: Circularidade do método científico. ..................................................................... 95

Figura 6: Escala ordinal discreta para definir o grau de conhecimento do especialista (Kc).115

Figura 7: Escala ordinal referente ao Grau de Conhecimento sobre o tema investigado. .... 116

Figura 8: Curva que representa a Distribuição de Probabilidade Gaussiana. Com área

hachurada escura representando o coeficiente de confiabilidade (1 - α) e a complementar

representando o coeficiente de significância (α/2) (JOHANN e HAMBÖKER, 1994). ....... 121

Figura 9: Curva que representa a Distribuição de Probabilidade T-Student. Com área

hachurada escura representando o coeficiente de confiabilidade (1-α) e a complementar

representando o coeficiente de significância (α/2) (JOHANN e HAMBÖKER, 1994). ....... 122

Figura 10: Representação da tabela da Distribuição de Probabilidade da Normal (JOHANN e

HAMBÖKER, 1994). ........................................................................................................ 138

Figura 11: Curva teórica que representa a Distribuição de Probabilidade Gaussiana. Com os

indicativos de área abaixo da curva e os desvios em relação ao centro (µ). ......................... 142

15

Figura 12: Representatividade das possíveis respostas dos especialistas na confluência das

reflexões. ........................................................................................................................... 145

Figura 13: Resultado esquemático da confluência dos procedimentos de triagem, referente às

opiniões sobre Avaliação de pesquisas na área da Educação. .............................................. 153

Figura 14: Resultado da primeira interação entre pesquisador e os especialistas

correspondente às valorações realizadas pelos 23 especialistas ao tema ―Avaliação de

pesquisas na área da Educação‖ (02/2015). ........................................................................ 155

Figura 15: Resultado da segunda interação entre pesquisador e os especialistas

correspondente às valorações realizadas pelos 16 especialistas ao tema ―Avaliação de

pesquisas na área da Educação‖ (02/2015). ........................................................................ 156

Figura 16: Resultado da terceira interação entre pesquisador e os especialistas correspondente

às valorações realizadas pelos 16 especialistas ao tema ―Avaliação de pesquisas na área da

Educação‖ (02/2015).......................................................................................................... 157

Figura 17: Resultado das valorações realizadas no indicador ―Crono‖ pelos 16 especialistas

através da pesquisa com tema ―Avaliação de pesquisas na área da Educação‖ (02/2015). ... 160

Figura 18: Resultado das valorações realizadas no indicador ―Héstia‖ pelos 16 especialistas


Figura 19: Resultado das valorações realizadas no indicador ―Eros‖ pelos 16 especialistas


Figura 20: Resultado das valorações realizadas no indicador ―Ares‖ pelos 16 especialistas


Figura 21: Resultado das valorações realizadas no indicador ―Hades‖ pelos 16 especialistas


Figura 22: Resultado das valorações realizadas no indicador Contribuição pelos 16

especialistas através da pesquisa com tema ―Avaliação de pesquisas na área da Educação‖

(02/2015). .......................................................................................................................... 166

16

Figura 23: Resultado das valorações realizadas nos 6 indicadores pelos 16 especialistas ao

tema ―Avaliação de pesquisas na área da Educação‖ (02/2015). ......................................... 167

17

LISTA TABELAS

Tabela 1: Regras para interpretação do Grau de Competência de cada especialista (k)

relacionado ao tema de investigação. .................................................................................. 118

Tabela 2: Regras para interpretação do Grau de Competência do grupo de especialistas (kµ)

relacionado ao tema de investigação. .................................................................................. 120

Tabela 3: Regras para interpretação dos coeficientes de relação entre fenômenos observados

em investigações de abordagem qualitativa. ....................................................................... 127

Tabela 4: Resumo dos registros do fenômeno investigado, após a construção da matriz de

registros das respostas dos especialistas (Acervo do autor, 2015). ...................................... 132

Tabela 5: Regras para interpretação da valorização do indicador pelos especialistas. ......... 133

Tabela 6: Tabela de frequência acumulada, a partir da tabela de resumo dos registros do

fenômeno investigado (Acervo do autor, 2015). ................................................................. 134

Tabela 7: Tabela de significância (1 - β) das valorações dos especialistas, construída a partir

da tabela de frequência acumulada dos registros do fenômeno investigado (Acervo do autor,

2015). ................................................................................................................................ 136

Tabela 8: Tabela de confiabilidade (1 - α), construída a partir da tabela de frequência

acumulada dos registros do fenômeno investigado e da tabela de significância (1 - β) (Acervo

do autor, 2015). .................................................................................................................. 136

Tabela 9: Lógica dos cálculos para obter tabela de confiabilidade (1 - α), construída a partir

da tabela de frequência acumulada dos registros do fenômeno investigado e da tabela de

significância (1 - β) (Acervo do autor, 2015). ..................................................................... 137

Tabela 10: Desvio padrão (σ) dos indicadores, considerando cada grau de valorização,

baseada na tabela de significância e Tabela de Distribuição de Probabilidade da Gauss

(Acervo do autor, 2015). .................................................................................................... 138

Tabela 11: Parte tabela dos desvios (σ), construída a partir da tabela de significância e a

tabela de Distribuição de Probabilidade da Normal, com as marginais que apresentam os

pontos abscissais e de corte. ............................................................................................... 139

18

Tabela 12: Desvio padrão (σ) dos indicadores representados pelas respostas dos especialistas

em relação à valorização sobre o tema ―Avaliação de pesquisas na área da Educação‖

realizada no segundo semestre de 2015, considerando cada grau de valorização, baseado na

tabela de Significância e tabela de Distribuição de Probabilidade da Gauss. ....................... 159

Tabela 13: Plano para compor amostra das possíveis pessoas a serem especialistas na

pesquisa que adota o Método Delphi dotado de critérios de triagem, realizada em 2015 com

tema ―Avaliação de Pesquisas na área da Educação‖ .......................................................... 196

Tabela 14: Resumo dos registros do fenômeno investigado, após a construção da matriz de

registros das respostas dos especialistas em relação valorização sobre o tema ―Avaliação de


Tabela 15: Frequência acumulada, a partir da tabela resumo dos registros das respostas dos

especialistas em relação valorização sobre o tema ―Avaliação de pesquisas na área da

Educação‖ realizada no segundo semestre de 2015. ............................................................ 199

Tabela 16: Significância (1 - β), construída a partir da tabela de frequência acumulada dos

registros das respostas dos especialistas em relação valorização sobre o tema ―Avaliação de


Tabela 17: Definição do nível de significância (1 - β) das valorações dos especialistas,

construída a partir da tabela de frequência acumulada dos registros do fenômeno investigado.

.......................................................................................................................................... 207

19

LISTA DE FUNÇÕES

Função 1: Coeficiente de dispersão denominado desvio-padrão......................................... 214

Função 2: Coeficiente de Variação. ................................................................................... 215

Função 3: Cálculo para amostra de população infinita. ...................................................... 216

Função 4: Cálculo correção amostra de população finita. .................................................. 216

Função 5: Cálculo do Coeficiente de Argumentação Individual (ka). ................................. 217

Função 6: Coeficiente de Competência Individual de cada especialista ............................. 218

Função 7: Coeficiente de Consenso da Competência dos Especialistas (kµ) ...................... 219

Função 8: Coeficiente de Dispersão Padrão da Competência do Grupo de especialistas (kµσ).

.......................................................................................................................................... 220

Função 9: Distribuição de Probabilidade Gaussiana, x ~ N (µ, σ2), ................................... 221

Função 10: Limites de dispersão da estimativa do coeficiente de competência, para um grupo

igual ou maior do que trinta especialistas. .......................................................................... 222

Função 11: Função Distribuição de Probabilidade de Student, x ~ tν (µ, σ2) ...................... 223

Função 12: Limites de dispersão da estimativa do Coeficiente de Competência, para um

grupo menor do que trinta especialistas (ICct). .................................................................... 224

Função 13: Função resumida do Coeficiente de Variação do kµ do grupo de especialistas

(CVkµ). .............................................................................................................................. 225

Função 14: Função detalhada do Coeficiente de Variação do kµ do grupo de especialistas.225

Função 15: Coeficiente de Relação de Indicadores Qualitativos. ....................................... 226

Função 16: Coeficiente de Determinação da Relação de Indicadores Qualitativos. ............ 227

20

Função 17: Calculo de N‘ da tabela dos desvios (σ). ......................................................... 230

21

LISTA DE APÊNDICES

APÊNDICE A: Instrumento encaminhado para registrar o grau de conhecimento,

argumentação para definir o grau de competência dos especialistas. ................................... 187

APÊNDICE B: Modelo de instrumento encaminhado para registrar as valorações dos

especialistas. ...................................................................................................................... 188

APÊNDICE C: Biografia do autor deste trabalho. ............................................................. 194

APÊNDICE D: Principais repositórios nacionais e internacionais de estudos científicos. .. 195

APÊNDICE E: Plano para constituir amostra.................................................................... 196

APÊNDICE F: Matriz de registros do fenômeno............................................................... 197

APÊNDICE G: Resumo dos registros do fenômeno. ........................................................ 198

APÊNDICE H: Tabela de frequência acumulada dos registros do fenômeno. .................... 199

APÊNDICE I: Tabela de nível de significância para cada indicador, considerando a cada

valorização. ........................................................................................................................ 200

APÊNDICE J: Tabela de cálculos para a concepção das marginais da tabela do desvio

padrão (Σ). ......................................................................................................................... 201

APÊNDICE K: Tabela generalizada do nível de significância (1 - β) das valorações dos

especialistas. ...................................................................................................................... 207

22

LISTA DE ANEXOS

ANEXO 1: Tabela da Distribuição de Probabilidade da Distribuição de Gauss para P(Z<z).

.......................................................................................................................................... 211

ANEXO 2: Tabela da Distribuição de Probabilidade da Distribuição de T- Student. .......... 213

ANEXO 3: Função para cálculo do Desvio-Padrão. ........................................................... 214

ANEXO 4: Função para cálculo do Coeficiente de Variação (%). ...................................... 215

ANEXO 5: Funções para cálculo do tamanho da amostra. ................................................. 216

ANEXO 6: Função para cálculo do Coeficiente de Argumentação Individual (KA) do

especialista. ........................................................................................................................ 217

ANEXO 7: Função para cálculo do Coeficiente de Competência Individual de cada

especialista (KI). ................................................................................................................ 218

ANEXO 8: Função para cálculo do Coeficiente de Consenso da Competência dos

especialistas (Kµ). ............................................................................................................. 219

ANEXO 9: Função para cálculo do Coeficiente de Dispersão Padrão da Competência do

Grupo de especialistas (KµΣ). ............................................................................................. 220

ANEXO 10: Função Distribuição de Probabilidade Gaussiana, X ~ N (µ, Σ2). ................... 221

ANEXO 11: Função Limites de Dispersão da Estimativa do Coeficiente de Competência,

para um grupo igual ou maior do que trinta especialistas (ICC). .......................................... 222

ANEXO 12: Função Distribuição de Probabilidade de Student, X ~ TΝ (µ, Σ2). ................. 223

ANEXO 13: Cálculo do Limites de Dispersão da Estimativa do Coeficiente de Competência,

para um grupo menor do que trinta especialistas (ICCT). ..................................................... 224

ANEXO 14: Cálculo Coeficiente de Variação do kµ do grupo de especialistas (CVKµ). .... 225

ANEXO 15: Cálculo Coeficiente de Relação de Indicadores Qualitativos (RIQC). ............. 226

23

ANEXO 16: Cálculo Coeficiente de Determinação da Relação de Indicadores Qualitativos

(RIQC2). ............................................................................................................................. 227

ANEXO 17: Detalhamento para elaborar as marginais tabela dos desvios (Σ) .................... 228

24

LISTA DE ABREVIATURAS E SIGLAS

CAPES - Coordenação de Aperfeiçoamento de Pessoal do Nível Superior

CV - Coeficiente de Variação (%)

CVkµ - Coeficiente de Variação do kµ

DCI - Sociedade Redes Neurais Internacional

EaD - Ensino a Distância

Ka - Coeficiente de Argumentação Individual

Kc - Coeficiente de Conhecimento Individual

Ki - Coeficiente de Competência Individual

Kµ - Coeficiente de Consenso da Competência do Grupo

Kµσ - Coeficiente de Dispersão Padrão da Competência do Grupo

ISF - Simpósio Internacional sobre Predição

OECD - Organization for Economic Co-operation and Development

PDP - Distributed Processing Paralela

SPSS - Statistical Package for the Social Sciences

RAND - Rand Corporation

RIQc - Relação de Indicadores Qualitativos

UJAT - Universidad Juárez Autónoma de Tabasco

UNACH - Universidad Autónoma de Chiapas

UNESCO - Organização das Nações Unidas para a Educação a Ciência e a Cultura

USAF - Força Aérea dos Estados Unidos

25

SUMÁRIO

INTRODUÇÃO .................................................................................................................. 27

CAPÍTULO I...................................................................................................................... 33

1.1. A RELEVÂNCIA DO ESTUDO................................................................................ 33

1.2. A PROBLEMÁTICA INVESTIGADA ..................................................................... 35

1.3. OBJETIVOS DO ESTUDO ....................................................................................... 35 1.3.1. Objetivo Geral ..................................................................................................... 35

1.3.2. Objetivos Específicos ........................................................................................... 36

1.4. A TESE ....................................................................................................................... 36

1.5. O ARCABOUÇO DO ESTUDO ................................................................................ 36

CAPÍTULO II .................................................................................................................... 39

2.1. CONJUNTURA: CONFLITOS METODOLÓGICOS ............................................ 39

2.2. MÉTODO DELPHI ................................................................................................... 46

2.2.1. O que é o Método Delphi ..................................................................................... 46

2.2.2. Características do Método Delphi ......................................................................... 50

2.2.3. Evolução Histórica do Método Delphi .................................................................. 58

2.2.4. Epistemologia do Método Delphi ......................................................................... 65

2.2.5. Conhecimentos estatísticos para triagem .............................................................. 73

2.2.6. Contribuições do Método Delphi .......................................................................... 79

2.2.7. Método Delphi: Vantagens e Desvantagens .......................................................... 85

2.2.8. Possibilidades de utilização do Método Delphi ..................................................... 92

CAPÍTULO III................................................................................................................... 93

3.1. ESTRUTURAÇÃO DO „CRITÉRIOS DE TRIAGEM‟ .......................................... 93

3.1.1. Abordagem Qualitativa e Quantitativa.................................................................. 94

3.1.2. Concepção da Amostra de Especialistas ............................................................. 105

3.1.3. Característica do Especialista ............................................................................. 108

3.1.4. Conhecimento do Especialista ............................................................................ 110

3.1.5. Argumentação do Especialista ............................................................................ 112

3.1.6. Competência do Especialista .............................................................................. 114

3.1.7. Coeficiente de Conhecimento Individual (Kc) .................................................... 115

3.1.8. Coeficiente de Argumentação Individual (Ka) .................................................... 117

3.1.9. Coeficiente de Competência Individual (Ki) ....................................................... 118

3.1.10. Coeficiente de Consenso da Competência do Grupo (kµ) .................................... 119

3.1.11. Coeficiente de Dispersão Padrão da Competência do Grupo (kµσ) ...................... 120

3.1.12. Intervalo de Confiança de kµ a um grupo superior a trinta especialistas .............. 120

3.1.13. Intervalo de Confiança de kµ para um grupo inferior a trinta especialistas .......... 122

3.1.14. Coeficiente de Variação do kµ (CVkµ) ................................................................ 123

3.1.15. Exemplo de Comparação do Coeficiente de Variação do kµ ............................... 124

3.1.16. Coeficiente de Relação de Indicadores Qualitativos - RIQc................................. 125

3.1.17. O Coeficiente de Determinação da Relação de Indicadores Qualitativos ............. 128

3.1.18. Organização dos Registros do fenômeno ............................................................ 129

3.1.19. Frequência dos Registros.................................................................................... 131

3.1.20. Frequência acumulada dos registros ................................................................... 133

3.1.21. Nível de significância das respostas ................................................................... 135

3.1.22. Dispersão padronizada das respostas .................................................................. 137

26

3.1.23. Considerações ao retirar especialistas da investigação ........................................ 140

3.1.24. Concepção do Instrumento de Registros ............................................................. 143

3.1.25. Concepção dos argumentos ................................................................................ 146

CAPÍTULO IV ................................................................................................................. 151

4.1. RESULTADOS......................................................................................................... 151

CONCLUSÕES ................................................................................................................ 169

REFERÊNCIAS ............................................................................................................... 172

APÊNDICE ...................................................................................................................... 186

ANEXO ............................................................................................................................ 210

27

INTRODUÇÃO

Este estudo, de abordagem quali-quantitativa, foi constituído a partir de observações

realizadas há décadas pelo autor desta tese, que constatou as dificuldades e inquietações dos

pesquisadores de diversas áreas do conhecimento no momento de determinar a metodologia

mais adequada para validar seus estudos científicos. Outra situação de dificuldade enfrentada

pelos pesquisadores está relacionada com a diversidade de metodologias de investigação para

análise e validação de resultados científicos disponíveis nas bibliografias de referência que,

por vezes, não transmitem segurança no momento de adotá-las em seus estudos científicos. As

frequentes dificuldades são possíveis de serem observadas em outros âmbitos do

conhecimento, como nas áreas das Ciências Exatas e Humanas, notadamente na área de

Educação em Ciências e Matemática, declarado no Capítulo I.

A relevância que se destaca neste estudo é a contribuição direta para as metodologias

de pesquisas científicas no âmbito da Educação em Ciências e Matemática com um método de

investigação definido como ―Critério dos Especialistas‖. A contribuição deste estudo se

concretiza após a reestruturação do Método Delphi, fundamentada em sua dinâmica interna

com conteúdos estatísticos, e fundamentado em critérios adotados nos procedimentos do

método para obter o entendimento harmônico através das apreciações realizadas pelo grupo

de pessoas de notório saber sobre o tema do estudo.

Os pesquisadores da área de Educação em Ciências e Matemática, apropriando-se

dos conhecimentos gerados neste estudo, podem realizar análises dos seus registros e

validação dos resultados com um determinado nível de confiança, o que contribui para uma

maior confiabilidade nos resultados do estudo científico.

O desenvolvimento deste estudo é norteado pelo método hipotético dedutivo, que

depois de verificada a utilização generalista e não estruturada de método de análise de

registros e validação dos resultados em diversos estudos científicos, e observadas às

dificuldades de validação dos estudos na área da Educação, se propõe a apresentar um método

reestruturado e sistêmico possível de ser utilizado para prospectar informações e analisar

registros, bem como validar resultados em trabalhos científicos, quando se considera os

aspectos estatísticos para possibilitar ao pesquisador acompanhar a confluência das respostas

e assim realizar afirmações com confiabilidade conhecida, corroborando com o estudo de

Lakatos e Marconi (2011, p.257) que apresenta as estratégias para análises de dados e

procedimentos de validação de resultados de estudos científicos.

Para demonstrar a relevância deste trabalho foi realizada uma pesquisa bibliográfica

exposta no Capítulo 2, intitulada ―Conflitos Metodológicos‖, onde é possível observar que os

28

pesquisadores da área de Educação têm dificuldades em estabelecer uma metodologia de

análise e validação dos resultados dos seus trabalhos científicos.

Ao realizar a pesquisa bibliográfica nos repositórios nacionais e internacionais foi

possível observar em diversos estudos científicos o constante desconforto do pesquisador em

determinar o método para realizar as análises dos registros e validar os resultados.

Também com a pesquisa bibliográfica observou-se que os repositórios internacionais

têm a maior frequência de trabalhos que utilizam o Método Delphi para análises de registros e

validação de resultados, altivamente de áreas de conhecimento.

Ao observar os trabalhos científicos, independente de sua nacionalidade, nota-se que

os pesquisadores utilizaram variados procedimentos ao adotar o Método Delphi. Os trabalhos

científicos observados que adotaram o Método Delphi são de diversas áreas do conhecimento,

validaram os resultados fundamentados no consenso de um grupo de especialistas, entretanto,

nos trabalhos científicos pesquisados observou-se a ausência de uma confiabilidade conhecida

ao determinar os resultados científicos.

É frequentemente possível observar nos repositórios internacionais trabalhos na área

da Educação que utilizam o Método Delphi, com resultados relevantes à Ciência. Entretanto,

nas metodologias dos trabalhos científicos observados não foi possível identificar uma

abordagem estruturada, sistemática e padronizada dos procedimentos que fundamentam o

Método Delphi.

Uma das características do Método Delphi é considerar, ao final dos procedimentos,

todas as opiniões de competentes especialistas nos resultados. As opiniões são fornecidas

anonimamente, somente o pesquisador tem acesso e pode verificar a origem das opiniões que

constroem os resultados do estudo científico. Os especialistas somente tomam ciência do

resultado final das opiniões a cada interação entre o pesquisador e o grupo de especialistas.

Mesmo assim, os especialistas, a cada interação, têm acesso aos resultados que representam o

grupo, não sendo possível identificar os elementos que compõem o resultado geral. Neste

trabalho, o termo ―interação‖ é definido pelo procedimento de enviar aos especialistas os

questionários e um resumo estatístico dos resultados anteriores e, posteriormente, receber as

opiniões dos especialistas.

Nos trabalhos científicos de Educação encontrados nos repositórios nacionais é

comum observar a dificuldade dos pesquisadores em definir, com um determinado grau de

confiabilidade, o método para realizar a validação dos resultados. É comum observar a

validação dos resultados sendo realizada por meio de uma banca examinadora composta por

doutores para avaliar o estudo. Os resultados deste estudo possibilitam potencializar as

contribuições da banca de avaliação, tornando ainda mais valorosas as contribuições dos

29

doutores, devido aos resultados obtidos do consenso das prévias contribuições realizadas por

um grupo de especialistas no assunto de interesse.

Diante das declarações realizadas neste trabalho, através dos estudos científicos

encontrados nos repositórios nacionais e internacionais, constatou-se a demanda de métodos

de abordagem quali-quantitativa para auferir informações por meio de análises de registros e

validação dos resultados no âmbito da área de Educação em Ciências e Matemática. Também

observou-se a falta de estrutura sistemática e padronizada para registrar e acompanhar a

confluência das respostas dos especialistas em estudos internacionais na área da Educação que

adotaram o Método Delphi para análises de registros e validação dos resultados. Portanto, não

foram declarados nos trabalhos observados procedimentos padrão para compor grupo de

especialistas e para registro da confiabilidade e confluência das avaliações realizadas pelos

especialistas.

Este estudo objetivou realizar a estruturação do Método Delphi, adicionando critérios

de triagem fundamentados em conhecimentos elementares de estatísticas para observar e

registrar o comportamento casuístico e confluências das respostas dos especialistas. Para

verificar a aplicabilidade do método com os critérios de triagem e validar sua estruturação foi

realizada uma pesquisa intitulada ―Avaliação de pesquisas na área da Educação‖, com o

objetivo de verificar a relevância e a contribuição de estudos realizados na área da Educação

em Ciências e Matemática.

A pesquisa ―Avaliação de pesquisas na área da Educação‖ realizada para obtenção

dos dados para validar a estruturação do método, foi conduzida por meio de uma abordagem

quali-quantitativa. Uma abordagem qualitativa se configurou através de questões abertas

inseridas nos instrumentos de registros, o que possibilitou a obtenção de opiniões dos

especialistas a cada interação realizada, que permitiu avaliar a necessidade de reformulação

do instrumento de registro em diversos momentos da coleta de dados.

As opiniões dos especialistas foram submetidas à análise do discurso baseado no

trabalho de Orlandi (2001) com objetivo de auxiliar análises para obter o consenso em relação

aos principais fatores que favorecem avaliação dos indicadores. As análises de discurso

favoreceram o aprimoramento do instrumento de registro a cada interação entre o grupo de

especialistas e o pesquisador.

A abordagem quantitativa utilizada nesta pesquisa ficou caracterizada através das

questões fechadas, com a possibilidade de o especialista atribuir um grau de valorização

categórico entre 0 a 10 para cada indicador. Definir um intervalo categórico de possíveis

respostas, possibilita ao pesquisador quantificar as valorações atribuídas aos indicadores

através das opiniões dos especialistas.

30

Com as questões fechadas abordadas neste estudo é possível registrar a frequência

das valorações realizadas aos indicadores segundo os critérios dos especialistas. A construção

de tabelas contendo todas as respostas dos especialistas possibilita ao pesquisador utilizar

métodos estatísticos para acompanhar a confluência das opiniões e conhecer o grau de

confiabilidade dos resultados, bem como fundamentar a finalização das interações realizadas

durante os procedimentos do Método Delphi.

Através de conteúdos estatísticos foi possível inserir aos resultados o nível de

confiabilidade. Necessariamente o pesquisador considera o tempo e recurso financeiro

disponível para realizar a pesquisa, pois estes influenciam diretamente no nível de

confiabilidade na descrição do fenômeno em estudo. A obtenção do nível de confiabilidade é

resultado da frequência e variabilidade conhecida das respostas dos especialistas em relação à

valorização dos indicadores. Conhecer a dispersão e o grau de confiabilidade das respostas a

cada interação contribui significativamente para determinar a dispersão das avaliações

realizadas pelos especialistas. Portanto, o pesquisador pode fundamentar a cessação das

interações após identificar a dispersão das respostas. O consenso das valorações realizadas

pelos especialistas está diretamente relacionado com o valor encontrado ao quantificar a

dispersão das respostas.

Também é comum definir e declarar o plano amostral a cada pesquisa, com objetivo

de permitir que o pesquisador analise a dimensão da representatividade dos registros diante do

fenômeno em estudo. Entretanto, muitas vezes a definição do plano amostral relaciona-se com

os recursos financeiros e tempo disponível para realizar o estudo, no que concerne ao nível de

certeza dos resultados obtidos.

Nas décadas anteriores a 90, métodos de pesquisa que continham em seus

procedimentos metodológicos a utilização de questionários encaminhados e obtidos via

correio, possuíam um custo e um maior tempo quando comparados com os dias atuais, que

chegava a inviabilizar a pesquisa. Após os anos 90, com a adoção do Método Delphi, o fator

custo deixa de ser relevante, pois existe a possibilidade de ser minimizado com o emprego da

internet, o que possibilita realizar os procedimentos do método para aquisição das

informações.

O tempo de retorno é uma característica marcante no Método Delphi, pois o

pesquisador depende do retorno dos especialistas para formular os resultados e retornar ao

grupo. Porém, quanto menor a taxa de confluência das opiniões, são necessárias mais

interações para obter o consenso do grupo, além de imprescindível dedicação de mais tempo

aos procedimentos de interação com especialistas. Com a disponibilidade de computadores e

31

acesso à internet, os custos para realizar pesquisas que adotaram o Método Delphi reduziram

consideravelmente.

Foram encaminhados pelo correio eletrônico o convite para participar da pesquisa e

instrumentos para verificar o grau de conhecimento e competência dos especialistas em

responder os instrumentos de registros. A partir do momento em que os especialistas

retornaram os instrumentos foi possível iniciar a verificação das competências e delinear a

amostra de especialistas para o estudo.

Para configurar o grupo de especialistas em Educação em Ciências e Matemática que

participaram do estudo, adotou-se o método de amostragem aleatória simples aos currículos

encontrados no repositório do Conselho Nacional de Desenvolvimento Científico e

Tecnológico, os quais foram submetidos à análise para identificar a linha de pesquisa do

especialista através das publicações.

O pesquisador, ao definir o perfil do especialista em função do tema a ser

investigado, também delimita uma população homogênea de especialistas que poderá

participar do estudo. Ao considerar que qualquer especialista que compõe a população tem a

mesma chance de participar do estudo, justifica realizar uma amostragem aleatória simples

para iniciar os estudos por meio dos procedimentos do Método Delphi. Após definir o grupo

amostral de especialistas, define-se o tema a ser proposto para ser avaliado pelo grupo.

O tema a ser apreciado pelos especialistas se fundamenta em cinco estudos de

doutoramento na área de Educação, tema este que foi analisado e validado através do Método

Delphi reestruturado. Os cinco estudos representam os indicadores, cada um composto pelos

seguintes elementos: problema, objetivo geral, metodologia e resultados. Segundo critério dos

especialistas, os elementos foram valorizados pela sua coerência. Um sexto indicador foi

inserido no estudo para representar o grau de contribuição dos cinco estudos de doutoramento

para área de Educação.

Após definido o grupo de especialistas e estruturado o instrumento de registro,

iniciaram-se as interações entre o pesquisador e o grupo de especialistas. A cada interação é

verificado o consenso das respostas dos especialistas através da análise do discurso das

questões abertas e coeficiente de variabilidade das questões fechadas.

Para viabilizar a reprodução dos procedimentos do método foi apresentado o

detalhamento das funções e dos cálculos para obtenção dos quadros, tabelas e gráficos

elementares ao procedimento do método, em geral, declarados nos Apêndices. Também foi

desenvolvida a planilha eletrônica no software Excel para agilizar os procedimentos do

método no momento de verificar a convergência e os resultados das avaliações realizadas

pelos pesquisadores. A planilha foi previamente programada para suportar até 100

32

especialistas e 10 indicadores em uma única pesquisa, além disso, a planilha eletrônica foi

construída fundamentada na Distribuição de Probabilidade da Normal para a realização dos

cálculos. Caso o pesquisador tenha interesse em aumentar o tamanho da amostra de

especialistas ou a quantidade de indicadores, fica disponível a programação na planilha, onde

pode ser ampliado o número de especialistas ou de indicadores necessários para realização da

pesquisa. O detalhamento do método e a planilha eletrônica facilitam e potencializam a

adoção do método em futuros estudos científicos.

A característica do Método Delphi reestruturado é a obtenção da confluência com

determinado nível de confiança das avaliações realizadas pelo grupo de especialistas, a partir

disso são interrompidas as interações e avaliados os resultados.

Para observar e registrar a variabilidade das respostas até obter o consenso com

determinado nível de confiança empregou-se neste estudo os conhecimentos estatísticos

elementares como: amplitude total da variação, desvio padrão das respostas, e intervalo de

confiança, e coeficiente de variação, juntamente com interpretação gráfica. Não foi objetivo

deste estudo se aprofundar em conhecimentos estatísticos para viabilizar os procedimentos do

método, mas é possível utilizar outros métodos estatísticos para apurar a confluência das

opiniões dos especialistas. Entretanto, os conhecimentos elementares de estatística utilizados

aqui são suficientes para viabilizar os procedimentos do Método Delphi reestruturado.

Por fim, o método apresentado pode ser utilizado em diversas áreas do

conhecimento, auxiliando na prospecção de informação, análises de registros e validação de

resultados, não se limitando somente à área da Educação em Ciências e Matemática.

33

CAPÍTULO I

1.1. A RELEVÂNCIA DO ESTUDO

Este estudo contribui nas análises de registros e validação dos resultados de

investigações científicas realizadas no âmbito da Educação em Ciências e Matemática. Além

de possibilitar ao investigador observar e registrar a confluência dos registros junto ao grau de

confiabilidade. Através do Método Delphi, que se caracteriza por ser uma abordagem

qualitativa, é possível analisar registros e validar resultados, entretanto, não é possível

observar e registrar o grau de confluência e confiabilidade. Desta forma, atribui-se ao Método

Delphi procedimentos estruturados e sistêmicos de triagem que caracteriza uma abordagem

quantitativa, que permite registrar o grau de confluência e confiabilidade. Por conseguinte,

este estudo constitui o Método Delphi atribuído de critérios de triagem caracterizando uma

abordagem quali-quantitativa para estudos no âmbito da Educação em Ciências e Matemática,

muito embora os resultados obtidos deste estudo possam ser adotados em outras áreas de

conhecimento.

No domínio metodológico, para explicar e descrever em profundidade as

propriedades científicas dos fenômenos relacionados à área da Educação, os pesquisadores

geralmente utilizam uma abordagem qualitativa. Segundo Serrano (1993) já se debatia sobre

os métodos de análises científicos na Conferência apresentada em 1966, na Sorbonne, em

Paris, pelo professor norte-americano Paul Lazarsfeld. Existem diferentes problemas,

questões e restrições científicas que impossibilitam o uso do método quantitativo de análises

de registros. São fenômenos de origens antropológicas, etnográficas, interacionalismo

simbólico, entre outros (SERRANO, 1993). Os pesquisadores da área da Educação que

adotam abordagem qualitativa, em geral estudam os fenômenos com o objetivo de dar sentido

ou interpretá-los nos elementos das significações que o objeto apresenta. Segundo Bogdan e

Biklen (1994), os investigadores buscam compreender a estrutura pela qual as pessoas

constroem e descrevem os significados. A abordagem ao estudo com métodos qualitativos

permite observar a singularidade dos fenômenos, entretanto, isso muitas vezes não permite a

generalização.

A investigação qualitativa apresenta um conjunto de características intrínsecas: (i) a

fonte direta dos dados é o ambiente natural, sendo o investigador o instrumento

principal tanto na recolha com na análise dos dados, (ii) os dados recolhidos são na

sua essência descritivos, sendo ricos em pormenores descritivos relativamente a pessoas, locais e conversas e o seu tratamento estatístico é muito complexo ou

impossível, (iii) o maior interesse dos investigados encontra-se nos processos e não

34

nos resultados, (iv) a análise dos dados é sobretudo indutiva, não tendo o

investigador como objetivo a confirmação de hipóteses colocadas previamente, mas

a construção de abstrações com base na análise de dados particulares, e (v) a

preocupação central do investigador é com as perspectivas dos participantes

(BOGDAN e BIKLEN, 1994, p. 17).

A procura para descrever os fenômenos muitas vezes é difícil e sem nível alto de

confiabilidade, pois há diversos métodos científicos de análise qualitativa disponíveis na

literatura para analisar os registros e validar os resultados.

Quando o objetivo do estudo é descrever o fenômeno de interesse através de objetos

e atos inerentes para representar a realidade, os pesquisadores utilizam uma abordagem

quantitativa (CRESWELL, 2010). Ao registrar e quantificar sistematicamente determinado

fenômeno, é possível realizar uma abordagem norteada, pontual e estruturada, que propicia a

adoção de métodos estatísticos compostos por técnicas de análises dedutivas que permite

interpretar com um determinado grau de confiabilidade os registros quantitativos.

Segundo o trabalho de Antônio Carlos Gil (1989) o método dedutivo, que caracteriza

uma abordagem quantitativa aos estudos científicos por meio da interpretação clássica, é o

que parte do geral e, a seguir, desce ao particular. O raciocínio dedutivo parte de princípios

considerados como verdadeiros e indiscutíveis para chegar a conclusões de maneira

puramente formal, isto é, em virtude unicamente de sua lógica.

A principal característica de uma abordagem quantitativa é a possibilidade de adoção

de técnicas estatísticas que, adequadamente empregadas, permite ao pesquisador generalizar

os resultados com determinado nível de significância (RICHARDSON, 1989). Entretanto, é

necessário considerar que as conclusões fundamentadas em técnicas estatísticas sempre estão

associadas a uma margem de erro conhecida, e não controlável.

Neste sentido, este trabalho está inserido em uma abordagem nos métodos de análise

e validação dos resultados das investigações científicas empregadas nas teses na área da

Educação que, por anos, é um dos principais causadores de desconforto aos pesquisadores,

que favorece os conflitos metodológicos, o que será abordado no próximo capítulo. Este

trabalho propõe procedimentos sistêmicos e estruturados de triagem outorgado ao Método

Delphi para análises de registros e validação de resultados de estudos científicos no âmbito da

Educação em Ciências e Matemática.

35

1.2. A PROBLEMÁTICA INVESTIGADA

Os trabalhos científicos no âmbito da Educação em Ciências e Matemática

demandam aos pesquisadores a movimentação de múltiplos recursos e domínio de

pressupostos teóricos relacionados com a metodologia para analisar e validar os resultados.

Neste sentido, ao delimitar o tema neste estudo, este fica centralizado no seguinte problema:

As análises de registros e validação de resultados de pesquisa científica no âmbito da

Educação em Ciências e Matemática, podem ser realizadas por meio do Método Delphi

atribuído de critérios de triagem que possibilitam observar e registrar as confluências das

informações declaradas pelos especialistas com conhecido e determinado nível de

confiabilidade?

Os resultados desse estudo contribuem para análises de registros e validação de

resultados de pesquisas científicas no âmbito da Educação em Ciências e Matemática, através

do Método Delphi outorgado de critérios de triagem que utiliza procedimentos estruturados e

sistêmicos para análise de registros e validação dos resultados.

1.3. OBJETIVOS DO ESTUDO

1.3.1. Objetivo Geral

Por existirem diversas opções de métodos científicos possíveis de serem adotados nas

investigações dependendo do fenômeno observado, o mérito do presente estudo é o Método

Delphi. Estudos científicos que adotam o Método Delphi nos procedimentos metodológicos

de investigação não permitem identificar a confiabilidade e a estrutura sistêmica de

confluência das respostas emitidas pelos especialistas. Diante do exposto, este estudo define

como objetivo geral estabelecer uma estrutura sistêmica, didática e metodológica para as

pesquisas quanti-qualitativas que adotam o Método Delphi por meio de procedimentos

compostos de critérios de triagens fundamentados em conteúdos estatísticos para análises de

registros e validação de resultados científicos no âmbito da Educação em Ciências e

Matemática.

Para possibilitar o avanço deste estudo em direção ao objetivo geral, a seguir foram

declarados os seguintes objetivos específicos.

36

1.3.2. Objetivos Específicos

Propor a estrutura sistêmica e metodológica para as pesquisas que adotam o

Método Delphi para análise de registros e validações de resultados;

Validar os resultados da implementação dos critérios de triagem na pesquisa em

Educação em Ciências e Matemática;

Relacionar os resultados obtidos dos trabalhos científicos no âmbito da Educação

em Ciências e Matemática com os resultados obtidos por meio do Método Delphi

atribuídos de critérios de triagem;

Registrar e observar o comportamento casuístico e lógico através dos critérios de

triagem na validação e análise dos registros de pesquisas no âmbito da Educação

em Ciências e Matemática;

Implementar os critérios de triagem em planilha eletrônica.

1.4. A TESE

Para a sustentação do problema e alcance dos objetivos geral e específicos,

apresenta-se a seguinte declaração científica:

O Método Delphi, dotado de critérios de triagem, possibilita ao pesquisador

conhecer o nível de confiabilidade das análises e resultados obtidos em estudos

científicos que adotam o Método Delphi, tal como observar a estrutura de

confluência do consenso obtido pela homogeneização das valorações emitidas

pelos especialistas.

Diante do exposto, este estudo foi desenvolvido na linha de Pesquisa ‗Fundamentos e

Metodologias para a Educação em Ciências e Matemática‘, do Programa de Pós Graduação –

REAMEC. A seguir, apresentamos a estrutura da tese.

1.5. O ARCABOUÇO DO ESTUDO

A estrutura deste trabalho constitui-se de quatro capítulos, além da introdução,

conclusão e proposições. No primeiro capítulo apresenta a justificativa do assunto, definição

do problema de pesquisa, em seguida, se direciona para o objetivo geral e objetivos

específicos que norteiam a pesquisa que embasaram a Tese e sua estrutura.

37

O segundo capítulo apresenta alguns trabalhos científicos da área de Educação que

exemplificam o desconforto dos pesquisadores, fator que impulsionou este estudo bem como

frequência de adoção do Método Delphi em estudos científicos nacionais e internacionais de

diversas áreas da Ciência, evidenciando o campo de conhecimento da Educação. E, por fim,

apresenta os conflitos metodológicos baseados em estudos científicos realizados na área da

Educação e descrição de temas que podem adotar o Método Delphi em sua metodologia de

análise de registro e/ou validação de resultados. Apresenta ainda a descrição, evolução

histórica, epistemologia do método, os conteúdos estatísticos elementares utilizados no

estudo, as possíveis contribuições do Método Delphi e suas vantagens, desvantagens e

aplicações, bem como as relações existentes do Método Delphi com a área da Educação.

O terceiro capítulo apresenta as etapas que levaram à concepção do ―Método

Critérios dos Especialistas‖, a reestruturação do Método Delphi fundamentado em sua

dinâmica interna com conteúdos estatísticos. O terceiro capítulo inicia-se com conceitos de

abordagem qualitativa e quantitativa, em seguida composição e caracterização amostral, segue

com a construção detalhada dos coeficientes que auxiliam a interpretação de confluência dos

critérios dos especialistas. Encontram-se ainda os coeficientes que permitem comparar grupo

amostral de especialistas para nortear futuras investigações.

O quarto capítulo, intitulado ―Resultados com Método Critérios dos Especialistas‖,

apresenta os resultados de uma pesquisa na área da Educação por meio de uma abordagem

quali-quantitativa. Os procedimentos abordados no terceiro capítulo do método Delphi

reestruturado, neste capítulo são validados para um caso específico de uma pesquisa na área

da Educação.

Ainda no quarto capítulo apresenta-se a estruturação da pesquisa e contextualização,

evidenciando as etapas de desenvolvimento do estudo na área da Educação em Ciências e

Matemática. Também são vistos a especificação do método adotado para abordagem deste

estudo, direcionamento das análises documentais dos trabalhos científicos, análises das

percepções dos especialistas sobre avaliação e validação de estudos no âmbito da Educação

em Ciências e Matemática e conteúdo estatístico elementar, fatores que foram utilizados para

implementação do Método Critério dos Especialistas. Os procedimentos iniciais para seleção

dos especialistas e os conteúdos estatísticos elementares que contribuíram para a validação da

reestruturação do Método Delphi também são contemplados. Também se apresentam as

atividades orientadas de campo, compilação e validação dos registros e as etapas de

confluência dos critérios de análises dos especialistas, onde é possível observar o

comportamento casuístico e lógico através dos procedimentos de validação e análise dos

registros de pesquisas do próprio método na área da Educação. Por fim, a relação dos

38

resultados obtidos em trabalhos científicos da área da Educação com os resultados obtidos

pelo método proposto no terceiro capítulo. Após o quarto capítulo denota-se a conclusão com

um resgate das cinco teses (ELEUTÉRIO, 2015; MAIA, 2015; ARAÚJO, 2014; PEIXOTO,

2014; AZEVEDO, 2014) apresentando os fatores que relacionam os elementos entre as teses

que justifiquem as valorações realizadas pelo grupo de especialistas. Também são retomados

os objetivos propostos e a tese deste estudo com os respectivos resultados observados.

Ao final deste estudo são declaradas as proposições com o objetivo de indicar

estudos sobre a relação das competências do grupo de especialistas com o Método Delphi

atribuído de critérios de triagem e a continuidade de estudos relacionados às escalas de

repostas dos especialistas.

39

CAPÍTULO II

2.1. CONJUNTURA: CONFLITOS METODOLÓGICOS

Uma nova descoberta obtida através de uma investigação é aceita e validada pela

comunidade científica, independente da área de conhecimento, a partir do momento que a

investigação obedeça a alguns princípios elementares para que se atinja uma qualidade

aceitável pela comunidade científica. Os pesquisadores prezam constantemente pela qualidade

e relevância dos estudos científicos, entretanto, a pertinência está relacionada com o

financiamento da pesquisa. É possível observar no Caderno Temático (UNICAMP, 2002)

abordagem de indicadores relevantes à qualidade do estudo científico.

[...] toda a investigação científica busca atingir, de forma subjacente, dois objetivos:

qualidade e relevância. A qualidade refere-se ao âmbito interno da área na qual a

pesquisa se desenvolve. Trata-se de sua profundidade, abrangência, da medida em

que lança luz sobre diferentes assuntos, resolve problemas e desafios históricos. Via

de regra, os que opinam sobre qualidade são os especialistas da mesma área de

pesquisa, através do conhecido ―juízo dos pares‖. A relevância se relaciona com a

aplicabilidade a áreas externas à do desenvolvimento da pesquisa e com sua

importância para a sociedade [...] (UNICAMP, 2002, p. 3).

É importante para a comunidade científica a gênese de trabalhos científicos de

qualidade, relevância e que valorize a descrição dos métodos de registro, organização,

interpretação, análise e validação dos fenômenos observados. Também são relevantes ao

estudo a abrangência e as relações do tema com as áreas de conhecimento, pois

frequentemente os procedimentos de análise e validação dos resultados são distintos entre

diferentes áreas de conhecimento, entretanto, a estrutura metodológica é semelhante. A

qualidade do estudo é influenciada pela delimitação do método de análise de registros e

validação dos resultados.

Para atender as exigências da comunidade científica é reservado um espaço em todo

trabalho científico para descrever detalhadamente todos os métodos de registro, organização,

análises e validação dos fenômenos observados, o que denomina-se percurso metodológico,

seção metodológica ou material e métodos, entre outros, dependendo da área de

conhecimento.

Para ser considerado um estudo científico é necessário seguir um percurso

metodológico, mas dependendo da área de conhecimento ou o que se pretende investigar, não

é nada fácil delinear as metodologias, como pode ser observado no trabalho de Quivy e

Campenhoudt (2008).

40

[...] um investigador, profissional, ou principiante, sente grandes dificuldades no seu

trabalho, as razões são quase que sempre no âmbito da metodologia empregada no

estudo: ―Já não sei em que ponto estou‖, ―tenho a impressão de já nem saber o que

procuro‖, ―não faço a mínima idéia do que fazer para continuar‖, ―tenho muitos

dados...mas não sei o que fazer com eles[...] (QUIVY e CAMPENHOUDT, 2008,

p.16).

As palavras acima representam muito bem a realidade vivida pelos pesquisadores no

meio científico. A maioria dos colegas pesquisadores, principalmente os principiantes da área

da Educação, empolgados e dedicados a buscar, através de investigações, respostas para

determinados problemas, ficam cercados por diversas propostas metodológicas, tornando-se

um desafio para o pesquisador definir qual é o melhor método que lhe ajudará a responder as

questões. Podem ser observados nos estudos científicos no âmbito da Educação questões e

desafios de uma pesquisa:

[...] procurar respostas para as questões propostas, situa rapidamente a presença dos

referenciais positivista, interpretativista e crítico na evolução da pesquisa em

educação no Brasil. Diante das insatisfações, críticas e desconfianças suscitadas pela

adoção desses referenciais na pesquisa educacional, busca compreender a situação

primeiramente em sua historicidade [...] (FREITAS, 2007, p. 11).

O trabalho de Freitas (2007) aponta a dificuldade de definir conceitos utilizados para

a caracterização do campo de estudos em Educação, sua polissemia, ambiguidades e da

complexidade gerada por suas subáreas de conhecimento tratadas nas pesquisas de variadas

abordagens, o que resulta em interferência na identificação do método investigativo de forma

negativa.

Para evidenciar as dificuldades dos especialistas, foram observados os trabalhos

científicos contidos em repositórios nacionais e internacionais, e foi possível verificar no

arcabouço metodológico dos estudos as dúvidas sobre a definição do método mais adequado

para utilizar na pesquisa.

A complexidade dos pesquisadores em estabelecer os métodos de análises de

registro e validação dos resultados também pode ser observada com frequência em pesquisas

na área da Educação nos repositórios acessados. As listas de repositórios estão

disponibilizadas nos apêndice J, que apresenta os repositórios de trabalhos científicos

nacionais, e no apêndice K indicando os repositórios de trabalhos científicos internacionais.

Para ilustrar o desconforto dos pesquisadores com a variedade de métodos de

análises de registros, declara-se a tese de Ramos, defendida em 2003, em Lisboa. O trabalho

de Ramos (2003) intitulado ―Matemática: A bela ou o Monstro?‖ revela, através de uma

abordagem quali-quantitativa, o objetivo de analisar representações sociais da Matemática,

41

constituindo como objeto de estudo alunos do 9º ano que frequentam escolas públicas do

Distrito de Lisboa.

A pesquisa de Ramos foi realizada no ano de 2000, seguindo uma abordagem

qualitativa no primeiro momento, por meio de entrevistas de grupo. No segundo momento a

abordagem foi quantitativa, com o emprego de um instrumento de registro a uma amostra

representativa da população em estudo, cujos registros foram analisados por meio de um

software estatístico o SPSS (Statistical Package for the Social Sciences).

No percurso metodológico observa-se a dificuldade do autor em esclarecer os

métodos de análises dos registros qualitativos e quantitativos, o que se confirma quando o

autor afirma:

Os métodos da sociologia são mais variados que os da maior parte das outras

ciências humanas. Há talvez um método etnológico. Não há porém um método

sociológico, mas sim, métodos da sociologia. Quanto mais a sociologia avança, mais

se torna evidente a impossibilidade de qualquer tentativa de unificação metodológica

(RAMOS, 2003, p.127).

Esta citação representa a dificuldade do autor em definir uma metodologia de análise

para os registros qualitativos realizados por meio de entrevista a um grupo de 84 pessoas

(professores, mães e alunos universitários) e 359 questionários, conduzidos por temas

relevantes que fundamentam o trabalho. A análise qualitativa dos registros foi realizada após

transcrição, empregando a síntese dos registros e posteriormente são definidos temas centrais

das respostas, em outras palavras, a categorização das entrevistas. A análise quantitativa sobre

os registros iniciou-se com as análises estatísticas descritivas, e posteriormente empregando

métodos de correlação e comparação de dispersão de dados. Após realizadas as análises foram

estabelecidas as relações entre os resultados obtidos das análises qualitativas e quantitativas,

com objetivo de aumentar a qualidade e representatividade nas conclusões do trabalho.

Outra pesquisa observada foi a de Henriques (2010), declarada como pesquisa

qualitativa, realizada por meio de observação participante, documental e aplicação de

questionários nas fases inicial e final, e entrevistas com 12 alunos do curso de Mestrado do

Instituto de Educação de Lisboa. Todavia declarada uma pesquisa qualitativa, também

observou-se abordagem quantitativa, por meio de análises estatísticas descritivas dos registros

obtidos na pesquisa com a finalidade de fortalecer as conclusões obtidas através das

entrevistas, conforme declarado no estudo. Os questionários foram construídos através da

experiência e leitura do pesquisador. Portanto, para a construção dos instrumentos de registro

é importante previamente realizar uma revisão bibliográfica para avaliar o contexto em que o

42

fenômeno está inserido. Registros obtidos através de instrumentos de qualidade e coeso

contribuem para atender os objetivos do estudo científico.

O estudo de Henriques (2010) também declara que o objetivo é compreender os

processos de raciocínio dos estudantes do Ensino Superior quando se envolvem na realização

de atividades de investigação, e identificar os fatores que influenciam neste processo de

aprendizagem. Para obter os registros recorre-se à abordagem qualitativa e interpretativa por

meio da realização de entrevistas. Posterior aos registros é realizada uma sinopse dos

discursos dos alunos. Os registros obtidos através da abordagem quantitativa foram

submetidos à análise estatística descritiva para caracterizar o sujeito. Abordagem esta

justificada pela preocupação com interpretação, compreensão e explicação do fenômeno que

passa de um contexto real para uma interpretação na conjuntura científica.

O estudo aborda com profundidade expressiva o método de análise qualitativo, e

durante as declarações o autor descreve que a presença do investigador no campo produz

alterações significativas no comportamento do sujeito, o que leva a registros ‗enviesados‘. A

interação entre o sujeito e o pesquisador pode ser amenizada pela ambientalização do

pesquisador, entretanto, algumas vezes não garante a confiabilidade das respostas. E, por fim,

Henriques (2010) também declara que o estudo não permite generalizar os resultados e

conclusões obtidas, ficando este no plano no qual foi concebido e ainda corre o risco de as

conclusões serem geradas de discursos homogeneizados e sintéticos devido à falta de

diversidade e número de respostas.

Outro trabalho foi concebido pela pesquisadora Búrigo (2009) através do Programa

de Pós-graduação em Engenharia e Gestão do Conhecimento, tendo como título da tese

―Integração entre Educação Matemática e Educação Ambiental: uma proposição no contexto

da Gestão do Conhecimento‖ tem por objetivo geral, considerando a perspectiva teórico-

crítica, analisar porque, se a Matemática tem relação com o mundo social, este estreitamento

não ocorre no momento do seu ensino. Neste trabalho também observa-se planejamento para

estimular a relação entre a Matemática e a Educação Ambiental. Ao analisar o trabalho

verifica-se que foram realizadas duas abordagens em áreas de conhecimento distintas.

Também declara-se que o estudo está fundamentado na definição da interdisciplinaridade e

complexidade decorrentes dos trabalhos de Edgar Morin, Fritjot Capra, a autora também

examina no âmbito da área da Educação Ambiental leituras interdisciplinares. Esta

investigação é caracterizada por uma pesquisa bibliográfica, em que, para análise dos

registros foi adotado o método de análise do conteúdo amparado no trabalho de Bardin, de

1977.

43

Observa-se no trabalho de Búrigo (2009) uma investigação em três fontes

bibliográficas: documentos do Ministério da Educação: Parâmetros Curriculares Nacionais de

Matemática do Ensino Fundamental, Parâmetros Curriculares Nacionais de Matemática

Ensino Médio, Parâmetros Curriculares Nacionais - Meio Ambiente e Saúde. Outro fator

observado é que, para possibilitar a discussão da relação entre as duas áreas de conhecimento,

adota-se o conhecimento matemático através do método de modelagem matemática. Os

registros realizados das fontes bibliográficas têm obviamente objetivo de suster as conclusões.

Observa-se, ao final desta investigação, o estímulo do pesquisador, através da análise do

discurso de categorizar, resumir e quantificar os registros por meio da análise estatística

descritiva para fundamentar as conclusões.

A tese intitulada ―Comunicação no Ensino-Aprendizagem da Matemática: Práticas

no 1.º Ciclo do Ensino Básico‖, de Guerreiro (2011), trata-se de uma investigação que analisa

a evolução das concepções e práticas de comunicação matemática do professor do 1º ciclo do

ensino básico, no decorrer de um trabalho de natureza colaborativa, focado na reflexão sobre

as práticas de comunicação em sala de aula. Conforme determina Guerreiro (2011), este

trabalho se enquadra em uma pesquisa qualitativa, no qual é realizado o registro de um estudo

de caso. O autor definiu sua amostra por conveniência de proximidade relacional, e declara

que é um ―trabalho colaborativo‖. Para evitar a influência de fatores fora do âmbito da

investigação, é necessário considerar os fatores comuns que ligam um sujeito ao outro no

instante em que se elabora o plano amostral. A busca por amostra por conveniência facilita a

confluência das discussões, entretanto, pode gerar conclusão facciosa, pois frequentemente

não oportuniza equilíbrio nas discussões. A visão que o pesquisador Guerreiro (2011) tem em

relação às análises dos registros mostra a importância dada à forma que se realizam os

procedimentos de análises para propiciar aproximação satisfatória da realidade, como pode

ser observado a seguir:

Os procedimentos de análise dos dados envolvem diferentes fases até à construção do texto interpretativo que corporiza o caso. O principal objetivo deste processo é

reduzir o volume significativo de dados, provenientes do trabalho de campo, num

conjunto de dados substancialmente menor, referenciáveis na escrita do caso

(GUERREIRO, 2011, p.127).

Guerreiro (2011) realizou uma revisão dos principais métodos de análises de

registros, mas não fez uso destes. Isso mostra a hesitação que os pesquisadores têm para

definir o método adequado para explicar a ideia central dos registros, em outras palavras, a

busca pela confluência das respostas por meio de uma abordagem qualitativa, já que para os

44

métodos qualitativos isso se materializa pela intensidade da dispersão dos registros do

fenômeno observado.

Outro trabalho analisado, ―Propondo práticas e desafiando certezas (tese): um estudo

em turma do PROEJA numa perspectiva em educação matemática crítica‖, é um trabalho

realizado pela pesquisadora Ramos (2011), defendido na Universidade Federal de Santa

Catarina, Centro de Ciências da Educação no Programa de Pós-Graduação em Educação

Científica e Tecnológica. Esta investigação teve uma característica de um estudo

experimental, tendo como sujeitos da pesquisa alunos do EJA, e objeto, o processo de ensino

e aprendizagem. Ao buscar na tese a metodologia, eis que encontro um capítulo dedicado a

opções metodológicas com o seguinte título: ―Procurando um Caminho‖. O título anuncia e

denuncia a dificuldade que os pesquisadores têm para definir uma metodologia de pesquisa e

análise de registros dos fenômenos. A autora apresenta, de forma profunda, os métodos de

pesquisa qualitativa e quantitativa, apresentando as vantagens e desvantagens de ambas e, ao

final do asserto, apresenta a justificativa dos procedimentos metodológicos empregados no

estudo.

Assim, levando-se em consideração as definições anteriores, entendo que esta

pesquisa apresenta características de uma pesquisa qualitativa, de foco e design

emergentes cujo procedimento metodológico projetado para a constituição de

material de estudo enquadra-se na modalidade naturalista ou de campo (RAMOS,

2011, p. 122).

Ao analisar os resultados e as discussões, observa-se que a forma de obtenção dos

dados foi por meio de entrevistas, áudio-gravações e questionário com questões abertas e

fechadas. Isso possibilitou uma abordagem aos dados, tanto qualitativamente quanto

quantitativamente, o que gerou apresentação dos resultados através do método de análise

estatística descritiva enriquecido de análise narrativa dos fenômenos observados, fortalecendo

as conclusões. Também foi possível observar neste trabalho a dificuldade que o autor teve em

definir o tipo de pesquisa, bem como o método de análise, isso anunciado a partir do título

proposto.

Frequentemente, para definir como será realizada cientificamente uma investigação

e, posteriormente, a definição de um método adequado de análise dos registros para

possibilitar a geração de informação, baseia-se na frequência em que estes métodos são

utilizados em outros trabalhos, como pode ser observado no trabalho com o título ―O

Laboratório de Anatomia Sob a Perspectiva da ‗Descrição Densa‘: Interfaces da Cultura

Científica e o Ensino de Ciências‖ (TALAMONI e FILHO, 2000). O método utilizado é de

observação, característico da Antropologia Crítica de Clifford Geertz. O autor justifica o

45

trabalho com a seguinte constatação: ―exaustivas pesquisas em Educação para a Ciência

acerca da predominância das perspectivas cartesianas através das quais o corpo tem sido

constantemente representado nas aulas‖ (TALAMONI e FILHO, 2000, p.190).

No momento de estruturar a proposta metodológica de investigação, o pesquisador

procura buscar apoio referencial que corrobora com as investigações realizadas em fenômenos

semelhantes. É comum o investigador optar por métodos que têm a maior frequência entre os

trabalhos relacionados. Entretanto, quando nos restringimos a escolher métodos de análises

utilizados com frequência em outras investigações, também restringimos os registros dos

fenômenos a uma interpretação com uma menor representatividade da realidade, podendo até

mesmo invalidar as conclusões.

O conflito no momento de delineamento da metodologia de investigação é notório

entre os pesquisadores, muitas vezes tornam-se impraticáveis as discussões, ou mesmo se

restringindo a um número reduzido de pesquisadores para as reflexões sobre o tema

investigado. O conflito é muito mais aparente quando se voltam os olhares para a área da

Educação,

[...] em relação aos métodos investigativos são percebidas em nosso meio acadêmico

educacional insatisfações e indefinições. Críticas são feitas, de um lado, ao modelo

positivista e, de outro, à abordagem interpretativista. Há, ainda, uma descrença

quanto às possibilidades atuais da perspectiva crítica. Diante desse quadro, novas

perguntas se formam e inquietam. Se não adotarmos as análises objetivas do

positivismo nem as construções interpretativas das análises subjetivas, o que colocar

no lugar? Existe um espaço para o referencial crítico centrado na importância dos

processos sociais coletivos? Enfim, essas situações são um indicativo de uma crise dos referenciais da investigação educativa? (FREITAS, 2007, p. 11)

Ao considerar que fenômenos são únicos em espaços e tempos, a busca de repetidos

métodos de análises pode influenciar na fomentação da crise metodológica e por

consequência, fomentar a possibilidade de vieses nas análises dos resultados e nas validações

das conclusões das investigações. É necessário considerar que os fenômenos estão em

constantes transformações. Desta forma, é necessário considerar se os métodos utilizados

acompanham as transformações do fenômeno observado.

A investigação a ser realizada deve conter em sua metodologia conhecimentos

capazes de registrar, organizar e analisar os fenômenos de características diversas. É

necessário observar se o arcabouço metodológico da investigação tem a competência de

representar a realidade através de um ou mais métodos de investigação para fundamentar as

conclusões.

46

2.2. MÉTODO DELPHI

Observa-se em diversas áreas do conhecimento metodologias de investigações para

análises dos registros e a validação dos resultados de trabalhos científicos. Dentre as

metodologias observadas, foi identificada uma que é comum a todas as áreas observadas, o

Método Delphi, concebido pela organização Rand Corporation, com recursos financeiros da

Força Aérea dos Estados Unidos (USAF) na década de 50, com a finalidade de obter opinião

dos especialistas em estratégias de guerra, para identificar os alvos soviéticos mais

apropriados para as bombas atômicas e estimar a quantidade de bombas necessárias para

dimensionar as indústrias americanas para produzi-las.

Devido às características estruturais adaptáveis, o Método Delphi pode ser utilizado

em qualquer área do conhecimento que se deseja investigar. Entretanto, como poderá ser

constatado neste capítulo, há uma baixa frequência de trabalhos científicos nas áreas de

conhecimento relacionadas à Educação, publicados no Brasil que utilizaram o Método Delphi,

quando comparado com trabalhos científicos da mesma área, publicados internacionalmente.

Porém, todos os trabalhos científicos observados que adotaram o Método Delphi, seja para

análise ou validação dos resultados, realizaram uma abordagem com características estruturais

não-paramétricas, com acentuada frequência de pressupostos estatísticos não contemplados.

A maioria dos pressupostos não atendidos durante a realização dos procedimentos

metodológicos da pesquisa podem desenrolar-se em resultados falaciosos, comumente deve-

se ao uso indiscriminado de medidas de tendências centrais sem, levar em consideração as

medidas de variabilidade dos registros.

2.2.1. O que é o Método Delphi

O nome ―Delphi‖ foi idealizado a partir de uma cidade da Grécia Antiga que se

chamava a Cidade de Delfos, onde foi construído o principal templo grego, o Templo do Deus

Apolo, cotejado à ação de profetizar acontecimentos para auxiliar na gestão pública. No

subsolo do Templo de Apolo havia uma gruta conhecida como Oráculo, que expelia gases

alucinógenos. Havia uma sacerdotisa denominada ―Delfos‖, que previamente inalava outros

alucinógenos para adentrar ao Oráculo para receber dos deuses premonições que,

posteriormente, seriam transmitidas no Templo de Apolo para os demais líderes da época

(VOLKER, 2007).

Na década de 50, a princípio, o Método Delphi era um procedimento utilizado para

realizar previsões e prospecção de informações nas mais diversas áreas do conhecimento.

47

Atualmente pode ser observado em diversas áreas do conhecimento e também na área da

Educação o emprego do Método Delphi nas metodologias de análises de registros com maior

frequência, quando comparado com adoção para validação dos resultados.

O Método Delphi é um método de previsão com base nos resultados obtidos através

de instrumentos de registros enviados a um grupo de especialistas. Ocorrem vários

encaminhamentos dos instrumentos de registros ao grupo de especialistas, que se denominam

de rodadas ou interações realizadas pelo pesquisador ao grupo de especialistas. A cada

encaminhamento é agregado, anonimamente ao instrumento de registros, o resumos das

respostas obtidas de encaminhamentos anteriores para compartilhar as reflexões realizadas

pelo grupo de especialistas. O Método Delphi pretende alcançar a resposta "correta" por

consenso do grupo, permitindo que os especialistas ajustem suas respostas em várias rodadas

posteriores e, para que isso aconteça, é dito a cada especialista o que o grupo pensa como um

todo.

Uma das características já mencionada é que o método possibilita realizar previsões

sobre um determinado fenômeno. Muitas aplicações do Método Delphi geram conhecimentos

estratégicos de gestão e tomadas de decisões. Portanto, uma quantidade considerável de

trabalhos fundamentados no Método Delphi não foi divulgada em repositórios de acesso ao

público. O que faz pensar que o uso do Método Delphi é mais além do que é possível observar

no meio científico. Entretanto, a apropriação deste método foi observada durante a Guerra

Fria (MARQUES, 2014 apud SILVA e TANAKA, 1999; YOUSUF, 2007; GRISHAM, 2009)

entre os Estados Unidos da América e a União Soviética, quando se utilizou um grupo de

especialistas para prever o ataque dos soviéticos (RAND, 2015).

Outra definição observada sobre o Método Delphi:

Um método de previsão sistemática que envolve a interação estruturada entre um

grupo de peritos sobre um assunto. A Técnica Delphi geralmente inclui, nos

procedimentos, pelo menos duas rodadas com o grupo de especialistas respondendo

perguntas e dando justificativa para suas respostas. O pesquisador tem a

oportunidade entre as rodadas para alterações e revisões das perguntas. Após atender

ao critério previamente definido pelo pesquisador para encerrar as rodadas, é

possível que o grupo de especialistas forneça uma previsão sobre o tema investigado através do consenso do grupo (BUSINESS DICTIONARY, 2015).

A definição apresentada é direcionada à área da Economia e difundida pelo Business

Dictionary (2015), ficando evidenciado que são necessárias pelo menos duas interações com

os especialistas para verificar se ocorre o consenso.

Outra definição citada em trabalhos científicos refere-se ao Método Delphi como

uma ferramenta capaz de estruturar um processo de comunicação dentre um grupo de

48

especialistas, sendo este método eficaz para estabelecer internamente um diálogo no grupo de

indivíduos, como um todo, para fomentar criteriosamente propostas de soluções a um

problema complexo. Para alcançar o objetivo de uma comunicação estruturada é preciso que

haja feedback entre os especialistas. No feedback as contribuições dos especialistas são

encaminhadas a todos, sempre no anonimato, para que cada especialista tenha a oportunidade

de rever seus pontos de vista, sem a influência física dos demais especialistas (LINSTONE,

TUROFF e HELMER, 2002).

Segundo Lanzer, Pinto e Ramos (2012), outra associação que é possível observar no

Método Delphi é que:

[...] mostra-se como um auxílio àqueles que pretendem basear suas decisões em

opiniões de um grupo de pessoas que conheçam profundamente o que está sendo

abordado, diminuindo o risco de erro se as decisões fossem baseadas na opinião de uma única pessoa. Basicamente, o método trata ―de uma sondagem multifásica,

escrita e anônima, desenvolvida com a participação de um grupo de pessoas

(especialistas no assunto), a divulgação dos resultados de cada fase e do consenso

das opiniões dos entrevistados (LANZER, PINTO e RAMOS apud RUSCHMANN,

1994. p. 2).

O Método Delphi é também conhecido como ―Técnica Delphi‖ como sugere a

definição a seguir,

A técnica Delphi é entendida como a aplicação sucessiva de questionários a um

grupo de especialistas ao longo de várias rodadas, visando, basicamente, a

prospecção de tendências futuras sobre o objeto em estudo. Essa técnica é flexível

na sua concepção e permite uma coleta de dados mais rica, com a possibilidade de

uma compreensão profunda de questões complexas que requerem o conhecimento

de pessoas sobre diferentes questões, tais como, econômicas, sociais e políticas

(COUTINHO, FREITAS, PEREIRA, VEIGA, FERREIRA e MISHIMA, 2014. p. 584).

Além destas denominações, também foi observada no trabalho de Torres (2006) a

denominação ―Método Delfos‖.

[...] é um método de consenso caracterizado por um processo interativo, sistemático

e grupal onde especialistas têm a oportunidade de expressar suas opiniões sobre um

assunto em particular sem a necessidade de contato direto, por meio de respostas

individuais escritas a sucessivos questionários enviados. Estrutura que favorece

estudos com propostas de carácter amplo e que, portanto, necessitem contar com a

contribuição de especialistas residentes em locais geograficamente distantes [...]

(TORRES, 2006 apud SPINOLA, 1997. p. 1792).

Observa-se outro fator relevante a ser considerado: a abrangência geográfica que o

Método Delphi tem quando o pesquisador define no plano amostral do estudo especialista

localizado em qualquer região geográfica.

49

Outra definição observada aponta mais uma característica do Método Delphi:

possibilitar a obtenção com maior confiabilidade do consenso de opiniões de um grupo de

especialistas, por meio de uma série de instrumentos de registros intensivos de critérios de

avaliação dos especialistas, intercalados com informações retornadas aos especialistas para

indicar como está sua opinião em relação aos demais especialistas. Portanto, compreende-se

que o desenvolvimento metodológico do Método Delphi é uma técnica sistemática com

validade científica para registrar os critérios dos especialistas sobre um determinado tema

(MUNARETTO, CORRÊA, e CUNHA, 2013 apud DALKEY, 1969).

O Método Delphi também é definido por buscar critérios de especialistas sobre

determinado tema, promovendo feedback controlado das opiniões registradas repetidamente,

permitindo, assim, que os especialistas respondam novamente os instrumentos de registro

considerando feedback dos demais especialistas (MEYRICK, 2003). Portanto, é possível

agregar opiniões de um conjunto diversificado de especialistas, sem a necessidade de realizar

encontros ou reuniões pessoalmente entre os especialistas para registrar suas opiniões.

Entretanto, para escolher um especialista de qualquer região é necessário verificar se é

possível encaminhar pelo correio eletrônico os formulários. Mas outro recurso a ser

considerado para entregar os questionários ao especialista é através do envio de cartas, o que

levará muito tempo para se obter uma conclusão, podendo onerar e inviabilizar o estudo.

O Quadro 1 apresenta, de forma genérica, procedimentos para investigação com

abordagem qualitativa ou quantitativa, onde é possível observar a comparação entre os

procedimentos de obtenção dos registros e prospecção de informação através do método

tradicional e pelo Método Delphi.

Quadro 1: Súmula dos procedimentos metodológicos para avaliar os registros obtidos através de pesquisas

tradicionais e pelo Método Delphi.

LEVANTAMENTO TRADICIONAL MÉTODO DELPHI

-O investigador elabora um questionário com

perguntas pertinentes ao tema de estudo; -Há inúmeras questões relativas à validade das questões que devem ser consideradas para

desenvolver uma boa pesquisa; -O questionário pode incluir perguntas que

solicitam dados quantitativos ou qualitativos, ou

ambos; -O investigador decide sobre a população e as

hipóteses, e seleciona uma amostra aleatória da

qual obtém os registros; -Nem todos os entrevistados respondem o

questionário e o devolvem; -Os investigadores então organizam e analisam as

respostas para investigar as questões de pesquisa.

-Todas as questões de design questionário de uma

pesquisa também se aplicam a um estudo Delphi. Após

elaboração do questionário, seleciona-se um grupo de especialistas qualificados para responder as perguntas. -O investigador realiza a pesquisa e analisa as respostas.

Em seguida, realiza-se outro levantamento com base nas

respostas ao primeiro e instigando o especialista a revisar

suas respostas anteriores e / ou responder a outras

perguntas com base nas respostas do grupo desde o

primeiro levantamento. -O investigador realiza quantos levantamentos forem

necessários até que os especialistas respondam com um

grau satisfatório de consenso. Os especialistas são

mantidos em anonimato um para o outro (embora não

com o pesquisador) em todo o processo. Fonte: Adaptada da tabela (OKOLI e PAWLOWSKI, 2004).

50

O Método Delphi tem características que permitem sua utilização na metodologia

dos estudos de abordagem qualitativa ou quantitativa de diversas áreas do conhecimento. Com

o objetivo de mostrar a capacidade de aplicabilidade, a seguir é possível observar as

características do Método Delphi.

2.2.2. Características do Método Delphi

A versatilidade do Método Delphi permite que sejam realizadas adaptações para

possibilitar sua aplicação em diversas áreas do conhecimento, sem degenerar a confiabilidade

das conclusões. Entretanto, é necessário que o investigador avalie a disponibilidade e defina

os procedimentos para comunicação com o grupo de especialistas.

Outra característica a ser considerada no Método Delphi é que, para usá-lo, tanto na

análise dos registros e/ou na validação dos resultados, é necessário estimar um tempo

considerável, suficiente no planejamento da pesquisa (LINSTONE, TUROFF e HELMER,

2002; ORTEGA, 2008). Geralmente fatores relevantes a serem considerados no cronograma

da pesquisa são presteza e disponibilidade do especialista em retornar por correio eletrônico

os registros dos seus critérios de avaliação em relação ao tema da pesquisa.

Um dos fatores que caracterizam o método é que os participantes do estudo se

preocupam com as repercussões que possam ter as propostas de solução para um determinado

problema (OKOLI e PAWLOWSKI, 2004; SPINOLA, 1984). O consenso dos critérios de

valorações dos especialistas pode ser alcançado ao longo do tempo por meio das interações

entre pesquisador e especialistas. Entretanto, o especialista corre o risco de não se lembrar de

tudo o que pensa ou pode se destoar do tema em questão, incumbido o pesquisador de

verificar o distanciamento das valorações realizadas pelos especialistas durante as interações.

O anonimato é outra característica relevante a ser observada no Método Delphi. Esta

característica permite que o especialista exponha suas opiniões diante de um grupo sem

nenhum constrangimento (WRIGHT e GIOVINAZZO, 2015). No Quadro 2 é possível

observar a comparação entre o Método Tradicional e o Método Delphi em relação a mesma

característica.

51

Quadro 2: Critério de avaliação do anonimato dos respondentes para avaliar os registros obtidos através de

pesquisa tradicional e pelo Método Delphi.


Os entrevistados são quase sempre anônimos

para os outros, e muitas vezes anônimos para o

pesquisador.

Os entrevistados são sempre anônimos entre si, mas nunca

anônimos para o pesquisador. Isto dá aos pesquisadores

mais oportunidade de acompanhar esclarecimentos e

novos dados qualitativos.

Fonte: Adaptada da tabela. (OKOLI e PAWLOWSKI, 2004)

Com a participação dos especialistas no anonimato a metodologia do Método Delphi

permite obter registros de opiniões sem influência de outras pessoas, como confronto pessoal,

influência de prestígio, persuasão, autoridades e problemas de relacionamento (SPINOLA,

1997). Desta forma, os especialistas ficam à vontade para manter ou modificar suas opiniões

durante o processo metodológico, o que favorece a franqueza nas respostas, evita vieses e

aumenta a confiabilidade das opiniões.

A realimentação realizada pelo mediador da pesquisa, geralmente o pesquisador, é

mais uma característica interna da estrutura metodológica do Método Delphi, que tem o

objetivo de encaminhar as sínteses das opiniões a cada um dos especialistas. A realimentação

é realizada várias vezes até que seja observado o consenso do grupo de especialistas em

relação ao tema, a bibliográfica destaca que no mínimo duas vezes deve ocorrer a

realimentação (LINSTONE, TUROFF e HELMER, 2002). Em média, os estudos apresentam

três realimentações, mas isso depende muito da característica de cada tema e do conjunto de

especialistas que participa do estudo. A realimentação permite que o pesquisador seja um

mediador das discussões com o objetivo de evitar desvio do foco do tema do trabalho.

Segundo Wright e Giovinazzo (2015), para os estudos científicos que adotaram na

metodologia o Método Delphi, em média é necessário que o pesquisador realize no mínimo

três interações. As mediações realizadas pelo pesquisador são necessárias para realimentar os

especialistas com um resumo de informações resultantes das opiniões do grupo, dessa

maneira, o pesquisador objetiva obter o consenso nas respostas.

No desenvolvimento dos procedimentos do método, os especialistas recebem a

síntese de opiniões dos demais especialistas para rever suas opiniões sobre o assunto, essa é

mais uma característica de flexibilidade do Método Delphi, em que a cada realimentação as

opiniões podem ser reavaliadas pelos especialistas, considerando o grupo (LINSTONE,

TUROFF e HELMER, 2002).

O Método Delphi contempla nos procedimentos instrumentos que permitem avaliar a

competência dos especialistas para participar da investigação. A avaliação prévia dos

52

especialistas contribui para aumentar a confiabilidade em obter julgamentos, apreciações,

critérios de valorização e opiniões a respeito do tema investigado.

Outra característica observada no Método Delphi está relacionada ao consenso, uma

vez observadas opiniões semelhantes no grupo, entretanto pode ser evidenciado um ou mais

especialistas com opiniões demasiadamente diferentes do consenso dos demais especialistas,

isso estimula o pesquisador a intervir nos procedimentos com uma solicitação ao especialista

para justificar a opinião emitida (LINSTONE, TUROFF e HELMER, 2002).

Outro termo utilizando por Okoli e Pawlowski (2004) para identificar a opinião de

especialista que se destoa do grupo de especialistas é registro discrepante. No Quadro 3 é

possível observar a comparação entre métodos de prospecção tendo como critério a

discrepância nas opiniões anunciadas pelos especialistas.

Quadro 3: Critério de avaliação da discrepância das respostas, para avaliar os registros obtidos através de

pesquisas tradicional e pelo Método Delphi.


Para levantamentos individuais, os registros

discrepantes invalidam a questão. Para repetidos

estudos de levantamento, os pesquisadores devem

investigar os efeitos discrepantes.

A discrepância nas respostas tende a ser baixa, e os

pesquisadores geralmente podem facilmente verificar a

causa ao falar com os desistentes.


No estudo que contém um ou mais especialistas que possuem uma opinião que

destoa do consenso, o pesquisador pode retirá-lo do estudo ou investigar com maior

profundidade para tentar responder por que o especialista tem uma opinião divergente

(SILVA, RODRIGUES, SILVA e WITI, 2009; WRIGHT e GIOVINAZZO, 2015). Mas é

importante observar, se o pesquisador optar por estudar uma opinião individualmente para

entender sua relação com o tema, poderá conduzir o estudo a um objetivo diferente do

proposto inicialmente, por outro lado, pode criar um consenso artificial. Entretanto, para

Fahey, King e Narayanan (1981), mais importante que obter um consenso é obter resposta de

qualidade, independente do número de respostas para um mesmo tema.

A interação entre as opiniões do grupo de especialistas é outra característica

observada no Método Delphi, isso possibilita ao pesquisador evitar vieses nos resultados no

momento em que é realizada a realimentação (MEYRICK, 2003).

Outra contribuição da interação é que permite um aprendizado recíproco entre o

grupo de especialistas. No Quadro 4 é possível observar a contribuição da interatividade entre

as opiniões dos especialistas, o que assegura que uma opinião formada pelo coletivo de

especialistas é superior à opinião formada por apenas um especialista.

53

Quadro 4: Critério de avaliação das respostas do grupo vs. individuais e a riqueza de detalhes das respostas,

para avaliar os registros obtidos através de pesquisa tradicional e pelo Método Delphi.


Os pesquisadores esperam obter através de uma

amostragem planejada a estimativa da média com a

menor variabilidade possível das respostas dos

indivíduos com objetivo de inferir as conclusões à

população com a maior confiabilidade factível.

A riqueza de registros depende da forma e

profundidade das questões, e sobre a possibilidade

de continuidade, como entrevistas. Continuidade é

muitas vezes limitada quando os pesquisadores não são capazes de controlar os entrevistados.

Estudos têm mostrado consistentemente que, para

questões que exigem julgamento dos especialistas, a

média das respostas individuais é inferior às médias

produzidas por processos de decisão em grupo;

investigação tem mostrado explicitamente que o

Método Delphi confirma isso.

Além das questões de riqueza das pesquisas

tradicionais, fornece registros mais ricos por causa de

suas várias interações que possibilitam as revisões de respostas dos especialistas.


No método tradicional de pesquisa é comum não se conseguir obter respostas com

riqueza de detalhes devido às características metodológica e instrumental, pois em geral o

pesquisador não consegue controlar o grupo de especialistas, e o instrumento não permite

riquezas de detalhes, o que torna inviável sua utilização. Por outro lado, o Método Delphi,

devido à possibilidade de interações com os especialistas, permite ao pesquisador redirecionar

ou aprofundar a investigação científica.

Outra característica do Método Delphi é a independência em relação ao tamanho

amostral, entretanto, recomenda-se que os procedimentos de análises de registros e validação

dos resultados concluam com 14 especialistas, em média (OKOLI e PAWLOWSKI, 2004;

MARTINEZ, ZÚÑIGA, SALA e MELÉNDEZ, 2012; MEYRICK, 2003). Esta recomendação

é para garantir uma confiabilidade aceitável no consenso das opiniões dos especialistas, e

mesmo com este cuidado é possível surgirem opiniões discrepantes.

O pesquisador pode decidir retirar do grupo o especialista, a partir do momento em

que suas opiniões permanecerem fora do consenso, mesmo com as justificativas elaboradas

pelo especialista candidato a ser retirado do estudo (Quadro 5).

Quadro 5: Critério de avaliação para confiabilidade e resposta revisada, para avaliar os registros obtidos através

de pesquisa tradicional e pelo Método Delphi.


Um critério importante para avaliar pesquisas é a

confiabilidade das medidas realizadas. O investigador garante isso por pré e repetidos testes

para garantir a confiabilidade.

Pré Teste é também uma importante garantia de

confiabilidade para o método Delphi. No entanto, a confiabilidade através de pré e repetidos testes não é

relevante, uma vez que os pesquisadores esperam que

os especialistas revejam as suas respostas.

Fonte: Adaptada da tabela (OKOLI e PAWLOWSKI, 2004)

Outro fator considerado no levantamento tradicional de registros é uma possível

dispersão acima do aceitável pelo pesquisador. Em registros que contém, por diversos fatores,

e muitas vezes desconhecidos, uma dispersão acentuada nas respostas, pode dificultar a

54

obtenção do consenso da opinião do grupo. Um meio de combater isso é rever o instrumento

de registro das opiniões dos especialistas e/ou aumentar o tamanho amostral de especialistas a

participarem do estudo.

No Quadro 6 é possível observar a influência da representatividade amostral entre dois

métodos de prospecção de opiniões. No levantamento tradicional a representatividade de um

tamanho amostral está relacionada a uma abordagem quantitativa que envolve conceitos de

probabilidade.

Quadro 6: Critério de avaliação para representatividade da amostra, para avaliar os registros obtidos através de

pesquisas tradicional e pelo Método Delphi.


Usando técnicas de amostragem estatística, os

pesquisadores selecionam aleatoriamente uma

amostra representativa da população de interesse.

Ao selecionar um sujeito aleatoriamente, o

pesquisador está atribuindo um nível de

confiabilidade conhecido.

As perguntas abordadas no estudo são de alta incerteza

e especulação. Assim, a população em geral, ou uma

amostra, pode não ser suficiente para responder às

perguntas com precisão. Um conjunto de especialistas,

anônimos entre si, pode chegar a uma resposta a uma

pergunta difícil, conexa à quantidade de interações

realizadas entre o pesquisador e o grupo de especialistas


As investigações com abordagem qualitativa, quantitativa ou quali-quantitativa podem

ter seus resultados alterados devido ao tamanho da amostra, dependendo dos objetivos

previamente determinados pelo pesquisador. Em uma investigação realizada com objetivo de

generalizar os resultados e realizar inferências a uma população, a dimensão da amostra é

relevante, ou seja, quanto maior o tamanho da amostra, melhor estará descrito o fenômeno

que permite generalizar os resultados. A exemplo, o mesmo conceito adotado para elaboração

de imagens eletrônicas, quanto maior a quantidade de pixel melhor será a resolução da

imagem eletrônica, por conseguinte, melhor estará representada a imagem real, entretanto,

jamais a imagem eletrônica representará a totalidade da imagem real. Em geral, o objetivo de

generalizar os resultados é frequente nas investigações quantitativas, mas não exclusiva.

Para uma investigação cujo objetivo não é generalizar os resultados, mas representar

densamente o fenômeno, o tamanho da amostra não influencia nos resultados, entretanto uma

amostra grande inviabiliza os trabalhos do pesquisador, tornando difícil o aprofundamento no

tema investigado. Geralmente uma investigação com uma descrição densa do tema é

frequente em estudos com abordagem qualitativa.

No Método Delphi, dependendo dos indicadores utilizados na investigação, o tamanho

da amostra é relevante, pois aumenta o número de interações com o grupo de especialistas, já

que é mais difícil obter o consenso de um grupo maior de especialistas. Ao aumentar o

55

número de interações com o grupo de especialistas, o tempo de execução da investigação será

estendido.

O Quadro 7 define que a quantidade a participar do estudo está entre 10 a 18

especialistas (OKOLI e PAWLOWSKI, 2004). Mas geralmente independente da abordagem,

qualitativa, quantitativa ou quanti-qualitativa, o que define a quantidade de especialistas a

participar do estudo é a experiência do pesquisador associada às características do tema e à

disponibilidade do especialista.

Quadro 7: Critério de avaliação para dimensionar a amostra, considerando resultados significativos, para avaliar

os registros obtidos através de pesquisas tradicional e pelo Método Delphi.


Com o objetivo de generalizar os resultados para uma

população, os pesquisadores precisam selecionar o

tamanho de amostra suficiente para detectar efeitos

estatisticamente significativos.

O tamanho do grupo não depende do poder

estatístico, mas sim da dinâmica e competência do

grupo para se chegar a um consenso entre os

especialistas. Assim, a literatura recomenda 10 a 18

especialistas.


Outra característica própria do Método Delphi é possibilitar ao pesquisador realizar

validação dos resultados obtidos do estudo por meio da abordagem qualitativa. Isto somente é

possível porque o pesquisador é o mediador no processo de registro, o que possibilita realizar

a associação entre as respostas e os especialistas que as emitiram (Quadro 8). Para uma

abordagem quantitativa existem outros métodos estatísticos baseados em testes paramétricos e

não-paramétricos que validam os resultados obtidos.

Quadro 8: Critério de avaliação da validade dos resultados, para avaliar os registros obtidos através de pesquisa

tradicional e pelo Método Delphi.


A validade é assegurada pelo design cuidadoso do

levantamento e pelos testes posteriores.

Além do que é exigido de uma pesquisa tradicional,

o Método Delphi pode empregar nos procedimentos

metodológicos uma validação adicional dos instrumentos de registros e dos resultados, através

da avaliação e interpretação do grupo de

especialistas. O fato de que o Método Delphi não é

anônimo para o pesquisador, permite a qualquer

momento da investigação a validação dos

instrumentos e dos resultados, ao contrário de

pesquisas tradicionais. Fonte: Adaptada da tabela. (OKOLI e PAWLOWSKI, 2004)

O Quadro 9 apresenta um problema que ocorre quando não é possível realizar o

registro completo de determinado fenômeno. No método tradicional de prospecção de

opiniões que tem uma característica de abordagem quantitativa, este problema pode até

inviabilizar o estudo. Entretanto, esta é outra característica favorável ao Método Delphi, não

56

ser sensível à ausência de respostas, pois em geral os especialistas que confirmaram sua

participação tendem a não enviar registros incompletos.

Quadro 9: Critério de avaliação das questões de não-resposta, para avaliar os registros obtidos através de

pesquisa tradicional e pelo Método Delphi.


Os pesquisadores precisam investigar a possibilidade

do viés da não-resposta para assegurar que a amostra

continua a ser representativa da população.

A ausência de resposta é normalmente muito baixa

em inquéritos Delphi, uma vez que a maioria dos

pesquisadores garante sua participação, desde que

envolvidos com tema. Fonte: Adaptada da tabela (OKOLI e PAWLOWSKI, 2004)

De maneira geral, o Método Delphi tem a característica de registrar opiniões sobre

um tema específico e definir, através de consenso, a opinião que tem relação com o tema. A

definição do consenso das opiniões está fundamentada na competência de cada especialista

propor uma solução para o tema. O grupo de especialistas a ser formado anonimamente, entre

si, tem uma importante característica em comum: o conhecimento sobre o tema proposto. O

Método Delphi vem sendo utilizado em abordagens qualitativas e quantitativas ou ambas. Um

fator fundamental para análises dos registros e validação dos resultados é o desenvolvimento

do questionário, definição de consenso e como interpretar não-consenso, critérios de seleção

para formar o grupo de especialistas; dimensionamento amostral, e análise interpretativa dos

registros.

Na área da Educação o Método Delphi é comumente usado para estruturar a

metodologia visando fundamentar a formulação de recomendações para melhorar o processo

de ensino e aprendizagem (OSBORNE, COLLINS, RATCLIFFE, MILLAR e DUSCHL,

2003).

O Método Delphi tem contribuído significativamente para o processo de

desenvolvimento de uma política da educação. A contribuição do método é observada em

estudos que propõem tomadas de decisões a serem realizadas sobre formação continuada dos

professores, e a distribuição de recursos educacionais limitados são exemplos que requerem

pensamento crítico e raciocínio (OSBORNE, COLLINS, RATCLIFFE, MILLAR e

DUSCHL, 2003).

Independente das proposições sobre um determinado tema complexo, difícilmente a

proposta de solução é derivada de um especialista, mas do consenso de um grupo de

especialistas, corroborando com um ditado popular que diz: "duas cabeças pensam melhor

que uma". Imagine um grupo de cabeças de especialistas pensando sobre um mesmo tema.

Outra característica do Método Delphi é o baixo custo, quando comparado com

outros métodos, por exemplo, uma abordagem quantitativa que requer um tamanho amostral

57

significativo, também requer uma organização para registrar, copilar, analisar e validar os

resultados pode ser um processo longo, árduo e muitas vezes desconfortante para o

pesquisador, todos esses fatores podem influenciar nos resultados negativamente.

O Método Delphi tem como característica singular uma comunicação estruturada

dentre um grupo de especialistas, de modo que eles não se comuniquem no momento da

realização da investigação. Este grupo de especialistas deve ter a competência de argumentar

e propor soluções factíveis para um problema complexo. Em longo prazo isto é um processo

construtivo baseado na inteligência humana.

A comunicação conduzida pelo pesquisador proporciona o retorno de contribuições

individuais de informação e conhecimento de cada especialista para o grupo, dando a

oportunidade de cada especialista ter acesso a muitos pontos de vista, permitindo-lhes

reavaliar as informações cedidas em momento anterior. Esta dinâmica contribui

significativamente para a qualidade, confiabilidade das análises dos registros e validação dos

resultados, bem como a confluência das valorações dos especialistas.

Em virtude da disponibilidade das tecnologias de informação atualmente, a

característica da investigação instantânea é a mais indicada para descrever o Método Delphi,

entretanto, não se pode descartar uma descrição mesclando as características da investigação

instantânea com as demais características apresentadas no Quadro 10.

O Quadro 10, adaptado do Linstone, Turoff e Helmer (2002), descreve as principais

características de uma investigação de grupo, sendo a investigação por telefone, reunião,

seminários, questionário tradicional e investigação instantânea.

Quadro 10: Características de investigação em grupo

Descrição Investigação

por telefone Reunião Seminários Questionário

Tradicional Investigação

Instantânea Interação

individual Coincidente

grupo Coincidente

grupo Coincidente

grupo Aleatório Aleatório

Tempo de

interação Curto prazo Médio para

longo prazo Longo prazo Curto para

Médio prazo Curto prazo

Quantidade

de interação Múltiplos,

depende do

grupo

Múltiplos,

atraso entre

as interações

Único Múltiplos,

atraso entre as

interações

Múltiplos, depende

do especialista

Alcance Depende do

investigador

(flexível)

Depende do

investigador (flexível)

Apresentação

(dirigida) Depende do

entrevistador (Estruturado)

Depende do

entrevistador e ou

especialista (Estruturado)

Custo Custo por

ligação,

considerar

urgência

Viagem,

honorários,

custo por

atrasos

Viagem,

honorários Honorários do

entrevistador,

compilação,

impressão

Custo comunicação

com computador,

considerar urgência

Outras

características Fluxo igual de informações para todos. Pode maximizar os

efeitos psicológicos

Fluxo eficiente de informação

Fluxo de informações igual para todos. Minimiza efeitos psicológicos e tempo

exigido dos especialistas. Adaptação do (LINSTONE, TUROFF e HELMER, 2002)

58

Linstone et al. (2002) afirmam: ―Método Delphi é mais uma arte do que uma

ciência‖, isso ilustra o fato que o presente método está em constante reformulação, o que

possibilita sua utilização em diversas áreas de conhecimento, pois as restrições para utilização

são mínimas e livres de pressupostos, diferentemente dos métodos quantitativos que, para

serem utilizados nas análises, é necessário atender diversos pressupostos para cada método

estatístico, para poder realizar as análises.

2.2.3. Evolução Histórica do Método Delphi

A primeira investigação científica na década de cinquenta com as características do

Método Delphi foi um estudo militar com objetivo de obter o consenso de um grupo de

especialistas quanto à estimativa do número de bombas atômicas para reduzir o poder bélico

no setor estratégico industrial da União Soviética (LINSTONE et al., 2002). Considerando a

década de cinquenta, quando comparada com a atualidade, as tecnologias de computação

disponíveis na época eram precárias e muito caras, o Método Delphi passava a ser o método

de investigação mais indicado para investigações que fundamentava tomadas de decisões em

estratégicas militares.

Com a finalidade de realizar pesquisas militares, a organização Rand Corporation

(RAND) foi fundada pela Força Aérea dos Estados Unidos (United States Air Force -USAF)

imediatamente após a Segunda Guerra Mundial, em 14 de maio de 1948, na Califórnia. A

RAND é uma organização independente e sem fins lucrativos. Um dos métodos de pesquisa

utilizado pela RAND era para obter opinião de especialistas em estratégias de guerra, com

objetivo de fundamentar os planos estratégicos militares com pesquisas científicas e

direcionar as tomadas de decisões. No início o método era denominado de expert judgment,

depois foi alterada sua denominação para Delphi, nome encontrado em um estudo da RAND

datado de 15/11/1951, com o título The use of experts for the estimation of bombing

requirements (CHAVES, 2011 apud DALKEY e HELMER, 1962). Após 10 anos de estudos

militares foi autorizada a divulgação do método. Desde então a organização é dedicada a

promover conhecimentos científicos em diversas áreas, inclusive da educação para promover

o bem estar público e a segurança dos Estados Unidos da América (RAND CORPORATION,

2005).

Em 1948, a organização Rand Corporation concebeu cientificamente o método de

investigação denominado Delphi com objetivo de atender demandas da USAF em relação à

guerra. Os primeiros estudos que a RAND realizou após a guerra foram para prever corridas

59

de cavalos (MARTÍNEZ, 2013). Anos depois, o uso em trabalhos científicos não chegava a

100, entretanto, uma década depois, esses números ultrapassaram 1000 trabalhos (Quadro

11).

O Método Delphi consiste nas estimativas que um conjunto de pessoas, com

formação na área de pesquisa ou especializadas sobre o assunto, realiza avaliação

interativamente por estimativa. É um método interativo que tem como objetivo a estimativa

fundamentada em experiências de várias pessoas especialistas no assunto em estudo. É

possível observar no Quadro 10 a linha do tempo dos métodos de previsão que se iniciou

através da organização Rand Corporation, onde o Método Delphi aparece no primeiro tempo,

sendo este o início dos métodos de previsão. Atualmente os métodos de previsão têm um

papel importante na sociedade, pois as tomadas de decisões em geral são fundamentadas em

métodos científicos.

O Método Delphi foi adotado em grandes episódios em 1949, ano em que

aconteceram grandes feitos para a humanidade, presentes até os dias atuais, assim declara o

estudo sobre "A previsão da evolução social de eventos tecnológicos" de Kaplan, Skogstad e

Girshick, publicado em 1949, adotou nos procedimentos metodológicos o Método Delphi.

Em 8 de janeiro de 1949 a primeira calculadora, denominada Complex Number

Calculator, estava disponível para a humanidade, começou a operar o primeiro sistema de

comunicação a distância, interligado por antenas, que hoje é conhecido como celular, a

primeira geração de computadores também se inicia neste intervalo de tempo (CONTI, 2015).

Atualmente esses feitos que iniciaram na década de 50 são relevantes para uma

pesquisa científica de prospecção de opinião. Para viabilizar um estudo científico que usa de

métodos de prospecção de opinião, é fundamental ter disponível o correio eletrônico,

celulares, internet, computadores, calculadoras para todos os envolvidos em um estudo

científico.

Em 1958, a publicação do artigo de Brown, que fundamenta o método de Slideshow

de Alisamento, foi mais uma contribuição relevante para reformulação do Método Delphi

(Quadro 11). O Slideshow é um método de prospecção de opinião, atualmente também

conhecido como Método Quantum, que tem o objetivo de avaliar a tendência

comportamental humana relacionada as quatro emoções primárias: predominância, indução,

submissão e conformidade. O estudo destas emoções pode ser aprofundado no estudo de

Marston (1928). O Método Slideshow registra opiniões de um grupo de pessoas, com alguma

característica comum, com objetivo de estimar clima de relações e inter-relações, atualmente

nas instituições de ensino denominam este processo como Pesquisa de Clima Organizacional

(RIZZATTI, 2002).

60

Em 1970 foi editado o primeiro livro clássico de Box e Jenkins, utilizado atualmente

para realizar e fundamentar previsões em diversas áreas do conhecimento através de estudos

com abordagem quantitativa (Quadro 11). O estudo de Box e Jenkins apresenta diversos

métodos quantitativos de previsões. Em comum aos métodos de previsão é a necessidade de

observar o passado para estimar, com uma determinada confiabilidade, o futuro. Para realizar

previsões os registros devem ser realizados e organizados sequencialmente ao longo do

tempo, onde a característica mais importante entre um registro e outro é a dependência mútua

(EHLERS, 2000). Nas disciplinas de Análises de Séries Temporais, que abordam

conhecimentos estatísticos, a obra de Box e Jenkins é o referencial mais citado nos dias atuais.

A crise pela qual passou o Método Delphi, em meados de 1974, é em parte pelo

crescimento que se deu nos métodos quantitativos. Como já haviam previsto Kaplan e

Skogstad (1949), a evolução da tecnologia disponibilizou para a comunidade científica

computadores, celulares, máquinas de calcular, entre outras tecnologias disponíveis (Quadro

11). Os métodos quantitativos exigem procedimentos de cálculos complexos e extensos, sem

o advento das tecnologias seria inviável realizar análises de uma grande quantidade de

registros, através de métodos quantitativos. Por isso, até o início da década de 70 os métodos

qualitativos eram os mais utilizados pela facilidade e baixo custo nos procedimentos, mas a

partir desta década os métodos quantitativos tiveram uma taxa de crescimento relevante que

chegou a gerar, em 1980, o Jornal de Análise de Séries.

Durante o período de crise do Método Delphi, entre 1970 a 1980 surgiram muitas

discussões em torno do tema: métodos quantitativos e qualitativos (Quadro 11). Em estudo

realizado por Patton (1980) é possível observar quais tipos de registros podem ser abordados

com métodos qualitativos.

Para estudos que realizam descrições detalhadas de fenômenos, comportamentos,

entrevistas diretas ou transcrições de discursos de pessoas sobre suas experiências, os métodos

qualitativos são os mais adequados para prospecção e análises dos registros. Outros fatores,

como abordagem de trechos de registros, correspondências, documentos e gravações com

objetivo de descrever detalhadamente um contexto social e/ ou cultural também é mais

indicado para o pesquisador realizar uma investigação através de uma abordagem qualitativa

(LIEBSCHER, 1998). Portanto, os métodos qualitativos são apropriados para obter e analisar

registros de fenômenos que não são descritos quantitativamente.

Os métodos quantitativos não são apropriados para analisar registros de fenômenos

com descrição discursiva qualitativa, a partir desta afirmação os métodos qualitativos

reafirmam sua importância nos estudos científicos, em destaque aqueles que consideram o

contexto social. Entretanto, Kaplan e Duchon (1988) afirmam que um estudo com ambas as

61

abordagens (qualitativa e quantitativa) tendem a aumentar a confiabilidade das análises dos

registros e validação dos resultados (Quadro 11).

Em meados da década de 80 o Método Delphi passou por uma reestruturação

metodológica, admitindo métodos quantitativos nos procedimentos para analisar a progressão

em direção ou não ao consenso das opiniões dos especialistas (Quadro 11). Os métodos

quantitativos utilizados para monitorar as opiniões dos especialistas são de ordem elementar,

como cálculos das medidas de tendência central e de dispersão.

A partir da década de 80, o Método Delphi se reafirma como sendo uma ferramenta de

previsão com o estudo de G. Rowe e G.Wrigth, publicado no International Journal of

Forecasting, na Espanha, com os livros de Jon Landeta ―O Método de Delphi, Ariel Prática,

Barcelona‖ e "Princípios da Previsão", editado por JS Armstrong (Quadro 11). Os resultados

alcançados por estes estudos revelam que o Método Delphi conduzido de acordo com as

especificações declaradas nos procedimentos metodológicos pode produzir resultados mais

confiáveis nas pesquisas do que os métodos tradicionais.

Quadro 11: Linha do tempo dos métodos de previsão, onde o Método Delphi é o propulsor dos métodos.

1948 Primeira aplicação do Método Delphi, desenvolvido pela Rand Corporation, para prever os resultados

de corridas de cavalos. 1949 A. Kaplan, A.L. Skogstad e M. A. Girshick publicaram "A previsão da evolução social de eventos

tecnológicos", onde o apoio científico é o Método Delphi. 1951 Primeiro experimento para fins militares, por meio do Método Delphi (Dalkey e Helmer). 1958 Publicação do artigo de Brown estabelece as bases para métodos de Slideshow de Alisamento. 1963 Primeiro experimento Delphi fins não-militares (Helmer e Quade). 1970 Primeira Edição do Box, GEP; Jenkins, G. H. e Reinsel, G. C., Análise de Séries, Previsão e Controle. 1974 Até este ano, o Método Delphi foi crescendo em popularidade: quase 500 artigos publicados. Mas a

partir deste momento inicia-se um período de crise do Método Delphi. 1980 Criação do Jornal de Análise de Séries; É encerrada a fase de crise do Método Delphi. 1981 Celebração do primeiro Simpósio Internacional sobre Predição (ISF1981). 1981 Criação do Journal of Forecasting. 1984 Criação do International Journal of Forecasting. 1985 Início da recuperação e aplicação contínua do Método Delphi e refinamento da metodologia.

1986 PDP Publicou Livros (Distributed Processing Paralela, Vols. I e II) editado por David Rumelhart e

James McClelland, um evento que ocorreu para aprender método retropropagação (backpropagation)

Percepção para redes neurais multicamadas.

1987 Criação da Sociedade Redes Neurais Internacional (DCI) celebrado na Conferência Internacional IEEE

em Redes Neurais, com 1.700 participantes (San Diego). 1990 Publicações das transações de diário em Redes Neurais pelo IEEE. 1999 G. Rowe e G.Wrigth publicado no International Journal of Forecasting, um artigo de referência

fundamental, O Método Delphi como uma ferramenta de previsão. 1999 Publicação na Espanha de um método pequeno, mas magnífico do livro Delphi. Jon Landeta, O Método

de Delphi, Ariel Prática, Barcelona. 2001 Publicado o tratado "Princípios da Previsão", editado por JS Armstrong. 2005 Bodas de Prata do Simpósio Internacional sobre Forecasting, o fórum mundial mais relevante de

predição. Adaptado do trabalho de Martínez (2013).

62

Atualmente é possível observar em bancos internacionais de repositórios de trabalhos

científicos a frequência relevante de trabalhos científicos na área da saúde e humanas, em

destaque a área da Educação que utilizou o Método Delphi como técnica de prospecção de

opinião. Entretanto, ao observar os bancos repositórios de trabalhos científicos nacionais a

situação se repete quanto à frequência de trabalhos na área da saúde, mas não na Educação.

Mas a repercussão do Método Delphi em diversas áreas do conhecimento é possível

ser observada com o aumento da frequência da utilização do método de investigação na

Economia (CAMISÓN et al., 2009; ESLAVA et al., 2010), na área de Administração

(ORTEGA, 2008) e na Espanha, na área ligada à saúde (MARTINEZ et al., 2012). No Brasil,

a frequência de utilização do Método Delphi na Educação é baixo quando comparado como as

frequências de trabalhos na Espanha, Portugal e Estados Unidos da América.

A característica fundamental do Método Delphi é a possibilidade de reformulação

nos procedimentos metodológicos, dependendo da área de conhecimento e finalidade do

estudo, isso pode vir a contribuir com o aumento de trabalhos científicos que utilizam o

Método Delphi (LINSTONE et al., 2002), por exemplo, na área da Educação em Ensino.

Atualmente o Método Delphi é um procedimento utilizado para realizar previsão, o

que fomenta seu uso significativo em diversas áreas do conhecimento em todo mundo

(Gráfico 01). No recorte realizado em março de 2015, considerando os trabalhos científicos

realizados em 2011 e 2015 disponíveis na Coordenação de Aperfeiçoamento de Pessoal do

Nível Superior - CAPES, observa-se que no âmbito da Enfermagem é o que mais faz uso do

Método Delphi nos estudos científicos, seguida pela área da Administração.

Também é possível observar que a área da Educação surge bem mais tarde em

relação às outras áreas de conhecimento. Os trabalhos científicos observados no período de

2011 a 2012 no âmbito da Saúde que envolvem a Enfermagem, Medicina, Saúde Pública

utilizaram o Método Delphi no processo de ensino e aprendizagem do aluno e do profissional

para construir indicadores de avaliação dos cursos da área da Saúde no Brasil.

63

Figura 1: Trabalhos selecionados em 10/03/2015 na base de teses da CAPES utilizaram o Método Delphi como

principal método de execução da investigação.

Fonte: Coletado pelo autor na base dados da CAPES, 2015.

Com base no banco de teses da Coordenação de Aperfeiçoamento de Pessoal do

Nível Superior – CAPES, elaborou-se a Figura 1, onde é possível observar a área de

conhecimento que mais utiliza o Método Delphi em suas investigações é a área de

Enfermagem, com mais de 28% dos trabalhos realizados a partir de 2011. Isso mostra aos

pesquisadores que há um vasto campo de pesquisa que pode ser realizado ou validado por

meio do Método Delphi.

Com os mesmos procedimentos realizados para elaborar a Figura 1, a Figura 2 está

fundamentado com a base de trabalhos científicos que utilizaram o Método Delphi,

cadastrados a partir de 2011 na base de teses da Universidade de Lisboa – Centro de

Documentação Européia da Europa, onde foi possível observar que a distribuição das

frequências de utilização do método é semelhante à do Brasil, sendo diferenciada apenas pela

área da Educação.

Em primeiro lugar, com 23% de trabalhos relacionados com a Saúde Pública,

seguido da Gestão de Sistemas de Informação, com 7%, e Administração e Educação, ambas

com 6% (Figura 2).

Segundo a investigação de Stitt-Gohdes e Crews (2004), a aplicação do Método

Delphi é mais frequente em áreas do conhecimento relacionadas a questões de saúde pública e

educação, pois tratam de fenômenos que estão em constante transformação, gerando uma

64

escassez de referencial teórico, e geralmente o pesquisador é desafiado com novas situações

problemas.

Figura 2: Trabalhos selecionados em 10/03/2015 na base de teses da Universidade de Lisboa – Centro de

Documentação Européia, que utilizaram o Método Delphi como principal método de execução da investigação.

Fonte: Coletado pelo Autor na base de dados da Universidade de Lisboa, 2015.

Quando se realiza um recorte em março de 2015 de teses cadastradas na base da

TDX de Cataluña – Espanha, que adotaram nos estudos o Método Delphi, observou-se que na

Espanha a frequência com que é adotado o método é maior quando comparado no mesmo

intervalo de tempo no Brasil.

É possível observar na Figura 3, que a área de conhecimento que mais utiliza o

Método Delphi é a da Educação, com 22%, seguido de Economia e Medicina, com 19% e

11%, respectivamente.

65

Figura 3: Trabalhos selecionados em 10/03/2015 na base de teses da TDX de Cataluña – Espanha, onde foi

utilizado o Método Delphi como principal método de execução da investigação.

Fonte: Coletado pelo Autor na base de dados da Universidade de Cataluña, 2015.

O método reestruturado proposto neste trabalho pode ser utilizado em estudos com

abordagens qualitativas, quantitativas, ou ambas. Pode ser observado que o Método Delphi é

adotado em diversas áreas do conhecimento científico, pelo mundo todo. Isso é possível

devido às características de adequação do método, que permitem que ele seja utilizado em

muitos procedimentos metodológicos de estudos.

2.2.4. Epistemologia do Método Delphi

Para que o pesquisador se aproprie de uma descrição e reproduza cientificamente um

fenômeno com determinado grau de confiabilidade é necessário que o pesquisador conheça e

distingue os diferentes tipos de conhecimento. Uma metodologia de investigação científica

possui fundamentos filosóficos que distinguem um conhecimento científico dos demais

conhecimentos empíricos, religiosos, teológicos.

O trabalho intitulado On the Epistemology of the Inexact Sciences, de Olaf Helmer e

Nicholas Rescher publicado em 13 de outubro de 1958, citado por Linstone et al. (2002)

apresenta este trabalho como um propulsor do Delphi. Este trabalho mostra a apropriação do

conhecimento sobre a natureza através do conjunto de inteligência humana.

66

Outros trabalhos representados na epistemologia ocidental por John Lockean1,

Gottfried Wilhelm Leibniz2, Immanuel Kant

3, Georg Wilhelm Friedrich Hegel

4 e Peter Albert

David Singer5 seguem, em grande parte, uma estrutura morfológica da filosofia de

sistematização de prospecção de opiniões, a qual é um dos fundamentos do Método Delphi

(LINSTONE et al., 2002). A estrutura de sistematização de prospecção de opiniões anônimas

que estrutura o Método Delphi estimula a reflexão e a imaginação dos especialistas.

Ao buscar compreender o mundo em que se vive, uma das formas é registrar e

analisar cientificamente os fenômenos observáveis. Para que seja possível as pessoas

compartilharem cientificamente as observações e reflexões registradas é necessário seguir

uma metodologia previamente definida antes de iniciar os registros, indicando quais métodos

de análise de registro e validação dos resultados serão adotados no estudo. Os métodos

declarados nos estudos científicos devem ser aceitos e reconhecidos pela comunidade

científica; para que seja possível a aceitação de um determinado método de análise e

validação, é necessário expor a fundamentação filosófica que sustenta a metodologia

(OLIVEIRA, 2012). Entretanto, não é suficiente estimular o revelo de um mundo real através

de eventos externos a nós, ou por meio de um conjunto de dados brutos6 sem antes considerar

as propriedades que caracterizam nossa realidade. É importante que tenhamos a consciência

de que, por mais rica que seja a descrição do fenômeno, não será o suficiente para representar

na íntegra o mundo real. O que temos quando descrevemos parte de um mundo real, é um

modelo estruturado e categorizado com um determinado grau de distorção que depende da

riqueza de detalhes da descrição do fenômeno.

A estrutura filosófica que sustenta o Método Delphi está nos procedimentos de

interação entre os especialistas anônimos e o pesquisador, onde normalmente se busca o

consenso do grupo em relação a um determinado tema.

O consenso do grupo de especialistas representa uma verdade experimental baseada

em experiências próprias e expostas, anonimamente, na forma de opinião para o pesquisador.

Portanto, nos procedimentos metodológicos do Método Delphi, este é o momento em que os

conhecimentos empíricos de cada especialista, através do conjunto de opiniões homogêneas,

passa a ser um conhecimento científico.

1 John Lockean de nasceu em 29/08/1632 e morreu em 28/10/1704. 2 Gottfried Wilhelm Leibniz nasceu em 01/07/1646 e morreu em 14/11/1716. 3 Immanuel Kant nasceu em 22/04/1724 e morreu em 12/02/1804. 4 Georg Wilhelm Friedrich Hegel nasceu em 27/08/1770 e morreu em 14/11/1831. 5 Peter Albert David Singer nasceu em 06/07/1946. 6 Entende-se por dados brutos o primeiro momento após a observação do fenômeno real em que é realizado o

registro organizado destas observações para facilitar o entendimento e as primeiras análises e reflexões do

estudo, estes registros entende-se como registros puros.

67

[...] a verdade é experimental e esta associada totalmente com o seu conteúdo

empírico. Um modelo de um sistema é empírico e medido em termos de nossa

capacidade para reduzir cada proposição complexa para um nível mais baixo, ou

seja, para suas referências empíricas simples, em observações simples [...]. (OKOLI

e PAWLOWSKI, 2004, p. 15)

Segundo Linstone et al. (2002) a base filosófica principal do Método Delphi é o

empirismo defendido por Bacon, Lockean7, Berkeley e Hume onde o processo de avaliação

segue a intuição, síntese, análise e comparação. O empirismo é reconhecido no estudo quando

é assegurado aos especialistas que suas opiniões não serão reveladas individualmente, o que

deixa o especialista à vontade para expor suas opiniões e experiências de vida nos

instrumentos de registros a cada interação assistida e moderada pelo pesquisador.

O empirismo afirma que a razão, a verdade e as ideias racionais são adquiridas por

nós através da experiência. Antes da experiência, dizem eles, nossa razão é como

uma ―folha em branco‖, onde nada foi escrito; uma ―tabula rasa‖, onde nada foi

gravado. Somos como uma cera sem forma e sem nada impresso nela, até que a

experiência venha escrever na folha, gravar na tabula, dar forma à cera (CHAUÍ,

2000, p. 88).

As ideias podem ser classificadas em ideias simples derivadas de experiências

externas, e as ideias internas, derivadas das reflexões (LOCKE, 1978). No momento da

investigação, os especialistas podem instituir consideração inteligível, que pode ser de fácil

apropriação aos demais pesquisadores, por não exigir um procedimento complexo de reflexão.

Para estimular as ideias dos especialistas, é necessário expor, de forma clara e inteligível no

instrumento de registro, o tema proposto no estudo, esse é um cuidado que se deve ter a cada

interação, momento em que ocorre a reformulação dos instrumentos de registro e o envio de

uma síntese das opiniões do grupo de especialistas. É necessário realizar uma pesquisa

exploratória antes do primeiro momento de interação com o grupo. É possível descrever

previamente um fenômeno com maior confiabilidade através de uma pesquisa exploratória,

isso pode orientar o pesquisador no momento de construção dos instrumentos de registros.

As considerações inteligíveis podem ser declaradas no estudo que adota o Método

Delphi no momento em que os resultados da pesquisa relacionada ao tema são apresentados

aos especialistas na primeira interação, a partir disso o pesquisador analisa as opiniões do

grupo de especialistas. O pesquisador, ao analisar as repostas dos especialistas, realiza uma

7 John Lokean propõe, pela primeira vez, uma teoria do conhecimento a qual se torna uma disciplina central da

Filosofia. A base filosófica de Lokean defende o empirismo contra a improvável possibilidade de princípios

inatos na mente, em que inatismo é insustentável para contradizer a experiência (CHAUÍ, 2000).

68

análise estatístico-descritiva dos registros e retorna aos especialistas para a próxima análise,

esse procedimento ocorre interativamente até obter o consenso nas respostas dos especialistas.

A provocação de ideias internas dos especialistas necessariamente será realizada através dos

instrumentos de registros de opiniões, por isso é necessário o instrumento estar fundamentado

metodologicamente e relacionado ao tema de estudo, para que seja possível provocar as

reflexões do grupo de especialistas.

O pesquisador pode apresentar aos especialistas, no segundo momento dos

procedimentos do Método Delphi, uma síntese das ideias simples. As ideias simples formam

as ideias complexas que, por análise, formam as ideias abstratas (LOCKE, 1978). Ao final de

cada interação espera-se encontrar as relações das ideias e novamente encaminha-se, por meio

de uma análise estatístico-descritiva, os resultados aos especialistas para reavaliarem suas

reflexões, com objetivo de encontrar um determinado grau de consenso, através da

comparação aceitável da inteligência humana.

Lockean enfatiza que os procedimentos adotados durante o percurso metodológico é

preconizado em relação à teoria. Pois as opiniões dos especialistas geralmente podem até

mudar o foco de estudo. Baseado nas opiniões dos especialistas é possível ocorrer alterações

nos instrumentos de registros durante os procedimentos metodológicos de investigação.

Conforme Lockean, a cada interação com o grupo de especialistas, os procedimentos

metodológicos devem ser preconizados, e o pesquisador pode considerar um momento para

reformulação dos instrumentos de registros das opiniões do grupo de especialistas. O conjunto

de ideias complexas formado pelas opiniões de cada especialista concebe as ideias abstratas

que sustentam as reflexões do pesquisador (LOCKE, 1978).

Outro pensamento filosófico que fundamenta a maior parte da ciência teórica é o de

Leibniz8, onde é possível observar à característica da verdade ser analítica e o corolário a

verdade do modelo considerando questões internas, ou seja, essas afirmações estão

diretamente relacionadas com os registros puros, sem qualquer viés em relação ao fenômeno

observado. Leibniz apresenta uma distinção entre as verdades de razão e verdades de fato. As

verdades de razão são inatas, onde o pesquisador pode considerar que o ser humano já nasce

com o conhecimento, por outro lado, a verdade de fato é construída pelas experiências que o

ser humano se apropria ao longo do tempo (LINSTONE et al., 2002).

8

Gottfried Wilhelm Leibniz foi um filósofo que estabeleceu uma distinção entre verdades de razão e verdades

de fato.

69

As verdades de razão são inatas. Isso não significa que uma criança, por exemplo,

nasça conhecendo a matemática e sabendo realizar operações matemáticas,

demonstrar teoremas ou resolver problemas nessa área do conhecimento. Significa

que nascemos com a capacidade racional, puramente intelectual, para conhecer

ideias que não dependem da experiência para serem formuladas e para serem

verdadeiras. As verdades de fato são verdades porque para elas funciona o princípio

da razão suficiente, segundo o qual tudo o que existe, tudo o que percebemos e tudo

aquilo de que temos experiência possui uma causa determinada e essa causa pode ser

conhecida. Pelo princípio da razão suficiente – isto é, pelo conhecimento das causas – todas as verdades de fato podem tornar-se verdades necessárias e serem

consideradas verdades de razão, ainda que para conhecê-las dependamos da

experiência (CHAUÍ, 2000. p. 93).

O pesquisador tem três momentos no percurso metodológico do Método Delphi que

a verdade de fato pode ser verificada se está presente em cada especialista. O primeiro

momento, em que o pesquisador verifica a verdade de fato sobre o especialista, é ao analisar o

coeficiente de conhecimento relacionado com o tema. O segundo momento oportunizado para

o pesquisador é ao analisar o coeficiente de competência do especialista, através do auto-

valoração do grau de influência do especialista diante dos seguintes indicadores de

argumentação relacionado ao estudo:

a) Análises de teóricos realizadas pelo especialista;

b) A experiência dos especialistas sobre o tema;

c) Conhecimento de trabalhos referenciados por autores nacionais e internacionais

sobre o tema;

d) O conhecimento próprio do especialista acerca do tema;

e) A intuição do especialista em relação ao tema.

Cada argumento acima é apresentado ao especialista para que seja atribuído um

critério de valorização sobre seu conhecimento. Nos primeiro e segundo momentos o

pesquisador tem o livre arbítrio para definir a quantidade de categorias de respostas e a escala

de valoração, o que será aprofundado no terceiro capítulo.

O terceiro momento que o pesquisador pode avaliar a verdade de fato ocorre durante

os procedimentos de interação, em que o pesquisador tem acesso às opiniões do grupo de

especialistas e realiza as análises estatísticas de tendência central e dispersão dos registros, é

possível verificar quais opiniões destoam das demais.

Portanto, durante os procedimentos metodológicos do Método Delphi, o pensamento

leibniziano busca apresentar as observações dos fenômenos em modelos matemáticos formais

(LINSTONE et al., 2002), e enfatiza a teoria em detrimento dos registros observados.

Entretanto, é necessário observar se o modelo cumpre sua principal função de representar

confiável e satisfatoriamente a realidade do fenômeno em estudo.

70

Na proposta de Leibniz, os modelos tinham dificuldades de representar, com um

determinado grau de confiabilidade, a realidade pelo fato de que, na época, não havia

tecnologia apropriada para desenvolver os cálculos matemáticos necessários para considerar a

dinâmica do fenômeno observado. Com o passar dos anos, a dificuldade com os cálculos

matemáticos foi suprimida com a evolução das tecnologias. A partir da década de 80 as

abordagens qualitativas e quantitativas passaram a crescer conjuntamente (MARTÍNEZ,

2013).

A construção e aperfeiçoamento dos processadores, softwares e hardwares,

possibilitaram aos pesquisadores utilizarem os conhecimentos matemáticos mais

aprofundados nos estudos para representar o mundo real com um determinado grau de

confiabilidade conhecido e controlado pelo pesquisador.

O princípio da causalidade motiva as críticas pelos empiristas, na filosofia de David

Hume, [...], o princípio da razão suficiente é apenas um hábito adquirido por

experiência como resultado da repetição e da frequência de nossas impressões

sensoriais (CHAUÍ, 2000. p. 95).

Contudo, na filosofia empirista, os conhecimentos tinham origem a partir da

experiência e formação de ideias fundamentadas em repetidas experiências passadas (SOBER,

2008). É possível observar que o Método Delphi considera as experiências adquiridas pelos

especialistas no momento em que é realizada a análise do coeficiente de argumentação.

Entretanto, durante todo o procedimento metodológico é acompanhado o grau de

argumentação do especialista, a partir da observação do consenso, realizada a cada interação

com especialistas. O consenso é observado através da avaliação dos indicadores realizada

segundo critérios dos especialistas.

Observa-se que parte dos procedimentos metodológicos do Método Delphi não estão

representados pelo pensamento leibnizianista. Entretanto, muito dos pensamentos e

afirmações sobre o Método Delphi estão relacionados com o pensamento leibniziano

(LINSTONE et al., 2002). O pensamento leibniziano tende a passar apenas uma visão

explícita e rígida de um fenômeno, sem considerar a dinâmica durante as interações que

ocorre no Método Delphi no momento de obtenção dos registros de opiniões dos especialistas.

Uma contribuição derivada da visão de Leibniz é a garantia de uma ordem inicial dos

procedimentos metodológicos que permite a cada estudo a reformulação do Método Delphi.

Diante das citações de Lockean e Leibniz, é necessário considerar inseparáveis a

teoria e os procedimentos de representação dos fenômenos, nas análises dos registros e

71

validação dos resultados, o que corrobora com o pensamento kantiano que é apresentado na

sequência.

O pesquisador, ao supor na investigação o conhecimento empírico, é possível afirmar

que Kant9 considere que a estrutura da razão é construída a partir das experiências, pensando

assim, está cometendo um equívoco, pois a experiência não é causa das ideias, mas é a

ocasião para que a razão, recebendo a matéria ou o conteúdo, formule as ideias. A razão é

estruturada pela forma da sensibilidade, forma do entendimento e forma da razão (CHAUÍ,

2000).

Portanto, é necessário admitir no estudo a dinâmica do fenômeno observado e

considerar que as conclusões estão inacabadas, pois segundo Chauí (2000, p. 96) ―a estrutura

da razão é inata e universal, enquanto os conteúdos são empíricos e podem variar no tempo e

no espaço, podendo transformarem-se com novas experiências e mesmo revelarem-se falsos,

graças a experiências recém-adquiridas‖.

Ao considerar a forma de sensibilidade no Método Delphi, é necessário que seja

construído um texto inicial referenciado e relacionado com o tema, com objetivo de estimular

os especialistas à reflexão. Ao apresentar o texto inicialmente o pesquisador também

proporciona ao especialista a escolha de participar ou não do estudo.

Na visão de Kant, a existência do conhecimento é propiciada pelos conteúdos da

sensibilidade, do entendimento e da razão, concebidos pela experiência. A função da

experiência é regular e controlar a sensibilidade e o entendimento. Do ponto de vista do

conhecimento, portanto, a razão é a função reguladora da atividade do sujeito do

conhecimento. No Método Delphi a razão inicia com a reflexão do especialista diante dos

elementos que compõem o argumento. A partir do entendimento do contexto em que é gerado

o tema, os elementos são apresentados como uma possível proposta de solução, entretanto, os

especialistas também têm a liberdade de complementar ou propor outras soluções. Durante os

procedimentos metodológicos todas as soluções, segundo o critério de avaliação do

pesquisador, podem ser compartilhadas anonimamente entre os especialistas. Esses

procedimentos, realizados no mínimo 3 vezes, podem determinar o consenso das opiniões

geradas pelo grupo (LINSTONE et al., 2002).

O pesquisador, ao compartilhar anonimamente com especialistas as opiniões do

grupo, possibilita a cada especialista refletir sobre sua opinião diante do entendimento que o

9

Immanuel Kant, considerado o último grande filósofo da era moderna, mostrou que, apesar de o conhecimento

se fundamentar na experiência, esta nunca se dá de maneira neutra, pois a ela são impostas as formas a priori da

sensibilidade e do entendimento, características da cognição humana (SILVEIRA, 2002).

72

grupo teve em relação aos indicadores que estão sendo avaliados. No estudo de Chauí (2000)

observa-se que o pesquisador, ao apresentar o resumo das opiniões do grupo, está

proporcionando a cada especialista a possibilidade de ter um referencial a partir de sua

opinião em relação ao universo de especialistas.

O senso de investigação kantiana apresenta a descrição da realidade fundamentada na

teoria científica e no conhecimento empírico (LINSTONE et al., 2002) o que apresenta

diversas visões conclusivas do fenômeno, ao contrário do que afirmam Leibniz e Lockean que

tendem a passar apenas uma visão explícita de um fenômeno. Portando, uma investigação

com senso kantiano apresenta infinitas possibilidades de representações, possibilitando ao

pesquisador assumir uma posição para fundamentar as conclusões nos trabalhos. Entretanto, é

necessário considerar a teoria e os registros do fenômeno inseparáveis para as análises dos

registros. Baseado em Kant, ao realizar alta frequência de registros de um mesmo fenômeno é

necessário indicar uma teoria científica, a priori, independente do quanto seja implícita e

informal a teoria.

Uma investigação kantiana é mais indicada para problemas de difícil formulação,

complexos e sem historicidade (LINSTONE et al., 2002). Para um estudo que admite um

problema complexo e de difícil formulação é importante possuir diversas propostas de

soluções, de modo que seja possível conduzir os procedimentos metodológicos do Método

Delphi até que se obtenha o consenso confiável. Através de uma questão discursiva inserida

no instrumento formulado para a primeira interação com especialistas é possível identificar

outras soluções factíveis.

O Método Delphi está fundamentado na linha de pensamento de Immanuel Kant

através da síntese do racionalismo continental de Gottfried Leibniz, onde se destacam o

raciocínio dedutivo e os pensamentos de John Locke, que valoriza a indução, portanto, é o

que possibilita a compreensão dos procedimentos metodológicos adotados na concepção do

texto que resgata o conhecimento e a influência das reflexões dos especialistas sobre o tema

investigado. Também a linha de pensamento ajuda a esclarecer a importância de estabelecer

inicialmente os elementos estruturantes e os indicadores relacionados ao tema e ao texto

inicial. Também esclarece a importância de possibilitar que os especialistas proponham para o

grupo outros indicadores. E ao final dos procedimentos é possível adotar como verdade as

opiniões a partir do consenso do grupo, isso torna como resultado universal o conhecimento

de cada especialista.

Ao apresentar a epistemologia que fundamenta o Método Delphi, baseado em

Leibniz, Lockean e Kant, é possível observar que os procedimentos metodológicos que

73

conduzem as análises de registros e validação dos resultados estão fundamentados em três

pilares filosóficos.

2.2.5. Conhecimentos estatísticos para triagem

O objetivo desta epígrafe é declarar, de forma elementar, alguns conceitos

estatísticos que podem ser utilizados nos procedimentos do Método Delphi. Os conteúdos

estatísticos possibilitam, no âmbito da quantificação da dispersão e determinação do grau de

confiabilidade, relacionar os resultados de estudos científicos realizados através de

abordagens qualitativas e quantitativas.

Antes da década de 70 os métodos mais utilizados para traduzir de forma sintetizada

os fenômenos eram os métodos de análises de registros qualitativos, pois naquele momento os

pesquisadores não tinham acesso às tecnologias computacionais que facilitavam os cálculos

complexos. Com a construção de novos instrumentos de registros e de maior precisão na

mensuração, outros métodos de análises de registros surgem para auxiliar na compreensão de

fenômenos observados. Um estudo científico se constitui num processo interativo de

aprendizado que, ao mesmo tempo, busca descrever e entender fenômenos reais e

observáveis, caracterizados por meio de amostragem ou experimentação, e que ao fim do

trabalho não garante a descrição na íntegra do fenômeno observado (PASQUALI, 1996).

Por um período curto entre as décadas de 70 e 80, com os avanços computacionais,

os métodos de análises de registros quantitativos foram os mais utilizados nos estudos

científicos e tinham uma característica própria dos métodos que é quantificar a confiabilidade

da representação do fenômeno nas análises que, por consequência, possibilitam ao

pesquisador controlar o grau de confiabilidade e realizar inferências nas pesquisas com

abordagem quantitativa. Entretanto, os métodos quantitativos não conseguiam traduzir e

sistematizar os fenômenos que eram descritos com profundidade e riquezas de detalhes como

as emoções, percepções, entre outras reações dos sujeitos, e a partir da década de 80 os

métodos de análises de registro qualitativo assumem o mesmo grau de importância que os

métodos quantitativos para os estudos científicos.

É possível observar atualmente uma tímida, mas crescente utilização pelos

pesquisadores de ambas as abordagens quantitativas e qualitativas em um estudo científico,

por entender que isto contribui significativamente para a qualidade do estudo, quando

comparado com estudo que contém somente uma abordagem qualitativa ou quantitativa. A

utilização de ambos os métodos depende muito de pesquisadores que dominam ambas as

abordagens, pela complexidade de ambas as abordagens é difícil encontrar pesquisadores que

74

dominam os métodos qualitativos e quantitativos, o que geralmente gera uma rejeição, pelo

pesquisador, por uma ou outra abordagem metodológica. Mas isto está sendo superado por

grupos de estudos interdisciplinares que contêm pesquisadores, que acabam por trocar

experiências, gerando estudos científicos de alta qualidade com ambas as abordagens.

A Ciência que se destacou com os avanços das tecnologias computacionais foi a

Estatística, que contribui significativamente em diversos estudos científicos que realizam as

análises dos registros através de métodos quantitativos. É possível observar que os conteúdos

estatísticos estão sendo utilizados cada vez mais em diversos setores privados ou públicos,

como nas escolas, faculdades, universidades, empresas, organizações, institutos, entre outros

setores. Mesmo com a frequente utilização dos conteúdos estatísticos em diversas áreas do

conhecimento é notório, em todos os níveis de formação, o desconhecimento da real

contribuição que os métodos quantitativos podem oferecer para os estudos científicos. O

desconhecimento é observado na relação entre os métodos qualitativos e o fenômeno

observado, muitas vezes o pesquisador não fica atento aos pressupostos que são exigidos

pelos métodos quantitativos no momento de interpretar os resultados dos testes. Os

pressupostos dos métodos quantitativos estão relacionados com o comportamento do

fenômeno observado. Quando os pressupostos dos métodos quantitativos não são atendidos,

os resultados das análises, ―nem de longe‖ representam adequadamente o fenômeno

observado, influenciando e distorcendo as conclusões (TOLEDO e OVALLE, 1995;

PASQUALI, 1996).

Em diferentes áreas são utilizados os conhecimentos estatísticos para registrar,

organizar e fundamentar as conclusões e tomadas de decisões, entretanto, frequentemente

observa-se o desconhecimento e ausência nos trabalhos científicos da declaração dos

pressupostos que validam a utilização dos métodos. Frequentemente observa-se a ausência

dos referenciais teóricos que sustentam as análises quantitativas realizadas nos trabalhos

científicos.

A Ciência que trata de organizar, reformular e construir métodos quantitativos é a

Estatística. É possível observar o significado técnico para a palavra estatística no plural e no

singular. No plural, estatísticas indicam qualquer coleção consistente de registros numéricos,

reunidos com a finalidade de fornecer informações acerca de uma atividade qualquer, por

exemplo, estatísticas demográficas (nascimento, falecimentos, matrimônios, etc.) (COX,

1992; COCHRAN, 1977). No singular, a palavra estatística indica atividade humana

especializada ou um corpo de técnicas, metodologia desenvolvida para registros dos

fenômenos, classificação, apresentação, análise e interpretação de dados quantitativos e

utilização desses dados para uma tomada de decisões (FONSECA, MARTINS e TOLEDO,

75

1985). Na pesquisa quantitativa é comum observar a contribuição da Estatística com a

disponibilização de diversos métodos quantitativos para amostrar, organizar e analisar os

registros dos fenômenos.

Análise estatística pode ser adotada nos procedimentos metodológicos na forma

descritiva e/ou indutiva. Análise estatística descritiva tem como objetivo fundamentar a

observação e registros dos fenômenos, a organização e a classificação das características

observadas e a sua apresentação através de gráficos e tabelas, além dos cálculos de

coeficientes (estatísticas) que permitem descrever resumidamente os fenômenos (DRAPER e

JOHN, 1981; MONTGOMERY, 1991). A Análise Léxica é o método quantitativo de análise

de registro semelhante à Análise do Conteúdo, uma abordagem qualitativa. As análises

léxicas consistem em classificar sistematicamente as palavras que formam o texto em grupos

de palavras (FREITAS e MOSCAROLA, 2000), e posteriormente são realizadas as

estatísticas descritivas para interpretação dos registros.

Nas abordagens quantitativas ou quanti-qualitativas a Estatística Indutiva é um

processo de generalização, a partir dos resultados particulares, ou seja, partindo da análise de

uma amostra são obtidas conclusões representativas à população, entretanto, o processo de

generalização está associado a um grau de incerteza, por estar trabalhando com uma parte

representativa do fenômeno observado e não na sua totalidade (MONTGOMERY e PECK,

1982; MONTGOMERY, 1991). Os estudos com abordagem quantitativa geralmente têm

objetivo de realizar inferências em populações a partir de resultados obtidos das amostras.

Frequentemente são observadas as extrapolações sendo realizadas em estudos de processos

industriais, fenômenos físicos, biológicos ou sociais. Quando o pesquisador não tem acesso à

população inteira para realizar os registros, devido ao custo, tempo, questões geográficas,

entre outras barreiras, a opção é amostragens probabilísticas e, a partir disso, obter resultados

confiáveis para realizar inferência na população.

O pesquisador, ao registrar a intensidade de uma grandeza escalar efetiva de um

caráter variável10

em cada um dos objetos ou pessoas observadas, obtém uma variável. Por

exemplo, ao registrar a idade das pessoas ao morrer, a estatura ou peso dos indivíduos, o

rendimento das famílias em uma grande cidade, etc., estará obtendo um resultado. Estes

resultados numéricos podem ser expressos através de variáveis nominais, ordinais, discretas

ou descontínuas e contínuas (MATTAR, 2001). Na abordagem quantitativa, a primeira

10 Entende-se por variável o registro em determinada grandeza escalar de qualquer características mensurável de

fenômenos possíveis de serem observados. Para efeito de análises estatísticas, a variável assume a posição das

colunas na matriz.

76

característica que vai conduzir para um determinado método de análise de registro é o tipo de

variável que está sendo observada no estudo.

A variável nominal é conhecida pela característica de não ser possível realizar

operações matemáticas e são empregadas para atribuir nomes ou qualidades aos sujeitos. A

variável de escala nominal é a de mais baixo nível de mensuração. Utiliza símbolos, ou

simplesmente números, para distinguir elementos em diferentes categorias. Geralmente não

tem possibilidades de comparação de ordem crescente ou decrescente. Por exemplo:

Masculino (M), Feminino (F); Perfeito (1), Defeituoso (0); Europeu (1), Americano (2),

Africano (3), Asiático (4) (SIEGEL, 1975).

Outra variável é a ordinal, geralmente utilizada para atribuir um ordenamento nas

observações. A variável de escala ordinal utiliza números apenas para classificar elementos

numa ordem crescente ou decrescente. Existe algum tipo de relação entre as categorias,

embora a diferença entre elas seja de difícil quantificação, exemplificando, classes sociais (A,

B, C, D, E); patentes do Exército Brasileiro (soldado, cabo, sargento, etc.); opinião sobre um

determinado atendimento (Ruim, Regular, Bom, Muito bom, Excelente) (SPIEGEL, 1970). A

variável discreta é uma variável que é descrita por serem valores inteiros não negativos e

muito utilizada para realização de contagem.

A variável contínua pode ser descrita como sendo um valor contido em um intervalo

escalar, que pode assumir infinitos valores. A variável contínua possibilita a utilização de

sofisticados métodos quantitativos de análises de registros. Portanto, segue a definição a

seguir: formalmente, diz-se que X é uma variável contínua quando, ao passar de um valor real

a para outro valor real b, pode assumir todos os valores intermediários entre a e b. Por

exemplo, números de metros percorridos por um atleta durante certo período de tempo em

uma pista circular.

Equivalente à escala intervalar tem-se a escala de razão, porém o valor zero é o

verdadeiro ponto de origem, ponto de nulidade, ou seja, ponto conhecido. Importante a ser

observado é que, nas escalas de razão, um valor de "2" efetivamente indica uma quantidade

duas vezes maior do que a do valor "1", e assim por diante, por exemplo, a velocidade, tempo

(KAZMIER, 1982).

Também nos métodos quantitativos no momento de decomposição da variação dos

registros é necessário o pesquisador definir as dependências e as independências das

variáveis. Denomina-se por variável independente aquela cuja modificação se supõe poder

produzir uma modificação num dado comportamento observável (variável dependente ou

variável de resposta). Por exemplo, determinar a relação entre o número de erros na atividade

laboral (variável dependente) e o número de treinamentos (variável independente) realizados

77

nos funcionários; determinar o efeito do álcool sobre os reflexos motores (GOMES, 1990). A

mensuração da variável resposta pode ser realizada em escalas nominal, ordinal e razão

(MORETTIN e BUSSAB, 2002).

Medidas de tendência central são conhecidas como médias aritméticas, geométricas,

harmônicas, quadráticas, entre outras, têm a função de descrever resumidamente uma

distribuição de frequências. Portanto, apresentando o valor que melhor represente o conjunto

de dados (STEVENSON, 1986). Este conjunto de dados é formado por repetições da variável

de interesse, possibilitando verificar a dispersão dos dados, indicando a qualidade da medida

de tendência central.

A média aritmética de um conjunto de números é igual ao quociente entre a soma dos

valores do conjunto e o número total de valores. Esta medida é frequentemente utilizada em

diversos cálculos, e o cuidado que se deve ter com esta medida é verificar o quanto os valores

extremos estão influenciando a média (LEVIN, 1987).

A mediana também é uma medida de posição central, obtida pelo valor que separa os

dados ordenados em duas partes iguais, metade dos dados tem valores maiores do que a

mediana, a outra metade tem valores menores do que a mediana. Há conjuntos de dados em

que a média aritmética ou a mediana não é uma medida de tendência central que represente

adequadamente os dados, o que pode ser explicado pela elevada variabilidade das variáveis ou

altas frequências de um determinado valor. Nestas condições sugere-se a moda (LEVIN,

1987; CALLEGARI-JACQUES, 2003).

A moda é obtida pelo valor que ocorre com maior frequência em um conjunto de

dados. Observa-se que as medidas centrais, mediana e moda não levam em conta valores

extremos, portanto, seus parâmetros não são influenciados por valores discrepantes (COX,

1992).

Um aspecto importante no estudo descritivo de um conjunto de dados é a verificação

da variabilidade ou dispersão dos dados, em relação à medida de localização central da

amostra (BARNETT e LEWIS, 1994). Variados métodos utilizados na Agronomia dependem

da dispersão dos dados. Em outros, porém, a representatividade da média associa-se a uma

medida de dispersão. Algumas medidas são: amplitude total, desvio padrão e coeficiente de

variação.

A medida de dispersão mais simples de ser obtida é amplitude total. Esta medida é

indicada para dados com dispersão acentuada. Para obter uma medida da variabilidade ou

dispersão na mesma escala de mensuração dos dados, tomamos a raiz quadrada da variância e

obtemos o desvio padrão. As características contidas no desvio-padrão são as seguintes: pode

assumir somente valores positivos, quanto maior mais dispersos os dados (MATTAR, 2001).

78

Uma vantagem é que considera todos os valores, portanto, não há perda de

informação. Esta medida possibilita avaliar a qualidade do conjunto dos dados. É frequente

em experimentos agrícolas, a comparação entre dois conjuntos de dados. Entretanto, quando a

dispersão dos dados é elevada, dificulta a aplicação dos testes estatísticos paramétricos.

Quando o interesse do pesquisador é comparar a dispersão/desvios padrão de

diferentes conjuntos, geralmente utiliza o Coeficiente de Variação (CV), por exemplo, o

pesquisador tem objetivo de conhecer e comparar a variação entre altura das mulheres e dos

homens (BARROS e SCARMINIO, 2001). Este método para comparar a dispersão dos dados

é frequentemente utilizado em pesquisas experimentais. Entretanto, é necessário verificar se

as condições em que se obtiveram as variáveis de interesse são semelhantes, para justificar

uma possível diferença existente. É importante salientar que a dimensão dos CVs depende da

natureza da variável resposta. Os CVs encontrados em variáveis geradas em ambientes

controlados, dependendo da natureza da variável, em geral é inferior aos encontrados em

variáveis em ambientes não controlados (DRAPER e SMITH, 1981).

A identificação das características e tipo da variável envolvida nos estudos delimita a

quantidade de métodos de análises possíveis de serem utilizados. A partir de identificados os

métodos que podem ser utilizados, o pesquisador pode definir através da experiência o

método de análise mais adequado aos registros dos fenômenos. Portanto, para aumentar a

precisão das análises, bem como realizar conclusões realísticas é necessário que o pesquisador

conheça a natureza e as relações entre as variáveis que ajudam a descrever o fenômeno de

interesse.

Outro ponto a ser verificado é o relacionamento entre as variáveis que

frequentemente é inevitável em virtude da natureza única das variáveis, isto leva à

simplificação, muitas vezes grosseira, com a finalidade de facilitar ou tornar viável a análise

dos registros. Para analogia entre as variáveis de forma sistêmica, procura-se a relação causa e

efeito entre as variáveis. Em geral, as diferenças existentes entre grupos ou populações de

interesse não estão sendo explicadas apenas por uma variável e sim por um conjunto delas,

podendo esta relação ser explicada através de modelos matemáticos. O estudo de uma única

variável indica um determinado método quantitativo de análise, ao considerar mais variáveis

relacionadas à variável de interesse, outros métodos de análises podem ser mais indicados,

entretanto, isto somente é possível se existir interação entre as variáveis.

Portanto, para iniciar um estudo científico é necessário que o pesquisador conheça as

características do fenômeno observado e das variáveis que as representam para delimitar os

possíveis métodos de análises dos registros.

79

2.2.6. Contribuições do Método Delphi

Desde a década de 50, após a fundação da RAND pela Força Aérea dos Estados

Unidos (USAF), que o do Método Delphi tem aumentado sua aplicabilidade nos estudos

científicos, ao mesmo tempo vem sendo reformulado para atender as necessidades específicas

de cada estudo. Os primeiros estudos da RAND foram para atender as estratégias militares,

mais tarde, RAND se tornou independente da USAF, mas nos dias atuais continua sendo uma

ferramenta estratégica do Governo Federal Americano. Em diversos planos estratégicos do

Governo Americano é utilizado pela RAND o Método Delphi para subsidiar as tomadas de

decisões.

A RAND aborda nos seus planejamentos investigações em programas de pesquisas

voltados para as áreas militar, educação, saúde, justiça, população americana, trabalho,

segurança nacional, meio ambiente, infraestrutura, Europa e Austrália, é possível observar nas

investigações abordagens quantitativas e qualitativas, sendo comum a utilização do Método

Delphi para prospecção de informações e análises. Nas áreas militares terrestres são

realizados estudos pela RAND com objetivo de construir indicadores para contribuir para

operações de combate e otimizar ações dos soldados. Nas forças áreas militares, os

especialistas da RAND se dedicam aos estudos que caracterizam as forças áreas militares de

outros países, e com base nestas informações buscam parcerias de segurança para minimizar

os riscos de acesso aos espaços aéreos em tempo de paz. Os estudos também auxiliam em

realizar planejamento para estruturar as instalações militares e acordos com nações parceiras

(RAND, 2015).

Atualmente os estudos realizados na Austrália têm objetivo de elencar indicadores

para sustentar os planejamentos relevantes para a política australiana. A RAND direciona as

investigações científicas para as ações de defesas militares, reconhecendo a real força aérea

australiana, a infraestrutura física. As investigações científicas na política australiana também

contemplam as áreas da saúde, educação, energia e meio ambiente, ciência e tecnologia.

Na esfera da Saúde, RAND possui um dos maiores grupos de investigação

independentes de saúde em todo o mundo. Por mais de 45 anos, os pesquisadores da saúde

vêm realizando estudos com objetivo de criar e monitorar indicadores para a formulação de

políticas de saúde nos Estados Unidos e em outros países (RAND, 2015).

Os estudos no campo da Justiça, Infraestrutura e Meio Ambiente têm como objetivo

propor soluções para o público de forma geral e tomadores de decisão dos setores privado e

público dos Estados Unidos, incluindo a justiça penal e a civil; segurança pública; recursos

ambientais e naturais, políticas; energia, transportes, comunicações e as demais infraestruturas

80

físicas; e a segurança interna (RAND, 2015). Através dos métodos de prospecção os estudos

têm o objetivo de fortalecer a segurança nacional que combate o terrorismo através da

identificação e caracterização de potenciais candidatos a serem terroristas (RAND, 2015).

Na Europa, em geral os estudos têm como objetivo identificar indicadores relevantes

para o mercado financeiro e para a política de desenvolvimento (RAND, 2015). O Método

Delphi tem contribuído significativamente para planejamentos estratégicos nas áreas

militares, políticas e empresariais. É comum estudos que compõem um planejamento

estratégico não serem publicados por se ajustar a conhecimentos estratégicos e vitais para as

áreas supracitadas.

No âmbito da Educação, a Organização RAND tem mais de 70 especialistas em

diversas áreas do conhecimento com investigações patrocinadas por agências governamentais,

fundações, organizações do setor privado e pela Fundação Bill e Melinda Gates. As

investigações abordam todos os estados americanos, que atualmente estão implementando

novas reformas ousadas para melhorar o ensino, visando maior aproveitamento dos alunos,

aumento das taxas de formação, com qualidade, nos diferentes níveis de ensino (RAND,

2015).

No contexto da Educação, internacionalmente, o Método Delphi é utilizado com

muita frequência com objetivo de reformular os currículos dos cursos, aumentar o índice de

qualidade e aproveitamento nas instituições de ensino pelos gestores. No Brasil, isso também

acontece, mas com uma frequência menor na Educação, entretanto, na área da Enfermagem,

os pesquisadores têm utilizado frequentemente o Método Delphi para estruturar o currículo

dos cursos de Enfermagem em todos os níveis de formação, isso também está ocorrendo nas

mais diversas áreas do conhecimento, em especial, na Educação (MARTINEZ, ZÚÑIGA,

SALA e MELÉNDEZ, 2012). Silva e Tanaka (1999) apresentam diversos estudos no âmbito

da Enfermagem que contribuíram no processo de ensino e aprendizagem.

No âmbito da Educação, o método tem sido utilizado para definir indicadores de

capacidades e habilidades para sustentar a formação dos objetivos de competências inseridos

nos Planos Curriculares dos Cursos.

No México, duas instituições autônomas, a Universidade de Chiapas (UNACH) e a

Universidade Tabasco (UJAT) apresentaram um trabalho na UNESCO11

para avaliar os

indicadores de qualidade dos Programas em Educação a Distância. Inicialmente na

investigação foi realizada uma pesquisa exploratória primária e secundária, chegando a 103

11 Organização das Nações Unidas para a Educação a Ciência e a Cultura cria a Cátedra UNESCO de Educação

a Distância, estabelecida na Universidade de Brasília em 1994, com objetivo de estimular a reflexão sobre

políticas públicas de educação e o acesso livre ao conhecimento científico como bem público.

81

fatores relacionados à qualidade do ensino a distância e, posteriormente, através do Método

Delphi foi realizada uma investigação com 30 especialistas na área de conhecimento em

Ensino a Distância (EaD), onde foi possível propor um conjunto de ações nas áreas

tecnológica, pedagógica, administrativa e na infraestrutura e recursos humanos e materiais

para melhor gerir o Programa em Educação a Distância (MARTINEZ, ZÚÑIGA, SALA e

MELÉNDEZ, 2012).

Buscando propor soluções para construção e análise de cenários prospectivos

aplicadas ao planejamento em Educação a Distância (EaD) no Brasil, o estudo de Ribas

(2013) realizou um pesquisa exploratória que apontou para 20 fatores que influenciam no

processo de ensino e aprendizagem dos alunos. A partir disto, o pesquisador adotou o

Método Delphi nos procedimentos metodológicos para fundamentar a definição dos

indicadores de qualidade que contribuam para monitoramento da EaD. Seguindo com os

procedimentos do método, após duas interações, com o grupo contendo 12 especialistas, foi

possível observar o consenso dos seguintes indicadores: gestão, orçamento e finanças,

infraestrutura de apoio, tecnologia, e pesquisa e desenvolvimento relacionados a alunos,

professores, direção e Governo Federal/MEC e são fatores que influenciam decisivamente no

processo de ensino e aprendizagem a distância (RIBAS, 2013).

Portanto, é possível observar que se torna mais comum o aproveitamento do Método

Delphi no âmbito da Educação, pois,

[...] o método permite estudar, dentro do campo da educação, diferentes aspectos,

como: criação e validação de instrumentos de coleta de dados; identificação de

perfis profissionais; identificação de demandas, necessidades e tendências no campo

educacional; e avaliação de cursos, currículos e sistemas avaliativos. É uma

ferramenta valiosa para estudos de avaliação, de planejamento e de elaboração de

políticas educacionais. Por certo, são dimensões fundamentais para o

desenvolvimento da educação em qualquer nível, estrutura ou sociedade [...] (ANTUNES, 2014. p. 65).

Atualmente, as pesquisas científicas realizadas na educação brasileira contam com

diversos métodos de análises de registros, com abordagens qualitativas, quantitativas ou

ambas. O método que se destaca na Educação na área da saúde é o Método Delphi, este tem

apresentado resultados promissores em estudos de estruturação e avaliação dos cursos, por

exemplo, Planejamento Educacional e Políticas Educacionais (ANTUNES, 2014). Em vários

trabalhos é registrada a facilidade de aplicação em pesquisas na área da Educação com

resultados bons.

82

É possível observar estudos científicos encontrados nos repositórios de teses de

Portugal e Espanha, com frequentes abordagens nos métodos qualitativos em primeiro lugar,

seguido dos quanti-qualitativos no contexto da Educação em Ciências e Matemática.

Nos estudos com ambas as abordagens de métodos qualitativos e quantitativos

verificam-se a presença de plano amostral, análise estatística descritiva e outros métodos

complexos de análises de registros quantitativos fundamentados nas teorias da Estatística.

Também nos mesmos estudos observados estão presentes as análises qualitativas com ênfase

na interpretação subjetiva dos indivíduos, com delineamento do contexto do ambiente de

pesquisa, com abordagens semi-estruturadas, análise de discurso, interpretativa, com

múltiplas fontes de evidências e uma densa descrição do fenômeno observado. Portanto,

abordagens quali-quantitativa estão sendo amparadas para aumentar a confiabilidade dos

resultados e tornar mais realísticas as conclusões dos estudos científicos.

O Método Delphi pode ser encontrado em estudos realizados no Brasil e no exterior

que utilizaram ambas as abordagens quali-quantitativa, é possível observar que estudos desta

natureza têm contribuído significativamente para políticas públicas dos países.

Uma situação observada em diversos pesquisadores da Educação é a dificuldade,

diante da diversidade de métodos, em definir as técnicas de análises dos registros e de

validação dos resultados, considerando a relação entre observar, registrar, organizar, analisar,

compreender e refletir sobre as observações realizadas no mundo real. Estes fatores

influenciam significativamente os procedimentos metodológicos a serem adotados no estudo.

Diante das barreiras que o pesquisador tem no momento de definir os procedimentos

metodológicos, o Método Delphi se apresenta como uma opção favorável, pois possui

características que possibilitam sua aplicabilidade em diversos estudos no contexto da

Educação.

Quando o pesquisador não dispõe de referencial teórico, de informação, de

conhecimentos relacionados ao tema em estudo, o método é indicado no início do estudo para

prospecção de informações, que contribui para uma melhor compreensão do fenômeno que,

por consequência, contribui para um planejamento coeso.

No âmbito da Educação em Ciências e Matemática, o método é indicado para temas

com alto aporte teórico disponível, onde o objetivo é verificar se as informações publicadas

estão atualizadas, a partir de prospecção de opiniões de especialistas para confrontar com os

referenciais disponíveis, gerando novas discussões e possivelmente outros resultados.

Também é possível a partir do Método Delphi estruturar ou reestruturar bases de dados e

outras fontes de informação que possam sustentar o estudo, a partir das opiniões dos

especialistas. Com o método proposto é possível determinar o melhor método para realizar

83

análises, como foi possível observar no estudo sobre metodologias para seleção de métodos

de previsão de demanda na área de Engenharia de Produção (LEMOS, 2006).

O Método Delphi tem contribuído para propor indicadores de qualidade para cursos

de diversas áreas do conhecimento. A partir dos indicadores é possível avaliar o desempenho

dos cursos em diferentes níveis da Educação. É possível observar a contribuição do método

no estudo de Paixão et al. (2014) que tem como título ―Avaliação de Mestrados Profissionais:

Construção e Análise de Indicadores à Luz da Multidimensionalidade‖, com objetivo de

identificar indicadores de impacto nos cursos de mestrados profissionais no Brasil. Para

atingir o objetivo utilizou-se o Método Delphi com três interações sobre 80 autores e

pesquisadores com trabalhos publicados sobre Mestrados Profissionais, 48 Coordenadores de

Área da CAPES, e 101 Coordenadores de cursos de Mestrado Profissional, totalizando 229

especialistas que participaram do estudo. Ao final do estudo foi apresentada, qualitativamente,

uma lista com critérios e impactos na qualidade do processo ensino e aprendizagem a serem

avaliados, como por exemplo, a produção técnica, acompanhamento profissional do egresso,

aplicabilidade dos projetos de pesquisa, execução técnica, publicação em periódicos de cunho

técnico, intercâmbios, parcerias, colaborações com outras instituições de ensino e pesquisa,

parcerias com empresas e organizações profissionais que auxiliarão na avaliação dos cursos.

A partir desta lista, foram construídos indicadores quantitativos de avaliação baseados na

proposta de Sander (1995) para monitorar o processo ensino e aprendizagem dos Mestrados

Profissionais. O estudo de Paixão et al. (2014) apresenta inúmeras possibilidades de

contribuir com o processo ensino e aprendizagem através da apropriação do consenso crítico

dos especialistas da área da Educação por meio do Método Delphi (PAIXÃO et al., 2014).

Portanto, o pesquisador, ao concluir uma investigação na área da Educação, independente da

abordagem sendo qualitativa, quantitativa ou ambas, tem a possibilidade de validar os

resultados do estudo através do Método Delphi. A validação de estudos na área da Educação é

possível a partir da construção de indicadores relacionados com a investigação, para verificar

a coerência da proposta conclusa do trabalho. Um exemplo de indicadores que podem ser

utilizados para avaliar a coerência do estudo: problema, objetivo geral, metodologia e

resultados alcançados. A partir do momento que o pesquisador define e contextualiza os

indicadores do estudo, é possível avaliá-los através do Método Delphi.

A Educação Superior Internacional e Brasileira têm perspectiva de alcançar nas

próximas décadas maiores crescimentos econômicos, diminuir as desigualdades sociais,

garantir o acesso da população às universidades. As perspectivas da Educação Superior são

para serem alcançadas com qualidade, considerando os seguintes indicadores: os princípios

políticos, relações internacionais, cooperação institucional e organizacional, equidade,

84

empregabilidade, subsídios de permanência, com responsabilidade social, oferta e formação

sustentável (RIBEIRO, 2010).

O estudo de Ribeiro (2010) exemplifica mais uma contribuição do Método Delphi

para a Educação, realizado com base em documentos selecionados da Organização das

Nações Unidas para a Educação, a Ciência e a Cultura (UNESCO) e Organization for

Economic Co-operation and Development (OECD). Após a análise de conteúdo dos

documentos selecionados, foram encaminhados a especialistas para exprimirem suas opiniões.

O Método Delphi também foi adotado em projetos de combate ao uso de drogas em

1974, nos Estados Unidos da América, onde participaram 38 especialistas. Deste estudo foi

identificado que é necessário propor projetos de políticas públicas relacionadas com a

Educação que preveem o combate ao uso de drogas. O projeto previu o constante

monitoramento de metas relevantes e passíveis de serem alcançadas no período de 3 anos,

para novamente ser avaliado.

Um estudo realizado em 1983, patrocinado pela Generalitat de Catalunya, tinha o

objetivo de prever, até 1995, quais os setores industriais seriam os mais relevantes e suas

demandas. O instrumento de registro foi formulado para captar respostas em termos de

probabilidade, datas, porcentagem, prioridade ou notas relevantes. Estas informações

nortearam as políticas públicas da Espanha por décadas.

O Método Delphi tem sido adotado por pesquisadores que realizam estudos para

definir políticas públicas de grandes cidades, a título de exemplo, Paris ou Madrid. Em 1988,

estudo patrocinado pela Câmara de Comércio e Indústria de Madrid, teve como objetivo

prever, até o ano de 2000, fatores relacionados com infraestrutura física, as localizações dos

órgãos públicos para atender os diversos setores empresariais. Outro objetivo deste estudo foi

prever a participação econômica e produtiva dos diversos setores empresariais e os futuros

gestores públicos e privados. Os especialistas que participaram deste estudo foram

selecionados de entidades de planejamento, economistas, sociólogos, gestores da

administração pública, de instituições de ensino público e privado.

Atualmente há estudos que adotaram o Método Delphi, conduzidos pelo Ministério

das Minas e Energia com o objetivo de identificar fatores que contribuem para o

desenvolvimento social e energético, tendo como foco a Amazônia. O objetivo maior do

Ministério das Minas e Energia é propor planos de ação para formulação de política

energética brasileira voltada para a Amazônia. Também tem outros estudos conduzidos pela

Fundação Instituto de Administração da FEA/USP, com o tema ―Terrorismo e Globalização‖,

que aborda fatores relacionados aos impactos dos atentados, fechamento das fronteiras,

85

xenofobia, conflitos regionais, entre outros, com objetivo de propor soluções que garantam

um mundo mais confiável e seguro, e globalizado.

Portanto, adotar o Método Delphi contribui significativamente para estudos nacionais

e internacionais na gestão da área da Educação, independente de sua especificidade. Os

estudos que utilizam o método têm origem com maior frequência na Europa e América do

Norte. As pesquisas científicas realizadas na educação brasileira contam com diversos

métodos de investigação, mas também é adotado o Método Delphi para prospecção de

informação, com resultados promissores no âmbito da Educação e da Saúde. Além de

resultados validados em estudos no âmbito da Saúde, é também observada a facilidade de

utilização do método em pesquisas no domínio da Educação, com resultados validados e

relevantes.

2.2.7. Método Delphi: Vantagens e Desvantagens

O Método Delphi possibilita que especialistas que não apresentam historicamente uma

relação adequada entre si, possam participar do mesmo estudo anonimamente (LINSTON et

al., 2002). Portanto, o histórico de relações impróprias entre os especialistas não influencia os

estudos devido ao fato de que os procedimentos são geridos por uma terceira pessoa. Um fator

que contribui para a investigação é o anonimato dos especialistas, mantido pelo pesquisador,

que permite que as opiniões não sejam influenciadas pela presença dos outros especialistas

que participam da investigação. E, por fim, outro fator relevante para possibilitar a

participação do especialista no estudo é a competência de fornecer anonimamente opiniões

sobre o tema investigado.

A estrutura física disponível para estudo não influencia no número de especialistas

envolvidos, pois as comunicações podem ser realizadas virtualmente através de correio

eletrônico ou por formulário encaminhado pelo correio, esta última opção praticamente não é

mais utilizada devido à disponibilidade e abrangência da internet (LINSTONE et al., 2002). O

pesquisador somente precisa ter disponível um computador e acesso à internet para uma boa

condução dos procedimentos metodológicos do Delphi. Outra vantagem em relação ao não

uso de uma estrutura física para reunir os especialistas é que propicia a reflexão individual e

coletiva sobre os temas tratados, sem as desvantagens que as reuniões presenciais costumam

apresentar – principalmente o predomínio de opiniões individuais em detrimento das opiniões

dos demais especialistas e do grupo – além das dificuldades de organização e dos custos que

surgem durante a realização dos procedimentos metodológicos. O tempo para obter resultados

depende dos especialistas envolvidos em responder os questionários objetivos. Devido ao uso

86

da internet, o custo e o tempo dos procedimentos metodológicos são fatores que contribuem

para que o pesquisador adote o Método Delphi nos estudos científicos. O uso das tecnologias

computacionais, em conjunto com a internet permitem flexibilidade aos especialistas, pois

não precisam se restringir a datas e horários ou mesmo à localização para responderem os

questionários. A contribuição que o contato presencial pode proporcionar ao estudo pode ser

superada por um bom planejamento nos procedimentos de comunicação (LINSTONE et al.,

2002).

Atualmente os repositórios de estudos disponibilizam informações que facilitam o

contato com os especialistas. Necessariamente o pesquisador estabelece um meio de contato

com os especialistas que seja eficiente, de modo que contribua para os procedimentos

metodológicos do estudo científico que adota o Método Dephi (Figura 4).

Figura 4: Representação de uma interação do pesquisador com especialista de qualquer região.

Fonte: Acervo do Autor, 2015.

87

Como a interação pode ser realizada virtualmente, por carta ou por telefone, possibilita

que o pesquisador insira nos estudos especialistas que tenham um alto grau de competência

referente ao tema de interesse do pesquisador, possibilitando que os especialistas pertençam a

qualquer região, organização, formação e de contexto sócio-político (Figura 4). A

heterogeneidade entre os especialistas contribui para garantir a confiabilidade dos resultados,

pois evita a origem de subgrupos homogêneos que podem inviabilizar os resultados.

A heterogeneidade entre os especialistas propicia a coesão de conceitos e visões entre

especialistas e, consequentemente, a uma interação de conhecimentos de origem de diversos

setores, organizações e visões que estes normalmente representam.

A diversidade de especialistas com conhecimento sobre o tema agrega conhecimento

ao estudo, através das respostas e pelos próprios procedimentos metodológicos que contêm as

rodadas, que permite a reformulação e o aprimoramento das questões formuladas que

incorporam esforço de reflexão e opiniões dos especialistas nos temas tratados.

O Método Delphi tem a vantagem de ser possível sua adoção em estudos que não

dispõem de dados históricos e a falta de dados quantitativos para representar o objeto de

estudo (LINSTONE et al., 2002). Também não requer conhecimentos aprofundados de

Matemática ou da Estatística para adotar o Método Delphi nos procedimentos metodológicos

do estudo.

De acordo com estudo de Oliveira et al. (2008), o método atende as expectativas de

um estudo em rede, ao invés de estudos de características hierárquicas. Pois, o anonimato

entre os especialistas e a condução ao consenso através das interações favorece um estudo

interativo o qual permite que as opiniões sejam compartilhadas, a cada interação, permitindo

que o especialista reformule a sua opinião espontaneamente.

A cada interação ocorre um aprendizado entre os especialistas, sem que seja preciso

expor a sua identidade.

Outra vantagem é observada quando o pesquisador constrói um instrumento de

registro objetivo e auto-explicativo, isso torna a resposta menos dispendiosa, exige menor

habilidade para aplicação, pode ser enviado pelo correio eletrônico ou tradicional, ou entregue

à mão, pode ser distribuído a um grande número de pessoas ao mesmo tempo, as frases

padronizadas garantem maior uniformidade para mensuração, os pesquisadores se sentem

mais livres para exprimirem opiniões que temem ser desaprovadas ou poderão colocá-los em

dificuldades (GOLDENBERG, 2004).

Os avanços das tecnologias computacionais favoreceram o Método Delphi a

apresentar mais uma vantagem, a de permitir que especialistas de qualquer local da Terra

possam participar do estudo.

88

Atualmente os correios eletrônicos associados a formulários que podem ser criados

em endereços virtuais gratuitos, permite que sejam encaminhadas senhas personalizadas para

os especialistas, para que somente estes tenham acesso aos questionários. Isso permite aos

especialistas acessar o instrumento de registro a qualquer momento e lugar que tenha acesso à

internet, o que facilita e torna flexível o registro do critério de avaliação do especialista.

Por outro lado, o Método Delphi também apresenta algumas desvantagens, entre estas

se destaca o fato do método não ser apropriado quando não há disponibilidade satisfatória de

especialistas para compor o estudo. Segundo estudo de Martinez, Zúñiga, Sala e Meléndez

(2012), acima de 14 especialistas já é possível utilizar o Método Delphi.

Entretanto, no estudo de Chaves (2011) observou-se que a média de especialistas

utilizados nos estudos possui uma variação acentuada (Quadro 12).

Quadro 12: Dimensionamento do tamanho amostral de especialistas participantes de estudos nacionais e

internacionais que utilizaram o Método Delphi nos procedimentos metodológicos de pesquisa. PESQUISADOR TIPO DE ESTUDO Nº DE ESPECIALISTAS

Ana Beatriz Poli Veronezi Dissertação 39 Ariane Fazzolo Scarparo Dissertação 54 Celso Huerta Gimenes Dissertação 99 Cesar Hidetoshi Dissertação 21 Janaína Anchieta Costa Dissertação 11 Luana |Torelli da Silva Dissertação 21 Manuela Modesto Dantas Dissertação 21 Marcia Galan Perroca Dissertação 15 Milton Satocy Nakano Dissertação 72 Alberto de Medereiors Jr. Tese 27 Angelo Just da Costa e Silva Tese 34 Carlos Roberto dos Santos Tese 10 Cleuza Catsue T. Kuwabara Tese 134 Eline Lima Borges Tese 65 Emanoel Marcos Lima Tese 14 Jacqueline V. A. da Cunha Tese 15 Liliane P. Tannús Gontijo Tese 20 Marcos Augusto Rocha Tese 13 Maria Alice Morato Ribeiro Tese 122 Maria L. de M. L. Padilha Tese 45 Regina Rigatto Witt Tese 52 Ricardo L. W. C. de Lyra Tese 19 Simone S. da Cunha Vieira Tese 12 Okoli e Pawlowski Recomendação 10 – 18 Rowe w Wright (1999) Recomendação 5 – 20

Rowe w Wright (2001) Artigos 3 – 98 Skulmoski Artigos 3 – 171 Skulmoski Teses 345

Fonte: Adaptado de Chaves (2011)

Na literatura encontra-se o estudo de Ribas (2013) com 12 especialistas, e o estudo de

Paixão et al. (2014), com 229 especialistas, isso mostra a acentuada dispersão do número de

especialistas entre os estudos que adotam o Método Delphi. Nos demais trabalhos observa-se

89

que, em média, utilizam no mínimo 14 especialistas, sem limite máximo. É importante que o

pesquisador tenha uma quantidade razoável de especialistas para participar do estudo, pois no

decorrer da investigação é possível observar que os especialistas tornam-se impossibilitados

de participar por razões particulares do estudo. Desta forma, a investigação inicia-se com

elevada quantidade de especialistas, para não tornar inviáveis as conclusões devido à possível

variabilidade de opiniões emitidas pelos especialistas que permaneceram na investigação.

Outrossim, com número reduzido de especialistas que participam da investigação, aumenta a

possibilidade de variação de resposta do grupo, o que dificulta para o pesquisador observar o

consenso nas respostas. A quantidade de especialistas disponíveis para o estudo influencia

diretamente o potencial das opiniões (HASSON, KEENEY e MCKENNA, 2000). Portanto,

quanto maior o número de especialistas o pesquisador conseguir inserir no estudo, maior será

a confiabilidade do consenso, entretanto, em dado momento a quantidade de especialistas não

altera significativamente os resultados, o que gera um trabalho desnecessário para

pesquisador.

O Método Delphi não é apropriado para estudos que não têm o objetivo de obter o

consenso dos especialistas. Uma das principais características do método é conduzir as

opiniões ao consenso, através de cada interação entre os especialistas e o pesquisador.

Observou-se na literatura que os estudos que adotam o Método Delphi citam as

mesmas vantagens e desvantagens do método como observado no estudo de Munaretto,

Corrêa e Cunha (2013) que também citou o estudo de Oliveira, Costa, Wille e Marchiori

(2008) para apresentar as vantagens e desvantagens do Método Delphi (Quadro 13).

Quadro 13: Estudo de Oliveira et al. (2008) que apresenta as vantagens e desvantagens do Método Delphi.

CARACTERÍSTICAS VANTAGENS DESVANTAGENS

ANONIMATO Igualdade de expressão de ideias. O anonimato faz com que a interatividade

aconteça com maior espontaneidade e

que assuntos críticos ou polêmicos

possam ser melhor discutidos e

apresentados pelos participantes.

Ao responder um questionário sozinho, o respondente pode não se lembrar de

tudo que pensa sobre o assunto ou pode

não se ater a pontos sobre os quais

ainda não refletiu.

FEEDBACK Redução de ruídos. Evita desvios no

objetivo do estudo. Fixação no grupo das

metas propostas. Possibilidade de

revisão de opiniões pelos participantes.

Pode determinar o sucesso ou o

insucesso do método. Risco de excluir

da análise pontos de discordância.

Fonte: Estudo de Oliveira, Costa, Wille e Marchiori (2008).

90

Quadro 13: Estudo de Oliveira, Costa, Wille e Marchiori (2008) que apresenta as vantagens e desvantagens do

Método Delphi. (continuação) CARACTERÍSTICAS VANTAGENS DESVANTAGENS

FLEXIBILIDADE No decorrer das discussões os

participantes recebem opiniões,

comentários e argumentações dos outros

especialistas, podendo, assim, rever suas

posições diante do assunto pesquisado.

As barreiras comunicacionais são

superadas.

Dependendo de como serão

apresentados os resultados e feedbacks,

é possível que se criem consensos,

forçados ou artificiais, em que os

respondentes podem aceitar de forma

passiva a opinião de outros

especialistas e passar a defendê-las.

USO DE

ESPECIALISTAS São formados conceitos, julgamentos,

apreciações e opiniões confiáveis a

respeito do assunto.

Possibilidade de obter consenso de

forma demasiado rápida.

CONSENSO Sinergia de opinião entre os

especialistas. Identificação do motivo de

divergência de opinião.

Risco de criar um consenso artificial.

INTERATIVIDADE A interatividade foge de uma conjuntura

hierárquica, pois formata as respostas e,

em seguida, faz com que elas sejam partilhadas. Adequação das respostas, pois tende a

excluir excentricidades que estejam fora

do contexto solicitado. Aprendizado

recíproco entre os respondentes.

Rodadas interativas realizadas em rede

são apontadas como desvantagens por

críticos ao método. Apesar de tornar o processo mais rápido e menos oneroso,

o sincronismo possibilitado pela

internet contraria o benefício de obter

respostas mais elaboradas.

Fonte: Estudo de Oliveira, Costa, Wille e Marchiori (2008).

Além da desvantagem do respondente em não se lembrar de tudo que pensa sobre o

assunto, no momento de preencher o questionário (Quadro 13), outra desvantagem é um

índice baixo de respostas, a uma estrutura rígida e prolixa de questionários mal elaborados,

que dificulta ao especialista expressar suas opiniões e exige habilidade de ler, escrever e

disponibilidade para responder.

Outra desvantagem que pode ocorrer é quando as respostas exigem uma reflexão do

especialista, o que o obriga a despender um determinado tempo e esforço de concentração

para responder adequadamente às questões. Isso pode desmotivar o especialista a continuar no

estudo. Portanto, é necessário que o pesquisador construa um instrumento de registro com

questões objetivas e de fácil interpretação, e logo em seguida o pesquisador deve realizar uma

pesquisa piloto12

, para verificar a qualidade do instrumento de registro.

O tempo de retorno das respostas de todos os especialistas, aliado às sucessivas

interações pode comprometer o número de especialistas que participam do estudo. Também

pode ocorrer uma alta incidência de instrumentos de registros não respondidos e de

12

Toda a pesquisa que utilize um instrumento novo de registro (questionário) é necessária a realização de uma

pesquisa piloto com um número reduzido de respondentes para identificar as possíveis falhas no instrumento criado. A pesquisa piloto também fornece informações prévias para o pesquisador, que pode utilizá-la para

reformular o planejamento do estudo. Recomenda-se que seja realizada uma pesquisa piloto com 5% do tamanho

amostral pretendido para estudo (COCHRAN, 1977; CHURCHILL, 1995).

91

desistências dos especialistas ao longo do processo (CAMISÓN et al., 2009). O instrumento

também pode influenciar no índice de respostas, pois estrutura rígida impede a expressão de

sentimentos, exige habilidade de ler e escrever e disponibilidade para responder

(GOLDENBERG, 2004).

Dados de literatura apontam que é comum entre a primeira e a última interação o

abandono de 50% dos especialistas originais (GRISI e BRITTO, 2006). Há estudos que

informam ser normal uma abstenção de 30% a 50% na primeira interação e de 20% a 30% na

segunda interação (WRIGHT e GIOVINAZZO, 2000). Devido a isso, o pesquisador procura

elaborar instrumentos o mais claro e objetivo possível, autoexplicativo e que contenha todos

os elementos necessários para as respostas, sem necessidade de estudos e consultas adicionais.

A formulação do instrumento de registro exige conhecimento aprofundado dos

temas. Se o pesquisador não possui esse conhecimento, é necessário recorrer ao apoio de

especialistas na própria elaboração do instrumento. Além disso, a formulação das questões,

normalmente, corrobora com entendimentos qualitativos e quantitativos, que influencia nas

análises dos registros relacionados ao temas, portanto, exige do pesquisador estudos

diagnósticos, que aborda conceitos, definições e fatores relacionados ao tema, antes de

formular o instrumento de registro.

Outro fator que pode comprometer os procedimentos do Método Delphi é um

instrumento de registro que possui determinados tipos de questões que podem confundir ou

tomar tempo demasiado do especialista, como, por exemplo, questões envolvendo eventos

compostos ou ordenamento de itens (WRIGHT e GIOVINAZZO, 2000). Além disso, destaca-

se a dificuldade de construir um instrumento sem ambiguidades, e não tendencioso. O

pesquisador deve se preocupar com informações que podem trazer implicitamente pontos de

vista que conduzirão indevidamente a um consenso das reflexões dos especialistas.

Procura-se, ainda, não elaborar um número excessivo de perguntas. A literatura

aponta como limite, dependendo do tema e do perfil dos especialistas, um número em torno

de 25 questões (WRIGHT e GIOVINAZZO, 2000). Por outro lado, é possível que,

dependendo da abrangência do tema e dos focos das perguntas, cada especialista se sinta mais

familiarizado com determinadas questões, respondendo-as mais rapidamente em relação a

outras. É possível ainda que nem todos os especialistas se considerem aptos a responder a

todas as perguntas. Nesse sentido, recomenda-se a realização de testes, consultas prévias ou

pesquisa piloto para validar o instrumento e verificar o grau de dificuldade e tempo de

resposta.

Apesar de todas as suas vantagens com utilização de um instrumento, o uso incorreto

durante os procedimentos metodológicos pode gerar graves problemas ao pesquisador

92

(ROWE e WRIGHT, 1999). O pesquisador pode, sem perceber, coatar o consenso

indevidamente entre os especialistas, com um instrumento mal formulado.

Uma demora excessiva para a realização do processo completo, especialmente no

caso de envio do questionário via correio, ou um retorno moroso das respostas dos

especialistas via correio eletrônico, é outro inconveniente do Método Delphi. Sucessivas

rodadas envolvendo especialistas não compromissados com estudo, e sem uma remuneração

ou contrato, pode influenciar na desistência de especialistas, sendo comum que, entre a

primeira e a última rodadas, a taxa de abandono à pesquisa transite em torno de 50% dos

participantes que iniciaram no estudo (HASSON et al., 2000).

2.2.8. Possibilidades de utilização do Método Delphi

O investigador também deve levar em consideração a especificidade da investigação

para aplicação do Método Delphi. Geralmente algumas características da investigação

constituem um indicativo da necessidade de empregar o Método Delphi. Segundo Linstone et

al., (2002) as características de investigação em que se sugere a aplicação do Método Delphi

são:

a) O registro do fenômeno que não se aplica em técnicas analíticas precisas, e sim

em julgamentos subjetivos numa base coletiva;

b) Quando o pesquisador tem acesso a um grupo de especialistas com competência

para opinar sobre o tema investigado;

c) Quando o pesquisador tem um grupo de especialistas com dificuldades de relação

interpessoal entre especialistas;

d) É expressiva, para a investigação, a participação de um conjunto de pessoas com

objetivo de propor solução a um problema complexo;

e) Um conjunto de sujeitos heterogêneo em relação às suas experiências ou

especializações relacionadas ao tema investigado;

f) Quando há um número expressivo de sujeitos em uma investigação que requer

interação entre as opiniões dos sujeitos;

g) A indisponibilidade de tempo e custo para realizar reuniões frequentes de grupo;

h) Uma investigação que exige que aumente sua eficiência sobre os encontros

presenciais;

i) Divergências entre os sujeitos da investigação que provocam a necessidade de

assegurar o anonimato;

93

j) A diversidade de especialistas deve ser preservada para garantir a validade dos

resultados, ou seja, evitar a dominação por quantidade ou por força de personalidade.

Naturalmente que, pela versatilidade do Método Delphi, é possível avançar mais na

identificação das características que sugerem a aplicação do método. A versatilidade do

Método Delphi possibilita sua reformulação à medida que a reconstrução da realidade de uma

determinada área do conhecimento vai sendo realizada.

De acordo com trabalho de Adler e Ziglio (1996), o contexto das análises é

fundamental para se avaliar a possibilidade da utilização do Método Delphi. Outro fator

relevante que induz à adoção do Método Delphi é exiguidade histórica, referencial

bibliográfico e a originalidade do tema em análise.

CAPÍTULO III

3.1. ESTRUTURAÇÃO DO „CRITÉRIOS DE TRIAGEM‟

Neste capítulo, buscou-se apresentar os fatores que ajudam a definir os critérios de

triagem a serem adotados nos procedimentos do Método Delphi para observar e registrar a

confluência das análises dos registros e validação dos resultados com determinado nível de

confiabilidade. É importante salientar que há diversos métodos de análises de registros, o que

causa desconforto ao pesquisador no momento de escolher o melhor método, como foi

apresentado no início do estudo. Entretanto, o melhor método é escolhido a partir da

qualidade e das características dos registros. Desta forma, a responsabilidade de escolha passa

a ser a partir das características dos registros e não do que o pesquisador avaliar ser melhor.

Ao iniciar um estudo é importante determinar o tipo de abordagem e como serão

realizados os registros dos fenômenos para posteriormente analisá-los. Após determinar a

abordagem e os instrumentos que serão utilizados para realizar os registros, também é

necessário definir as características dos registros, pois são estas que indicarão ao pesquisador

os melhores métodos para realizar as análises dos registros.

94

3.1.1. Abordagem Qualitativa e Quantitativa

A pesquisa que adota o Método Delphi atribuído de critérios de triagem para analisar

registros ou validar resultados tem a característica de uma pesquisa com abordagem quali-

quantitativa. Os procedimentos do Método Delphi e os critérios de triagem estão

fundamentados em sua dinâmica interna por métodos qualitativos e quantitativos de análises

de registros. Os métodos quantitativos e qualitativos abordados neste estudo serão

apresentados na sequência do desenvolvimento do estudo. A proposta é explicitar a

necessidade de conhecer os principais conteúdos elementares de estatísticas, antes de definir

os procedimentos quantitativos a serem adotados para analisar os registros dos fenômenos. A

intenção não é realizar um aprofundamento com definições, corolários, axiomas e cálculos

complexos, mas espera-se com isso um melhor aproveitamento de métodos quantitativos nos

trabalhos da Educação, desde a concepção dos instrumentos de registros até as análises destes.

A seguir são declaradas, no Quadro 14, as caracterizações de abordagens que podem

ser admitidas em pesquisas científicas.

Quadro 14: Classificação para abordagem qualitativa e quantitativa nas investigações científicas.

QUANTITATIVA QUALITATIVA

Paradigma Hipotético-dedutivo Holístico-interpretativo

Registros Representado numericamente Quantitativos Estruturados e não valorativos

Representados verbalmente Qualitativos Com maior riqueza de detalhes

Pesquisador Observador Distância objetiva

Interpretador da realidade Imerso no contexto

Abordagem Positivista Experimental Estudos confirmatórios

Interpretativa Não experimental Estudos exploratórios

Análise Estatística Descritiva Método de Análises Estatísticas Inferência a partir de amostras Teste de hipóteses e teorias

Conteúdo ou Caso Padrões a partir dos próprios dados

Hermenêutica e fenomenologia

Fonte: Adaptado de Dias (2000)

Da forma que se apresenta o Quadro 14, é possível observar duas categorias de

abordagem a pesquisa científica: qualitativa e quantitativa. Com base no problema de

pesquisa são definidos os instrumentos de registros, abordagem e técnicas e análises de

registros e validação dos resultados.

Os métodos quantitativos são conhecidos pela objetividade em registrar, quantificar,

mensurar, avaliar e analisar os registros através de conteúdos matemáticos, que historicamente

estão nas raízes do Positivismo.

95

[...] A questão fundamental, porém, é decidir que espécies de arrazoados

matemáticos são relevantes para determinados problemas, que limitações estão

impostas e como tais métodos podem ser ampliados e generalizados. Não se pode

perder de vista que o uso da linguagem matemática leva a descrições e modelos

idealizados, uma construção abstrata que, na prática, na melhor das situações, será

observada apenas parcialmente (MINAYO, 2006, p. 241)

A abordagem qualitativa permite aprofundar fatores que descrevem fenômenos

através de sentimentos, afetividade, cultura, regionalidade, entre outros fatores, estes, para

serem observados também necessitam de descrições aprofundadas e densas e uma contínua

observação. Essas características são complementares à abordagem quantitativa.

A abordagem quantitativa de um estudo científico segue, em geral, um padrão

específico, com trajetória bem conhecida e objetiva para obter os registros, organizá-los e

analisá-los e culminar na divulgação dos resultados com confiabilidade conhecida e

quantificada. Para obter resultados confiáveis para a sociedade a partir de estudos científicos

é necessário obedecer a padrões reconhecíveis, e a determinação e mensuração de suas

posições são essenciais (MINAYO e SANCHES, 1993). Organizar os registros de

representações numéricas com o objetivo de realizar inferências implica em adotar linguagem

e escrita adequadas, obedecendo aos pressupostos dos métodos estatísticos (Figura 5).

Figura 5: Circularidade do método científico.

Adaptado de Montgomery (1991).

96

É possível observar na Figura 5, o padrão específico e funcional de uma abordagem

quantitativa e qualitativa centrada no problema do estudo científico. Também observa-se que

todas as fases do estudo científico estão relacionadas com o problema. A cada procedimento

realizado na pesquisa é necessário que o pesquisador verifique as implicações e a relação com

o problema central do estudo. Ao executar cada etapa declarada na circularidade do método

cientifico, e relacionar os resultados obtidos com o problema central, isso assegura ao

pesquisador objetividade do estudo científico durante os procedimentos de elaboração e maior

confiabilidade no resultado final.

Estudos científicos derivados de pesquisa qualitativa, quantitativa ou quanti-

qualitativa, que fundamentam as conclusões a partir de conjuntos de registros amostrados,

necessitam verificar a origem e qualidade dos registros para possibilitar a validação dos

resultados através dos métodos científicos. É necessário realizar uma análise preliminar para

verificar a qualidade dos registros. A verificação inicia-se pelas análises estatísticas

exploratórias que se utilizam de desenhos esquemáticos (GONÇALVES e CASTRO, 1998)

também conhecidos como diagramas, cartogramas, estereogramas e gráficos. A identificação

inicial de características nos registros que representam o determinado fenômeno por meio de

gráficos possibilita ao pesquisador evidenciar futuros problemas na validação dos

pressupostos de uma metodologia de análise de registros (CHOONPRADUB e MCNEIL,

2005; PEARSON, 2001). Não havendo problemas nos registros, a identificação inicial das

características dos registros também pode ser utilizada nas análises e discussões dos

resultados do trabalho científico. Caso contrário, deve ser revisto o planejamento com

objetivo de eliminar os problemas nos registros.

Os gráficos são disponibilizados em diversos softwares em formato padrão como,

por exemplo, os gráficos setoriais, barras, linhas, box-plot, etc. (BENJAMINI, 1988). Os

gráficos têm a função de informação, e proporcionam uma visualização rápida do resumo dos

registros, descrevendo suas características e fornecendo elementos úteis para uma análise

preliminar (PEARSON, 2001). Outro gráfico disponível com maior frequência em software

estatísticos é box-plot. A identificação de pontos discrepantes e o resumo dos cincos números

(mínimo, 1º quartil, mediana ou 2º quartil, 3º quartil e o valor máximo dos dados) que permite

comparar as variáveis da mesma natureza em uma mesma escala pode ser facilmente obtida

através do gráfico box-plot ( BUSSAB e MORETTIN, 1987; TOLEDO e OVALLE, 1995).

Quando o interesse do pesquisador é verificar e quantificar a existência de associação

entre dois fenômenos através dos conjuntos de registros que os representam individualmente,

utilizam-se as medidas de correlação. Existem vários métodos estatísticos de analisar a

associação entre variáveis respostas e variáveis explicativas. Análise de Contingência C,

97

Análise de Correlação de Spearman, Análise de Correlação de Kendall (SIEGEL, 1975;

CHEN e POPOVICH, 2002), Análise de Correlação de Pearson, Análise de Regressão

Simples e Múltipla (ABREU e VETTER, 1978; DRAPER e SMITH, 1981; SNEDECOR e

COCHORAN, 1980,) e a Análise de Correlação Canônica (JOHNSON e WICHERN, 1988;

ANDERSON, 1958) são análises estatísticas mais frequentes para quantificar e verificar o

grau de associação entre conjunto de registros (ESTELBERGER e REIBNEGGER, 1995).

Pela complexidade de cada análise e ao considerar o objetivo deste trabalho, ficam

supracitados apenas os referenciais para propiciar o aprofundamento em conteúdos

estatísticos.

Como citado anteriormente, existem diversos métodos para analisar a associação

entre uma variável resposta com uma ou mais variáveis explicativas. Para utilizar os métodos

de associação devem ser considerados em cada um deles os pressupostos para aplicação que

geralmente estão associados à quantidade de fatores envolvidos e às características dos

conjuntos de registros.

No estudo de Costa (1977) é sugerida uma alternativa de analisar os registros através

da verificação da dependência entre as variáveis respostas e as variáveis explicativas,

determinando o grau de associação entre duas variáveis por meio de coeficientes que

apresentam propriedades adimensionais variando de -1 até 1. Os valores positivos destes

coeficientes indicam uma associação linear positiva; os valores negativos, uma associação

linear negativa, e os valores nulos ou próximos de zero indicam ausência de associação linear

(COSTA, 1977). Portanto, valores mais distantes de zero indicam uma possível relação entre

os fatores observados.

Para todos os coeficientes de associação é necessário realizar a prova de

significância para verificar o poder do teste (DRAPER e JOHN, 1981; GIOLO, 2005).

Entretanto, é frequente a utilização dos testes de correlação sem a verificação do poder do

teste. Outro fator importante, porém, é verificar associação entre as variáveis por meio de

gráficos, para identificar associação não linear entre as variáveis.

É importante a identificação das características e tipo da variável envolvida no

experimento, essas informações delimitam os métodos estatísticos mais adequados e

interpretação correta dos resultados da pesquisa (GIOLO, 2005).

Portanto, para aumentar a precisão das análises estatísticas, bem como realizar

conclusões coerentes é necessário que o pesquisador conheça a natureza e as relações entre as

variáveis.

Outro ponto a ser verificado é o relacionamento entre as variáveis que,

frequentemente, é inevitável em virtude da natureza única das variáveis, isto leva à

98

simplificação, muitas vezes grosseira, com a finalidade de facilitar a análise de dados ou

torná-la viável (PONTES, 2005). Para analogia entre as variáveis de forma sistêmica, procura-

se a relação causa e efeito entre as variáveis (MATTAR, 2001).

Em geral, as diferenças existentes entre grupos ou populações de interesse não estão

sendo explicadas apenas por uma variável e sim por um conjunto delas, podendo esta relação

ser explicada através de modelos matemáticos (FAYYAD, 1996).

O estudo de uma única variável indica que determinado tratamento estatístico é mais

adequado, porém, ao considerar outras variáveis relacionadas à variável de interesse, outros

tratamentos estatísticos podem ser mais indicados. Isso se deve pela interação entre as

variáveis (PONTES, 2005).

A partir do problema e dos objetivos bem definidos, e segundo a experiência do

pesquisador, é possível elencar os possíveis fatores relacionados ao fenômeno que possam

estar envolvidos com o problema. Após definidos os fatores relacionados com o estudo, é

necessário realizar a caracterização destes que originarão as variáveis.

O objetivo de conhecer as características das variáveis envolvidas no fenômeno de

interesse é prever o método de análise dos registros mais adequado para o estudo, entretanto, a

certeza que será possível usar os métodos previstos é quando são conhecidas a qualidade das

variáveis registradas e sua proximidade relacional com o fenômeno.

A grande potencialidade dos procedimentos estatísticos de análise de registros, na

presença de variabilidade aleatória está contida na possibilidade de se estabelecer

inferência, neste caso denominado de inferência estatística. A qualidade de uma

variável, em geral, está envolvida com o seu poder de representatividade do

fenômeno, e isso é conhecido através do grau de dispersão da variável. Há uma relação de representação entre variável e o fenômeno, que está ligada diretamente a

quanto menor a dispersão de uma variável melhor é a representatividade do

fenômeno, além da concepção da variável ser de origem aleatória, para evitar vieses

(MINAYO e SANCHES, 1993, p. 239)

Baseado na citação anterior e na Figura 2, faz-se necessário definir com clareza a

questão central, em seguida caracterizar a variável e definir suas relações com demais fatores

conhecidos que interferem no fenômeno de interesse, e a partir disso, possibilitar ao

pesquisador prever qual o método mais adequado para inserir na metodologia do estudo

científico. Portanto, o pesquisador ao realizar um estudo de um determinado fenômeno, é

importante que se tenha conhecimento das influências de outros fatores relacionados sobre o

fenômeno de interesse. As influências entre os fatores estão descritas na relação das variáveis

explicativas e explicadas, também conhecidas como variável dependente e variável

independente.

99

A definição geralmente utilizada em análises de decomposição da variação dos dados

é delineada por variável independente e dependente, também conhecida como resposta.

Denomina-se variável independente aquela cuja sua alteração supõe poder produzir uma

alteração num dado comportamento observável (variável dependente ou variável de resposta).

Por exemplo, determinar a relação entre o número de erros na atividade laboral (variável

dependente) e o número de treinamentos (variável independente) realizados nos funcionários;

determinar o efeito do álcool sobre os reflexos motores (GOMES, 1990).

No método quantitativo a variável denominada como nominal é a medida mais fraca

entre as demais para representar um determinado fenômeno. Como é crescente o número de

conteúdos estatísticos utilizados em estudos na Educação para auxiliar na compreensão de

fenômenos descritos através de pesquisa qualitativa (COSTA, 2003), observa-se com

frequência a variável nominal submetidas a análises de dados por meio de conteúdos

estatísticos. Na situação em que se utiliza a variável nominal é comum observar em análises

de textos sendo utilizada a análise léxica. Portanto, a mensuração da variável resposta pode

ser realizada em escalas nominais (MORETTIN e BUSSAB, 1991), o mais baixo nível de

mensuração, onde se observa que os pesquisadores utilizam símbolos, ou simplesmente

números, para distinguir elementos em diferentes categorias com objetivo de descrever o

fenômeno de interesse. Geralmente não tem possibilidades de comparação de ordem crescente

ou decrescente. Por exemplo: Masculino (M), Feminino (F); Perfeito (1), Defeituoso (0);

Europeu (1), Americano (2), Africano (3), Asiático (4) (SIEGEL, 1975).

O pesquisador, ao adotar abordagem qualitativa, quantitativa ou ambas para observar

e registrar, ou seja, medir a intensidade efetiva de um caráter variável em cada um dos

objetos, obtém uma ou um conjunto de variáveis que ajudam a representar um determinado

fenômeno. Por exemplo, o pesquisador, ao aplicar uma pesquisa quantitativa para registrar a

idade das pessoas ao morrer, a estatura ou peso dos indivíduos, o rendimento das famílias em

uma grande cidade, etc., estará obtendo um resultado (variável resposta). Estas observações

numéricas podem ser registradas em uma planilha e serem expressas de forma discreta ou

descontínua e contínua (MATTAR, 2001). Da mesma forma, o pesquisador pode adotar

abordagem qualitativa para realizar as entrevistas ou observações para conhecer a qualidade

de vida das pessoas que estão prestes a morrer, segundo a expectativa de vida da região que se

está pesquisando.

Na pesquisa quantitativa tem-se a variável discreta que resulta de uma contagem,

razão pela qual seus valores são expressos através de números inteiros não-negativos. Pode

variar em todo o conjunto de números inteiros racionais, e não apenas inteiros positivos de

zero a infinito. Por exemplo, o interesse em saber o número de funcionários que praticam

100

ginástica terapêutica em um determinado horário (COSTA, 1987). Na pesquisa qualitativa

observa-se as categorias de respostas ao realizar as análises de discursos em seu nível

fundamental, após os procedimentos de identificação do percurso de geração do sentido. No

segundo nível do percurso, ao constituir a narrativa é possível observar a frequência dos

valores fundamentais observados a partir do sujeito (GREGOLIN, 1995). A critério do

pesquisador a frequência dos valores fundamentais que formam categorias podem ser

submetidas às análises estatísticas descritivas para auxiliar na fundamentação dos resultados

da análise do discurso. Neste nível também se observa a escala ordinal que utiliza números

apenas para classificar elementos numa ordem crescente ou decrescente. Existe algum tipo de

relação entre as categorias embora a diferença entre elas seja de difícil quantificação,

exemplificando, classes socioeconômicas (A, B, C, D, E); patentes do Exército brasileiro

(soldado, cabo, sargento, etc.); opinião sobre um determinado atendimento (Ruim, Regular,

Bom, Muito bom, Excelente) (SIEGEL, 1975).

Na pesquisa quantitativa, a variável que melhor representa um fenômeno é conhecida

como variável contínua ou intervalar, que se define como um valor real a que passa para outro

valor real b, podendo assumir todos os valores intermediários entre a e b. Ou seja, a variável

intervalar permite registrar infinitas características mensuráveis do fenômeno. Por exemplo,

números de metros percorridos por um atleta durante certo período de tempo em uma pista

circular (GOMES, 1990). Equivalente à escala intervalar, tem-se a escala de razão, porém o

valor zero é o verdadeiro ponto de origem, ponto de nulidade, ou seja, ponto conhecido.

Importante a ser observado é que, nas escalas de razão, um valor "2" efetivamente indica uma

quantidade duas vezes maior do que a do valor "1", e assim por diante, por exemplo, a

velocidade, tempo (SIEGEL, 1975). O mesmo raciocínio pode ser observado na pesquisa

qualitativa, quando o pesquisador realiza uma pesquisa baseado em uma entrevista com um

determinado aprofundamento. A partir de uma pesquisa qualitativa, quanto mais detalhes o

pesquisador obtiver do sujeito, maior será a representatividade do objeto de interesse.

Observa-se que a quantidade de detalhes que pode ser inserida no texto para representar um

determinado fenômeno passa a ser infinita, entretanto, o que delimita a quantidade de detalhes

geralmente é o tempo e/ou o custo que o pesquisador tem disponível para realizar o estudo.

Quando o pesquisador tem disponível todos os registros de um determinado

fenômeno de interesse, denominam-se os valores que representam a totalidade dos registros

de parâmetro (MEYER, 2000). Entretanto, quando o pesquisador tem disponível somente

parte da totalidade dos registros, os valores que representam esta parte da totalidade dos

registros são denominados de estatísticas (MEYER, 2000). Portanto, é comum observar nos

trabalhos científicos a palavra ‗estatística‘, pois dificilmente o pesquisador terá disponível

101

todos os registros que representam um determinado fenômeno. Ao contrário, pode ser

verificada uma frequência significativa em trabalhos científicos teóricos a utilização da

palavra ‗parâmetro‘.

Os principais parâmetros que representam uma população homogênea são

conhecidos como médias aritméticas, geométricas, harmônicas, quadráticas (BARBETTA,

2002). A função dos parâmetros ou estatísticas é descrever resumidamente, a partir de um

conjunto de registros homogêneos, uma distribuição de frequências mais próxima da realidade

do fenômeno, ou seja, apresentar um valor que melhor represente o conjunto de dados

homogêneos. Este conjunto de registros é formado por repetições de uma única variável ou

mais, dependendo do interesse do pesquisador. As repetições de registros possibilitam

verificar a dispersão dos dados que, por sua vez, indica a qualidade da medida de tendência

central.

A média aritmética de um conjunto de números é igual ao quociente entre a soma dos

valores do conjunto e o número total de valores. Esta medida é frequentemente utilizada em

diversos cálculos, e o cuidado que se deve ter com esta medida é verificar o quanto os valores

extremos estão influenciando a média (FONSECA et al., 1985).

A mediana também é uma medida de posição central, obtida pelo valor que separa os

dados ordenados em duas partes iguais, metade dos dados tem valores maiores do que a

mediana, a outra metade tem valores menores do que a mediana. Há conjuntos de dados em

que a média aritmética ou a mediana não é uma medida de tendência central que represente

adequadamente os dados, o que pode ser explicado pela elevada variabilidade das variáveis ou

altas frequências de um determinado valor. Nestas condições, sugere-se a moda (GOMES,

1990). A moda é obtida pelo valor que ocorre com maior frequência em um conjunto de

dados. Observa-se que as medidas centrais, mediana e moda não levam em conta valores

extremos, portanto, seus parâmetros não são influenciados por valores discrepantes

(DRAPER e JOHN, 1981).

Neste estudo estão descritas as principais medidas de dispersão: variância amostral

(implicitamente), desvio padrão amostral e coeficiente de variação amostral. As medidas de

dispersão contribuem para o pesquisador observar o quanto as respostas dos especialistas

estão homogêneas. Um aspecto importante no estudo descritivo de um conjunto de dados é a

verificação da variabilidade ou dispersão dos dados, em relação à medida de localização

central da amostra (BARBETTA, 2002). Variados métodos utilizados em diversas áreas do

conhecimento dependem da dispersão dos dados.

Geralmente, as pesquisas com abordagem quantitativa dependem de métodos para

analisar as dispersões dos registros do fenômeno estudado. É importante que os dados sejam

102

representados por uma medida de tendência central. Entretanto, é importante que a

representatividade da média seja associada a uma medida de dispersão. O objetivo deste

estudo não é aprofundar em medidas de dispersão, entretanto, julga-se necessário abordar

Amplitude Total (AT), Desvio Padrão (DP) e Coeficiente de Variação (CV) ao admitir o

Método Delphi.

A medida de dispersão mais simples de ser obtida é amplitude total, é indicada para

dados com dispersão acentuada. Para obter uma medida da variabilidade na mesma escala de

mensuração dos dados, toma-se a raiz quadrada da variância e obtém-se o desvio-padrão (ver

Anexo 4).

O desvio-padrão é uma das medidas de dispersão mais utilizada devido a sua

aplicabilidade, pois esta medida considera a grandeza escalar que está sendo observada no

fenômeno, o que torna sua interpretação acessível, pois não necessita de conhecimentos

específicos para sua interpretação (BARNETT e LEWIS, 1978).

As características contidas no desvio-padrão são as possibilidades de assumir

somente valores positivos, quanto maior estes valores mais dispersos os dados (MATTAR,

2001), quanto menor este intervalo mais próximo está do valor médio real. Uma das

vantagens é considerar todos os valores nos cálculos na obtenção do desvio-padrão, portanto,

não ocorre perda de registros. O desvio-padrão possibilita avaliar a qualidade do valor médio

que representa o conjunto de registros. A dispersão elevada dos registros do fenômeno

observável indica divergência significativas entre os registros que compõem o valor médio,

isso dificulta adoção de técnicas estatísticas paramétricos para verificar a veracidade das

hipóteses.

Outra medida de dispersão muito utilizada pelos pesquisadores é o Coeficiente de

Variação (CV), este permite que seja realizada a comparação de diversos fatores sem a

necessidade de considerar a grandeza escalar (ver Anexo 5). Por exemplo, o pesquisador tem

interesse de conhecer a variação na altura das mulheres, se é maior ou menor do que a

circunferência abdominal dos homens (BARDIN, 2004), neste caso é necessário utilizar como

parâmetro o CV para realizar a comparação entre as variações, por se tratar de grandezas

escalares diferentes.

O parâmetro de dispersão conhecido como CV é utilizado para representar a

dispersão das observações realizadas a partir de um determinado fenômeno, e frequentemente

é possível observar o CV sendo utilizado pelos pesquisadores para comparar grandezas

escalares iguais ou diferentes. Para o pesquisador utilizar nas pesquisas o CV é necessário

verificar as condições dos fatores externos e a existência deste com o fenômeno de interesse

observado. As condições em que se encontra inserido o fenômeno observado influencia nas

103

observações registradas, que poderá apresentar uma pseudo-conclusão a partir das análises

realizadas. Outro fator que pode influenciar na dimensão dos CVs é a natureza da variável

resposta observada no fenômeno. Os CVs encontrados em variáveis geradas em ambientes

controlados, dependendo da natureza da variável, em geral é inferior aos encontrados em

variáveis em ambientes não controlados. Da mesma forma ocorre com os interesses dos

analistas de diferentes áreas de pesquisa (MONTGOMERY e PECK, 1982)

Outra abordagem realizada neste estudo foi à qualitativa, com a finalidade de

possibilitar as análises das cinco teses da área da Educação. Com base nas análises realizadas

foi possível construir os argumentos correlativos que compõem o instrumento de registro de

opiniões dos especialistas. A abordagem qualitativa é necessária quando a quantitativa não foi

suficiente para descrever o fenômeno de interesse. Quanto mais complexo é o fenômeno de

interesse, geralmente maior é o esforço do pesquisador em registrar e quantificar este

fenômeno para análise. Estudo desta natureza geralmente trabalha com valores, crenças,

representações, hábitos, atitudes, regionalidades, cultura, sentimentos, afetividades, entre

outros, são fatores internos aos seres humanos que dificilmente serão bem estudados apenas

com abordagem quantitativa.

O esforço do pesquisador em uma abordagem qualitativa está em buscar uma

uniformidade e encontrar regularidades no fenômeno de interesse. É importante salientar que

o esforço do pesquisador deve ser impessoal, as regularidades devem ser encontradas em

qualquer fenômeno sem estar relacionado apenas com motivações do pesquisador

(DURKHEIM, 1978).

[...] uma abordagem qualitativa em si não garante a compreensão em profundidade.

Esta observação torna-se necessária para rebater a tese de vários estudiosos que, do

ponto de vista científico, colocam, numa escala, a abordagem quantitativa como

sendo a mais perfeita, classificando estudos qualitativos apenas como

―subjetivismo‖, ―impressões‖ ou, no máximo, ―atividades exploratórias‖.[...] mas,

tanto do ponto de vista quantitativo quanto do ponto de vista qualitativo, é

necessário utilizar todo o arsenal de métodos e técnicas que ambas as abordagens

desenvolveram para que fossem consideradas científicas [...].(MINAYO e

SANCHES, 1993, p. 247)

A abordagem qualitativa, ao contrário do que muitos pensam, deveria ser adotada

paralelamente à abordagem quantitativa, e não em oposição, pois as duas abordagens têm

como finalidade propor uma descrição mais realística possível do fenômeno em estudo. Esta

abordagem fornece aos pesquisadores características internas e implícitas que a abordagem

quantitativa não consegue captar.

[...] o desenvolvimento da abordagem qualitativa, que representa a oposição ao

positivismo, deveu-se a estudiosos como Wilhelm Dilthey, embora certas de suas

raízes possam ser encontradas em Hegel, Marx e, até, Vico. Quem deu maior

104

consistência metodológica a esta reflexão, no entanto, foi Max Weber. É de Weber a

afirmação de que cabe às ciências sociais a compreensão do significado da ação

humana, e não apenas a descrição dos comportamentos. Weber também afirma que o

elemento essencial na interpretação da ação é o dimensionamento do significado

subjetivo daqueles que dela participam [...] (MINAYO e SANCHES, 1993, p. 243)

Atualmente é possível observar com frequência nos trabalhos da Educação, os

pesquisadores adotarem métodos qualitativos e quantitativos para ajudar a descrever e analisar

os fenômenos em estudo. Isso aparece em forma de gráficos, tabelas, quadros, na forma de

percentuais. É comum a utilização de medidas de tendência central, mas raramente é vista

juntamente com a medida de dispersão que acusa a qualidade da medida de tendência central.

Outra observação realizada nos trabalhos da Educação é a frequência do enfoque

indutivo, que Godoy (1995) descreve como estudo de abordagem qualitativa caracterizado por

registros descritivos apurado do fenômeno de forma direta ao ambiente natural. A principal

característica está em reduzir a distância entre as análises dos registros e, por consequência, a

conclusão e a realidade observada.

Segundo Godoy (1995), a abordagem qualitativa pode ser classificada em três linhas;

estudo documental, estudo etnográfico e estudo de caso. Um estudo científico com uma

abordagem qualitativa documental permite construir conhecimentos a partir da extração de

grandes quantidades de informações de áreas relacionadas ao problema predefinido pelo

pesquisador. Atualmente, com a ascensão da internet, o pesquisador tem acesso rápido e

irrestrito através de repositórios nacionais e internacionais e muitos trabalhos científicos

(SILVA et al., 2009).

O estudo científico com uma abordagem qualitativa etnográfica permite trabalhar

com a descrição de fenômenos em que uma abordagem quantitativa não se aplica. Pesquisa

etnográfica busca a compreensão do fenômeno, por meio da observação direta e por um

determinado período de tempo, através de uma descrição aprofundada do fenômeno, podendo

ser através de entrevistas, filmagens, gravações e transcrições, representando o modo de

vivência de um grupo de pessoas (MATTOS, 2001). Estes registros retratam o cotidiano de

um grupo de pessoas, captando fatos singulares em determinado contexto interativo.

O estudo científico com uma abordagem qualitativa em estudo de caso tem por

objetivo descrever a singularidade em profundidade apresentada por entidades privadas,

públicas ou autônomas (PONTE, 2006). Uma característica dos estudos de caso é não

poderem ser generalizados ou serem realizadas inferências para uma população, mesmo com

características semelhantes.

Segundo o estudo científico de Duffy (1987), a utilização das duas abordagens

qualitativas e quantitativas em um trabalho científico traz somente benefícios como minimizar

105

as distorções sobre os resultados através dos métodos quantitativos com a compreensão das

perspectivas dos agentes envolvidos no fenômeno analisado pelos métodos qualitativos.

Também possibilita obter melhores resultados a partir das análises de registros qualitativos e

quantitativos, o que sustenta melhor compreensão do fenômeno, através do complemento de

conjuntos de fatores e causas associadas à dinâmica da realidade, obtidas de análises através

de métodos quantitativos e qualitativos.

Outro fator importante abordado neste estudo é a possibilidade de reafirmar e validar

os resultados de um estudo com abordagem qualitativa através do emprego de métodos

estatísticos que apresentam a confiabilidade quantificada e assistida pelo pesquisador.

3.1.2. Concepção da Amostra de Especialistas

Neste estudo são sugeridas duas fontes de origem de dados para o pesquisador

compor a amostra de especialistas a serem entrevistados na pesquisa, a base de dados de

origem em fontes primárias e em fontes secundárias. Nas duas fontes de dados sugeridas neste

estudo é possível obter as indicações de prováveis candidatos a participarem da investigação

(MATTAR, 2001).

A amostra de especialistas pode ser obtida de base de dados confiáveis, referenciais

bibliográficos, jornais, revistas científicas e bases de estudos científicos ou através de

indicações realizadas pelos próprios especialistas selecionados para participarem da pesquisa,

entendendo que a característica desejada é o especialista possuir conhecimento notório em

relação ao tema de interesse. Após a identificação de um ou mais especialistas, o pesquisador

inicia a busca através das indicações obtidas dos especialistas já identificados, e assim

sucessivamente. As indicações dos especialistas serão selecionadas pelo pesquisador para

compor amostra, este procedimento é conhecido como Método de Amostragem Snowball.

Ao considerar a pesquisa secundária é possível conhecer o perfil do especialista a

partir de registros em diversas bases, com dados previamente organizados e analisados

(MATTAR, 2001). A pesquisa primária, em especial aquela aplicada em ambientes

acadêmicos, é uma forma de investigação que envolve conhecimentos científicos que exigem

a utilização de um conjunto de procedimentos e normas que possibilitam a organização,

análise e interpretação dos registros do fenômeno investigado.

Uma opção para instituir a amostra para o estudo é através do Método de

Amostragem Snowball, também declarado como Snowball Sampling (―Bola de Neve‖)

106

(CHURCHILL, 1995). Este método é caracterizado por instituir amostra não probabilística13

,

correntemente utilizado em estudos no âmbito social onde os participantes iniciais de um

estudo indicam novos participantes que, por sua vez, indicam novos participantes, e assim

sucessivamente, até que seja alcançado o objetivo proposto (o ―ponto de saturação‖)

(SCHEAFFER, 2012).

O ―ponto de saturação‖ é atingido quando os recentes especialistas indicados passam

a indicar nomes de especialistas já constantes na lista, ou seja, as recentes indicações passam a

não influenciar no planejamento da amostra (CHURCHILL, 1995). Portanto, o Snowball

(―Bola de Neve‖) é um método de amostragem que utiliza cadeias de referência, uma espécie

de rede, isso garante uma característica comum entre os especialistas que é o conhecimento

abordado no tema proposto na investigação (HANSEN, 1953; COCHRAN, 1977; LEVY e

LEMESHOW, 1991; KISH, 2004; SCHEAFFER, 2012).

O método de amostragem Snowball é indicado para pesquisa qualitativa, pois esta

não tem o pressuposto de embasamento em uma distribuição de probabilidade, o que

geralmente é exigido na pesquisa quantitativa.

Pesquisas realizadas em referenciais bibliográficos, jornais, revistas científicas e

bases de estudos científicos, aplicadas a ambientes acadêmicos, também conhecidas como

pesquisas secundárias, trabalham com informações disponibilizadas por terceiros (MATTAR,

2001). Nas pesquisas secundárias o pesquisador não tem acesso aos primeiros registros do

fenômeno (LEVY e LEMESHOW, 1991), aqueles que não receberam nenhum tipo de análise.

A vantagem da pesquisa secundária é disponibilidade e baixo custo, pois é possível acessar

facilmente as informações por meio de revistas, jornais, entrevistas, pela televisão, entre

outros meios de comunicação, publicações governamentais. Entretanto, a desvantagem é o

desconhecimento dos métodos utilizados para registrar, organizar e interpretar os fenômenos,

também é desconhecido a constituição da amostra. Portanto, é importante que as bases de

informações secundárias tenham reconhecimento e contribuições valorosas para a

comunidade científica, é uma forma de garantir a qualidade da composição da amostra.

Também é possível realizar a combinação das primária e secundária, onde os

procedimentos, vantagens e desvantagens são os mesmos para as pesquisas quando

executadas individualmente. A qualidade dos resultados de uma investigação está relacionada

com a condução da formação dos sujeitos do estudo.

13 A Amostra Não Probabilista é obtida a partir do estabelecimento de algum critério de inclusão, e nem todos os elementos da população alvo têm a mesma oportunidade de serem selecionados para participar da Amostra. Este

procedimento possibilita ao pesquisador obter dados que não representa uma determinada característica da

população. (MEYER, 2000; MORETTIN & BUSSAB, 1991).

107

Nos estudos quantitativos é possível facilmente realizar inferências a partir de uma

amostragem probabilística. Para fundamentar as inferências do pesquisador, a constituição da

amostra deve seguir pressupostos metodológicos de formação de uma amostragem

probabilística.

Associadas às questões de inferência estatística temos as questões de amostragem.

Em regra, aqui também há um desconhecimento quase geral, por parte dos não-

especialistas, a respeito do papel da amostragem, sua relação com a inferência e, conseqüentemente, os pressupostos básicos que devem nortear a opção por um

determinado desenho de amostragem e um tamanho específico da amostra. Esta não

é uma questão apenas técnica, relacionada à definição do tamanho da amostra; não é

uma questão meramente estatística ou para deixar para o estatístico resolver.

Pesquisadores experimentados na área das ciências humanas (aqui incluindo as

ciências da saúde) não podem ignorar, e muito menos esquecer, que as questões de

amostragem são parte integrante das questões gerais de desenho da investigação.

(MINAYO e SANCHES, 1993)

Em diversos trabalhos (SILVA et al., 2009), devido ao baixo custo, a não existência

de limitações geográficas, abrangência dos pontos de vistas sobre o tema, uma das estratégia

ao pesquisador é constituir amostra de especialistas a partir de uma base de dados de

currículos. O departamento de Ciência e Tecnologia do Conselho Nacional de

Desenvolvimento Científico e Tecnológico – CNPq disponibiliza gratuitamente uma base de

dados de currículos de pesquisadores de diversas áreas do conhecimento.

Para uma investigação que tem objetivo de realizar inferências para uma população

numerosa, a partir de uma amostra, é necessário realizar um plano amostral, previamente

definindo o nível de confiabilidade. Portanto, para definir o tamanho da amostra aleatória

simples é necessário utilizar funções que considerem uma população desconhecida, e caso o

pesquisador tenha conhecimento do tamanho da população é realizada uma correção do valor

obtido pela primeira função que dimensiona o tamanho da amostra (ver Anexo 6).

Nas investigações de abordagem quantitativa é comum a utilização da Função de

Cochran para dimensionar as amostras fundamentadas na distribuição de probabilidade, o que

possibilita ao investigador atribuir um nível de confiabilidade nos registros do fenômeno

observado. Nas investigações qualitativas geralmente isso não é possível pelas características

dos registros, mas os critérios de triagem em ambas as amostragens, a probabilística e a não-

probabilística é possível ser adotado o Método Delphi com os procedimentos sistêmicos de

triagem.

Para aprofundamento em teorias da amostragem é sugerido às obras de Cochran, 1979;

Churchill, 1995; Bolfarine e Bussab, 2005; Silva, 2009, comumente referenciados na

disciplina de Amostragem dos cursos de Bacharelado em Estatística e áreas afins.

108

3.1.3. Característica do Especialista

Ao iniciar uma investigação é importante definir e caracterizar os sujeitos. O que o

pesquisador espera encontrar nos especialistas são características que possam influenciar nas

respostas do grupo de especialistas. Ao adotar o Método Delphi, o principal sujeito é o

especialista que será entrevistado, pois é através dele que se obtêm propostas para a solução

do problema (DALKEY, 1969). Por conseguinte, é importante investigar o perfil e as

características do especialista antes que se iniciem os procedimentos metodológicos do

Método Delphi adicionado dos critérios de triagem.

Entretanto, antes de iniciar a caracterização do especialista candidato a participar da

investigação, é desejável que se defina qual será o procedimento de comunicação com o grupo

(ADLER e ZIGLIO, 1996). Atualmente, com os avanços tecnológicos, há muitas opções para

comunicação a distância disponíveis, sendo a de maior frequência o correio eletrônico,

comumente conhecido como e-mail.

Após o pesquisador estabelecer os procedimentos de troca de informação com os

especialistas, o próximo procedimento é verificar os conhecimentos que o conjunto de

especialistas tem sobre o fenômeno de interesse (ADLER e ZIGLIO, 1996). Segundo Fleck

(2010), o conhecimento somente pode ser concebido quando considerado internamente o

grupo mantido por pessoas que criam e possuem o conhecimento.

O conhecimento aceito pela comunidade científica passa pelo processo de

desenvolvimento coletivo, ou seja, por um grupo de pessoas com interesse e conhecimento

científico do fenômeno de interesse (LOWY, 1994).

Os estudos dos pesquisadores Lowy (1994) e Fleck (2010) contribuem para reafirmar

a importância de uma das principais características que possibilita os critérios de triagem, que

é validar o conhecimento científico, em razão da aplicabilidade deste estudo, no âmbito da

Educação em Ciências e Matemática por meio das experiências vividas dos pesquisadores no

modo de entendê-las e interpretá-las em companhia com a observação e registro da

confluência das respostas que permite conhecer e determinar o grau de certeza dos resultados.

O processo de análise dos registros coletivo de Lefèvre inicia-se a partir da seleção

do discurso individual de cada especialista, identifica os trechos mais signficativos das

respostas, ou seja, as ideias centrais da resposta, e a partir disso, as classifica como expressões

chave. Depois que o pesquisador identifica princípios centrais do discurso, é possível com as

sínteses obter um discurso que representa a opinião do grupo de especialistas, o Método de

Lefèvre; Lefèvre denomina isso como Discurso Central dos Sujeitos (DSCs) especialistas

(LEFÈVRE e TEIXEIRA, 2000).

109

O Discurso do Sujeito Coletivo é uma modalidade de apresentação de resultados de

pesquisas qualitativas, que tem depoimentos como matéria prima, sob a forma de um

ou vários discursos-síntese escritos na primeira pessoa do singular, expediente que

visa expressar o pensamento de uma coletividade, como se esta coletividade fosse o

emissor de um discurso (LEFÈVRE e TEIXEIRA, 2000, p.30).

Portanto, se o pesquisador achar necessário incluir uma questão aberta no instrumento

de registro para os especialistas responderem, uma maneira de trabalhar com estas questões é

através da análise sugerida por Lefèvre e Lefèvre, em que através do conhecimento coletivo

se constrói o pensamento singular que representa o grupo de especialistas.

O trabalho do pesquisador Lefèvre ( 2005) citado por Luz e Silva (2013) declara os

fatores para a construção do discurso do sujeito coletivo (DSC): Expressões-chave (E-Ch),

Ideias Centrais (IC), Ancoragens (AC) (LUZ e SILVA, 2013). Entretanto, neste estudo a

intenção não é aprofundar em métodos de análise do discurso, todavia sugerir procedimentos

de tratamento nos registros discursivos que fundamentam pesquisas com abordagem

qualitativa.

O pesquisador, ao adotar o Método Delphi, deve observar o perfil do especialista

para credenciar a participar da pesquisa, para tal fim requer avaliar e quantificar três fatores:

grau de conhecimento, grau de argumentação e grau de competência para emitir opiniões

sobre o tema da pesquisa.

As principais características a serem avaliadas em um especialista candidato a

participar da investigação como entrevistado é o atualizado conhecimento que ele tem sobre o

assunto, o conhecimento teórico sobre o assunto, sua experiência com a proposta de

investigação, conhecimento dos trabalhos referenciados realizados por autores nacionais e

internacionais relacionados à proposta de investigação e à instituição que o especialista

representa. Sendo um estudo que exige mais de uma abordagem ao especialista, também é

importante expor a importância da investigação ao candidato à especialista para que se

estimule um comprometimento com o estudo e dedique um tempo para responder o

instrumento de registro.

Neste trabalho será apresentado, posteriormente, um modelo de instrumento para

identificar e quantificar o grau de conhecimento e a competência dos especialistas em relação

ao tema de interesse do pesquisador. É importante observar que o modelo apresentado neste

estudo pode ser reformulado, dependendo das características do fenômeno e do interesse do

pesquisador.

110

3.1.4. Conhecimento do Especialista

Para que um especialista seja credenciado a participar do estudo, é necessário que

este tenha percepção consistente, profunda e relacionada com a proposta do estudo. O

pesquisador tem a liberdade de definir o grau mínimo de conhecimento que o especialista

deve ter para compor o grupo de respondentes, entretanto, o grau de conhecimento está

diretamente relacionado com a contribuição efetiva com o estudo. Para o pesquisador definir

o grau mínimo de conhecimento que o especialista deve ter para poder participar da pesquisa,

é possível utilizar leituras dos trabalhos científicos que utilizaram o Método Delphi em outros

estudos semelhantes, o que possibilita até realizações de comparações entre estudos.

Os fatores que podem orientar o pesquisador a conhecer o conhecimento técnico

apropriado do especialista é sua experiência acadêmica e profissional (BÜRGI e ROOS,

2003). O candidato a especialista necessita ter habilidades e capacidades adquiridas durante

experiência acadêmica e profissional que o possibilite a propor soluções ao problema

investigado e, acima de tudo, ter vontade de participar, tempo para dedicação e comunicação.

No momento que se reconhece que os especialistas possuem o conhecimento

necessário para participarem da pesquisa, através de análises preliminares das qualidades do

especialista (SAMPAIO, 1989), considera-os como candidatos a participar das entrevistas.

Dependendo do objetivo do estudo o pesquisador tem a possibilidade de definir mais

qualidades necessárias e redistribuir seus pesos no conjunto que, somadas, têm o peso igual a

1. É importante observar que um número excessivo de qualidades a evidenciar desmotiva o

candidato a participar, e isso poderá inviabilizar o estudo.

Portanto, o pesquisador deve inserir no estudo as invariantes que realmente possam

contribuir para definir o conhecimento do especialista em relação ao tema investigado.

Entretanto, quando nos referimos ao conhecimento que um especialista deve ter, é importante

diferenciar os tipos de conhecimento e indicar qual o conhecimento é esperado do especialista

para participar da investigação. O trabalho de Lakatos e Marconi (2011) classifica o

conhecimento em quatro tipos: Popular, Científico, Filosófico e Religioso (LAKATOS e

MARCONI, 2011).

Cada conhecimento, a seguir, tem suas relevâncias dependendo dos objetivos que o

pesquisador deseja alcançar, entretanto, este estudo se restringe aos conhecimentos

científicos, para poder apresentar sistematicamente a reestruturação do Método Delphi.

No Quadro 15, declaram-se as características dos quatro conhecimentos citados por

Lakatos e Marconi (2001).

111

Quadro 15: Sistematização das características dos quatro tipos de conhecimento.

CONHECIMENTO

POPULAR

CONHECIMENTO

CIENTÍFICO

CONHECIMENTO

FILOSÓFICO

CONHECIMENTO

RELIGIOSO

Valorativo Real (factual) Valorativo Valorativo

Reflexivo Contingente Racional Inspiracional

Assistemático Sistemático Sistemático Sistemático

Verificável Verificável Não Verificável Não Verificável

Falível Falível Infalível Infalível

Inexato Aproximadamente exato Exato Exato

Fonte: Trujillo (1977)

O conhecimento que se busca encontrar no especialista é o Conhecimento Científico,

que é fundamentado em ocorrências e fatos reais registrados de forma sistemática que

representam a realidade de forma expressiva. Este conhecimento é estruturado de um saber

lógico ordenado, formando um sistema de ideias e não de conhecimentos dispersos e

desconexos (LAKATOS e MARCONI, 1992). O conhecimento científico está sempre em

construção, nunca dado como acabado, seguindo a realidade dos objetos em constante

transformação.

O conhecimento científico é exequível, em virtude de não ser definitivo, absoluto ou

final, por este motivo é aproximadamente exato, o que permite controlar a aproximação

através da intensidade e frequência de registros, ou seja, quanto mais próximo da realidade,

maior e mais densa será a investigação, mas o pesquisador deve estar ciente que em nenhum

momento conseguirá descrever a realidade em sua totalidade. As descrições aprofundadas de

cada um dos conhecimentos podem ser observadas nos trabalhos de Trujillo (1977) e Lakatos

e Marconi (2011).

Conhecimento é uma mistura fluída de experiência enquadrada, valores, informação contextual e visão de especialistas, que disponibiliza um espaço de trabalho para

incorporar novas experiências e informação. Tem origem e aplicação na mente dos

indivíduos. Nas organizações muitas vezes está contido, não só em documentos e

bases de dados, mas também em rotinas, processos, práticas e normas

organizacionais. (DAVENPORT e PRUZAC, 2000, p.6)

São inúmeros os autores que descrevem as características do conhecimento, dentre os

quais: King e Zeithaml (2003); Marr (2004); Reinhardt et al., (2003). Diante da diversidade

de conhecimentos e características, é possível a coexistência entre os conhecimentos, desde

que em partes ou na totalidade exista uma relação com os conhecimentos relevantes para

investigar o tema de interesse do pesquisador.

112

O pesquisador constrói sua amostra de especialistas a partir do conhecimento

individual do especialista, e ao idealizar o grupo de especialista, o pesquisador passa a

considerar no estudo o conhecimento coletivo, por meio do consenso entre os especialistas

através de interações realizadas entre o pesquisador e os entrevistados. A cada interação

ocorre o incremento no conhecimento científico coletivo referente ao tema de interesse do

pesquisador.

As invariantes adotadas neste estudo para investigar estudos no âmbito da Educação

em Ciência e Matemática com tema ―Avaliação de pesquisas na área da Educação‖ estão

declaradas na sequência em que se definem os coeficientes.

3.1.5. Argumentação do Especialista

O fator argumentação previsto nos critérios de triagem requer que o pesquisador

busque em cada especialista a capacidade de tomar decisões mais racionais, para avaliar o

fenômeno relacionado com o tema investigado. O grau de argumentação do especialista (kA)

também requer uma consciência participativa e facilidade de desenvolver atividades em

grupos com o fim, mesmo que no anonimato, de propor soluções, com isso, aumentando o

conhecimento do grupo. O esperado que aconteça com cada especialista diante do tema

proposto é que emitam suas próprias conclusões e, quando necessário, as justifiquem. Isso, a

cada retorno dos resultados ao grupo de especialistas, aumenta a qualidade das opiniões, entre

outros. Entretanto, para que este processo aconteça, o especialista deve estar familiarizado

com o tema (LUCA e KUBO, 2011).

Nos critérios de triagem, não menos importante que o conhecimento do especialista

abordado anteriormente, o coeficiente de argumentação do especialista é um indicativo de

mesma relevância que o conhecimento sobre o tema contido na investigação. Para determinar

o coeficiente de argumentação é verificado, através de um instrumento de registro distribuído

ao especialista, sua experiência e os trabalhos científicos relevantes publicados nacional e

internacionalmente e que estejam relacionados com a proposta de investigação. Também é

observado seu próprio conhecimento acerca dos temas relacionados à investigação. Esses

fatores ajudam a qualificar o candidato a participar da investigação como especialista do

tema.

Essas informações dos especialistas se fazem necessárias para conhecer as

argumentações de cada especialista. Para ter um conhecimento prévio da capacidade de

argumentação do especialista referente ao tema investigado é necessário realizar perguntas

conforme indicado na Tabela 3. As perguntas tendem a evitar a ambiguidade através do

113

raciocínio lógico-dedutivo (VEIGA e BAPTISTA, 2004, apud ANASTÁCIA, CARVALHO,

e CLÉMENT, 2015). Observou-se no trabalho de Anastácia, Carvalho e Clément (2015) que

atualmente vários autores (CLÉMENT et al, 2004; JIMÉNEZ e DÍAZ DE, 2003) têm adotado

a argumentação nas investigações realizadas em didática das ciências. Também é possível

observar nos trabalhos registrados a partir de 2011 no banco de teses da Coordenação de

Aperfeiçoamento de Pessoal do Nível Superior – CAPES, a utilização da argumentação.

A argumentação realizada nos trabalhos de Rodrigues e Leitão (2002), Pereira Neto e

Leitão (2005) mostraram que a investigação que provoca argumentação entre os participantes

possibilita a estes a reformulação de suas opiniões, até mesmo a mudança de posição em

relação ao tema proposto. A possibilidade do sujeito argumentar proporciona um importante

instrumento de auto avaliação e aprendizagem (RODRIGUES e LEITÃO, 2002; PEREIRA e

LEITÃO, 2005). Entretanto, para que as argumentações ocorram entre os especialistas, o

pesquisador deve ser capaz de formular indicadores relevantes e relacionados ao tema de

investigação de maneira que os especialistas consigam refletir apropriadamente e

autonomamente, em relação ao tema de investigação (RIBEIRO, 2003).

A seguir são apresentadas as descrições das fontes de argumentações empregadas

para determinar o grau de argumentação dos especialistas para credenciá-los no estudo no

âmbito da Educação em Ciências e Matemática com o tema ―Avaliação de pesquisas na área

da Educação‖ (Quadro 16).

Quadro 16: Fontes de argumentação empregadas na investigação realizada em 2015 com especialistas da área

da Educação com tema ―Avaliação de pesquisas na área da Educação‖. FONTES DE ARGUMENTAÇÃO

F1 = Análises teóricas realizadas por você sobre o tema. F2 = Sua experiência sobre o tema. F3 = Conhecimento de trabalhos referenciados por autores nacionais sobre o tema. F4 =Conhecimento de trabalhos referenciados por autores estrangeiros sobre o tema. F5 = Seu próprio conhecimento acerca do tema. F6 = Sua intuição sobre o tema.

(PERRENOUD, 1999)

Portanto, o grau de argumentação do especialista é determinado por meio de um

instrumento de registro que contém as fontes de argumentação das quais o especialista irá

realizar uma reflexão, atribuindo valor de zero a dez, com objetivo de mensurar o grau de

influência que uma das fontes de argumentação tem do seu conhecimento sobre o tema

investigado. Posteriormente serão apresentados os procedimentos de cálculo realizados neste

estudo com especialista na área da Educação com o tema ―Avaliação de pesquisas na área da

Educação‖ para determinar o grau de argumentação do especialista.

114

3.1.6. Competência do Especialista

Para adotar o Método Delphi, é necessário observar os pressupostos com relação ao

grau de conhecimento e argumentação, assim como observar o mínimo de competência

necessária ao especialista para ser credenciado ao estudo. As investigações que aderiram ao

Método Delphi, observados neste estudo, adotam o grau mínimo de 0,8 de competência que o

especialista deve ter para ser credenciado à pesquisa.

Nas investigações nacionais e internacionais o termo competência assume um papel

importante nas pesquisas, principalmente na área da Educação, onde se associa a capacidade,

habilidades, aptidão, potencialidades e conhecimentos (COMELLAS, 2000; CRUZ, 2001;

GOUVEIA, 2007; PERRENOUD, 1999 apud DIAS, 2010).

No aspecto profissional, a competência está relacionada diretamente com a qualidade

da atividade desenvolvida, com a mobilização de recursos e saberes vivenciados. Segundo

Costa (2004), a competência influencia positivamente o conhecimento apropriado pela

pessoa.

[...] a competência como a capacidade que as pessoas desenvolvem de articular,

relacionar os diferentes saberes, conhecimentos, atitudes e valores; como uma ação

cognitiva, afetiva, social que se torna visível em práticas e ações que se exercem

sobre o conhecimento, sobre o outro e sobre a realidade. Constitui-se por um

conjunto de saberes, de saberes-fazer e de atitudes que podem ser mobilizadas e

traduzidas em performances (DIAS, 2010, p. 74).

Sendo assim, espera-se que os especialistas que participam da pesquisa, durante o

processo de investigação, se apropriem dos conhecimentos dos demais especialistas que

emitiram suas opiniões sobre determinado fenômeno.

A competência pode ser vista como situações de decisões e propostas de soluções

para o tema, associado à compreensão e à avaliação. Também está associada à competência

do especialista a mobilização de saberes, de modo a agir/reagir adequadamente diante das

propostas de solução dos demais especialistas.

No trabalho de Dias (2010) observou-se que a competência está associada ao

[...] modo a agir/reagir adequadamente. Desta forma, a tomada de decisão (expressar

conflitos, oposições), a mobilização de recursos (afetivos e cognitivos) e o saber agir

(saber dizer, saber fazer, saber explicar, saber compreender) são as características

principiais da competência. Estas características permitem entender este conceito

como uma forma de controlar (simbolicamente) as situações da vida. (DIAS, 2010,

p.75)

115

A competência requerida pelo pesquisador dos especialistas promove soluções

singulares e de qualidade para as investigações no âmbito da Educação em Ciências e

Matemática que adotam o Método Delphi com aditamento dos critérios de triagem. No

decorrer do texto será apresentado o instrumento para mensurar o grau de competência do

especialista.

3.1.7. Coeficiente de Conhecimento Individual (Kc)

Ao constituir a amostra de especialistas é necessário verificar as credenciais dos

especialistas. A primeira credencial a ser examinada é o grau de conhecimento que o

especialista possui sobre o tema investigado, previamente definido um limite mínimo de 0,8,

em concordância com os estudos observados que aderiram ao Método Delphi e adotaram o

grau mínimo de 0,8 de conhecimento que o especialista deve possuir para ser credenciado ao

estudo.

Para os procedimentos de triagem considerando o conhecimento individual do

especialista, definiu-se uma escala de possíveis respostas atribuídas pelo especialista que

assume um intervalo de valores discretos entre 0/10 a 10/10. A quantidade de possibilidades

de resposta que o especialista dispõe em certa questão influencia na perfilhação do método de

análise estatística. A Figura 3 declara o significado da valorização numérica discreta realizada

pelo especialista.

As caracterizações dos registros de fenômenos através de variáveis quantitativas

influenciam diretamente na decisão de determinar qual método mais adequado para análises

dos registros (MATTAR, 2001). Para aprofundar, através dos conhecimentos estatísticos, nos

conceitos de caracterização de registros, sugere-se os trabalhos de Morettin e Bussab (1991).

No procedimento de mensuração do fenômeno é necessário definir a variável, o

atributo e a relação entre os valores registrados. A propriedade do fenômeno que se quer

mensurar é caracterizada pela variável. A categoria em que se observa a propriedade do

fenômeno mensurado define o atributo. Também é importante definir a associação entre os

valores da variável (HERRERO e CUESTA, 2005). Neste estudo, os números que codificam

os valores dos atributos do fenômeno são caracterizados pela medida de escala ordinal, que

varia de 0 a 10. (Figura 6).

Figura 6: Escala ordinal discreta para definir o grau de conhecimento do especialista (Kc).

116

Na Figura 6 é declarada uma ordem de valores discretos de 0 até 10 diretamente

relacionada com o conhecimento do especialista sobre o tema investigado. A possibilidade de

estar disponível ao especialista a opção de uma resposta discretizada produz o maior número

de informações a respeito do grau de conhecimento sobre o tema em investigação (REA e

PARKER, 2000). Os valores discretos obtido pelo pesquisador devem descrever

adequadamente o fenômeno investigado, de forma a atender ao objetivo inicial do estudo. A

discretização das respostas dos especialistas é realizada quando o pesquisador, após definido o

critério, classifica os registros de um fenômeno para possibilitar as análises, certamente às

características iniciais dos registros deixam de existir, entretanto, evidencia as características

relevantes dos fatores ou fenômeno em estudo.

A grandeza escalar intervalar pode ser utilizada pelo pesquisador para qualificar,

ordenar e descrever o fenômeno com infinitas possibilidades de respostas. As unidades

constantes de registros que indicam o valor exato de cada categoria de respostas são derivadas

de uma grandeza escalar intervalar que passaram por uma classificação, segundo critérios

predeterminados pelo pesquisador. Com uma resposta intervalar a sensibilidade da resposta é

maior do que a resposta categórica ordinal ou nominal, o que possibilita uma análise mais

próxima da realidade do fenômeno quando é realizada a comparação com outras escalas

empregadas nos registros dos fenômenos observados (REA e PARKER, 2000). Para este

estudo foi considerado a variável discreta para simplificar os cálculos matemáticos.

O grau do coeficiente de conhecimento do especialista é obtido segundo o critério de

avaliação do especialista, quando este assinala com x o valor que corresponde ao seu grau de

conhecimento em relação ao tema proposto pelo pesquisador (Figura 7).

Considere ―0‖ = Desconhece totalmente ---------------------------------―10‖ = Conhece totalmente

Figura 7: Escala ordinal referente ao Grau de Conhecimento sobre o tema investigado.

O grau de conhecimento do especialista (Kc) é obtido através da razão da valorização

assinalada (Figura 7) por 10. Desta forma, o grau de conhecimento do especialista pode

assumir valores decimais, depois de realizado o cálculo da razão.

117

3.1.8. Coeficiente de Argumentação Individual (Ka)

Outro fator a ser considerado inicialmente nos procedimentos de triagem é a

qualidade de argumentação relacionada com o tema que o especialista detém. Para obter este

fator é necessário que o especialista registre, segundo seu critério de avaliação, uma valoração

do seu grau de influência para cada uma das seguintes fontes de argumentação: análises de

teóricos pelo especialista sobre o tema F1, a experiência sobre o tema (F2), conhecimento de

trabalhos referenciados por autores nacionais sobre o tema (F3), conhecimento de trabalhos

referenciados por autores estrangeiros sobre o tema (F4), e o próprio conhecimento acerca do

tema (F5), sua intuição sobre o tema (F6) (Quadro 17).

Quadro 17: Questões a serem apresentadas para especialistas no primeiro contato para assinalar seu grau ordinal

discreto de influência sobre o tema investigado, acervo do autor (2015). FONTES DE ARGUMENTAÇÃO 1GRAU DE INFLUÊNCIA ORDINAL DISCRETA

F1 = Análises teóricas realizadas por você sobre o

tema.

0 1 2 3 4 5 6 7 8 9 10

F2 = Sua experiência sobre o tema.

0 1 2 3 4 5 6 7 8 9 10

F3 = Conhecimento de trabalhos referenciados por

autores nacionais sobre o tema.

0 1 2 3 4 5 6 7 8 9 10

F4 = Conhecimento de trabalhos referenciados por

autores estrangeiros sobre o tema.

0 1 2 3 4 5 6 7 8 9 10

F5 = Seu próprio conhecimento acerca do tema.

0 1 2 3 4 5 6 7 8 9 10

F6 = Sua intuição sobre o tema.

0 1 2 3 4 5 6 7 8 9 10

1 Grau de influência ordinal discreto que varia de zero a dez, que corresponde a nenhuma influência e a total influência, respectivamente.

Para conhecer o coeficiente de argumentação (Ka) de cada especialista é necessário

considerar as relações entre as fontes de variações que são declaradas pelo especialista (ver

Anexo 7). As fontes de argumentação (Fa) são os valores assinalados pelos especialistas

através do instrumento de registro conforme o próprio critério de reflexão fornecido após o

primeiro contato.

Os dois coeficientes apresentados anteriormente são obtidos, logo após os

especialistas terem aceitado o convite de participar do estudo.

É importante que os instrumentos de registros das valorações realizadas pelos

especialistas sejam satisfatoriamente compreendidos no momento de preenchimento, caso

118

contrário o estudo será contemplado com vieses nos registros, por conseguinte, os resultados

obtidos não representam a realidade do fenômeno. Outrossim, o estudo constituído por um

grupo de especialistas com conhecimentos díspares pode intrincar a confluência das respostas

dos especialistas.

3.1.9. Coeficiente de Competência Individual (Ki)

Outro fator importante que determina a inserção do especialista na investigação é o

Coeficiente de Competência do Especialista ―i‖ (ki), o qual fundamenta a decisão de

permanência do especialista na investigação. Os coeficientes de conhecimento e de

argumentação têm o mesmo peso para definir o grau de competência de cada especialista (ver

anexo 8). O pesquisador deve observar a consciência do especialista em relação ao seu

conhecimento com o tema a ser investigado, pois esta observação é relevante para determinar

o grau de competência do especialista.

A seguir é apresentada a Tabela 1 que possibilita ao pesquisador obter uma

interpretação prática do grau de competência do especialista depois de realizados os cálculos

dos coeficientes de competência.

Tabela 1: Regras para interpretação do Grau de Competência de cada especialista (k) relacionado ao tema de

investigação. VARIAÇÃO DO COEFICIENTE GRAU DE COMPETÊNCIA

1 k

0,91k ─ 0,99k

0,71k ─ 0,90k

0,41k ─ 0,70k

0,21k ─ 0,40k

0,01k ─ 0,20k

0k

Perfeita Competência

Ótima Competência

Boa Competência

Moderada Competência

Pequena, mas definida Competência

Leve, quase imperceptível Competência

Ausência de Competência

Fonte: Adaptado de Becegato, Vieira e Neto (2009)

Nos trabalhos que utilizaram o Método Delphi, é comum observar que os

especialistas que obtiveram coeficiente de competência superior a 0,8k, são possíveis

candidatos a participarem do estudo.

Em estudos que adotam o Método Delphi atribuído de critérios de triagem, é

necessário verificar a disponibilidade de tempo e comprometimento com as interações que o

especialista deve ter, além de analisar o coeficiente de competência, dentre as características

que determinam o credenciamento do especialista no estudo.

119

A opção de determinar o corte em 0,8k fundamenta-se nas estatísticas dos trabalhos

nacionais e internacionais que utilizam o Método Delphi. Observa-se que a maioria dos

estudos retira o especialista que obtiver um Coeficiente de Competência inferior a 0,8k.

Portanto, os especialistas que se mantêm inicialmente no estudo são considerados os que

possuem uma boa competência para opinar no tema investigado (Tabela 1).

Outro fator a ser considerado para se manter 0,8k é possibilitar um número mínimo

de especialistas credenciados. É comum o tema em estudo ser atual, por conseguinte a

comunidade não dispor de especialistas disponíveis sobre o tema para opinar nas

investigações, visto que, caso o pesquisador seja muito rígido em determinar um número

mínimo inferior ao proposto, terá dificuldades de compor a amostra de especialistas.

O grau de competência do especialista não garante sua permanência até o final das

investigações, pois caso suas respostas tenham extrema divergência em relação ao grupo,

quando analisados estatisticamente os registros, e esta discrepância não seja corrigida nas

próximas interações, sugere-se que o especialista seja retirado da investigação, e caso haja

interesse do pesquisador, é possível realizar um estudo de caso com o especialista retirado do

grupo para compreender as discrepâncias observadas nas respostas.

3.1.10. Coeficiente de Consenso da Competência do Grupo (kµ)

Anteriormente foi possível obter para cada especialista que participa do estudo,

estimativa do Coeficiente de Competência (k), obtido através do Coeficiente de

Argumentação (ka) e do Coeficiente de Conhecimento (kc).

Para verificar se o grupo de especialistas atende aos objetivos do estudo é necessário

conhecer o Coeficiente de Consenso do grupo de especialista. A medida adotada para

representar o coeficiente de competência dos especialistas é conhecida como a medida de

tendência central representada neste trabalho por kµ.

O kµ é obtido através da média aritmética simples dos coeficientes de competência de

cada especialista (ver Anexo A). Através da média aritmética o pesquisador conhece a

tendência central do grupo de especialistas que participam da investigação. Após obter

Coeficiente de Consenso da Competência do grupo, é necessário realizar a interpretação

prática do valor, para isso é possível utilizar as regras para interpretação em que o kµ varia de

―0‖ a ―1‖ representando a interpretação prática que varia de ausência de competência à

perfeita competência respectivamente do especialista.

120

Tabela 2: Regras para interpretação do Grau de Competência do grupo de especialistas (kµ) relacionado ao tema

de investigação.

VARIAÇÃO DO COEFICIENTE GRAU DE COMPETÊNCIA

1 kµ

0,91kµ ─ 0,99kµ

0,71kµ ─ 0,90kµ

0,41kµ ─ 0,70kµ

0,21kµ ─ 0,40kµ

0,01kµ ─ 0,20kµ

0k

Perfeita Competência

Ótima Competência

Boa Competência

Moderada Competência

Pequena, mas definida Competência

Leve, quase imperceptível Competência

Ausência de Competência


É possível observar na Tabela 2, quando a estimativa de tendência central do

coeficiente de competência do especialista assume o valor um (1), o pesquisador pode

concluir que a amostragem realizada é perfeita para o estudo proposto.

3.1.11. Coeficiente de Dispersão Padrão da Competência do Grupo (kµσ)

Anteriormente foi apresentado o Coeficiente de Consenso da Competência (kµ) do

grupo de especialistas, ou seja, a tendência central do grupo em relação ao grau de

competência dos especialistas. Entretanto, é necessário conhecer também a qualidade de kµ. A

qualidade de kµ pode ser verificada através da dispersão dos kis. Portanto, a partir dos

coeficientes kis e de kµ obtidos, é possível conhecer o Coeficiente de Dispersão Padrão da

Competência do Grupo (kµσ) de especialistas, ou seja, a partir disso é possível conhecer o

quanto estão dispersos os registros dos especialistas em relação à tendência de respostas do

grupo de especialistas (ver Anexo J).

O coeficiente de dispersão padrão da competência do grupo de especialistas pode ser

definido pelo kµσ. Por conseguinte esta estatística permitirá conhecer e avaliar o quanto estão

dispersas as respostas dos especialistas. É considerado um consenso perfeito quando o

resultado kµσ= 0. Entretanto, quando o coeficiente de dispersão está alto, é um indicativo para

o pesquisador rever o grupo de especialistas indicados para participarem da investigação,

mesmo que tenha o kµ > 0,8. Outra estratégia para substituir os especialistas do grupo ocorre

através do intervalo de confiança. A seguir, é apresentado um método para verificar qual dos

especialistas está com suas respostas acima de um determinado intervalo de confiança.

3.1.12. Intervalo de Confiança de kµ a um grupo superior a trinta especialistas

121

Na investigação em que possui um grupo com mais de trinta especialistas

efetivamente participando das interações, recomenda-se que os cálculos para determinar o

intervalo de confiança para o Coeficiente de Consenso da Competência (kµ) do grupo de

especialistas estejam baseados na Distribuição de Probabilidade Gaussiana (JOHANN e

HAMBÖKER, 1994).

Baseado nos conteúdos da Estatística é possível fundamentar que numa amostra

composta por mais de 30 observações é necessário utilizar a Distribuição de Probabilidade

Gaussiana para inserir um nível de confiabilidade aos cálculos que derivam o intervalo de

confiança (Figura 8). É possível observar uma representação gráfica da curva da Distribuição

de Probabilidade Normal e para conhecer sua concepção ver o Anexo K.

Figura 8: Curva que representa a Distribuição de Probabilidade Gaussiana. Com área hachurada escura

representando o coeficiente de confiabilidade (1 - α) e a complementar representando o coeficiente de

significância (α/2) (JOHANN e HAMBÖKER, 1994).

Ao considerar o intervalo de dispersão de um grupo com mais de trinta especialistas

participantes na investigação, é possível verificar a posição da competência do especialista em

relação à tendência central de resposta do grupo de especialistas.

Também é possível afirmar com um determinado nível de confiança desejado pelo

pesquisador os valores mínimos e máximos que o Coeficiente de Consenso da Competência

dos especialistas pode assumir. Portanto, é possível conhecer o intervalo que contém o kµ com

um determinado nível de certeza, que indica a variabilidade do verdadeiro valor da resposta

do grupo de especialista (kµ).

122

Este estudo não tem a finalidade de aprofundar os conceitos estatísticos, para tanto,

indica-se o os trabalhos de Barbetta (2002) e Bardin (2004). E para apresentar conhecimentos

estatísticos que fundamentam os procedimentos de triagem, para uma abordagem mais

específica referente às dispersões (), recomenda-se a obra de Johann e Hamböker (1994).

Para um grupo maior que trinta especialistas é possível determinar, com base em

conhecimentos estatísticos, os limites da dispersão da estimativa do coeficiente de

competência do especialista através do limite superior e inferior da estimativa, conhecido

como intervalo de confiança (ICc) (ver Anexo 12). A partir do momento que o pesquisador

conhece a posição do Coeficiente de Competência do Especialista (ki), e o Coeficiente de

Dispersão da Competência do Grupo (kµσ), são calculados os do grupo de mais de trinta

sujeitos, sendo possível verificar se há necessidade de substituir o especialista em questão,

com um determinado nível de confiabilidade previsto pelo pesquisador.

3.1.13. Intervalo de Confiança de kµ para um grupo inferior a trinta especialistas

Para um grupo com número inferior a trinta especialistas, recomenda-se que os

cálculos para determinar as estimativas estejam baseados na Distribuição de Probabilidade T-

Student (JOHANN e HAMBÖKER, 1994). Na Figura 9 é possível observar que a

Distribuição de Probabilidade T- Student é semelhante à Distribuição de Probabilidade

Gaussiana. Umas das características da Distribuição de Probabilidade T- Student a ser

considerada para este trabalho é que para a definição do α é considerado a quantidade de

especialistas que participam da investigação e que registram suas opiniões.

Figura 9: Curva que representa a Distribuição de Probabilidade T-Student. Com área hachurada escura

representando o coeficiente de confiabilidade (1-α) e a complementar representando o coeficiente de

significância (α/2) (JOHANN e HAMBÖKER, 1994).

123

A curva declarada na Figura 9 pode ser obtida através da Função Distribuição de

Probabilidade de Student, sendo X uma variável aleatória com distribuição ―t‖ de Student (ou

simplesmente ―t‖) com média µ, parâmetro de escala σ e ν graus de liberdade, considerando

que x seja o coeficiente de competência do especialista, denota-se x ~ tν (µ, σ2) (ver anexo M).

Para um grupo menor que trinta especialistas, é possível conhecer os limites da

dispersão da estimativa do Coeficiente de Competência através do limite superior e inferior,

conhecido como intervalo de confiança (ICct) (ver Anexo N). Portanto, ao conhecer o limite

inferior e superior da estimativa, é possível o pesquisador afirmar que o verdadeiro

Coeficiente de Competência do Grupo está neste intervalo calculado. Também é possível

realizar a comparação com os demais coeficientes de competência do especialista e observá-

los individualmente e verificar se estão entre o intervalo calculado.

3.1.14. Coeficiente de Variação do kµ (CVkµ)

O Coeficiente de Competência de cada especialista é um indicador importante para

definir sua participação na investigação que pode ser obtido através do Método Delphi

ensejado dos critérios de triagem, do mesmo modo é utilizado para prospecção de informação.

Considerando que a principal fonte de geração de informação na investigação é o

grupo de especialistas, é necessário que o pesquisador adote o Coeficiente de Variação do

Consenso da Competência do Grupo (CVkµ) de especialistas que determinará a qualidade e a

consistência das respostas do grupo (ver Anexo 14). O ideal na investigação seria que cada

especialista possuísse o Coeficiente de Competência com valor igual a um, ou próximo disso.

Se todos os especialistas que compõem a amostra tivessem um coeficiente igual a um ou

próximo disso, a variação dos coeficientes seria mínima.

Uma baixa variação nos Coeficientes de Competência de cada especialista garante a

qualidade na representatividade do fenômeno através da confluência das respostas dos

especialistas. Assim, o pesquisador utiliza um grupo de especialistas com excelentes

características relacionados ao conhecimento, argumentação e competência e, por

conseguinte, espera-se contribuições significativas para a investigação. Porém, na realidade

não é habitual encontrar grupos de especialistas com características supracitadas, sempre há

uma variação, muitas vezes com causas insólitas ou de difícil controle, entretanto, o

pesquisador pode conhecer esta variação e ter a decisão de manter o grupo ou realizar

mudanças de especialistas com o objetivo de diminuir esta variação para obter a

homogeneidade do grupo.

124

Uma importante característica do Coeficiente de Variação do kµ é a unidade de

medida declarada em percentual, que permite comparar estudos com diferentes grandezas

escalares. O Coeficiente de Variação do kµ permite ao pesquisador observar a qualidade da

concentração do grau de competência do grupo de especialistas à medida que mensura os

registros (ver anexo 15).

3.1.15. Exemplo de Comparação do Coeficiente de Variação do kµ

Quando o estudo possui mais de um grupo de especialistas, ou o pesquisador deseja

incluir um ou mais grupos de especialistas, formando um grupo único, considerando que o

pesquisador já conhece o Coeficiente de Competência do grupo de especialistas, é possível

verificar a heterogeneidade, simplesmente comparando os percentuais entre os grupos antes

de realizar a junção através do Coeficiente de Variação do kµ (CVkµ).

Um exemplo que pode ser utilizado do Coeficiente de Variação do kµ (CVkµ) está no

estudo de Paixão et al., (2014) que tem como objetivo construir indicadores relacionados à

multidimensionalidade baseada em Sander (1995), e a partir destes, avaliar os mestrados

profissionais. Este estudo utiliza método de prospecção com três interações, onde

participaram três grupos de especialistas, sendo estes: Coordenadores de Mestrados

Profissionais, Coordenadores de área da CAPES e pesquisadores com artigos acadêmicos

publicados sobre o tema. Neste estudo, apesar da grande contribuição para a Educação, não

foi quantificada a homogeneidade da competência entre os grupos de especialistas, o que

facilitaria a condução dos procedimentos metodológicos do método de prospecção. Há uma

dificuldade quando as opiniões dos especialistas divergem com características comuns

derivadas de cada grupo, formando três consensos no estudo, o que é justificado pelas

respostas ter origem de cada um dos três grupos com características semelhantes

internamente. A não quantificação disso pode gerar uma variação nas respostas que vai

dificultar a obtenção do consenso das respostas dos especialistas e, por consequência,

aumentar os números de interações.

Outro teste possível de ser realizado é o Teste F, para comparar com um determinado

grau de confiabilidade as dispersões do Coeficiente de Consenso da Competência do Grupo

de especialistas, indica-se a obra de Draper e Smith (1981) para obter as funções que

possibilitam ao pesquisador concluir se há diferença ou não entre a dispersão das avaliações

que constitui os consensos entre grupos de especialistas. Nas obras de Siegel (1975), Corder e

Foreman, (2009) e Oja (2010) o pesquisador pode obter outros testes como o Kolmogorov-

125

Smirnov, Sinais, Wilcoxon e U de Mann-Withney para trabalhar com variáveis qualitativas

que certamente contribuirão para a investigação.

3.1.16. Coeficiente de Relação de Indicadores Qualitativos - RIQc

É comum o pesquisador estar interessado em observar a intensidade de associação

entre dois ou mais fenômenos observáveis, com o Coeficiente de Relação de Indicadores

Qualitativos (RIQc), isso é possível. Além de observar, é possível quantificar o quanto um

fenômeno interfere ou está associado com a estrutura do outro.

Nas pesquisas de abordagem quantitativa as técnicas mais empregadas pelos

pesquisadores para observar associação entre fenômenos são as de Análise de Correlação,

composta por ferramentas fundamentais nas mais diversas áreas do conhecimento, como nas

áreas de Ciências Sociais e do Comportamento, da Engenharia e das Ciências Naturais

(DRAPER e SMITH, 1981). Entretanto, uma abordagem quantitativa tende a resumir as

discussões entre as associações entre os fenômenos, o que não acontece nas abordagens

qualitativas.

O Coeficiente de Relação de Indicadores Qualitativos (RIQc) não tem objetivo de

resumir as discussões nas investigações de associações entres os fenômenos, mas sustentá-las

através da quantificação.

É importante o pesquisador conhecer os diferentes métodos de verificação de

associação e os pressupostos que fundamentam sua aplicação, para não utilizar uma técnica

inadequada. Existem diversos critérios para avaliar a relação, alguns próprios para fenômenos

que seguem uma distribuição teórica de probabilidade e outros fenômenos que não seguem

uma distribuição teórica de probabilidade conhecida. É comum a utilização de coeficientes de

correlação, por exemplo, Contingência C, Kendall, Spearman, Pearson, entre outros, para

verificar associação entre fenômenos (SIEGEL, 1975; CORDER e FOREMAN, 2009), no

entanto, cada um desses coeficientes possui pressupostos a serem atendidos para validar sua

utilização na investigação com abordagem quantitativa.

A proposta do Coeficiente de Relação de Indicadores Qualitativos (RIQc) é atender

as investigações com abordagem qualitativa, onde os fenômenos observados não seguem uma

distribuição de probabilidade conhecida e não seja possível a utilização de métodos

estatísticos paramétricos e não-paramétricos para verificação da relação entre fenômenos.

Para obter o Coeficiente de Relação de Indicadores Qualitativos (RIQc) é necessário

apresentar a questão que representa a relação entre os indicadores ao grupo de especialistas

em todas a interações, até o consenso.

126

No Quadro 18 são revelados exemplos genéricos de 5 questões apresentadas aos

especialistas para avaliar a relação entre 4 elementos, com possibilidades de respostas que

variam de ―0 a 1‖.

Quadro 18: Grupo de cinco questões, apresentados aos especialistas na investigação de abordagem qualitativa

(Acervo do autor, 2015).

Num. Questões Elementos de associação RIQc

1.Q Problema vs Objetivo Geral vs Metodologias vs Resultados *





*Coeficiente de Relação de Indicadores Qualitativos (RIQc) obtido através da média aritmética da última

resposta do grupo de especialistas.

Ao se obter a homogeneidade de resposta do grupo dos especialistas da questão em

que o pesquisador está a verificar a relação entre os fenômenos, é necessário calcular a média

aritmética simples das respostas dos especialistas para conhecer o RIQc (ver Anexo 17).

Observa-se que em cada uma das cinco questões o pesquisador verificou a coerência

entre os elementos de cada argumento (Quadro 18). Cada um dos quatros elementos

(Problema, Objetivo Geral, Metodologias e Resultados) inseridos nas questões, foi obtido a

partir de trabalhos científicos da área da Educação.

No Quadro 19 declara-se a última questão da investigação qualitativa deste estudo

apresentada aos especialistas para avaliar, com objetivo de verificar a contribuição entre os

trabalhos científicos e suas contribuições no âmbito da Educação em Ensino de Ciências e

Matemática.

Quadro 19: Grupo de cinco argumentos "Crono", "Héstia", "Eros", "Ares" e "Hades", apresentados como última

questão aos especialistas na investigação de abordagem qualitativa no segundo semestre de 2015 para verificar a

contribuição dos argumentos para a Ciência no âmbito da Educação em Ciências e Matemática (Acervo do autor, 2015).

Relação entre Estudos e a área de Educação em Ciências e Matemática RIQc

―Crono‖ vs Ciência na área de Educação em Ciências e Matemática *

―Héstia‖ vs Ciência na área de Educação em Ciências e Matemática *

―Eros‖ vs Ciência na área de Educação em Ciências e Matemática *

―Ares‖ vs Ciência na área de Educação em Ciências e Matemática *

―Hades‖ vs Ciência na área de Educação em Ciências e Matemática *

*Coeficiente de Relação de Indicadores Qualitativos (RIQc) obtido através da média aritmética da última

resposta do grupo de especialistas.

O pesquisador, fundamentado em conteúdos estatísticos, identifica a mínima ou

ausência de dispersão entre as avaliações realizadas pelos especialistas e, a partir disso,

127

finaliza os procedimentos de interação. Após a última interação é possível obter a média

aritmética das respostas para conhecer o RIQc para estudo na área Educação em Ensino de

Ciências e Matemática.

No Quadro 19 anuncia-se a utilização do Coeficiente de Relação de Indicadores

Qualitativos (RIQc) obtido através da média aritmética da última resposta do grupo de

especialistas em relação à questão que avalia a contribuição dos argumentos "Crono",

"Héstia", "Eros", "Ares" e "Hades" para a Ciência na área da Educação em Ciências e

Matemática.

Foram realizadas análises sistemáticas nas teses e formulados cinco argumentos a

partir de 4 elementos retirados das teses. Este estudo não tem qualquer intenção de polemizar

os trabalhos científicos, até porque cada estudo tem suas características próprias, e também

para evitar tendências nas opiniões e reflexões dos especialistas e aumentar a confiabilidade

do conjunto de registros, as teses selecionadas tiveram seus títulos substituídos pelos

seguintes nomes: ―Crono‖, ―Héstia‖, ―Eros‖, ―Ares‖, ―Hades‖ 14

. Ao definir estes nomes,

elaborou-se os argumentos fundamentados em quatro elementos identificados nos estudos de

doutoramento.

Na Tabela 3 é realizada uma adaptação da obra de Becegato et al., (2009) de tabelas

de métodos quantitativos para interpretação de associação entre fenômenos investigados para

este trabalho de abordagem qualitativa.

Tabela 3: Regras para interpretação dos coeficientes de relação entre fenômenos observados em investigações

de abordagem qualitativa. VARIAÇÃO DO COEFICIENTE FORÇA DE RELAÇÃO

1

0,91 ─ 0,99

0,71 ─ 0,90

0,41 ─ 0,70

0,21 ─ 0,40

0,01 ─ 0,20

0

Relação perfeita

Relação Muito forte

Alta relação

Moderada relação

Pequena, mas definida

Leve, quase imperceptível

Inexistência de relação


14

Nomes que corresponde aos deuses da Grécia Antiga: ―Crono‖ – deus do tempo; ―Héstia‖ – deusa do lar;

―Eros‖ – deus do amor, paixão; ―Ares‖ – deusa da guerra; ―Hades‖ – deusa do mundo dos mortos e do subterrâneo (FUNARI, 2009).

128

Na Tabela 3 é possível o pesquisador realizar a interpretação do cálculo da média

aritmética que representa o RIQc. Para que ocorra uma relação perfeita entre os fenômenos é

necessário que todos os especialistas que participam da investigação forneçam uma resposta,

segundo seu critério de avaliação, um conceito igual a 1.

A exemplo dos métodos quantitativos que somente verificam a relação entre

fenômenos, o método de RIQc também indica somente se há uma associação entre os

fenômenos, mas não quantifica o grau de dependência entre eles. Para métodos quantitativos é

utilizado pelos pesquisadores para quantificar o grau de dependência entre os fenômenos o

Coeficiente de Determinação, esta mesma ideia é proposta neste estudo.

3.1.17. O Coeficiente de Determinação da Relação de Indicadores Qualitativos

O Coeficiente de Determinação, amplamente utilizado nas investigações em diversas

áreas do conhecimento com abordagem quantitativa, tem o objetivo de mostrar o grau de

relação entre dois fenômenos (DRAPER e SMITH, 1981). Neste trabalho a proposta é utilizar

o Coeficiente de Determinação nas investigações de abordagem qualitativa, seguindo uma

adaptação a partir dos métodos quantitativos.

O coeficiente é definido quando é elevado o Coeficiente de Relação de Indicadores

Qualitativos (RIQc) ao quadrado, portanto, denotado por RIQc2 (ver Anexo 16).

Pode ser interpretado o RIQc2 pelo pesquisador como sendo a proporção da variação

do fenômeno dependente que é explicada pelo fenômeno independente (e vice versa). Sendo

assim, o Coeficiente de Determinação possibilita ao pesquisador afirmar em percentual o grau

de associação entre os fenômenos.

Até este momento foram apresentados métodos para avaliar a qualidade do grupo de

especialistas para credenciá-los nas investigações que adota o Método Delphi atribuído dos

critérios de triagem. Depois de formulado o grupo de especialistas é distribuído o instrumento

de registros com questões fechadas, possibilitando aos especialistas respostas discretas de ―0‖

a ―10‖ conforme seu critério de avaliação, para cada indicador definido pelo pesquisador.

Também são disponibilizadas questões abertas com o objetivo de aprimorar o instrumento

para as próximas interações com especialistas, que ocorrem até a obtenção do consenso das

respostas fornecidas pelos especialistas. A seguir, será apresentado o método de organizar,

avaliar e interpretar as respostas dos especialistas.

129

3.1.18. Organização dos Registros do fenômeno

Nesta seção são apresentados apenas exemplos de tratamentos dos registros para uma

investigação com abordagem qualitativa utilizando o Método Delphi atribuído de critérios de

triagem. No Capítulo V é apresentado o desenvolvimento dos cálculos em uma investigação

realizada para avaliar pesquisas no âmbito da Educação em Ciências e Matemática.

Ao obter o consenso dos especialistas, os registros das respostas são organizados em

uma tabela, quantificando a frequência de respostas entre ―0‖ a ―10‖, conforme o critério de

avaliação de cada especialista, para cada indicador definido pelo pesquisador.

Por exemplo, o primeiro indicador encaminhado aos especialistas para ser avaliado

apresenta-se no Quadro 20, a seguir.

Quadro 20: Indicador ‖Crono‖ encaminhado aos especialistas para receber uma avaliação discreta entre ―0‖ a

―10‖ (Acervo do autor, 2015).

130

Ao total deste estudo foram encaminhados seis indicadores denominados de

―Crono‖,‖Héstia‖,‖Eros‖,‖Ares‖,‖Hades‖ e Contribuição. Cada indicador recebeu uma

avaliação segundo o critério de cada especialista que variava de ―0‖ a ―10‖. A cada interação,

o envio dos indicadores para os especialistas realizarem as avaliações ocorreu através do

correio eletrônico, até a obtenção do consenso entre os especialistas.

Para construir a primeira tabela de resumo das últimas respostas da última interação

dos especialistas, apresenta-se o Quadro 21.

Quadro 21: Exemplo de elaboração da primeira matriz de registros do fenômeno, após a obtenção do consenso

dos especialistas no Método Delphi atribuído de critérios de triagem (Acervo do autor, 2015).

1 - Problema

É possível a cultura local dialogar com saberes acadêmicos e escolares para potencializar a formação inicial

de professores de Química?

2 - Objetivo geral

Compreender a possibilidade de cultura local dialogar com saberes acadêmicos e escolares e potencializar a

formação inicial de professores de Química a partir das oficinas temáticas.

3 - Metodologias

Abordagem qualitativa através de uma pesquisa etnográfica, com os registros do fenômeno sendo composto

por observação participante e entrevistas geradas através do diário de campo, câmera fotográfica, filmadora e

gravador de voz.

4 – Resultados

a- Conteúdos curriculares abordados nas oficinas temáticas são exemplos de que precisamos passar pelo

processo de transgressão das fronteiras rígidas das disciplinas escolares e acadêmicas;

b- É preciso propor cada vez mais ações transversais e interdisciplinares para a superação de um ensino que

permite a reprodução do conhecimento e de práticas docentes conservadoras;

c- As demonstrações realizadas pelos alunos suscitaram nos professores a vontade de aperfeiçoar

metodologias e estratégias de ensino para que os alunos compreendam os conteúdos da Química,

didaticamente transpostos na sala de aula e, sobretudo, para fortalecer práticas pedagógicas;

d- É no coletivo que se constrói uma proposta interdisciplinar;

e- Não basta se apropriar dos conhecimentos dos povos indígenas e das comunidades tradicionais, é

necessário torná-los conhecidos na sociedade, em particular, nas escolas e universidade;

f- As Oficinas Temáticas favoreceram os diálogos entre a cultura local com saberes acadêmicos e escolares e os saberes acadêmicos.

Estimado Professor, segundo o seu critério assinale na escala, como o Senhor considera a coerência

dos elementos do argumento “Crono”.

Considere: 0 = Nenhuma coerência |-----------------------------------------------------------|10 = Perfeita coerência

131

1Especialista 2

Ind1 Ind2 Ind3 Ind4 Ind5 Ind6 ... Indn‟

1 V11 V12 V13 V14 V15 V16 ... V1n‘

2 V21 V22 V23 V24 V25 V26 ... V2n‘

3 V31 V32 V33 V34 V35 V36 ... V3n‘

4 V41 V42 V43 V44 V45 V46 ... V4n‘

5 V51 V52 V53 V54 V55 V56 ... V5n‘

6 V61 V62 V63 V64 V65 V66 ... V6n‘

7 V71 V72 V73 V74 V75 V76 ... V7n‘

... ... ... ... ... ... ... ... ...

... ... ... ... ... ... ... ... ...

... ... ... ... ... ... ... ... ...

N Vn1 Vn2 Vn3 Vn4 Vn5 Vn6 ... 3Vnn‘ 1Especialistas selecionados a partir de parâmetro de corte (ki ≥ 0,8), com i = 1,..., n‘. 2Indicadores selecionados para prospecção de informação para análise do tema em estudo, com m = 1,..., n‘. 3Valorização, segundo critério dos especialistas, com i = 1,..., n e j = 1,..., n‘.

No Quadro 21, na primeira coluna, a segunda linha da matriz representa o

especialista número 1, que tem a possibilidade de atribuir um grau de valorização discreta

entre ―0‖ a ―10‖ para cada indicador. Portanto, o especialista 1 atribui para os indicadores

Ind1, Ind2, Ind3, Ind4, Ind5, Ind6, ...., Indn as valorações V11, V12, V13, V14, V15, V16, ...,V1n‘

respectivamente. A mesma observação é realizada para o último especialista denominado de

―n‖ que atribui valorações entre ―0‖ a ―10‖ para os indicadores Ind1, Ind2, Ind3, Ind4, Ind5,

Ind6, ..., Indn as valorações Vn1, Vn2, Vn3, Vn4, Vn5, Vn6, ...,Vnn‘ respectivamente.

É possível em uma mesma investigação atribuir mais indicadores, e no momento de

construir uma matriz semelhante à indicada no Quadro 21, basta o pesquisador inserir mais

colunas, identificando quais os indicadores estão sendo avaliados pelos especialistas na

primeira linha, e na sequência das linhas inserir as avaliações realizadas pelos especialistas.

Entretanto, a inserção de muitos indicadores a serem avaliados pelos especialistas tende a

aumentar o tempo de dedicação do grupo, o que aumenta o índice de desistência de

especialistas na investigação.

No Quadro 21 é apresentada a primeira organização, em forma de matriz, dos

registros realizados nos instrumentos disponibilizados ao grupo de especialistas. O objetivo ao

construir a primeira matriz é facilitar a construção da matriz de frequência das respostas.

3.1.19. Frequência dos Registros

A elaboração de um resumo dos registros realizados em uma investigação fornece ao

pesquisador informações, o que antes não seria possível, somente com a organização dos

registros em uma matriz.

132

Na Tabela 4 é possível observar o resumo dos registros a partir da matriz de

registros.

Tabela 4: Resumo dos registros do fenômeno investigado, após a construção da matriz de registros das respostas

dos especialistas (Acervo do autor, 2015). 1CONCEITOS

2INDi 10 9 8 7 6 5 4 3 2 1 0

Ind1 FV1,10 FV1,9 FV1,8 FV1,7 FV1,6 FV1,5 FV1,4 FV1,3 FV1,2 FV1,1 FV1,0



... ... ... ... ... ... ... ... ... ... ... ...

Indn FVn,10 FVn,9 FVn,8 FVn,7 FVn,6 FVn,5 FVn,4 FVn,3 FVn,2 FVn,1 3FVn,0

1Escala [10,...,0] de possíveis valorações disponível no instrumento de registro; 2Indicadores selecionados para

fundamentar o tema investigado, com i = 1,..., n.; 3Frequência da valorização atribuída ao indicador pelos

especialista, com i = 1,..., n.

Na Tabela 4 observa-se na primeira coluna os n‘s indicadores (Ind1, Ind2, Ind3, Ind4,

Ind5, ..., Indn. A primeira linha da segunda coluna até a última coluna denominada de ―10‖ até

―0‖ se refere às possibilidades de avaliações que o especialista pode realizar, segundo seu

critério de conhecimento sobre o tema em estudo.

Os FV‘s representam a frequência de valorações realizadas a um indicador (Indn)

para um determinado conceito.

Na Tabela 4, na segunda linha, indicada pelo ―Ind1‖ possibilita o pesquisador observar

que um determinado número de especialistas (FV1,10) atribuiu valorização com valor igual a

10. Para a terceira coluna é possível observar que um determinado número de especialistas

(FV1,9) atribuiu valorização com valor igual a 9 para o Ind1, e assim por diante, até chegar à

coluna de avaliação de valor igual a ―0‖ atribuída por um determinado número de

especialistas (FV1,0).

Para verificar a distribuição do número de especialistas nos conceitos entre ―10‖ a ―0‖,

é necessário observar a soma das valorações realizadas pelos especialistas a cada linha da

Tabela 4, que corresponde ao total de especialistas que responderam o instrumento de

registro.

A Tabela 5 possibilita interpretar as valorações realizadas nos instrumentos de

registros pelo grupo de especialistas de modo que o atributo ―Nenhuma Relevância‖ é

representado pelos valores de 0 até 2 inclusive, o atributo ―Pouca Relevância‖ é representado

pelos valores de 2 exclusive até 4 inclusive.

133

Tabela 5: Regras para interpretação da valorização do indicador pelos especialistas.

VALORIZAÇÃO INTERPRETAÇÃO

8 ─| 10

6 ─| 8

4 ─| 6

2 ─| 4

0 ─| 2

Extremamente Relevante (BR)

Muito Relevante (R)

Relevante (MR)

Pouca Relevância (PR)

Nenhuma Relevância (NR)

Fonte: Adaptado de Becegato et al., (2009).

É possível observar que o especialista, segundo seu critério, ao definir no instrumento

de registro um valor discreto entre 0 e 10 para cada questão, estará definindo o grau de

relevância desta questão entre ‗nenhuma relevância‘ ou ‗extremamente relevante‘ (Tabela 5).

Por exemplo, o especialista, ao definir um valor igual a 9 em uma determinada questão no

instrumento de registro, estará definindo o indicador relacionado à questão como

‗extremamente relevante‘.

Dependendo dos objetivos do estudo, os critérios de triagem possibilitam ao

pesquisador alterar o número de classes que representam as possíveis valorações realizadas

pelos especialistas. Entretanto, quanto menor as possibilidades disponibilizadas ao

especialista para atribuir um grau de valorização discreto ao indicador, maior será a

dificuldade para o pesquisador descrever determinado fenômeno. Em compensação há um

número elevado de possibilidades disponibilizadas ao especialista para atribuir um grau de

valorização ao indicador, melhor será a representatividade do fenômeno. Entretanto, um

número elevado de opções disponíveis ao especialista para valorização de um determinado

indicador poderá desmotivar o especialista a participar do estudo.

3.1.20. Frequência acumulada dos registros

O próximo procedimento de triagem atribuído ao Método Delphi é elaborar a tabela

de frequência acumulada a partir da tabela de frequência dos registros, o formato é semelhante

à Tabela 5. Ao elaborar a tabela de frequência acumulada dos registros observados, é possível

constatar a representatividade das respostas dos especialistas a cada indicador.

A seguir, declara-se na Tabela 6 a exemplificação da tabela de frequência acumulada

a partir da tabela resumo dos registros do fenômeno investigado.

134

Tabela 6: Tabela de frequência acumulada, a partir da tabela de resumo dos registros do fenômeno investigado

(Acervo do autor, 2015). 1CONCEITOS

2INDi 10 9 8 7 6 5 4 3 2 1 0

Ind1 FV1,10 FV1,9 +

FV1,10

FV1,8 +

FV1,9 +

FV1,10

FV1,7 +

FV1,8 +

FV1,9 +

FV1,10

FV1,6 +

FV1,7 +

FV1,8 +

FV1,9 +

FV1,10

FV1,5 +

FV1,6 +

FV1,7 +

FV1,8

+ FV1,9

+

FV1,10

FV1,4 +

FV1,5

+ FV1,6

+ FV1,7

+

FV1,8

+ FV1,9

+

FV1,10

FV1,3 +

FV1,4 +

FV1,5 +

FV1,6 +

FV1,7 +

FV1,8

+ FV1,9

+

FV1,10

FV1,2 +

FV1,3 +

FV1,4 +

FV1,5 +

FV1,6 +

FV1,7 +

FV1,8

+ FV1,9

+

FV1,10

FV1,1 +

FV1,2 +

FV1,3 +

FV1,4 +

FV1,5 +

FV1,6 +

FV1,7 +

FV1,8

+ FV1,9

+ FV1,10

FV1,0 +

FV1,1 +

FV1,2 +

FV1,3 +

FV1,4 +

FV1,5 +

FV1,6 +

FV1,7 +

FV1,8

+ FV1,9

+

FV1,10 Ind2 FV2,10 FV2,9

+ FV2,10

FV1,8 +

FV2,9 +

FV2,10

FV1,7 +

FV1,8 +

FV2,9 +

FV2,10

FV1,6 +

FV1,7 +

FV1,8 +

FV2,9 +

FV2,10

FV1,5 +

FV1,6 +

FV1,7 +

FV1,8 +

FV2,9 +

FV2,10

FV1,4 +

FV1,5 +

FV1,6 +

FV1,7 +

FV1,8 +

FV2,9 +

FV2,10

FV1,3 +

FV1,4 +

FV1,5 +

FV1,6 +

FV1,7 +

FV1,8 +

FV2,9 +

FV2,10

FV2,2 +

FV1,3 +

FV1,4 +

FV1,5 +

FV1,6 +

FV1,7 +

FV1,8 +

FV2,9 +

FV2,10

FV2,1 +

FV2,2 +

FV1,3 +

FV1,4 +

FV1,5 +

FV1,6 +

FV1,7 +

FV1,8 +

FV2,9 +

FV2,10

FV2,0 +

FV2,1 +

FV2,2 +

FV1,3 +

FV1,4 +

FV1,5 +

FV1,6 +

FV1,7 +

FV1,8 +

FV2,9 +

FV2,10 ... ... ... ... ... ... ... ... ... ... ... ...

Indn

FVn,10

FVn,9 +

FVn,10

FV1,8 +

FVn,9 +

FVn,10

FV1,7 +

FV1,8 +

FVn,9 +

FVn,10

FV1,6 +

FV1,7 +

FV1,8 +

FVn,9 +

FVn,10

FV1,5 +

FV1,6 +

FV1,7 +

FV1,8 +

FVn,9 +

FVn,10

FV1,4 +

FV1,5 +

FV1,6 +

FV1,7 +

FV1,8 +

FVn,9 +

FVn,10

FV1,3 +

FV1,4 +

FV1,5 +

FV1,6 +

FV1,7 +

FV1,8 +

FVn,9 +

FVn,2 +

FV1,3 +

FV1,4 +

FV1,5 +

FV1,6 +

FV1,7 +

FV1,8 +

FVn,1 +

FVn,2 +

FV1,3 +

FV1,4 +

FV1,5 +

FV1,6 +

FV1,7 +

3FVn,0 +

FVn,1 +

FVn,2 +

FV1,3 +

FV1,4 +

FV1,5 +

FV1,6 +

135

Tabela 6: Tabela de frequência acumulada, a partir da tabela de resumo dos registros do fenômeno investigado

(Acervo do autor, 2015) (continuação).

+ FVn,10

+ FVn,9

+ FVn,10

+ FV1,8

+ FVn,9

+ FVn,10

+ FV1,7

+ FV1,8

+ FVn,9

+ FVn,10

1Escala [10,...,0] de valorização disponível no instrumento de registro; 2Indicadores selecionados para

fundamentar o tema investigado, com i = 1,..., n.; 3Frequência acumulada da valorização atribuída ao indicador

pelos especialista, com i = 1,..., n.

É possível observar na Tabela 6, a coluna ―10‖ declara que valores foram repetidos

do resumo dos registros (Tabela 4) a partir da matriz de registros. Entretanto, para obter os

valores para as demais colunas da Tabela 6, observa-se que sempre é somado o valor atual

com acúmulo dos valores das colunas anteriores.

3.1.21. Nível de significância das respostas

A tabela construída a partir da tabela de frequência acumulada (Tabela 6) tem o

objetivo de apresentar o nível de significância de cada indicador, através dos registros de

respostas dos especialistas participantes da investigação que adotou o Método Delphi

atribuído de procedimentos de triagem fundamentados em conteúdos estatísticos.

Na Tabela 7 é possível observar o nível de significância representado pelo α, e o

complementar ao nível de significância, frequentemente observado nos métodos quantitativos,

é apresentado através do nível de confiabilidade representado por β.

O resultado da soma dos níveis de significância (α) e confiabilidade (β) é igual a 1,

que representa a totalidade da área abaixo da curva obtida por meio da Função de Distribuição

de Probabilidade da Normal. Outra forma de denominar o nível de significância é conhecer 1

– β. Estes conhecimentos foram abordados no início deste capítulo com a construção dos

intervalos de confiança, entretanto, se houver a necessidade do pesquisador em aprofundar os

conhecimentos sobre probabilidade, indica-se a obra de Meyer (2000) (Tabela 7).

136

Tabela 7: Tabela de significância (1 - β) das valorações dos especialistas, construída a partir da tabela de

frequência acumulada dos registros do fenômeno investigado (Acervo do autor, 2015). 1CONCEITOS

2INDi 10 9 8 7 6 5 4 3 2 1 0

Ind1 3α1,10 α1,9 α1,8 α1,7 α1,6 α1,5 α1,4 α1,3 α1,2 α1,1 α1,0

Ind2 α2,10 α2,9 α2,8 α2,7 α2,6 α2,5 α2,4 α2,3 α2,2 α2,1 α2,0 Ind2 α3,10 α3,9 α3,8 α3,7 α3,6 α3,5 α3,4 α3,3 α3,3 α3,1 α3,0 Ind2 α4,10 α4,9 α4,8 α4,7 α4,6 α4,5 α4,4 α4,3 α4,4 α4,1 α4,0 Ind2 α5,10 α5,9 α5,8 α5,7 α5,6 α5,5 α5,4 α5,3 α5,5 α5,1 α5,0

... ... ... ... ... ... ... ... ... ... ... ... Indn αn,10 αn,9 αn,8 αn,7 αn,6 αn,5 αn,4 αn,3 αn,n αn,1 αn,0

1Escala [10,...,0] de valorações discretas disponíveis no instrumento de registro; 2Indicadores selecionados para

fundamentar o tema investigado, com i = 1,..., n.; 3Significância da valorização atribuída ao indicador pelos

especialistas, com i = 1,..., n..

O valor representado por α1,10 é definido a partir da razão do valor representado por

FV1,10 encontrado na tabela de frequência acumulada, pelo número total de especialistas. O

mesmo raciocínio é para o valor representado por α1,9, obtido pela razão do valor FV1,9 pelo

total de especialistas que se encontra na mesma posição na tabela de frequência acumulada.

Todos os demais α‘s contidos na tabela de significância seguem a mesma lógica de cálculos

para serem obtidos (ver Apêndice K).

Outra afirmação possível de ser obtida através do α1,10, está relacionada ao indicador

representado por Ind1, que possibilita o pesquisador afirmar a chance (%) de não ser avaliado

pelo grupo de especialistas com valorização igual a 10, ou seja, há uma chance de β1,10 dos

especialistas avaliarem segundo seus critérios o indicador Ind1 como uma determinada

relevância.

Observa-se a tabela de confiabilidade, construída a partir do complemento dos valores

de α. A soma de β e α devem ser igual 1, valor que representa a totalidade da área abaixo da

curva de Gauss obtida pela Função da Distribuição de Probabilidade da Normal tendendo

(Tabela 8).

Tabela 8: Tabela de confiabilidade (1 - α), construída a partir da tabela de frequência acumulada dos registros

do fenômeno investigado e da tabela de significância (1 - β) (Acervo do autor, 2015). 1CONCEITOS

2INDi 10 9 8 7 6 5 4 3 2 1 0

Ind1 3β1,10 β1,9 β1,8 β1,7 β1,6 β1,5 β1,4 β1,3 β1,2 β1,1 β1,0

Ind2 β2,10 β2,9 β2,8 β2,7 β2,6 β2,5 β2,4 β2,3 β2,2 β2,1 β2,0

Ind2 β3,10 β3,9 β3,8 β3,7 β3,6 β3,5 β3,4 β3,3 β3,3 β3,1 β3,0

Ind2 β4,10 β4,9 β4,8 β4,7 β4,6 β4,5 β4,4 β4,3 β4,4 β4,1 β4,0

Ind2 β5,10 β5,9 β5,8 β5,7 β5,6 β5,5 β5,4 β5,3 β5,5 β5,1 β5,0

... ... ... ... ... ... ... ... ... ... ... ...

Indn βn,10 βn,9 βn,8 βn,7 βn,6 βn,5 βn,4 βn,3 βn,n βn,1 βn,0 1Escala [10,...,0] de valorações discretas disponíveis no instrumento de registro; 2Indicadores selecionados para

fundamentar o tema investigado, com i = 1,..., n.; 3Confiabilidade da valorização atribuída ao indicador pelos

especialistas, com i = 1,..., n.

137

Na Tabela 9 declara-se a lógica dos cálculos para obter os β‘s. Também é possível

construir a tabela de confiabilidade das valorações de cada indicador segundo critérios dos

especialistas. Para obter a tabela de confiabilidade, é necessário subtrair da tabela de

significância o valor 1 de cada α e apresentar em módulo o resultado.

Tabela 9: Lógica dos cálculos para obter tabela de confiabilidade (1 - α), construída a partir da tabela de

frequência acumulada dos registros do fenômeno investigado e da tabela de significância (1 - β) (Acervo do

autor, 2015). 1CONCEITOS

2INDi 10 9 8 7 6 5 4 3 2 1 0

Ind1 31 - α1,10 1 - α1,9 1 - α1,8 1 - α1,7 1 - α1,6 1 - α1,5 1 - α1,4 1 - α1,3 1 - α1,2 1 - α1,1 1 - α1,0

Ind2 1 - α2,10 1 - α2,9 1 - α2,8 1 - α2,7 1 - α2,6 1 - α2,5 1 - α2,4 1 - α2,3 1 - α2,2 1 - α2,1 1 - α2,0

Ind2 1 - α3,10 1 - α3,9 1 - α3,8 1 - α3,7 1 - α3,6 1 - α3,5 1 - α3,4 1 - α3,3 1 - α3,3 1 - α3,1 1 - α3,0

Ind2 1 - α4,10 1 - α4,9 1 - α4,8 1 - α4,7 1 - α4,6 1 - α4,5 1 - α4,4 1 - α4,3 1 - α4,4 1 - α4,1 1 - α4,0

Ind2 1 - α5,10 1 - α5,9 1 - α5,8 1 - α5,7 1 - α5,6 1 - α5,5 1 - α5,4 1 - α5,3 1 - α5,5 1 - α5,1 1 - α5,0

... ... ... ... ... ... ... ... ... ... ... ...

Indn 1 - αn,10 1 - αn,9 1 - αn,8 1 - αn,7 1 - αn,6 1 - αn,5 1 - αn,4 1 - αn,3 1 - αn,n 1 - αn,1 1 - αn,0 1Escala [10,...,0] de valorações discretas disponíveis no instrumento de registro; 2Indicadores selecionados para

fundamentar o tema investigado, com i = 1,..., n.; 3Área total abaixo da curva da Distribuição de Probabilidade

da Normal.

A conclusão possível de ser obtida com a tabela de confiabilidade, por exemplo, é

através do valor representado pelo β 1,10 relacionado ao indicador representado por Ind1 aonde

possibilita afirmar qual a chance (%) do Ind1 ser avaliado pelo grupo de especialistas com

valorização igual a 10, ou seja, há uma chance de β 1,10 dos especialistas avaliarem segundo

seus critérios o indicador Ind1 como uma determinada relevância.

3.1.22. Dispersão padronizada das respostas

Ao obter a tabela de significância das respostas dos especialistas, é possível declarar

para cada indicador a dispersão padronizada das valorações realizadas pelos especialistas.

Entretanto, para obter os desvios padrões das respostas é necessário interpretar da

tabela da Distribuição de Probabilidade da Normal utilizada, pois há diversas formas de

apresentação, como através da significância, da confiabilidade, acumulada ou a combinação

dessas citadas. Para aprofundamento sugere-se a obra de Meyer (2000). Para constituir a

tabela das estimativas dos desvios padrão (σ) associadas ao nível de confiabilidade,

necessariamente utiliza-se a tabela da Distribuição da Normal (ver Anexo 1).

138

Figura 10: Representação da tabela da Distribuição de Probabilidade da Normal (JOHANN e HAMBÖKER,

1994).

Na Figura 10 é possível observar a relação entre o desvio padrão e o nível de

confiabilidade, para 1σ em torno da média, corresponde a 68,26% de confiabilidade.

Considerar 2σ em torno da média, corresponde a 95,4% de confiabilidade.

Em investigações quantitativas, o pesquisador, ao definir 95% de confiabilidade na

investigação, teoricamente está definindo que, a cada 100 vezes que repetir a investigação, 95

vezes obterá a mesma conclusão (BARBETTA, 2002).

A partir das informações anteriores é possível o pesquisador construir a tabela de

desvios padrões das valorações dos indicadores segundo critérios do grupo de especialistas.

Tabela 10: Desvio padrão (σ) dos indicadores, considerando cada grau de valorização, baseada na tabela de

significância e Tabela de Distribuição de Probabilidade da Gauss (Acervo do autor, 2015).

CONCEITOS

INDi 10 9 8 7 6 5 4 3 2 1 0

Ind1 *σ 1,10 σ 1,9 σ 1,8 σ 1,7 σ 1,6 σ 1,5 σ 1,4 σ 1,3 σ 1,2 σ 1,1 σ 1,0

Ind2 σ 2,10 σ 2,9 σ 2,8 σ 2,7 σ 2,6 σ 2,5 σ 2,4 σ 2,3 σ 2,2 σ 2,1 σ 2,0

Ind3 σ 3,10 σ 3,9 σ 3,8 σ 3,7 σ 3,6 σ 3,5 σ 3,4 σ 3,3 σ 3,2 σ 3,1 σ 2,0

Ind4 σ 4,10 σ 4,9 σ 4,8 σ 4,7 σ 4,6 σ 4,5 σ 4,4 σ 4,3 σ 4,2 σ 4,1 σ 2,0

Ind5 σ 5,10 σ 5,9 σ 5,8 σ 5,7 σ 5,6 σ 5,5 σ 5,4 σ 5,3 σ 5,2 σ 5,1 σ 2,0

... ... ... ... ... ... ... ... ... ... ... ...

Indn σ n,10 σ n,9 σ 1,8 σ 1,7 σ 1,6 σ 1,5 σ 1,4 σ 1,3 σ n,2 σ n,1 σ n,0

*Os valores de σ corresponde o valor padronizado encontrado na Tabela de Distribuição de Probabilidade da

Gauss

Para obter os valores padronizados de dispersão das repostas do grupo de

especialistas apresentados na Tabela 10, é necessário identificar na tabela da Distribuição de

139

Probabilidade de Gauss (ANEXOS 1 e 2) o valor do desvio das valorações que corresponde

ao valor representado por α na Tabela 7.

Através da Tabela 10 é possível observar a dispersão das respostas dos especialistas,

considerando cada grau de valorização. Por exemplo, para obter o desvio padrão σ 1,10, utiliza-

se o valor α1,10 identificado na Tabela 7 e as marginais na tabela da Distribuição de

Probabilidade de Gauss (ANEXO 1 e 2).

O complementar de α1,10 (β1,10) representa um nível de confiabilidade, que possibilita

o pesquisador afirmar com uma determinada chance (%) o sucesso de obter o mesmo

resultado, se realizar o próximo estudo com o mesmo planejamento.

Ao afirmar esta valorização com uma determinada chance, também está sendo

associado um nível de confiabilidade aos resultados da pesquisa com abordagem qualitativa.

Desta forma, o pesquisador pode interpretar cada um dos demais valores da tabela dos desvios

(σ).

Para estudos em que o pesquisador definiu um número maior de possíveis valorações

a serem realizadas pelo especialista, segue a mesma lógica de cálculos para obter os pontos

abcissais e de corte na tabela de desvios (detalhamento dos cálculos ver Anexo 18).

Para dar continuidade aos procedimentos de triagem, é necessário elaborar as

marginais declaradas na tabela dos desvios (Tabela 11).

Tabela 11: Parte tabela dos desvios (σ), construída a partir da tabela de significância e a tabela de Distribuição

de Probabilidade da Normal, com as marginais que apresentam os pontos abscissais e de corte.

INDi 10 9 8 ... 1 0 1µ‟ (σ)i

3Px

Ind1 σ 1,10 σ 1,9 σ 1,8 ... σ 1,1 σ 1,0

µ‘ (σ)1 – N

Ind2 σ 2,10 σ 2,9 σ 1,8 ... σ 2,1 σ 2,0

µ‘ (σ)2 – N

... ... ... ... ... ... ... ...

Indn σ n,10 σ n,9 σ 1,8 ... σ n,1 σ n,0

µ‘ (σ)n – N

2µ (σ)j

...

Corte

1µ‘ (σ)i = Média do desvio-padrão da valorização, com i = 1, 2, ..., n. 2µ (σ)j = Média do desvio-padrão da valorização, com j = 0, 1, ..., 10. 3Px é o ponto abscissal projetado no eixo x referenciado por µ (σ)j, com x = 1, ..., n

n = número de especialistas

140

A tabela de desvios com as respectivas marginais calculadas é a última tabela a ser

construída pelo pesquisador que adotou na pesquisa o Método Delphi atribuído de

procedimentos de triagem. Esta adoção possibilita observar e registrar a confluência das

respostas e definir o grau de confiabilidade do prospecto de informações obtido através do

preenchimento dos instrumentos de registro distribuídos ao grupo de especialistas. Por

conseguinte, os critérios de triagem auxiliam nas interpretações dos resultados do estudo

científico com determinado grau de certeza, conhecido e definido pelo pesquisador.

A construção da última Tabela -11- possibilita ao pesquisador realizar as conclusões

sobre as valorações realizadas pelo grupo de especialistas com uma determinada

confiabilidade.

O módulo do coeficiente de corte [µ(σ)j] indica o grau de valorização realizado pelo

grupo para um determinado indicador, referenciado pelo módulo do ponto abscissal [µ‘(σ) i].

Portanto, para Px < µ‘(σ)i, define qualitativamente o grau de valorização baseado na

tabela de regras para interpretação da valorização do indicador.

Por exemplo: Ao obter o P1 < µ‘(σ)9 para Ind1 é possível afirmar que o primeiro

indicador é extremamente relevante, outro resultado para Pn < µ‘(σ)8 de Indn indica que é

muito relevante o enésimo indicador.

3.1.23. Considerações ao retirar especialistas da investigação

Os procedimentos de triagem permitem ao pesquisador observar as respostas dos

especialistas que se destoam do grupo de respostas, por conseguinte, ele pode verificar com o

especialista a certeza de sua opinião, e ainda desconsiderar o especialista do estudo. Também

é indicado ao pesquisador que verifique individualmente as respostas discrepantes e explique

as causas destes distanciamentos. Igualmente, as respostas discrepantes poderão ser um

indicativo de uma nova investigação com outros objetivos não contemplados pelo pesquisador

no início do estudo principal.

Se o número de respostas discrepantes for pequeno, estas podem ser investigadas por

meio do Estudo de Caso15

(YIN, 1993). Um estudo à parte pode ser conduzido com os

15 ―Uma investigação científica que investiga um fenômeno contemporâneo dentro de seu contexto da vida

real, especialmente quando os limites entre o fenômeno e o contexto não estão claramente definidos; enfrenta

uma situação tecnicamente única em que haverá muito mais variáveis de interesse do que pontos de dados e,

como resultado, baseia-se em várias fontes de evidência (...) e beneficia-se do desenvolvimento prévio de

proposições teóricas para conduzir a coleta e análise dos dados‖ (YIN, 2001).

141

especialistas retirados da amostra, por terem respostas discrepantes. É possível que o

pesquisador encontre resultados relevantes com o estudo conduzido paralelamente ao estudo

principal. O estudo de caso pode contribuir com resultados significativos para o estudo

principal, indicando proposições a serem consideradas em estudos posteriores. É possível que

em estudos paralelos o pesquisador obtenha informações relevantes, a partir de análise de

registros discrepantes de fenômenos. O estudo de fatores que geram o comportamento de

distanciamento entre as respostas pode contribuir com os objetivos do estudo (MUÑOZ,

MORENO e PASCUAL, 1990).

As respostas que apresentam um grande afastamento das demais, ou não apresentam

consistência, são habitualmente definidas como respostas discrepantes, comumente

conhecidas nos métodos quantitativos com dados outliers (BARNETT e LEWIS, 1994). A

definição de coeficiente outlier nos métodos quantitativos não é fácil, como se pode verificar

pelas definições dadas por alguns dos que mais contribuíram para o seu estudo:

1- ―Uma observação com um anormalmente grande residual será referido como um outlier...,

pode-se também falar de uma "discordante", "anormal" ou observação "aberrante"‖

(ANSCOMBE, 1960, p.130).

2- Uma observação periférica, ou outlier, é um que parece desviar-se acentuadamente a partir

de outros membros da amostra em que ele ocorre (GRUBBS, 1969).

3- Outliers é o registro de observações que não seguem o padrão dos demais registros

(ROUSSEUW e ZOMEREN, 1990).

4- ―Um outlier é uma observação que apresenta características que desviam decididamente do

comportamento geral dos dados experimentais em relação aos critérios que devem ser

analisados sobre ele‖ (MUÑOZ et al., 1990).

5- A característica um registro outlier em um conjunto de dados é a incompatibilidade com o

restante do conjunto de dados (BARNETT e LEWIS, 1994).

6- ―As observações que, na opinião do investigador, estão além da maior parte dos dados e

denominados de "desvios", "observações discordantes", "contaminantes", "valores

surpreendentes", e "dados sujos"... quando ocorrem tais observações, os investigadores

consideram relevantes esses resultados nas conclusões do estudo científico‖ (BECKMAN e

COOK, 1983, pag. 32 ) .

Seguindo a frequência de definições supracitadas, é possível realizar adaptações das

definições observadas nos métodos quantitativos para uma investigação com abordagem

142

qualitativa, que é proposto neste estudo através dos procedimentos de triagem atribuídos ao

Método Delphi.

Nos procedimentos de triagem, outro fator que determina o descredenciamento do

especialista do estudo é o critério de triagem cognominado de Coeficiente de Competência

Individual (ki).

O ki que se distancia dos demais ki‘s também pode ser denominado como uma

observação outlier.

Neste trabalho, como são consideradas as Distribuições de Probabilidade Gaussiana

e a T-Student, a definição de dados discrepantes é realizada a partir da quantidade de desvios

que o Coeficiente de Competência do especialista está em relação à tendência central de

confluência. Desta forma, orientado pelas distribuições de probabilidade de Gauss e T-

Student, os resultados que ultrapassarem dois desvios padrões em relação à tendência central

de confluência, considera-se que estes coeficientes de competência do especialista estão fora

do grupo que compõe 95% de especialistas, portanto, são especialistas passivos de não

participarem do inquérito (Figura 11).

Figura 11: Curva teórica que representa a Distribuição de Probabilidade Gaussiana. Com os indicativos de área

abaixo da curva e os desvios em relação ao centro (µ).

A definição de dois desvios padrões, Figura 11, em relação à tendência central de

confluência das respostas dos especialistas é realizada a partir da frequência de uso deste

método de trabalhos realizados na área de conhecimento. Como é quase que extinto este

método na área de conhecimento da educação, optou-se por utilizar os mesmos dois desvios

143

padrões que são utilizados no âmbito do conhecimento das engenharias, biológicas, médicas,

entre outras áreas. Considerar na investigação a definição de dois desvios padrões para

identificar fenômenos destoantes, possibilita o pesquisador a realizar reflexões mais realistas

entre as investigações.

Se houver um maior interesse em uma abordagem mais profunda em relação à

definição de observações discrepantes, indica-se o trabalho de Hawkins (1980), onde estão

apresentados diversos métodos para identificar observações outlier.

É importante buscar uma relação entre o coeficiente de competência do especialista e

o tema proposto em estudo (MATTAR, 2001). Ao identificar um coeficiente discrepante, é

provável que o especialista não tenha características que possam contribuir para a

investigação, e a partir disto o pesquisador opta por retirar o especialista com nível inferior a

0,8 de competência.

3.1.24. Concepção do Instrumento de Registros

O pesquisador, ao elaborar o instrumento para obter o registro das opiniões dos

especialistas, deve ficar atento na estrutura e nas lógicas das perguntas. Um instrumento com

uma estrutura coerente e precisa facilita os especialistas a registrar suas avaliações, sem exigir

esforço a cada questão a ser respondida.

À medida que um instrumento é mal elaborado, além de aumentar os números de

especialistas desistentes em participar do estudo por necessitar de um tempo maior para

interpretação, aqueles que ficam no estudo podem emitir opiniões enviesadas, o que diminui a

confiabilidade do estudo. Um estudo com problemas no instrumento de registro apresenta

conclusões que não correspondem à realidade do fenômeno.

Para estudos que adotam o Método Delphi ensejado dos critérios de triagem é

necessário que o instrumento seja objetivo e de fácil compreensão, para que sejam

respondidos pelos especialistas no menor tempo possível e sem dúvidas nas questões

elaboradas. Os procedimentos do método contemplam diversas intervenções do pesquisador

no grupo de especialistas, portanto, instrumento que exige muito tempo para ser respondido

também contribui para a desistência do especialista.

No planejamento da pesquisa, ao se definir objetivo da pesquisa, se torna mais fácil

esquematizar e prever as características estruturais das respostas dos especialistas, o que

facilita estruturar a cada interação um novo instrumento de registro das opiniões dos

especialistas, e contribui para uma confluência das respostas e um resultado mais assertivo.

144

Recomenda-se que o instrumento de registro inicial deva ser colocado à prova

através de uma pesquisa piloto sempre que possível, para verificar os possíveis problemas

estruturais do texto. O objetivo principal da pesquisa piloto é minimizar problemas na

interpretação do instrumento e aumentar a confiabilidade dos resultados.

O instrumento de registro pode ser estruturado com argumentos, considerando o

tema principal do estudo.

Cada um dos argumentos é acompanhado por uma questão objetiva e outra

discursiva, dependendo da necessidade, que possibilita aos especialistas realizarem as

valorações sobre o tema.

A pergunta discursiva tem a finalidade de captar a visão dos especialistas a fim de

contribuir para aperfeiçoar o instrumento de registros para as próximas rodadas e as perguntas

objetivas ajudam a acompanhar a confluência das opiniões dos especialistas.

As respostas de questões discursivas possibilitam ao pesquisador esquematizar e

prever as características estruturais das respostas dos especialistas, o que facilita estruturar a

cada interação um novo instrumento de registro das opiniões dos especialistas, o que contribui

para uma confluência das respostas.

A questão objetiva teve a finalidade de verificar a relevância discreta do conjunto de

argumentos para a área de conhecimento em que se está realizando o estudo.

Para cada argumento é importante que seja inserido no instrumento de registro breve

descrição do assunto relacionado ao tema, o que facilita as interpretações a serem realizadas

pelos especialistas nas questões.

A construção de cada argumento pode ser realizada com descrições de textos

relacionados ao objetivo principal do estudo. O pesquisador pode buscar diversos pontos de

vista sobre o tema de interesse e construir quantos argumentos julgar necessários para obter

resultados. Entretanto, muitos argumentos inseridos no questionário para que ocorra o debate

anonimamente podem influenciar na desistência de especialistas.

A concepção da estrutura inicial do instrumento de registro, a ser encaminhado aos

especialistas, deve ser baseada em fatores relevantes que foram observados a partir de

pesquisa exploratória.

É possível que o pesquisador ao realizar uma pesquisa exploratória em trabalhos

científicos obtenha a resposta para seu problema, o que torna desnecessária a realização da

pesquisa. Portanto, é importante que o pesquisador antes de construir o instrumento de

registro, realize a pesquisa exploratória, com a finalidade de obter informações relacionadas e

relevantes ao tema, para fundamentar a pesquisa.

145

Na primeira interação a ser realizada entre o pesquisador e o especialista, é

importante que o pesquisador apresente ao especialista a relevância do tema e valorize sua

participação e possíveis contribuições com estudo proposto.

Também ainda na primeira interação é necessário que o instrumento de registro

contemple questões abertas para registrar as considerações relevantes dos especialistas. As

questões iniciais contribuem significativamente para uma possível reformulação dos

instrumentos de registros, e para as próximas interações entre o pesquisador e os especialistas

o estudo terá um questionário preciso. Esse procedimento é semelhante a uma pesquisa piloto

realizada em estudos com fatores desconhecidos, onde se utiliza a pesquisa para explorar o

fenômeno e ajudar o pesquisador a formular os instrumentos de registro. Portanto, a pesquisa

piloto tem a finalidade de refinar os procedimentos e instrumentos de registros do estudo

científico.

Na Figura 12 declara-se os procedimentos a serem observados pelo pesquisador no

momento da elaboração dos instrumentos de registro a cada interação entre o pesquisador e os

especialistas.

Figura 12: Representatividade das possíveis respostas dos especialistas na confluência das reflexões.

(LINSTONE, TUROFF e HELMER, 2002).

146

É possível observar na Figura 12 que a qualquer momento dos procedimentos

metodológicos, o pesquisador pode realizar alterações nos instrumentos de registros com base

nas opiniões dos especialistas. Entretanto, é importante a cada alteração instrumental ter

sempre definidos a lista de objetivos e os fatores que os interferem diretamente ou

indiretamente.

3.1.25. Concepção dos argumentos

Este momento é dedicado a declarar, a partir da pesquisa secundária realizada, as

definições dos elementos que estruturam os argumentos apresentados aos especialistas para

avaliar a coerência dos trabalhos de doutoramento de Eleutério (2015), Maia (2015), Araújo

(2014), Peixoto (2014) e Azevedo (2014) desenvolvidos na área da Educação em Ciências e

Matemática. Evidentemente que os elementos citados podem ser denominados de outras

formas, mas com significados análogos. A partir da pesquisa secundária foram definidos

quatro elementos, o problema, objetivo geral, metodologia e resultados observados nas

estruturas dos estudos científicos com inteligível identificação.

Os elementos que caracterizam os argumentos têm a finalidade de orientar e facilitar

a compreensão do texto declarado nos estudos. Entretanto, por mais imparcial que seja o

pesquisador no momento de elaborar o texto, é comum identificar o pesquisador apenas

conhecendo partes do texto. Sendo assim, o pesquisador tem algumas características pessoais

de construção de trabalhos que são transmitidas para suas obras, mas sempre com o cuidado

de não alterar a essência do estudo. Por isso, é comum identificar em diversos trabalhos

termos característicos da formação do pesquisador, o que possibilita identificá-lo.

Com objetivo de provocar as reflexões nos especialistas, realizou-se uma pesquisa

secundária nos repositórios de trabalhos científicos para caracterizar o tema interesse e

formular os elementos que estruturam os argumentos.

A definição dos quatro elementos tem a finalidade de estruturar os argumentos que

foram enviados aos especialistas, e segundo os seus critérios, avaliaram a coerência da

estrutura dos argumentos. Para encaminhar os argumentos para os especialistas avaliarem é

necessária a construção de um instrumento de registro das opiniões emitidas pelos

especialistas. As opiniões podem ser dissertativas ou objetivas, ou ambas.

A construção do instrumento de registro é possível após a estruturação dos

argumentos. Considerando os procedimentos metodológicos do Método dos Especialistas, o

qual tem como característica principal a obtenção do consenso de um grupo de especialista

147

através das opiniões registradas nos instrumento, ou seja, a confluência das opiniões dos

especialistas depende de um instrumento de registro objetivo e auto-explicativo.

Talvez um dos maiores desafios do pesquisador seja construir instrumentos

objetivos, por isso, uma pesquisa piloto favorece para identificar fatores positivos e negativos

que contribuem para a formulação de um instrumento de registro objetivo.

Por outro lado, o sucesso em adotar o Método Delphi pode contribuir para formular

argumentos claros e auto-explicativos, e que não exijam dos especialistas um estudo

aprofundado para entender a proposta do estudo. Para formular argumentos claros e auto-

explicativos é indispensável que seja realizado pelo pesquisador, previamente, um estudo

denso16

. Portanto, a seguir serão apresentadas características das teses (ELEUTÉRIO, 2015;

MAIA, 2015; ARAÚJO, 2014; PEIXOTO, 2014; AZEVEDO, 2014) que sustentam os

argumentos apresentados aos especialistas.

A primeira tese a ser observada foi a denominada de ―Crono‖. O estudo expõe a

organização curricular e o planejamento do Curso de Licenciatura em Química na Amazônia

não contempla os saberes locais. Após análises no estudo ―Crono‖, foi elaborado o Quadro 22

para identificar e destacar os elementos problema, objetivo geral, metodologia e resultados

que caracterizam o estudo científico ―Crono‖.

Quadro 22: Resumo descritivo dos quatro elementos que caracterizam o estudo científico ―Crono‖. 1 - Problema É possível a cultura local dialogar com saberes acadêmicos e escolares para potencializar a formação inicial de professores de Química? 2 - Objetivo geral Compreender a possibilidade de a cultura local dialogar com saberes acadêmicos e escolares e potencializar a

formação inicial de professores de Química a partir das oficinas temáticas. 3 - Metodologias Abordagem qualitativa através de uma pesquisa etnográfica, com os registros do fenômeno sendo composto por observação participante e entrevistas geradas através do diário de campo, câmera fotográfica, filmadora e

gravador de voz. 4 - Resultados a) Conteúdos curriculares abordados nas oficinas temáticas são exemplos de que precisamos passar pelo

processo de transgressão das fronteiras rígidas das disciplinas escolares e acadêmicas; b) É preciso propor cada vez mais ações transversais e interdisciplinares para a superação de um ensino, que

permite a reprodução do conhecimento e de práticas docentes conservadoras; c) As demonstrações realizadas pelos alunos suscitaram nos professores a vontade de aperfeiçoar

metodologias e estratégias de ensino para que os alunos compreendam os conteúdos da Química,

didaticamente transpostos na sala de aula e, sobretudo, para fortalecer práticas pedagógicas; d) É no coletivo que se constrói uma proposta interdisciplinar; e) Não basta se apropriar dos conhecimentos dos povos indígenas e das comunidades tradicionais, é

necessário torná-los conhecidos na sociedade, em particular, nas escolas e universidades; f) As Oficinas Temáticas favoreceram os diálogos entre a cultura local dialogarem com saberes acadêmicos e

escolares e os saberes acadêmicos. Fonte: Pesquisa realizada pelo autor em 2015 nos repositórios de teses na área da Educação em Ciências e

Matemática disponíveis na biblioteca da Universidade Estadual do Amazonas.

16

Neste trabalho entende-se por estudo denso o estado da arte do tema investigado profundamente.

148

Após análises do segundo estudo denominado ―Héstia‖, declara-se no Quadro 23 os

elementos que caracterizam o problema, objetivo geral, metodologia e resultados do estudo.

Quadro 23: Resumo descritivo dos quatro elementos que caracterizam o estudo científico ―Héstia‖. 1 - Problema Como os professores de Ciências percebem suas necessidades formativas de natureza subjetiva e sociocultural

e quais as relações destas com a identidade e o desenvolvimento profissional? 2 - Objetivo geral Analisar as necessidades formativas de professores de Ciências através da dimensão psicossocial e suas

relações com a identidade, o desenvolvimento profissional e a formação contínua no contexto da pós-

modernidade.

3 - Metodologias Abordagem qualitativa de orientação interpretativa fenomenológica, também empregou técnicas de

observações, questionários e discussões em grupos, inicialmente estruturados. 4 – Resultados a) Identificar necessidade formativas de âmbito subjetivo é elucidar potencialidades e fraquezas associadas ao

querer agir e à possibilidades reais de realizar, requerendo análise crítica reflexiva e iniciativa de mobilização de ações de enfrentamento;

b) Os professores há mais tempo na docência demonstraram acirrada resistência em aceitar as interferências

da cultura globalizada, do comportamento despojado e das profundas modificações sociais e morais que

caracterizam os tempos pós-modernos, em suas vidas, mesmo que esta intervenção esteja mesclada em

todas as dimensões de seus contatos socioculturais. Fonte: Pesquisa realizada pelo autor em 2015 nos repositórios de teses na área da Educação em Ciências e

Matemática disponíveis na Biblioteca da Universidade Estadual do Amazonas.

A terceira avaliação realizada no argumento denominado ―Eros‖ produziu o Quadro

24 que possibilita declarar os elementos problema, objetivo geral, metodologia e resultados

que estruturam o estudo científico ―Eros‖.

Quadro 24: Resumo descritivo dos quatro elementos que caracterizam o estudo científico ―Eros‖.

1 - Problema Qual o potencial didático-pedagógico da educação científica em laboratórios vivos (espaços não formais) para

o desenvolvimento de aprendizagem significativa no campo da Botânica? 2 - Objetivo geral Investigar as principais perspectivas didático-pedagógicas da educação científica em laboratório vivo

enquanto espaço não formal que influenciam o desenvolvimento da aprendizagem significativa de conceitos

de Botânica. 3 - Metodologias Abordagem qualitativa através de uma pesquisa com observação participante. O registro dos fenômenos foi

realizado através de documentos, referencial bibliográfico, entrevistas, fotografias e sequência didática. 4 - Resultados a) A estrutura cognitiva dos alunos em relação aos estudos de Botânica foi se modificando ou se ampliando

na medida em que realizavam novas relações conceituais e proposições de estudos; b) A aprendizagem significativa é influenciada por variáveis dependentes, também das conexões que se

estabelecem no ato de ensinar, dos organizadores prévios ou das estratégias que se utilizam, aprofundando

cada vez mais o tema ou assunto, acrescentando novas informações que, ao invés de se sedimentarem

formam bases mais alicerçadas e entrelaçadas ávidas para que os novos conhecimentos encontrem meios

de se estabelecerem na estrutura cognitiva do aprendiz. c) Que não basta ter um laboratório vivo rico em material para ensinar Botânica se os alunos não se sentirem

atraídos ou se o professor não souber mediar sua aula para transformá-la em momentos de encantamento. Fonte: Pesquisa realizada pelo autor em 2015 nos repositórios de teses na área da Educação em Ciências e


149

A quarta avaliação foi realizada na tese denominada de ―Ares‖, que possibilitou

identificar os elementos problema, objetivo geral, metodologia e resultados que caracterizam

o estudo científico ―Ares‖, conforme declarado no Quadro 25.

Quadro 25: Resumo descritivo dos quatro elementos que caracterizam o estudo científico ―Ares‖. 1 - Problema

O fato de professores e alunos de contextos tão diversos estarem submetidos a uma mesma sistemática de

trabalho poderia influenciar ou mesmo interferir na situação ensino/aprendizagem? Se positiva a resposta,

haveria uma forma de prevenir possíveis resultados díspares ou buscar maior eficácia no trabalho, visando

otimizar resultados?

2 - Objetivo geral

Investigar e compreender como se processava a Formação de Professores de Biologia em duas Instituições

Federais localizadas em regiões de culturas diferentes e submetidas a uma mesma exigência formativa do

Ministério da Educação e Cultura (MEC).

3 - Metodologias

Abordagem quali-quantitativa através da observação participante, entrevistas, análise documental e com a

técnica de Análise de Correspondência.

5 - Resultados a) O curso de Licenciatura não se adéqua às diferentes realidades brasileiras.

b) Necessidade de fiscalização e formatação desses cursos acaba por moldá-los ou mesmo formatá-los em

uma realidade que desconsidera as peculiaridades que dão propriedade ao nosso país;

c) Sobreposição dos aspectos burocráticos e administrativos sobre os pedagógicos na construção dos PPCs;

d) Conteúdos abordados carecem de uma integração eficaz entre as disciplinas específicas e pedagógicas;

e) Necessidade de romper essa cultura fragmentária, influenciada por uma epistemologia positivista em que

não se juntam as partes na mente do aprendiz como se poderia esperar;

f) Proposta de uma forma inédita de estruturação dos PPCs, que sai de uma esfera eminentemente técnica

para uma esfera técnica-social-psicológica. Trata-se de um procedimento de pesquisa de elaboração lenta e

artesanal, muito diferente dos projetos efetuados com rapidez e êxito, por visarem, apenas, a concatenação das leis e conteúdos e que estão voltados simplesmente para a legalização dos cursos pretendidos.

Fonte: Pesquisa realizada pelo autor em 2015 nos repositórios de teses na área da Educação em Ciências e


Ao analisar a quinta tese, denominada de ―Hades‖, foi possível identificar no Quadro

26 os elementos problema, objetivo geral, metodologia e resultados que caracterizam o estudo

científico ―Hades‖. Os elementos identificados no estudo de doutoramento contribuíram para

elaboração do indicador denominado ―Hades‖.

150

Quadro 26: Resumo descritivo dos quatro elementos que caracterizam o estudo científico ―Hades‖. 1 - Problema Em que aspectos o estágio com pesquisa, sustentado epistemologicamente na concepção de professor

pesquisador, contribui no desenvolvimento da educação científica de professores de Ciências em formação

inicial, favorecendo a emergência de conhecimentos para enfrentar os desafios do trabalho docente? 2 - Objetivo geral Compreender em que aspectos o estágio com pesquisa, sustentado epistemologicamente na concepção de

professor pesquisador, contribui no desenvolvimento da educação científica de professores de Ciências em

formação inicial, favorecendo a emergência de conhecimentos para enfrentar os desafios do trabalho docente. 3 - Metodologias Abordagem qualitativa através de pesquisa-ação dividida em quatro fases: o diagnóstico, concepção do plano

de ação, implementação do plano de ação e por fim avaliação e interpretação de forma reflexiva. Os registros foram realizados por meio de gravações em áudio e vídeo, anotações de campo, diários reflexivos e relatórios

de estagio, submetidos à Análise Textual Discursiva. 6 - Resultados a) A formação de professores de Ciências necessita investir na articulação saber

científico/pedagógico/experiencial e compreender o conhecimento docente na inter-relação desses saberes

para o estabelecimento de vínculos entre intervenção e investigação; b) O estágio com pesquisa, na formação inicial de professores de Ciências, é um dos principais canais

provocadores de condições para o domínio de instrumentos de produção de conhecimento do trabalho

docente; c) A educação científica vai além da internalização de conceitos relativos às ciências, pois, na formação de

professores, implica também o domínio de procedimentos e o desenvolvimento de atitudes como condição

para enfrentar os desafios da docência. Fonte: Pesquisa realizada pelo autor em 2015 nos repositórios de teses na área da Educação em Ciências e


A análise realizada nas cinco teses facultou as características dos elementos que

fundamentam a formulação dos indicadores denominados ―Crono‖, ―Héstia‖, ―Eros‖, ―Ares‖,

―Hades‖. Além destes argumentos, formulou-se o indicador denominado de Contribuição com

objetivo de conhecer a relevância dos trabalhos avaliados para a área da Educação em

Ciências e Matemática. Portanto, foram considerados todos os argumentos construídos a partir

das análises realizadas nos elementos declarados nas teses para a concepção do primeiro

instrumento para registrar as avaliações e considerações realizadas pelos especialistas na

primeira interação.

Os indicadores foram encaminhados por correio eletrônico aos especialistas, e

segundo o seu critério avaliaram entre uma escala em que ―0‖ denota ausência de coerência e

―10‖, perfeita coerência entre os elementos que estruturam os indicadores, e ao final de cada

interação verificou-se a relevância dos estudos no âmbito da Educação em Ciências e

Matemática.

151

CAPÍTULO IV

4.1. RESULTADOS

No capítulo anterior declara-se os procedimentos generalizados para a utilização do

Método Delphi ensejado dos critérios de triagem para concepção de estudos científicos com

variados objetivos em diversas áreas do conhecimento. O método Delphi outorgado de

critérios de triagem possibilita a este estudo abordagem qualitativa e quantitativa, por

entender que a utilização de somente uma ou outra não seria suficiente para atender os

objetivos do trabalho.

A abordagem qualitativa inicia-se a partir da caracterização, seleção dos

especialistas, construção dos questionários e segue durante as interações com os especialistas

e nos resultados. A abordagem quantitativa inicia-se ao construir o plano amostral que está

fundamentado na caracterização dos especialistas, esta que foi realizada por meio de métodos

qualitativos. A abordagem quantitativa segue igualmente com a elaboração dos instrumentos

de registros, no diálogo entre o pesquisador e os especialistas, e em dado momento na

inserção do grau de confiabilidade nos resultados. E, finalmente, a abordagem quantitativa

pode ser observada na apresentação dos resultados através de cálculos, tabelas, quadros,

gráficos. De forma geral, ambas a abordagens estão simultaneamente contempladas em todos

os procedimentos do Método Delphi atribuído dos critérios de triagem, e sua utilização é

definida pela necessidade que demanda o objetivo do estudo.

Para referenciar o estudo, foram identificados 32 repositórios de trabalhos científicos

do Mundo que contêm conteúdos relacionados à área da Educação.

Entretanto, a maioria dos repositórios não tem acesso gratuito, mas as bases gratuitas

possuem excelentes trabalhos que possibilitam orientar futuros trabalhos científicos na área da

Educação.

Definiu-se pela maior frequência de trabalhos científicos na área da Educação, três

bases nacionais e três bases internacionais para observar os métodos de análises e validação

dos resultados.

Foi observado nos resultados que o repositório com maior frequência de trabalhos

científicos disponibilizado gratuitamente na área da Educação é da Universidade de Lisboa,

seguido pela Universidade de Santa Catarina – UFSC - com uma diferença entre as duas de

13.574 trabalhos (ver Apêndice D).

Dentre os trabalhos identificados nos repositórios nacionais e internacionais, os

observados em Cataluña foram os que mais utilizaram o Método Delphi para análise dos

resultados. Não foi possível observar nos trabalhos científicos da área da Educação a

152

utilização de métodos para validar os resultados, entretanto, em outras áreas do conhecimento,

com maior frequência na área médica, é comum a utilização do Método Delphi para validação

dos resultados. Outro fator observado nos trabalhos selecionados que utilizaram o Método

Delphi é a não uniformidade nos procedimentos do método para análises dos dados e

validação dos resultados.

Os resultados observados na pesquisa supracitada reforçam a importância deste

trabalho em apresentar uma estrutura uniforme nos procedimentos para analisar e validar

trabalhos em diversas áreas do conhecimento, em específico, na área da Educação em

Ciências e Matemática, onde se vincula este trabalho. Também possibilitou esquematizar e

prever as características estruturais das respostas dos especialistas, o que facilitou estruturar, a

cada interação, um novo instrumento de registro das opiniões dos especialistas, contribuindo

para a confluência das valorações realizadas pelos especialistas.

O questionário foi estruturado com cinco argumentos, cada um com uma questão

objetiva e duas discursivas. A construção de cada argumento foi realizada conforme

declarações observadas nos cinco estudos de doutoramento. Cada um dos argumentos foi

construído com quatro elementos constituídos a partir de observações realizadas em cada um

dos cinco estudos científicos da área da Educação em Ciências e Matemática. As questões

discursivas tiveram a finalidade de captar a visão dos especialistas a fim de contribuir para

melhorar o instrumento de registros para as próximas rodadas. A questão objetiva teve a

finalidade de verificar a relevância do conjunto de argumentos para a área da Educação em

Ciências e Matemática.

Foi realizada uma pesquisa piloto com o instrumento de registro inicial, onde foram

encaminhados os questionários iniciais para cinco especialistas da área da Educação em

Ciências e Matemática, escolhidos aleatoriamente para que pudessem realizar suas

contribuições, a partir disso observou-se problemas estruturais e compreensão das questões

elaboradas. Portanto a pesquisa piloto possibilitou esquematizar e prever as características

estruturais das respostas dos especialistas. A cada interação, a partir da primeira, foi possível

verificar a qualidade do instrumento de registro com todos os especialistas disponíveis para o

estudo, e quando necessário possibilitou estruturar, a cada interação, um novo instrumento de

registro através das opiniões dos especialistas.

De forma geral as contribuições foram realizadas somente no campo da concordância

verbal, sem mudanças significativas no texto. Neste momento, foi possível introduzir, no

instrumento de registros, complementações feitas pelos especialistas, pedidos de

aprofundamentos de apenas algumas características mais relevantes.

153

Foram necessárias três interações entre o pesquisador e os especialistas para obter a

homogeneização das opiniões dos respondentes. É possível observar na Figura 13 o

organograma dos procedimentos dos critérios de triagem com três intervenções com

especialistas.

Figura 13: Resultado esquemático da confluência dos procedimentos de triagem, referente às opiniões sobre Avaliação de pesquisas na área da Educação.

A Figura 13 representa o esquema de confluência das opiniões dos especialistas

sobre estudos na área da Educação. É possível observar as três interações realizadas nos

procedimentos de triagem para a prospecção de informação dos especialistas sobre estudos

científicos realizados na área da Educação, que resultou o consenso do grupo de especialistas

em relação ao tema ―Avaliação de pesquisas na área da Educação‖.

Inicialmente foi constituído um grupo com 86 pessoas de diferentes regiões do Brasil

para constituir o grupo de especialistas. Após o envio do convite para participar do estudo

sobre o tema ―Avaliação de Pesquisas na área da Educação‖, obteve-se um retorno de 25

professores no primeiro dia, nove professores no segundo dia e entre o terceiro e o sétimo dia,

12 professores. Foi encaminhado mais uma vez o convite para aqueles professores que não

retornaram, destes, quatro se pronunciaram. Retornaram seis e-mails devido à caixa de

mensagens estar lotada. Dos que retornaram os e-mails, cinco não poderiam participar porque

estavam com muitas atividades acadêmicas, e outros, em viagens.

154

O estudo iniciou com 50 professores atuantes na área de Educação em Ciências e

Matemática. Para um segundo momento de contato com os professores, foi encaminhado pelo

correio eletrônico o termo de consentimento livre e esclarecido, garantindo o anonimato e

informando a possibilidade de desistir a qualquer momento da pesquisa (ver apêndice E).

Foi encaminhado aos 50 professores pelo correio eletrônico o link para acessar o

primeiro instrumento para mensurar o grau de conhecimento e de argumentação sobre o tema

―Avaliação de Pesquisas na área da Educação‖. Também foi encaminhado o instrumento pelo

correio eletrônico, para assegurar que os professores teriam acesso aos instrumentos caso

houvesse dificuldade em acessar o link. Destes, 32 retornaram com as informações

solicitadas.

Dos 32 professores que retornaram o primeiro instrumento de mensuração do grau de

argumentação e conhecimento, ficaram definidos como especialistas 27 professores que

possuem o grau de competência superior a 0,8kc. Cinco especialistas não obtiveram as

credenciais para participar do estudo, devido ao índice de competência ser inferior a 0,8kc.

Independente desse resultado, foram encaminhados instrumentos de registros aos especialistas

sem as credenciais, e estes informaram que não detinham o conhecimento suficiente, bem

como não se sentiam confiantes para realizar as valorações solicitadas e, por conseguinte,

concluíram que não poderiam contribuir para o estudo.

No terceiro momento foi encaminhado pelo correio eletrônico o link e, em anexo, aos

especialistas, o instrumento de registro dos critérios de avaliação dos especialistas em relação

aos argumentos correlativos denominados de ―Crono‖, ―Héstia‖, ―Eros‖, ―Ares‖ e ―Hades‖.

Dos 27 instrumentos encaminhados, retornaram 23 respondidos.

No quarto momento foi encaminhado aos 23 especialistas o segundo instrumento de

registro dos critérios de avaliação dos especialistas em relação aos argumentos correlativos e

uma análise estatística descritiva das respostas do primeiro questionário.

No quinto momento foi encaminhado aos 16 especialistas o terceiro instrumento de

registro dos critérios de avaliação dos especialistas em relação aos argumentos correlativos e

uma análise estatística descritiva das respostas do segundo questionário.

A pesquisa finaliza com 16 especialistas, as desistências ao longo da aplicação dos

procedimentos de triagem podem ser consideradas previsíveis, conforme análises

documentais declaradas neste estudo.

Ao obter o consenso dos especialistas, para cada indicador definido pelo pesquisador,

os registros são organizados na tabela de resumos para quantificar a frequência de respostas

entre ―0‖ a ―10‖ obtidas pelo critério de avaliação dos especialistas.

155

Na primeira interação, o pesquisador realiza uma revisão bibliográfica relacionada ao

tema que foi avaliado pelos especialistas. Entretanto, não é possível através da bibliografia,

estimar as avaliações aos indicadores, devido à complexidade do tema e à quantidade de

indicadores, o que torna significativas as valorações realizadas pelos especialistas. Dos 27

especialistas classificados com o grau de competência superior a 8kc, 23 preencheram os

instrumentos e retornaram ao pesquisador, o que auxiliou a reestruturar o instrumento e

contribuiu para compreensão do tema.

Os resultados obtidos na primeira interação com os especialistas pode ser observado

na Figura 14. Foram necessários 28 dias para obter os 23 instrumentos de avaliação

preenchidos. A seguir, está representado graficamente o resumo das valorações realizadas

pelos 23 especialistas.

Figura 14: Resultado da primeira interação entre pesquisador e os especialistas correspondente às valorações

realizadas pelos 23 especialistas ao tema ―Avaliação de pesquisas na área da Educação‖ (02/2015).

É possível observar que o indicador ―Ares‖ foi o que obteve o menor conceito (µ =

7,4; sd = 2,3) atribuído pelos especialistas dentre os demais indicadores. É possível observar

que o maior coeficiente de variação (CV = 31%) foi identificado nas avaliações realizadas

pelos especialistas no indicador ―Ares‖ (Figura 14).

156

O indicador ―Hades‖ obteve o maior conceito (µ = 8,4; sd = 1,4) dentre os demais

indicadores, também observou-se a menor divergência nas avaliações realizadas pelos

especialistas (CV = 16%).

Outro fator a ser observado é a amplitude total entre os coeficientes de variação

(CVAT = 31% – 18%) com valor igual a 13%, o que indica uma leve divergência do grupo em

relação às avaliações realizadas do tema ―Avaliação de pesquisas na área da Educação‖.

Após realizadas as análises estatísticas descritivas, foram encaminhados os

resultados obtidos e o instrumento de registro para o grupo de especialistas avaliarem

novamente os indicadores.

Foram necessários 12 dias para obter o retorno dos 16 especialistas. Para os demais

especialistas foram realizados diversas tentativas de contato até o final deste estudo, mas sem

êxito. Com as valorações obtidas dos 16 especialistas realizou-se a análise estatística

descritiva e foi observada a dispersão de respostas, conforme declarado na Figura 15.

Figura 15: Resultado da segunda interação entre pesquisador e os especialistas correspondente às valorações


Observa-se na Figura 15 que o indicador ―Ares‖, em relação à avaliação anterior,

permanece o menor conceito (µ = 7,7; sd = 1,4) atribuído pelos especialistas dentre os demais

indicadores. É possível observar que diminuiu o coeficiente de variação 12%, indicando que

as avaliações dos especialistas realizadas no indicador ―Ares‖ convergiram.

157

Também observou-se na segunda interação com especialistas que a amplitude total

entre os coeficientes de variação passou a ser 10%, o que indica uma confluência das opiniões

do grupo em relação às avaliações realizadas sobre o tema ―Avaliação de pesquisas na área da

Educação‖.

Foram necessários 8 dias para obter o retorno dos 16 especialistas. O breve retorno

das respostas na terceira interação pode ser explicado pelo grupo menor de especialistas.

Portanto, com as valorações obtidas dos 16 especialistas realizou-se análise estatística

descritiva, conforme declarado na Figura 16.

Figura 16: Resultado da terceira interação entre pesquisador e os especialistas correspondente às valorações


Nos resultados apresentados na Figura 16, é possível observar as mesmas conclusões

referentes às avaliações realizadas pelos especialistas em momentos anteriores, onde ―Ares‖

obtivera a menor avaliação dentre os demais, e os indicadores foram avaliados com média 8,0.

Entretanto, é importante observar que a variabilidade das valorizações entre os

indicadores são mais constantes e convergentes, quando comparados com os resultados

anteriores. Analogamente ocorre com as valorações realizadas entre os especialistas.

A amplitude de variação entre os indicadores na última interação com especialistas

resultou em 5%, este resultado foi apresentado aos especialistas, que permaneceram com as

mesmas avaliações realizadas anteriormente.

158

Ao verificar a convergência das avaliações realizadas pelos especialistas, iniciam-se

as análises com os resultados obtidos a partir da última interação com os especialistas. Na

terceira interação obteve-se a variação homogênea e a confluência satisfatória e constante, e a

partir disso organizou-se os registros sistematicamente. (ver Apêndice F)

Ao total desta investigação foram encaminhados seis indicadores denominados de

―Crono‖,‖Héstia‖,‖Eros‖,‖Ares‖,‖Hades‖ e Contribuição, cada um destes recebeu uma

avaliação segundo o critério de cada especialista que variava de ―0‖ a ―10‖. Os procedimentos

de encaminhamento dos questionários foram realizados até obtenção do consenso entre os

especialistas.

Os 16 especialistas que responderam os instrumentos de registros possuem o

coeficiente de competência individual (ki) superior a 0,8, o que, segundo a tabela de

interpretação do grau de competência de cada especialista, possibilita classificá-los com boa

competência para opinar sobre o tema exposto. Os especialistas avaliaram a estrutura de cinco

indicadores individualmente e sua relevância à área da Educação.

Na primeira matriz de registros do fenômeno, na primeira coluna, na segunda linha

da matriz está representado o especialista número 1, que atribui entre ―0‖ a ―10‖, uma

avaliação ―9‖ para o indicador ―Crono‖ e ―7‖, ―10‖, ―7‖, ―7‖, ―9‖ para os indicadores

―Héstia‖, ‖Eros‖, ‖Ares‖, ‖Hades‖ e Contribuição, respectivamente. A mesma observação é

realizada para o último especialista, denominado 16, que atribui entre ―0‖ a ―10‖, uma

avaliação ―9‖ para todos os indicadores. Neste momento, não é possível realizar análises ou

mesmo obter conclusões preliminares do Quadro 28 (Apêndice F). O quadro detalhado dos

resultados possibilita acompanha os procedimentos de triagens.

A partir da elaboração da matriz de registros das opiniões dos especialistas foi

possível construir a tabela de resumo dos registros (Apêndice G).

Na sequência foi possível, através da tabela de resumo dos registros do fenômeno

investigado, obter a tabela de frequência acumulada (Apêndice H). A partir da tabela de

resumo se faz necessário a seguir constituir a tabela de significância (Apêndice I) para

prosseguir com os procedimentos estatísticos para verificar a confluência das valorações.

Com base na tabela de Significância (1 - β) e da Distribuição de Probabilidade da

Normal foi possível determinar o desvio-padrão de cada indicador, considerando cada grau de

valorização atribuído pelos especialistas. Para construir a próxima tabela foi necessário

realizar procedimentos que permitiram a obtenção das marginais da tabela.

O primeiro procedimento realizado foi a interpretação do nível de significância

obtido na tabela Significância ao comparar com a Tabela da Distribuição de Probabilidade da

Normal. A comparação entre a área abaixo da curva da normal observada permitiu definir o

159

desvio das valorações realizadas nos indicadores pelo grupo de especialistas, também

possibilitou definir as marginais da tabela para obtenção dos pontos de corte e abscissais

(Apêndice J).

Baseado nos cálculos declarados no Apêndice J foi possível construir a Tabela 12

constante nos procedimentos de triagem, que permite fundamentar as interpretações dos

resultados obtidos por meio dos registros das valorações do grupo de especialistas.

A seguir, a Tabela 12 apresenta os desvios-padrão (σ) dos indicadores representados

pelas respostas dos especialistas sobre as valorações realizadas sobre o tema ―Avaliação de

pesquisas na área da Educação‖.

Tabela 12: Desvio padrão (σ) dos indicadores representados pelas respostas dos especialistas em relação à

valorização sobre o tema ―Avaliação de pesquisas na área da Educação‖ realizada no segundo semestre de 2015,

considerando cada grau de valorização, baseado na tabela de Significância e tabela de Distribuição de

Probabilidade da Gauss.

Com base na Tabela 12 é possível realizar a interpretação das valorações realizadas

pelos especialistas na última interação.

Considerando o número de valorações determinadas neste estudo e o módulo do

coeficiente de corte [µ(σ)] obtidos com especialistas é possível realizar, baseado no ponto

abscissal, a interpretação das valorações segundo os critérios do grupo de especialistas.

A avaliação realizada pelos especialistas da área da Educação que participaram dos

procedimentos metodológicos para validar o indicador denominado ―Crono‖ por meio dos

procedimentos do Método Delphi atribuído de procedimentos de triagem, permite conhecer o

valor do ponto abscissal de -0,063 (Tabela 12) para o indicador ―Crono‖ que revela uma

perfeita coerência entre os elementos que o estruturam, desse modo, permite concluir que

este estudo é extremamente relevante para a Ciência no âmbito da Educação em Ciências e

Matemática (Figura 17).

160

Figura 17: Resultado das valorações realizadas no indicador ―Crono‖ pelos 16 especialistas através da pesquisa

com tema ―Avaliação de pesquisas na área da Educação‖ (02/2015).

A confluência das valorações realizada dos elementos do indicador ―Crono‖, que por

conseguinte representa o consenso do grupo de especialistas, além de ser avaliado como um

ótimo trabalho, foi unânime o resultado obtido entre os especialistas. A confluência das

respostas dos especialistas resulta na conclusão de que os resultados obtidos no estudo

científico denominado ―Crono‖ declaram a importância dos diálogos entre a cultura local,

cultura acadêmica e escolar, independente do estudo situar-se na educação química, no âmbito

da Educação em Ciências e Matemática. Entretanto, o estudo ―Crono‖ declara que sua

investigação deve prosseguir para possibilitar compreender melhor as relações entre os

saberes locais, científicos e escolares no processo ensino e aprendizagem. Os resultados

declarados no estudo ―Crono‖ reforçam a qualidade e a confiabilidade dos resultados obtidos

pela confluência das valorações realizadas pelos grupo de especialistas fundamentada no

Método Delphi atribuído de procedimentos sistêmicos e estruturados de triagem .

Observa-se que existe uma preocupação em definir qual a característica de

abordagem para realizar um determinado estudo cientifico, muitas vezes desconsidera-se o

mérito e as dificuldades para realizar o trabalho, o seguinte trecho do texto do estudo de

Warde (1990) sobre o papel da pesquisa na Pós-graduação em Educação retrata a preocupação

do pesquisador em definir o tipo de pesquisa realizada.

[...] no âmbito da Educação, mantivemos relações tão confusas com a pesquisa – ou

seja, com a produção científica – que nos saturamos de oscilar entre tantas

orientações e treinar tantos procedimentos e chegamos a esse ponto: logo

imaginamos um interlocutor precipitado a indagar – ―De que tipo de pesquisa

estamos falando? (WARDE, 1990, p.69).

161

É possível observar a preocupação do pesquisador Warde (1990) em delinear a

relevância dos estudos científicos para a Educação. Não é o bastante a problemática ter um

valor localmente, é importante que os pesquisadores defendam com propriedade as reais e

relevantes contribuições de sua proposta para a Ciência no âmbito da Educação. Mas é

comum as teorias construídas nos estudos ficarem atracadas localmente, muitas vezes porque

atenderam anseios somente do pesquisador (WARDE, 1990). Além do estudo ―Crono‖

declarar que o coletivo possibilita conceber propostas interdiscipinares, que os conteúdos

curriculares abordados nas oficinas temáticas são exemplos para o aprimoramento frente às

rigorosas disciplinas escolares e acadêmicas, há necessidade de ações tranversais e

interdisciplinares para superar as práticas docentes conservadoras, também ressalta a

necessidade de considerar as demonstrações realizadas pelos alunos para fundamentar os

aperfeiçoamentos metodológicos e estratégicos no processo ensino e aprendizagem. Por meio

do Método Delphi é possivel confirmar que os resultados do estudo ―Crono‖ são relevantes no

âmbito da Educação em Ciências e Matemática e que os resultados não estão atracados

localmente, apesar de atenderem os anseios do pesquisador, são resultados que podem ser

extrapolados para outras regiões.

Segundo a avaliação realizada pelos especialistas, que participaram dos

procedimentos metodológicos para a validação do estudo científico denominado ―Héstia‖, foi

possível determinar o ponto abscissal de – 0,04 (Tabela 12), com base no Método Delphi com

ensejo dos critérios de triagem, foi possível observar a perfeita coerência entre os elementos

que estruturam o estudo de ―Héstia‖, portanto, um indicador extremamente relevante na área

da Educação em Ciências e Matemática (Figura 18).

Figura 18: Resultado das valorações realizadas no indicador ―Héstia‖ pelos 16 especialistas através da pesquisa


162

Isso reforça a qualidade e a confiabilidade dos resultados ao observar os pontos

abscissais dos demais argumentos. Outrossim, através dos procedimentos de triagem não foi

possível afirmar diferenças significativas entre os pontos abscissais dos argumentos ao ponto

de alterar o grau de avaliação realizados pelos especialistas. As confluências das valorações

realizadas pelos especialistas reafirmam os resultados declarados pelo estudo ―Héstia‖, como

a necessidade do professor atual em possuir habilidades de reconhecer as múltiplas demandas

sociais explícitas e implícitas que rompem o ambiente escolar, por conseguinte, torna ainda

mais desafiador ao professor é que as demandas escolares estão relacionadas às características

socioeconômicas, culturais, geográficas de cada região, tornando-as singulares ao mundo.

Ainda nos resultados do estudo ―Héstia‖, observa-se que os professores há mais tempo na

docência, demonstram resistência em aceitar as interferências da cultura globalizada, do

comportamento despojado e das profundas modificações sociais e morais que caracterizam os

tempos pós-modernos, em suas vidas, mesmo que as interferências estejam mescladas em

todas as dimensões de seus contatos socioculturais. E por fim, o professor reflexivo e criativo

pode tornar este ambiente escolar menos desafiador. A avaliação realizada do estudo ―Héstia‖

representa o consenso do grupo de especialistas, onde é possível observar uma avaliação

unanimemente como um ótimo estudo realizado.

A avaliação realizada pelos especialistas no estudo denominado ―Eros‖, é possível

afirmar o ponto abscissal de -0,072 (Tabela 12) fundamentado nos procedimentos do Método

Delphi atribuído dos critérios de triagem, por conseguinte, permite concluir uma perfeita

coerência entre os elementos que estruturam o estudo de ―Eros‖, portanto, é um indicador

extremamente relevante para a área de Educação em Ciências e Matemática (Figura 19).

Figura 19: Resultado das valorações realizadas no indicador ―Eros‖ pelos 16 especialistas através da pesquisa


163

Também é possível observar que todos os especialistas avaliaram o estudo

denominado ―Eros‖ como ótimo, do mesmo modo observado nos estudos de ―Crono‖,

―Héstia‖. Ao observar o valor negativo do ponto abscissal, é possível afirmar que este valor

corresponde à unidade estatística de dispersão do conceito atribuído ao argumento ―Eros‖,

desse modo, o Método Delphi atribuído de critérios de triagem, além de verificar a

confluência pontual das valorações, também verifica os elementos que contribuem para

confluência pontual. Outrossim, através da Figura 19 é possível afirmar que não há diferença

na avaliação realizada pelos especialistas em relação ao argumento ―Eros‖ com os demais

argumentos. A avaliação realizada pelos especialistas no estudo de ―Eros‖ reafirma a

necessidade do professor em conhecer e reconhecer o que aluno já sabe e considerar isso no

processo de aprendizagem. Ainda no estudo ‖Eros‖, é declarado que laboratório vivo

contribui significativamente para o processo de aprendizagem, e estabelece relações entre os

conceitos científicos e a realidade. Como em ―Crono‖ e ―Héstia‖, este resultado nos remete

aos resultados que indicam atualmente a necessidade de um professor reflexivo e criativo para

possibilitar a contextualização dos conhecimentos científicos, o que contribui para um

ambiente escolar menos desafiador e mais atraente. Além de considerar e reconhecer os

conhecimentos prévios do aluno. Portanto, com base nos resultados obtidos, e por meio dos

procedimentos de triagem outorgados ao Método Delphi, também é possível validar todos os

procedimentos realizados pelo pesquisador para a concepção e análises dos resultados, bem

como o papel da comunidade científica em avaliar a qualidade do estudo para a publicação.

A avaliação realizada do estudo ―Eros‖ representa o consenso do grupo de

especialistas. Por conseguinte, é possível observar na Tabela 12 que, além de ser avaliado

como um ótimo trabalho, foi unânime entre os especialistas que este entre os 5 argumentos

apresentados foi o mais bem avaliado. Mas, segundo o Método Delphi, os argumentos são

iguais, sobre a ótica dos especialistas. Enfim, a avaliação dos especialistas submetidos aos

procedimentos do Método Delphi reafirma os resultados do estudo denominado ―Eros‖, em

que os conteúdos abordados necessitam de uma integração eficaz entre as disciplinas

específicas e pedagógicas.

O Método Delphi fundamenta os resultados das valorações realizadas do estudo

científico denominado ―Ares‖, desse modo obteve-se um ponto abscissal de 0,034, que

representa perfeita coerência entre os elementos que estruturam o estudo de ―Ares‖, portando,

um indicador extremamente relevante no âmbito da Educação em Ciências e Matemática

(Figura 20). Por conseguinte, fica evidenciada a necessidade de romper com a cultura

fragmentária, influenciada por uma epistemologia positivista em que não se juntam as partes

na mente do aprendiz como se poderia esperar nos dias atuais. Ainda no estudo ―Ares‖,

164

propõe-se uma forma inédita de estruturação dos PPCs na qual as estratégias metodológicas

perpassam pelos eixos articuladores culturais.

Figura 20: Resultado das valorações realizadas no indicador ―Ares‖ pelos 16 especialistas através da pesquisa


As valorações realizadas pelos especialistas no estudo científico denominado

―Hades‖ permitem definir o ponto abscissal de -0,027 (Tabela 12), que representa perfeita

coerência entre os elementos que estruturam o estudo de ―Hades‖, de modo que representa o

consenso do grupo de especialistas ao avaliar como um ótimo trabalho, por fim, não

diferencia em qualidade dos demais estudos abordados. Portanto, o indicador denominado

―Hades‖ é extremamente relevante na área da Educação em Ciências e Matemática (Figura

21).

165

Figura 21: Resultado das valorações realizadas no indicador ―Hades‖ pelos 16 especialistas através da pesquisa


O Método Delphi atribuído de critérios de triagem reafirma a necessidade de estudos

reflexivos sobre a prática docente para caracterização do processo de aprendizagem, levando

em consideração as ações coletivas para discussões e compartilhamento de conhecimentos.

No estudo de ―Hades‖ o pesquisador resume isso em um movimento de ação-reflexão-escrita.

Isso possibilita a necessidade do professor rever seu posicionamento no processo de

aprendizagem, bem como permite que os demais colegas conheçam o processo e possam

refletir e contribuir para melhorar os processos de aprendizagem. O estudo ―Hades‖ declara

que, para formação de professores de Ciências, é necessário investir na articulação saber

científico/pedagógico/experiencial e compreender o conhecimento docente na inter-relação

desses saberes para o estabelecimento de vínculos entre intervenção e investigação.

A contribuição a ser considerada para os cinco estudos associa-se às valorações que

todos receberam de especialistas que atuam ativamente em interlocução no âmbito da

Educação. Portanto, este fator contribui muito para afirmar a relevância dos argumentos para

Educação em Ciências e Matemática (Figura 22)

166

Figura 22: Resultado das valorações realizadas no indicador Contribuição pelos 16 especialistas através da

pesquisa com tema ―Avaliação de pesquisas na área da Educação‖ (02/2015).

O argumento Contribuição que representa a relevância dos cinco estudos "Crono",

"Héstia", "Eros", "Ares" e "Hades" foi submetido aos procedimentos metodológicos de

triagem atribuídos ao Método Delphi para fundamentar, segundo o critério de avaliação dos

especialistas, o grau de contribuição destes estudos para a Ciência no âmbito da Educação em

Ciências e Matemática. De modo que é possível afirmar, por meio do ponto abscissal com

valor de 0,163 (Tabela 12), que estes estudos são extremamente relevantes para Ciência

(Figura 22).

Os procedimentos metodológicos realizados para avaliar a relevância dos estudos são

extremamente importantes para a Ciência, pois para obter os resultados através dos

procedimentos de triagem, foi necessário mobilizar um grupo de especialistas e, através de um

mediador, ocorreu à articulação entre o grupo. Segundo o estudo sobre a relevância e

aplicabilidade da pesquisa em Educação realizada pela pesquisadora Mazzotti (2001), declara

que independente da abordagem quantitativa, qualitativa ou ambas, um dos problemas

recorrentes nos estudos científicos é a ausência de um grupo de pesquisadores com articulação

e continuidade que favoreçam a produção integrada, de qualidade e consistente. Portanto, os

procedimentos adotados para concepção dos resultados declarados neste estudo contribuem

para estruturação do conhecimento no âmbito da Educação em Ciências e Matemática,

promovido pelo grupo consistente de pesquisadores que detém a competência de argumentar

sobre um determinado tema na esfera da Educação em Ciências e Matemática.

Por fim, os resultados obtidos na tabela do desvio padrão (σ), ao adotar o Método

Delphi atribuído de procedimentos de triagem, podem ser representados para auxiliar nas

interpretações dos resultados de maneira gráfica (Figura 17). A representação gráfica também

167

possibilita verificar a confluência das opiniões dos especialistas em relação ao tema

―Avaliação de pesquisas na área da Educação‖.

O indicador Contribuição foi o que o mais se afastou dos demais indicadores, quando

observado seu ponto abscissal igual a 0,16 (Tabela 12), entretanto, é possível ter a mesma

conclusão que o indicador ―Hades‖ que possui o menor ponto abscissal observado igual a -

0,027 (Tabela 12), onde se conclui que ambos estão no intervalo em que, segundo a

valorização dos especialistas, indica que são extremamente relevantes os trabalhos abordados

neste estudo para a área da Educação. Através dos critérios de triagem é possível afirmar que

os elementos que estruturam cada um dos 5 indicadores são extremamente relevantes para a

Educação em Ciências e Matemática (Figura 23).

Figura 23: Resultado das valorações realizadas nos 6 indicadores pelos 16 especialistas ao tema ―Avaliação de

pesquisas na área da Educação‖ (02/2015).

Os procedimentos metodológicos do Método Delphi atribuído de critérios de triagem

também são indicados para temas com baixo ou nenhum referencial teórico e sem

historicidade, favorecem a um aprofundamento no tema a cada interação, pois os especialistas

têm a liberdade de propor novas linhas de investigações sobre o tema ao grupo. A proposta de

novas linhas de investigação é apresentada ao grupo de especialistas e somente é dado

continuidade no estudo se ocorrer o consenso do grupo. Estes procedimentos, além de

disseminarem antecipadamente o tema em estudo através dos especialistas, também

priveligiam somente temas relevantes para a comunidade científica e com contribuições

significativas de conhecimento no âmbito da Educação em Ciências e Matemática.

168

Também é indicada a adoção do Método Delphi em estudos descritivos e/ou

exploratórios com deficiência teórico-meodológica, com abordagens superficiais dos temas e

com a preocupação de aplicabilidade dos resultados no estudo, segundo Mazzotti (2001) é

comum observar estudos científicos com insuficiência teórico-meodológica.

169

CONCLUSÕES

Os resultados obtidos neste trabalho permitem concluir que o Método Delphi contíguo

ao procedimento de triagem pode ser adotado para análises de registros e validação de

resultados de estudos no âmbito da Educação em Ciências e Matemática, onde se delimita à

publicação deste trabalho. Do mesmo modo, é possível ser empregado o método em diversas

áreas de conhecimento, com o detalhadamente os cálculos nos Apêndices, além de

disponibilizar no software Excel uma planilha abarcando os procedimentos programados para

acompanhar a convergência do consenso dos especialistas

As estruturas sistêmica e metodológica propostas nos procedimentos do Método

Delphi permitem, eficientemente, analisar os registros obtidos por meio dos questionários e

validar resultados de pesquisas no âmbito da Educação em Ciências e Matemática.

Conclui-se que, através da adoção do Método Delphi atribuído de procedimentos de

triagem, após três interações realizadas com o grupo de especialistas foi possível validar com

tema ―Avaliação de pesquisas na área da Educação‖ os resultados obtidos nos estudos de

doutoramento no âmbito da Educação em Ciências e Matemática. Também foi possível

conhecer a relação entre os elementos que fundamentam os estudos, no que concerne aos

indicadores e à aplicabilidade dos procedimentos de triagem adotados na pesquisa ―Avaliação

de pesquisas na área da Educação‖, por conseguinte, foi possível conhecer a relação dos

resultados obtidos nos trabalhos científicos no âmbito da Educação em Ciências e Matemática

com excelentes resultados fundamentados no Método Delphi atribuído de procedimentos de

triagem.

As descrições declaradas nos quatro elementos: objetivo geral, problema, metodologia,

resultados, segundo os critérios de avaliação dos especialistas, são extremamente relevantes

para estruturar os cinco indicadores ―Crono‖, ‖Héstia‖, ‖Eros‖, ‖Ares‖, ‖Hades‖. Também

conclui-se por meio do indicador Contribuição, que os trabalhos observados são

extremamente relevantes para a área da Educação em Ciências e Matemática.

Ao considerar nesse estudo que os cinco trabalhos de doutoramento previamente

avaliados como aptos à publicação por uma comissão de doutores e pesquisadores do âmbito

da Educação, foi possível reafirmar a avaliação realizada pela comissão. Isso permite concluir

que os trabalhos, antes de serem submetidos a uma comissão, podem ser avaliados por meio

do Método Delphi atribuído de critérios de triagem. Outrossim, observou-se forte relação

entre os resultados obtidos no indicador Contribuição e os resultados dos cinco estudos

publicados na área da Educação em Ciências e Matemática.

170

Com os resultado anteriores foi possível verificar que o método pode ser utilizado para

avaliar e validar resultados de trabalhos realizados não somente na área da Educação, mas em

outras áreas de conhecimento. Durante a realização da pesquisa, as interações entre o

pesquisador e o grupo de especialistas possibilitaram estabelecer atividades de orientações

sobre os procedimentos metodológicos do Método Delphi atribuído de critérios de triagem.

As interações se mostraram extremamente relevantes para viabilização da pesquisa baseada

nos critérios de valorações dos especialistas. Também declara-se que durante as três

interações, o grupo de especialistas foram solícitos e com retorno breve dos questionários. E

para os especialistas que declinaram do estudo durante os procedimentos do método é

esclarecido pelo acúmulo de atividades relacionadas à docência exercidas pelos especialistas.

Portanto, no momento de definir cronograma de pesquisa que empregue especialistas

envolvidos com atividades relacionadas à docência, é relevante evitar os procedimentos de

interações com os especialistas no início e final de semestre ou ano letivo, período em que as

atividades docentes se exacerbam.

Os cinco especialistas que obtiveram coeficiente de competência inferior a 0,8kc,

também receberam instrumentos de registros, igualmente ao especialistas credenciados,

entretanto, afirmaram não se sentirem confiantes em participar da pesquisa e não se

reconheceram como especialistas sobre o tema.

O processo de triagem outorgado ao Método Delphi permitem, através dos seus

procedimentos, permite estabelecer a dispersão das respostas com coeficiente de variação e o

desvio padrão. Outrossim, é possível quantificar e observar o comportamento casuístico e

lógico das avaliações realizadas individualmente e pelo grupo de especialistas.

Também conclui-se que é possível quantificar as dispersões das respostas a cada

interação realizada pelo pesquisador com os especialistas, que possibilita verificar a

confluência das opiniões, conhecer e registrar o nível de confiabilidade dos resultados

obtidos.

Considerando a tese proposta neste estudo, onde o Método Delphi dotado de critérios

de triagem possibilita ao pesquisador conhecer o nível de confiabilidade das análises e

resultados obtidos em estudos científicos que adotam o método, tal como observar a estrutura

de confluência do consenso obtido pela homogeneização das valorações emitidas pelos

especialistas, justifica o desenvolvimento deste estudo, que possibilitou observar que há

décadas o Método Delphi é utilizado para obter resultados relevantes às áreas que o

empregam, entretanto, constatou-se a falta de sistematização dos procedimentos e o

desconhecimento do grau de confiabilidade dos resultados. Porém, com este estudo o Método

Delphi outorgado de critérios de triagem pode ser utilizado com um determinado nível de

171

confiabilidade conhecida em avaliação de registros e validação de resultados de pesquisas no

âmbito da Educação em Ciências e Matemática, o que corrobora com a tese proposta

inicialmente neste estudo.

Neste aspecto, a tese aqui defendida contribui para a metodologia de análise de

registro e validações de investigações na área da Educação em Ciências e Matemática. Ainda

é possível observar que os procedimentos do método atribuído de critérios de triagem

permitem sua adoção em estudos de outras áreas de conhecimento para prospecção, análises

de registros e validações de resultados.

O método, de fato, propiciou a reflexão individual e coletiva de um grupo expressivo

de especialistas. Através das reflexões é possível afirmar que o método pode ser utilizado em

pesquisas com abordagem qualitativa, quantitativa ou ambas em um mesmo estudo. Segundo

o critério de avaliação do grupo de especialistas definidos aleatoriamente, é possível afirmar

com mais de 95% de confiabilidade baseado na distribuição de probabilidade gaussiana que

os estudos de doutoramento concebidos no Programa de Pós Graduação Amazônica de

Educação em Ciências e Matemática – REAMEC são extremamente relevantes no âmbito da

Educação em Ciências e Matemática.

Para estudos futuros um direcionamento proposto é observar o grau de contribuição

dos critérios de triagem relacionados ao conhecimento e competência dos especialistas, tendo

em vista que neste trabalho definiu-se que o grau de conhecimento e competência tem o

mesmo peso de valoração nos procedimentos metodológicos, de acordo com os demais

estudos que adotaram o Método Delphi. Também é sugerido realizar um estudo para

contrapor o Método Delphi atribuído dos critérios de triagem com o Método Delphi

tradicional com objetivo de observar a taxa de confluência das respostas em idênticos temas

investigados.

Neste estudo, do ponto de vista estatístico, adotou-se um nível categórico de resposta

através de uma escala que varia de 0 a 10, para facilitar os procedimentos matemáticos. A

proposta é adotar respostas intervalares e procedimentos de cálculos para aumentar as

possibilidades de respostas, entretanto, para viabilizar os cálculos com adoção desta

preposição a um estudo científico, se faz necessário realizar a implementação dos

procedimentos, deste modo constituir um software.

172

REFERÊNCIAS

ABREU, M. A.; VETTER, D. A análise de relações entre conjuntos de variáveis na

matriz geográfica: correlação canônica. In: FAISSOL, S. Tendências atuais na geografia

urbano/regional: teorização e quantificação. Rio de Janeiro, Editora: IBGE - p. 133-144,

1978.

ADLER, M.; ZIGLIO, E. Gazing into the Oracle: The Delphi method and its application to

social policy and public health. London. Editora: Kingsley Publishers, 1996

CLÉMENT, P.; ANASTÁCIA, Z.; CARVALHO, G. Educação Sexual no 1º CEB:

Argumentação dos Professores para a sua (não) consecução. 2004, Repositório da

Universidade do Minho. Disponível na Web em:

https://repositorium.sdum.uminho.pt/bitstream/1822/4611/1/Ed%20Sex%201CEB_Profs.pdf.

Acessado em: 01de março de 2015.

ANDERSON, T. W. An introduction to multivariate statistical analysis. New York,

Editora: J.: J.Wiley; Sons. 1958.

ANSCOMBE, F. Rejection of outliers. Editora: Technometrics , 2 ed. p. 123-147, 1960.

ANTUNES, M. M.. Técnica Delphi: metodologia para pesquisas em educação no Brasil.

Campinas, Editora: Revista Educação PUC-SP, p. 63-71, 2014.

ARAÚJO, J. N.. Aprendizagem significativa de botânica em laboratórios vivos. Manaus,

Editora UNIVERSIDADE FEDERAL DE MATO GROSSO - UNIVERSIDADE FEDERAL

DO PARÁ - UNIVERSIDADE DO ESTADO DO AMAZONAS - REDE AMAZÔNICA DE

EDUCAÇÃO EM CIÊNCIAS E MATEMÁTICA - PROGRAMA DE PÓS-GRADUAÇÃO

EM EDUCAÇÃO EM CIÊNCIAS E MATEMÁTICA - PPGECEM/REAMEC. 2014.

AZEVEDO, R. O. Formação inicial de professores de Ciências: CONTRIBUIÇÕES DO

ESTÁGIO COM PESQUISA PARA A EDUCAÇÃO CIENTÍFICA. Manaus, Editora:

UNIVERSIDADE FEDERAL DE MATO GROSSO - UNIVERSIDADE FEDERAL DO

PARÁ - UNIVERSIDADE DO ESTADO DO AMAZONAS - REDE AMAZÔNICA DE



BARBETTA, P. A.. Estatística Aplicada às Ciências Sociais.5 ed., Florianópolis, Editora:

UFSC, 2002.

BARDIN, D. Componentes de variância: teoria e aplicações. Piracicaba: Editora: FEALQ,

2004

173

BARNETT, V.; LEWIS, T. Outliers in statistical data. New York, Editora: John Viley;

Sons, 1978.

BARNETT, V.; LEWIS, T. Outliers in statistical data. New York, Editora: John Viley;

Sons, 1994.

BARROS, N. B.; SCARMINIO, I. B.. Planejamento e Otimização de Experimentos. 2

ed.,São Paulo, Editora: UNICAMP, 2001

BECEGATO, A. C.; VIEIRA, G. E.; NETO, A. L. Análise da Correlação entre

Maturidade e Níveis de Desenvolvimento dos Processos. Curitiba: PUC-PR. p. 59, 2009.

BECKMAN, R. J.; COOK, R. D.. "Outlier......s". Editora: Technometrics, n. 25, p. 119-163,

1983.

BENJAMINI, Y. (1988). Opening the Box of a Boxplot. The American Statistician. New

York, Editora: Alexandria - 42, n. 4, p. 257-262, 1988.

BOGDAN, R.C.; BIKLEN, S. K. Qualitiative research for education: an introdution for

theory and methods. Boston, Editora: Allyn and Bacon, p. 47-51, 1998.

BOLFARINE, H.; BUSSAB, W. Elementos de Amostragem. São Paulo: Editora Edgard

Blücher, 2005.

BÜRGI, P.; ROOS, J. Images of Strategy. European, Editora Management Journal, 2003.

BÚRIGO, R. Integração entre Educação Matemática e Educação Ambiental: Uma

Proposição no Contexto da Gestão do Conhecimento. Florianópolis, Editora: Programa de

Pós-Graduação em Engenharia e Gestão do Conhecimento, da Universidade Federal de Santa

Catarina. 2009.

BUSSAB, W. O.; MORETTIN, P. A. Estatística Básica. São Paulo: Editora Atual, p. 33 –

211, 1987.

CALLEGARI-JACQUES, S. M. Bioestatística: Princípios e Aplicações. Porto Alegre:

Editora Artmed, 2003

CAMISÓN, C.; FABRA, E.; FLORES, B.; PUIG, A. ¿Hacia dónde se dirige la función de

calidad?: la visión de expertos en un estudio Delphi. Europea, Editora: Revista Europea de

Dirección y Economía de la Empresa, p. 13-18, 2009.

CHAUI, M.. Convite à Filosofia. São Paulo: Editora Ática, 2000.

174

CHAVES, S. A questão dos riscos em ambientes de computação em nuvem. São Paulo,

Editora: Universidade de São Paulo - Faculdade de Econômia, Administração e Contabilidade

- Departamento de Adminsitração - Programa de Pós-Graduação em Administração. 2011.

CHEN, P. Y.; POPOVICH, P. M. Correlation: Parametric and Nonparametric Measures.

London: Editora Sage, 2002.

CHOONPRADUB, C.; MCNEIL, D. Can the box plot be improved? Songklanakarin. Hat

Yai, Editora: Journal of Science and Technology - v. 27, n.3, p. 649-657. 2005.

CHURCHILL, G. A.. Marketing Research - Methodological Foundations.6 ed., Florida:

Editora University of Wisconsin, 1995.

COCHRAN, W. Sampling techniques. 3 ed.New York Editora: Wiley, 1977.

COMELLAS, M. La formación competencial del profesorado: formación continuada y

nuevos retos organizativos. Editora Educar. Bellaterra-Spain, 2000.

CONTI, F. História da informática e da Internet. História da informática. Disponível na

Web em: http://www.ufpa.br/dicas/net1/int-hisb.htm. Acessado em:15 de maio de 2015,

CORDER, G. W.; FOREMAN, D. I. Foreman Nonparametric Statistics for Non-

Statisticians. A Step-by-Step Approach. New Jersey: Editora Wiley, 2009.

COSTA NETO, P. Estatística. São Paulo: Editora Bluche. p. 264, 1987

COSTA, A. Quatro questões sobre a noção de competências na formação de professores:

o caso brasileiro. São Paulo: Editora Revista de Educação, p. 95 – 106, 2004.

COSTA, N. P. Estatística. São Paulo: Edgard Blucher - p. 266, 1977.

COSTA, S. C. Modelos lineares generalizados mistos para dados longitudinais. (Tese de

Doutorado), Piracicaba, 2003. Editora: ESALQ - Universidade de São Paulo. 2003

FERREIRA, M.; COUTINHO, S. D.; FREITAS, M. A.; PEREIRA, M. J.; VEIGA, T. B.;

MISHIMA, S. M. O Uso da Técnica Delphi na Pesquisa em Atenção Primária - À Saúde:

Revisão Integrativa. Salvador. Editora: Resvista Baiana de Saúde Pública, p. 582 - 596. 2014.

COX, D.. Planning of Experiments. New York, Editora: John Wiley. 1992.

CRESWELL, J. W. Projeto de pesquisa: Método Qualitativo, Quantitativo e Misto. São

Paulo: Editora Artmed, 2010.

175

CRUZ, C. Competências e habilidades: da proposta à prática. São Paulo: Editora Loyola,

2001.

DALKEY, N. C. The Delphi method. An experimental study of group opinion. Santa

Monica, CA (US ), Editora Rand Corporation, 1969.

DALKEY, N. C.; HELMER, O. An experimental application of the Delphi method to the

use of experts. Santa Monica, CA (US), Editora Rand Corporation , p.11, 1962.

DAVENPORT, T.; PRUZAC, L. Working Knowledge: How Organizations Manage What

They Know. Boston: Editora Harvard Business Scholl Press, 2000.

DIAS, I. S. Competências em Educação: conceito e significado pedagógico. São Paulo:

Editora Associação Brasileira de Psicologia Escolar e Educacional de São Paulo , v. 14, n.1,

p. 73 – 78, São Paulo, 2010.

DRAPER, N. R.; John, J. A. Influential observations and outliers in regression. Editora

Technometrics, 1981.

DRAPER, N.; SMITH, H.. Applied Regression Analisys. New York: Editora John Wiley,

NY, 1981.

DUFFY, M. E. Methodological triangulation: a vehicle for merging quantitative and

qualitative research methods. Editora: Journal of Nursing Scholarship , p. 130 - 133. NY,

1987.

DURKHEIM, E. As regras do Método Socio-lógico. São Paulo: Editora Abril, 1978.

EHLERS, R. S. Análise de Séries Temporais - Departamento de Estatística. Departamento

de Matemática e Estatística. Disponível na Web em: http://leg.est.ufpr.br/˜ ehlers/notas. 2000.

Acessado em: 28 de março de 2013

ELEUTÉRIO, C. M. O Diálogo entre Saberes Primevos, Acadêmicos e Escolares:

potencializando a Formação Inicial de Professores de Química na Amazônia. Cuiabá, Editora:

UNIVERSIDADE FEDERAL DE MATO GROSSO - UNIVERSIDADE FEDERAL DO

PARÁ - UNIVERSIDADE DO ESTADO DO AMAZONAS - REDE AMAZÔNICA DE



ESLAVA, R.; CUADRADO, A.; GARCÍA, E. Evaluación de la satisfacción de las

necesidades de información de los usuarios contables con el análisis Delphi. Editora

Visión Gerencial – Revista del centro de investigaciones y desarrollo empresarial cide, p. 313

- 331. Madrid-Espanha, 2010.

176

ESTELBERGER, W.; REIBNEGGER, G. The rank correlation coefficient: an additional

AID in the interpretation of laboratory data. Graz: Clinica Chimica Acta - v. 239, n. 2, p. 203

- 207. 1995.

FAHEY, L.; KING, W. R.; NARAYANAN, V. K. Environmental scanning and

forecasting in strategic planning – The state of the art. Long Range Planning. New York:

Editora Newark. v. 14, p. 32 – 39, 1981.

FAYYAD, U. Advances in Knowledge Discovery and Data Mining. New York: Editora

Mit Press, 1996.

FLECK, L. Gênese e Desenvolvimento de um Fato Científico. Belo Horizonte: Editora

Fabrefactum - (Tradução de Georg Otte e Mariana Camilo de Oliveira), 2010.

FONSECA, J. S.; MARTINS, G. A.; TOLEDO, G. L. Estatística Aplicada.2 ed. São Paulo:

Editora Atlas, 1985.

FREITAS, H.; MOSCAROLA, J. Análise de dados quantitativos e qualitativos: casos

aplicados usando o Sphinx®. Porto Alegre: Editora Sphinx, p.176, 2000.

FREITAS, M. T. RESEARCH ON EDUCATION: QUESTIONS AND CHALLENGES. A

PESQUISA EM EDUCAÇÃO: QUESTÕES E DESAFIOS. Disponível na Web em: http://intranet.ufsj.edu.br/rep_sysweb/File/vertentes/Vertentes_29/maria_teresa_freitas.pdf. 07

de dezembro de 2007. p.11. Acessado em: 28 de abril de 2015.

GIL, A. C. Métodos e Técnicas de Pesquisa Social. São Paulo: Editora Atlas, p. 28, 1989.

GIOLO, S. R. Análise de Regressão e Correlação. Curitiba, Notas de aula: Universidade

Federal do Paraná, 2005.

GODOY, A. S. Introdução à pesquisa qualitativa e suas possibilidades. Editora Revista de

Administração de Empresas, p. 57- 63, São Paulo – SP, 1995.

GOLDENBERG, M. A arte de pesquisar - Como fazer pesquisa qualitativa em Ciências

Sociais. 8 ed. São Paulo: Editora RECORD, 2004.

GOMES, F. P. Estatística Experimental. 13 ed. São Paulo: Editora ESALQ, 1990.

GONÇALVES, E. B.; CASTRO, I. M. Desenho esquemático para programas de

qualidade em laboratórios de análises. Campinas, Editora Ciência e Tecnologia de

Alimentos - v. 18, n. 1, p. 121 – 126. 1998.

GOUVEIA, J. Competências: moda ou inevitabilidade?. Saber. São Paulo: Editora Educar.

2007.

177

GREGOLIN, M. D. A Análise do Discurso: Conceitos e Aplicações. Departamento de

Lingüística - Faculdade de Ciências e Letras - UNESP -14800-901 – Araraquara: Editora

UNESP, p. 13 - 21. 1995.

GREGORY, S. J. The Delphi method for graduate research. Journal of Information

Technology Education, p. 1- 21. Carolina-US, 2007.

GRISHAM, T. The Delphi technique: a method for testing complex and multifaceted topics.

International Journal of Managing Projects in Business. , v. 2, n. 1, p. 112 - 130. Florida-

USA, 2009.

GRISI, C. C.; BRITTO, R. P. Técnica de Cenários e o Método Delphi: uma Aplicação para

o ambiente brasileiro. VI SEMINÁRIOS EM SEMEAD - ENSAIO MARKETING . Porto

Alegre-RS, 2006.

GRUBBS, F. E.. Procedures for detecting outlying observations in samples. Editora:

Technometrics , n. 11, p. 1 - 21. NY, 1969.

GUERREIRO, A. M. Comunicação no Ensino-Aprendizagem da Matemática: Práticas no

1.º Ciclo do Ensino Básico. LISBOA, Editora INSTITUTO DE EDUCAÇÃO -

UNIVERSIDADE DE LISBOA. p. 127. 2011.

HANSEN, M. H. Sample survey methods and theory. Editora John Wiley ; Sons. NT, 1953.

HASSON, F.; KEENEY, S.; MCKENNA, H. Research guidelines for the Delphi technique.

Journal of Advanced Nursing. v. 32, n. 4, p. 1008 - 1015. Newtownabbey, Northern

Ireland, 2000.

HENRIQUES, A. C. O Pensamento Matemático Avançado e a Aprendizagem da Análise

Numérica Num Contexto de Actividade de Investigação. Lisboa: Editora

UNIVERSIDADE DE LISBOA - INSTITUTO DE EDUCAÇÃO. 2010.

HERRERO, F.; CUESTA, M. Escalas de medida y estadística. Disponível na Web em:

http://gip.uniovi.es/herrero/infprof.html. Acessado em: 16 de fevereiro de 2014.

JOHANN, P. F.; HAMBÖKER, R. Parametric Statistical Theory. Berlin: Editora Walter de

Gruyter. 1994.

JOHNSON, R. A.; WICHERN, D. W. Applied multivariate statistical analysis. 2 ed. New

Jesery: Editora Prentice Hall International, 1988.

KAPLAN, B.; DUCHON, D. Combining qualitative and quantitative methods in

information systems research: a case study. MIS. New York: Editora Mis Quarterly. v. 12,

nº 4, p. 570 - 588. 1988.

178

KAZMIER, L. J. Estatística Aplicada à Economia e Administração. São Paulo: Editora

McGraw-Hill. 1982.

KING, A.; ZEITHAML, C. Measuring organizational knowledge: a conceptual and

methodological framework. London: Editora Strategic Management Journal. 2003.

KISH, L. Statistical design for research. Editora John Wiley. NY, 2004.

LAKATOS, E.; MARCONI, M. Metodologia Científica. 6 ed. São Paulo: Editora Atlas S.A,

2011.

LAKATOS, E.; MARCONI, M. Metodologia do Trabalho Cientifico. São Paulo: Editora

Atlas, 1992.

LANZER, R.; PINTO, R. B.; RAMOS, B. V. O Método Delfos aplicado ao Turismo no

espaço rural. Editora: UCS-Revista Rosas dos Ventos, Caxias do Sul -RS p. 178 - 191. 2012.

LEFÈVRE, A. M.; CRESTANA, M. F.; CORNETTA, V. K. A utilização da metododologia

do discurso do sujeito coletivo na avaliação qualitativa dos cursos de especialização

“Capacitação e Desenvolvimento de Recursos Humanos em Saúde-CADRHU”, São

Paulo: Editora Saúde e Sociedade , v.12, n.2, p. 68 – 75, 2003.

LEFÈVRE, F.; LEFÈVRE, A. M. Depoimentos e Discursos: uma proposta de análise em

pesquisa social. Brasília: Editora Líber Livro, 2005

LEFÈVRE, F.; LEFÈVRE, A. M.; TEIXEIRA, J. J. O discurso do sujeito coletivo: uma

nova abordagem metodológica em pesquisa qualitativa. Caxias do Sul: Editora EDUCS, 2000.

LEMOS, F. D. Metodologia para seleção de métodos de previsão de demanda. Porto

Alegre: Editora Universidade Federal do Rio Grande do Sul. Escola de Engenharia. Programa

de Pós-Graduação em Engenharia de Produção, 2006.

LEVIN, J. Estatística Aplicada a Ciências Humanas. 2 ed. São Paulo: Harbra, 1987.

LEVY, P. S.; LEMESHOW, S. Sampling of Populations. Editora John Wiley; Sons. New

York 1991.

LIEBSCHER, P. Quantity with quality? Teaching quantitative and qualitative methods in a

LIS Master‘s program. Library Trends, Editora Spring v. 46, n. 4, p. 660 - 684. Northern

Boulevard, Brookville-NY 1998.

179

LINSTONE, H. A.; TUROFF, M.; HELMER, O. The Delphi Method - Techniques and

Applications. California: Editora Portland State University - New Jersey - Institute of

Technology - University of Southern California, 2002.

LOCKE, J. Ensaio Acerca do Entendimento Humano. Trad. Anoar Aiex. São Paulo,

Editora: Abril. 1978.

LOWY, I. Fleck e a Historiografia Recente da Pesquisa Biomédica. In: PORTOCARRERO,

Vera (Org.). Filosofia, História e Sociologia das Ciências: Abordagens Contemporâneas.

Rio de Janeiro: Editora Fiocruz. p. 233 – 249, 1994.

LUCA, G. G.; KUBO, O. M. O argumentar como objetivo de ensino a ser desenvolvido

em diferentes disciplinas e desde níveis básicos do ensino formal. Psicologia da Educação,

São Paulo, n. 33, p. 153-160, dez. 2011 . Disponível em

<http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1414-

69752011000200009&lng=pt&nrm=iso>. Acessado em: 16 de fevereiro de 2015.

LUZ, P. C.; SILVA, M. F. Discurso Coletivo de Educação Ambiental por Educadores

Ambientais em Formação. EDUCERE - XI CONGRESSO NACIONAL DE EDUCAÇÃO,

p. 911 - 926. Curitiba-PR, 2013.

MAIA, D. P. Necessidades Formativas da Pós-Modernidade e a Formação Contínua de

Professores de Ciências. Manaus: Editora UNIVERSIDADE FEDERAL DE MATO

GROSSO - UNIVERSIDADE FEDERAL DO PARÁ - UNIVERSIDADE DO ESTADO DO

AMAZONAS - REDE AMAZÔNICA DE EDUCAÇÃO EM CIÊNCIAS E MATEMÁTICA

- PROGRAMA DE PÓS-GRADUAÇÃO EM EDUCAÇÃO EM CIÊNCIAS E

MATEMÁTICA - PPGECEM/REAMEC, 2015.

MAZZOTTI, A. J. A. Relevância e Aplicabilidade da Pesquisa em Educação. São Paulo,

Editora Caderno de Pesquisa, n.113, p. 39-50. 2001. Disponível na web em:

http://www.scielo.br/pdf/cp/n113/a02n113.pdf. Acessado em: 16 de fevereiro de 2015.

MARQUES, J. B. Educação Não-Formal e Divulgação de Astronomia no Brasil: O Que

Pensam os Especialistas e o que Diz a Literatura. São Carlos: Editora UNIVERSIDADE

FEDERAL DE SÃO CARLOS - UFSCar - CENTRO DE EDUCAÇÃO E CIÊNCIAS

HUMANAS - CECH - PROGRAMA DE PÓS-GRADUAÇÃO EM EDUCAÇÃO – PPGE,

2014.

MARR, B. Is It Impossible to Benchmark Intellectual Capital? In Bart, Bontis e Head

(Eds.) Conference Proceedings of the 25th McMaster World Congress, Janeiro de 2004.

Canada: Editora MWC, 2004.

MARSTON, W. M. Emotions Of Normal People. New York: Editora HARCOURT -

BRACE AND COMPANY, London, 1928.

MARTÍNEZ, A. D.; GONZÁLEZ, P. A.; SAAVEDRA, F. Á.; PAREJO, M. I.; OLMOS, J.

M.; ORMAETXE, Í. G. Indicadores de riesgo de morbilidad prevenible causada por

medicamentos Gaceta Sanitaria. Gaceta Sanitaria, p. 29 - 36. Granada-Espanha, 2007.

http://www.scielo.br/pdf/cp/n113/a02n113.pdf

180

MARTÍNEZ, M. D. Sistemas Inteligentes para el ajuste de Modelos Hidrológicos.

Aplicación al Río Paraná. Santander: ETS de Ingenieros Industriales y de Telecomunicación.

Editora UNIVERSIDAD DE CANTABRIA, 2013.

MARTINEZ, V. G.; ZÚÑIGA, S. P.; SALA, A. G.; MELÉNDEZ, A. M. El uso del Método

Delphi como estrategia para la valoración de indicadores de calidad en programas

educativos a distancia. (U. E. Distancia, Ed.) Editora Revista Calidad en la Educación

Superior , p. 200 – 222, Costa Rica, 2012.

MATTAR, F. N. Pesquisa de Marketing. 3 ed. São Paulo: Editora: Atlas, 2001.

MATTOS, C. L. A abordagem etnográfica na investigação científica. Rio de Janeiro:

Editora Universidade Estadual do Rio de Janeiro – UERJ, 2001.

MEYER, P. L. Introductory Probability and Statstiical Applications. Washington: Editora

Addison Wesley Publishing Company, Inc. , 2000.

MEYRICK, J. D. The Delphi method and health research. Sydney-Australia: Editora MCB

UP Ltd., 2003.

MINAYO, M. C. O desafio do Conhecimento: pesquisa qualitativa em saúde. Rio de

Janeiro: Editora Hucitec, 2006.

MINAYO, M. C.; SANCHES, O. Quantitativo-Qualitativo: Oposição ou

Complementaridade? Editora Caderno de Saúde Pública , p. 239 – 262, Rio de Janeiro, 1993.

MONTGOMERY, D. Design and Analysis of Experiments. 3 ed. New York: Editora John

Wiley, 1991.

MONTGOMERY, D.; PECK, E. Introduction to linear regression analysis. New York:

John Wiley, 1982.

MORETTIN, P. A.; BUSSAB, W. D. Estatística Básica. 5 ed. São Paulo: Editora Saraiva,

2002.

MORETTIN, P.; BUSSAB, W. Métodos Quantitativos. 4 ed. São Paulo: Editora Atual

Editora Ltda, 1991.

MUNARETTO, L. F.; CORRÊA, H. L.; CUNHA, J. A. Um estudo sobre as características

do Método Delphi e de grupo focal, como técnicas na obtenção de dados em Pesquisas

Exploratórias. Santa Matia – MT, Editora Revista Administração UFMS - Santa Matia , p.

09 – 24, 2013.

181

MUÑOZ, G. J.; MORENO, R. J.; PASCUAL, A. A. Outliers: a formal approach. Editora

International Statistical Review, p. 58, 215 - 226. United States, 1990.

OKOLI, C.; PAWLOWSKI, S. D. The Delphi Method as a Research Tool: An Example,

Design Considerations and Applications. Editora Information and Management, p. 15 - 29.

Canada, 2004.

OLIVEIRA, J. S.; COSTA, M. M.; WILLE, M. F.; MARCHIORI, P. Z. Introdução ao

Método Delphi. Curitiba: Editora Mundo Material, 2008.

OLIVEIRA, P. E.. Ensaios sobre o pensamento de Karl Popper. Curitiba: Editora Círculos

de Estudos Bandeirantes, 2012.

ORLANDI, E. P. Análise de Discurso, Princípios e Procedimentos. São Paulo: Pontes,

2001.

ORTEGA, F. El método Delphi, prospectiva en Ciencias Sociales a través del análisis de

un caso práctico. Editora: Revista Escuela de Administración de Negocios, p. 31 – 54,

Bogóta-Colombia, 2008.

OSBORNE, J.; COLLINS, S.; RATCLIFFE, M.; MILLAR, R.; DUSCHL, R. What „„Ideas-

about-Science‟‟ Should Be Taught in School Science? - A Delphi Study of the Expert

Community. Editora JOURNAL OF RESEARCH IN SCIENCE TEACHING , v. 40, n. 7, p.

692 – 720, London: King's College London, 2003.

PAIXÃO, R. B.; BRUNI, A. L.; BECKER, J. L.; TENÓRIO, R. M. Avaliação de Mestrados

Profissionais: Construção e Análise de Indicadores à Luz da Multidimensionalidade. Editora

ensaio Avaliação Política Pública Educação , p. 505 – 532, Rio de Janeiro, 2014.

PASQUALI, L. Teoria e Métodos de Medidas em Ciências do Comportamento. Brasília,

Editora INEP — Coordenadoria-Geral de Divulgação de Informações Educacionais, 1996.

PATTON, M. Q. Qualitative evaluation methods. Beverly Hills – CA: Editora Sage, p. 380-

385, 1980.

PEARSON, R. Exploring process data. Journal of Process Control. New York: Editora K.l,

v. 11, n. 2, p. 179 – 195, 2001.

PEIXOTO, M. A. Currículo e Formação de Professores de Ciências e Biologia: A Cultura

como Eixo Articulador dos Projetos Pedagógicos. Manaus: Editora UNIVERSIDADE

FEDERAL DE MATO GROSSO - UNIVERSIDADE FEDERAL DO PARÁ -

UNIVERSIDADE DO ESTADO DO AMAZONAS - REDE AMAZÔNICA DE


EM EDUCAÇÃO EM CIÊNCIAS E MATEMÁTICA - PPGECEM/REAMEC, 2014

182

PEREIRA, N. F.; LEITÃO, S. Argumentação e construção doconhecimento: análise retórica

dos acordos e adesões em uma sala de aula de História. In V Congresso Brasileiro de

Psicologia do Desenvolvimento. Psicologia do Desenvolvimento: teorias, pesquisas e

aplicações. Anais do V Congresso Brasileiro de Psicologia do Desenvolvimento. São Paulo:

Editora Casa do Psicólogo. p. 153 – 160, 2005.

PERRENOUD, P. Construir as competências desde a escola. Porto Alegre: Editora Artmed,

1999.

PONTE, J. P. Estudos de caso em educação matemática. Editora Bolema, p. 105 – 132,

Lisboa, 2006.

PONTES, A. C. Análise de variância multivariada com a utilização de métodos não-

paramétricos e componentes principais baseados em matrizes de postos. Piracicaba: Tese

(Doutorado em Estatística e Experimentação Agronômica) – Editora ESALQ - Universidade

de São Paulo, 2005.

QUIVY, R.; CAMPENHOUDT, L. V. Manual de Investigação em Ciências Sociais. p. 16.

2008. disponível em Economics Disponível na Web em: http://www.fep.up.pt/docentes/joao/material/manualinvestig.pdf. Acessado em: 29 de abril de

2015.

RAMOS, E. E. Proprondo Práticas e Desafiando Certezas: Um Estudo em Turma do

Proeja numa Perspectiva de Educação Matemática Crítica. Florianópolis: Editora Programa de

Pós-Graduação em Educação Científica e Tecnológica da Universidade Federal de Santa

Catarina. p. 122, 2011.

RAMOS, M. M. Matemática: A Bela ou o Mostro? - Contributos para uma análise das

representações sociais da matemática dos alunos do 9º ano de escolaridade. Lisboa:

Universidade de Lisboa. p. 127 – 140, 2003.

RAND, C. Rand Corporation. disponível em Rand Corporation. Disponível na Web em:

http://www.rand.org/. Acessado em: 15 de janeiro de 2015

REA, L. M.; PARKER, R. A. Metodologia de Pesquisa - Do Planejamento à Execução. São

Paulo: Editora Pioneira, 2000.

REINHARDT, R.; BORNEMANN, M.; PAWLOWSKY, P.; SCHNEIDER, U. Intellectual

Capital and Knowledge Mangement: Perspectives on Measuring Knowledge. In Dierkes,

Antal, Child e Nonaka (Eds.) Handbook of Organizational Learning and Knowledge. Oxford:

Editora Oxford University Press, 2003.

RIBAS, J. C. Planejamento Educacional Baseado em Cenário Prospectivos na Educação

a Distância. Editora Associação Brasileira de Educação a Distância. Florianópolis-SC, 2013.

RIBEIRO, C. Z. Perspectivas da Educação Superior e a Qualidade. Porto Alegre: Editora

Pós-Graduação em Educação da Universidade Federal do Rio Grande do Sul, 2010.

183

RIBEIRO, R. M. Oralidade e ensino: uma proposta de seqüência didática envolvendo

gêneros argumentativos. Dissertação de Mestrado do Programa de Pós-graduação em Letras,

Paraíba: Editora Universidade Federal de Paraíba, 2003.

RICHARDSON, R. J. Pesquisa social: métodos e técnicas. São Paulo: Atlas, 1989.

RIZZATTI, G. Categorias de análise de clima organizacional em universidades federais

brasileiras. Florianópolis: Editora Universidade Federal de Santa Catarina - Programa de

Pós-Graduação em Engenharia de Produção, 2002.

RODRIGUES, S. C.; LEITÃO, S. L. A emergência da argumentação como recurso

mediador na construção de conhecimentos em uma sala de aula de história. In IX

Simpósio de Pesquisa e Intercâmbio Científico da ANPEPP. Águas de Lindóia - SP.:

ANPEPP, 2002.

ROUSSEUW, P. J.; ZOMEREN, B. C. Unmasking multivariate outliers and leverage

points. Editora Journal of the American Statistical Association , n. 85, p. 633 – 651, 1990.

Boston.

ROWE, G.; WRIGHT, G. The Delphi technique as a forecasting tool: issues and analysis.

Editora International Journal of Forecasting , Norwich-UK, p. 353 – 375, 1999.

RUSCHMANN, D. O Planejamento do Turismo e a Proteção do Meio Ambiente (tese de

doutorado). São Paulo: Editora ECA-USP, 1994.

SAMPAIO, M. F. Evolução Histórica e Atualidades. São Paulo: Editora Scipione, 1989.

SANDER, B. Gestão da Educação na América Latina. Campinas: Editora Autores

Associados, 1995.

SCHEAFFER, R. L. Elementary survey sampling. 7 ed. Editora Cengage Learning, Boston,

2012.

SERRANO, G. P. Investigación Cualitativa Retos e Interrogantes - I Métodos. Espanha:

Editora La Muralla, S. A., 1993.

SIEGEL, S. Estatística Não-paramétrica para as Ciências do Comportamento. São Paulo:

Editora McGraw-Hill, 1975.

SILVA, A. M.; RODRIGUES, C. D.; SILVA, S. M.; WITI, R. R. Utilização da Técnica

Delphi On-Line para Investigação de Competências: relato de experiência. Porto Alegre:

Editora Revista Gaúcha Enfermagem , p. 348 – 351, 2009.

184

SILVA, L.; DAMACENO, A.; MARTINS, M.; SOBRAL, K.; FARIAS, I. Pesquisa

Documental: alternativa investigada na fomração do docente. IX Congresso Nacional de

Educação - EDURECE . Curitiba-PR, 2009.

SILVA, N. N. Amostragem probabilística. São Paulo: Editora EDUSP, 2009.

SILVA, R. F.; TANAKA, O. Y. Técnica Delphi: identificando as competências gerais do

médico. São Paulo: Editora Rev. Esc. Enf. USP - v. 33, n. 3 , p. 207 – 216, 1999.

SILVEIRA, F. L. A Teoria do Conhecimento de Kant: O Idealismo Transcendental. Cad.

Cat. Ens. Fís , v. 19, Editora: UFSC, Florianópolis – SC, número especial: p. 28 – 51, 2002.

SKULMOSKI, G. J.; HARTMAN, F. T.; KRAHN, J. The Delphi Method for Graduate

Research. 21 ed. Editora Journal of Information Technology Education , 2007

SNEDECOR, G. W.; COCHORAN, W. G. Statistical methods. Lowa Sate University, 7 ed.

Editora: Ames Iowa. Ames, 1980.

SPIEGEL, M. R. Estatística. Rio de Janeiro: Editora McGraw-Hill do Brasil, 1970.

SPINOLA, A. Delfos: proposta tecnológica alternatina. São Paulo: Editora FSP/USP, 1984.

SPINOLA, A. Técnica prospectiva delphi: abordagem teórico-prática. São Paulo: Editora

SM, 1997.

STEVENSON, W. J. Estatística Aplicada à Administração. São Paulo: Editora HARBRA,

1986.

STITT-GOHDES, W. L.; CREWS, T. B. The Delphi Technique: A Research Strategy For

Career And Technical Education. Editora Journal of Career and Technical Education. South

Carolina, v. 20, n. 2. 2004.

TALAMONI, A. C.; FILHO, C. B. O Laboratório de Anatomia Sob a Perspectiva da

“Descrição Densa”: Interfaces da Cultura Científica e o Ensino de Ciências. Encontro

Nacional de Pesquisa em Educação e Ciências , Florianópolis-SC, p. 190. 2000.

TOLEDO, G. L.; OVALLE, I. I. Estatística Básica. São Paulo: Editora Atlas, 1995.

TORRES, R. M. Indicadores de Resultados para Farmácia Hospitalar. Rio de Janeiro:

Editora Ministério da Saúde - Fundação Oswaldo Cruz - Instituto Fernandes Figueira - Pós-

Graduação em Saúde da Criança e da Mulher. p. 1792, 2006.

185

TRUJILLO, A. F. Epistemologia e Metodologia da Sociologia. São Paulo: McGraw-HilI do

Brasil. 1982. Campinas, 1977.

UNICAMP. Os desafios da pesquisa no Brasil. São Paulo: Editora Caderno Temático -

UNICAMP. p. 3, 2002.

VOLKER, C. B. As Palavras do Oráculo de Delfos: Um estudo sobre o de Pythiae Oraculis

de Plutarco. Belo Horizonte: Universidade Federal de Minas Gerais, 2007.

WARDE, M. O Papel da Pesquisa na Pós-Graduação em Educação. São Paulo: Editora

Caderno de Pesquisa de São Paulo , p. 67-75, 1990.

WRIGHT, J. T.; GIOVINAZZO, R. A. DELPHI – Uma ferramenta de apoio ao planejamento

prospectivo - Previsão e Planejamento. disponível em DELPHI – Uma ferramenta de apoio ao

planejamento prospectivo. Disponível na Web em: http://www.fundacaofia.com.br/profuturo/Uploads/Documents/Artigos/art50.htm#_ftnref1.

2000. Acessado em: 23 de janeiro de 2015.

YIN, R. K. Applications of case study research. California: Editora Thousand Oaks, 1993.

YIN, R. K. Estudo de Caso – Planejamento e Métodos. 2 ed. Porto Alegre: Editora

Bookman, 2001.

YOUSUF, M. I. Using Experts‟ Opinions Through Delphi Technique. Editora: Practical

Assessment, Research and Evaluation, Rawalpindi-Pakistan. v 12, p. 1- 9. 2007.

186

APÊNDICE

187

APÊNDICE A: Instrumento encaminhado para registrar o grau de conhecimento,

argumentação para definir o grau de competência dos especialistas.

a) Assinale com x o valor que se corresponde com o grau de conhecimento que o senhor tem

em relação com os temas: ―Avaliação de pesquisas na área da Educação‖.

Considere ―0‖ = Desconhece totalmente e ―10‖ = Conhece totalmente

Escala ordinal ao Grau de conhecimento sobre o tema ―Avaliação de pesquisas na área da

Educação‖.

b) Realize uma valoração do grau de influencia que cada uma das fontes que lhe

apresentamos, tem sobre seu conhecimento e critério respeito ao tema ―Avaliação de

pesquisas na área da Educação‖. Para isto assinale com x o valor que corresponda seu

grau de influencia

Valoração do grau de influência sobre o tema ―Avaliação de pesquisas na área da Educação”.

FONTES DE ARGUMENTAÇÃO SEU GRAU DE INFLUÊNCIA ORDINAL

1- Análises teórico realizado por você

sobre o tema.

2- Sua experiência sobre o tema.

3- Conhecimento de trabalhos

referenciados por autores nacionais

sobre o tema.

4- Conhecimento de trabalhos

referenciados por autores

estrangeiros sobre o tema.

5- Seu próprio conhecimento acerca do

tema.

6- Sua intuição sobre o tema.

188

APÊNDICE B: Modelo de instrumento encaminhado para registrar as valorações dos

especialistas.

Pesquisa pelo Método Delphi - ______º Fase

Instrumento de registro dos critérios dos especialistas em relação aos argumentos correlativos

chamados "Crono", "Héstia", "Eros", "Ares" e "Hades".

*Obrigatório

Parte superior do formulário

O gráfico abaixo corresponde às avaliações realizadas pelo grupo professores na __º fase da

pesquisa. Com base nestes resultados solicito que o professor realize novamente suas

avaliações. Ao final do questionário é possível justificar as respostas.

a) Argumento que define o estudo científico "Crono" composto por quatro elementos.

1- Problema É possível cultura local dialogar com saberes acadêmicos e escolares para

potencializar a formação inicial de professores de Química?

2- Objetivo geral Compreender a possibilidade de cultura local dialogar com saberes

acadêmicos e escolares e potencializar a formação inicial de professores de Química a

partir das oficinas temáticas.

3- Metodologias Abordagem qualitativa através de uma pesquisa etnográfica, os

registros do fenômeno foi realizada a partir da observação participante e para

estruturação e realização das entrevistas foram considerados o diário de campo,

câmera fotográfica, filmadora e gravador de voz.

189

4- Resultados a- Conteúdos curriculares abordados nas oficinas temáticas são

exemplos de que precisamos passar pelo processo de transgressão das fronteiras

rígidas das disciplinas escolares e acadêmicas; b- É preciso propor cada vez mais

ações transversais e interdisciplinares para a superação de um ensino, que permite a

reprodução do conhecimento e de práticas docentes conservadoras; c- As

demonstrações realizadas pelos alunos suscitaram nos professores a vontade de

aperfeiçoar metodologias e estratégias de ensino para que os alunos compreendam os

conteúdos da Química, didaticamente transposto na sala de aula e, sobretudo, para

fortalecer práticas pedagógicas; d- É no coletivo que se constrói uma proposta

interdisciplinar. e- Não basta se apropriar dos conhecimentos dos povos indígenas e

das comunidades tradicionais, é necessário torná-los conhecidos na sociedade, em

particular, nas escolas e universidade. f- As Oficinas Temáticas favoreceram os

diálogos entre os cultura local dialogarem com saberes acadêmicos e escolares e os

saberes acadêmicos.

Estimado Professor, segundo o seu critério assinale na escala, como o Senhor considera

a coerência dos elementos do argumento "Crono". *

Considere: 0 = Nenhuma coerência|--------------------------------------|10 = Perfeita coerência

b) Argumento que define o estudo científico "Héstia" composto por quatro elementos.

1 - Problema Como os professores de Ciências percebem suas necessidades formativas

de natureza subjetiva e sociocultural e quais as relações destas com a identidade e o

desenvolvimento profissional?

2 - Objetivo geral Analisar as necessidades formativas de professores de Ciências

através da dimensão psicossocial e suas relações com a identidade, o desenvolvimento

profissional e a formação contínua no contexto da pós-modernidade.

3 - Metodologias Abordagem qualitativa de orientação interpretativa fenomenológica,

também empregou técnicas de observação, questionários e discussões em grupos,

ambos inicialmente estruturados.

190

4 - Resultados a- Identificar necessidade formativas de âmbito subjetivo é elucidar

potencialidades e fraquezas associadas ao querer agir e à possibilidades reais de

realizar, requerendo análise crítica reflexiva e iniciativa de mobilização de ações de

enfrentamento; b- Os professores há mais tempo na docência, demonstraram acirrada

resistência em aceitar as interferências da cultura globalizada, do comportamento

despojado e das profundas modificações sociais e morais que caracterizam os tempos

pós-modernos, em suas vidas, mesmo que esta intervenção esteja mesclada em todas

as dimensões de seus contatos socioculturais.


a coerência dos elementos do argumento "Héstia". *

Considere: 0 = Nenhuma coerência|--------------------------------------|10 = Perfeita coerência

c) Argumento que define o estudo científico "Eros" composto por quatro elementos.

1 - Problema Qual o potencial didático-pedagógico da educação científica em

laboratórios vivos (espaços não formais) para o desenvolvimento de aprendizagem

significativa no campo da Botânica?

2 - Objetivo geral Investigar as principais perspectivas didático-pedagógicas da

educação científica em laboratório vivo enquanto espaço não formal que influenciam o

desenvolvimento da aprendizagem significativa de conceitos de Botânica.

3 - Metodologias Abordagem qualitativa através de uma pesquisa com observação

participante. As fontes para contextualizar o fenômeno são de origem de análise

documental e referencial bibliográfico. Para registrar o fenômeno foram realizadas

entrevistas, fotografias.

4 - Resultados a- A estrutura cognitiva dos alunos em relação aos estudos de Botânica

foi se modificando ou se ampliando na medida em que realizavam novas relações

conceituais e proposições de estudos; b- A aprendizagem significativa é influenciada

por variáveis dependentes, também, das conexões que se estabelecem no ato de

ensinar, dos organizadores prévios ou das estratégias que se utilizam, aprofundando

cada vez mais o tema ou assunto, acrescentando novas informações que ao se

sedimentarem formam bases mais alicerçadas e entrelaçadas ávidas para que os novos

conhecimentos encontrem meios de se estabelecerem na estrutura cognitiva do

191

aprendiz. c- Que não basta ter um laboratório vivo rico em material para ensinar

Botânica se os alunos não se sentirem atraídos ou se o professor não souber mediar sua

aula para transformá-la em momentos de encantamento.


a coerência dos elementos do argumento "Eros". *

Considere: 0 = Nenhuma coerência|------------------------------------------|10 = Perfeita coerência

d) Argumento que define o estudo científico "Ares" composto por quatro elementos.

1 - Problema O fato de professores e alunos de contextos tão diversos estarem

submetidos a uma mesma sistemática de trabalho poderia influenciar ou mesmo

interferir na situação ensino/aprendizagem? Se positiva a resposta, haveria uma forma

de prevenir possíveis resultados díspares ou buscar maior eficácia no trabalho, visando

otimizar resultados?

2 - Objetivo geral Investigar e compreender como se processava a Formação de

Professores de Biologia em duas Instituições Federais localizadas em regiões de

culturas diferentes e submetidas a uma mesma exigência formativa do Ministério da

Educação e Cultura (MEC).

3 - Metodologias Abordagem quali-quantitativa através da observação participante,

entrevistas, análise documental e com a técnica de Análise de Correspondência.

4 - Resultados a- O curso de Licenciatura não se adéqua às diferentes realidades

brasileiras. b- Necessidade de fiscalização e formatação desses cursos acaba por

moldá-los ou mesmo formatá-los em uma realidade que desconsidera as

peculiaridades que dão propriedade ao nosso país; c- Sobreposição dos aspectos

burocráticos e administrativos sobre os pedagógicos na construção dos PPCs; d-

Conteúdos abordados carecem de uma integração eficaz entre as disciplinas

específicas e pedagógicas; e- Necessidade de romper essa cultura fragmentária,

influenciada por uma epistemologia positivista em que não se juntam as partes na

mente do aprendiz como se poderia esperar; f- Proposta de uma forma inédita de

estruturação dos PPCs, que sai de uma esfera eminentemente técnica para uma esfera

técnica-social-psicológica. Trata-se de um procedimento de pesquisa de elaboração

lenta e artesanal, muito diferente dos projetos efetuados com rapidez e êxito, por

192

visarem, apenas, a concatenação das leis e conteúdos e que estão voltados

simplesmente para a legalização dos cursos pretendidos.


a coerência dos elementos do argumento "Ares". *


e) Argumento que define o estudo científico "Hades" composto por quatro elementos.

1 - Problema Em que aspectos o estagio com pesquisa, sustentado

epistemologicamente na concepção de professor pesquisador, contribui no

desenvolvimento da educação científica de professores de Ciências em formação

inicial, favorecendo a emergência de conhecimentos para enfrentar os desafios do

trabalho docente?

2 - Objetivo geral Compreender em que aspectos o estagio com pesquisa, sustentado

epistemologicamente na concepção de professor pesquisador, contribui no

desenvolvimento da educação científica de professores de Ciências em formação

inicial, favorecendo a emergência de conhecimentos para enfrentar os desafios do

trabalho docente.

3 - Metodologias Abordagem qualitativa através de pesquisa-ação dividida em quatro

fases: o diagnóstico, concepção do plano de ação, implementação do plano de ação e

por fim avaliação e interpretação de forma reflexiva. Os registros foram realizados por

meio de gravações em áudio e vídeo, anotações de campo, diários reflexivos e

relatórios de estagio, submetidos a Análise Textual Discursiva.

4 - Resultados a- A formação de professores de Ciências necessita investir na

articulação saber científico/pedagógico/experiencial e compreender o conhecimento

docente na inter-relação desses saberes para o estabelecimento de vínculos entre

intervenção e investigação; b- O estagio com pesquisa, na formação inicial de

professores de Ciências, é um dos principais canais provocadores de condições para o

domínio de instrumentos de produção de conhecimento do trabalho docente; c- A

educação científica vai além da internalização de conceitos relativos às ciências, pois,

na formação de professores, implica também o domínio de procedimentos e o

desenvolvimento de atitudes como condição para enfrentar os desafios da docência.

193


a coerência dos elementos do argumento "Hades". *


Os argumentos "Crono", "Héstia", "Eros", "Ares" e "Hades" apresentados

anteriormente contribuem para a Ciência na área da Educação. *

Considere: 0 = Nenhuma contribuição|-----------------------------------|10 = Perfeita contribuição

a) Considerações que o senhor julgar necessário:

b) Estimado professor, digite seu e-mail por gentileza. *

194

APÊNDICE C: Biografia do autor deste trabalho.

Nerio Aparecido Cardoso, filho de Valdir Cardoso e Onilda

da Aparecida Cardoso. Nasceu em 17 de setembro de 1976, em

Araucária, região Metropolitana de Curitiba - PR.

Em 1991 iniciou a formação no ensino médio e 1995 obteve

o curso Técnico em Edificações pelo Colégio Estadual do Paraná –

CEP. Desenvolveu atividades administrativas e de campo relacionadas

ao curso até 1999.

Em 1999 iniciou a graduação de Bacharelado em Estatística

na Universidade Federal do Paraná – UFPR, graduou-se em 2004.

Desenvolve atividades administrativas e de campo relacionadas a

graduação até os dias atuais.

Em 2006 iniciou a especialização em Tecnologia da

Informação na Universidade Federal do Paraná – UFPR, defendeu a

monografia em 2008 com tema relacionados a conteúdos estatísticos,

desenvolve atividades de pesquisa relacionadas à formação até os dias

atuais.

Em 2006 iniciou o Mestrado em Produção Vegetal na

Universidade Federal do Paraná – UFPR, defendeu a dissertação em

2008 com tema relacionados a conteúdos estatísticos. Desenvolve

atividades de pesquisa administrativas e de campo relacionadas à área

a partir de 2005 até os dias atuais.

Em 2012 iniciou o doutoramento no Programa de Pós-

Graduação em Educação em Ciências e Matemática –

PPGECEM/REAMEC que se constitui por uma Rede Amazônica de

Educação em Ciências e Matemática representada pela Universidade

Federal de Mato Grosso – UFMT, Universidade Federal do Pará –

UFPA e Universidade do Estado do Amazonas – UEA e desenvolve

tema relacionado a método de pesquisa fundamentado com conteúdos

estatísticos.

195

APÊNDICE D: Principais repositórios nacionais e internacionais de estudos científicos.

Quadro 27: Repositórios de estudo científicos nacionais e internacionais, acessado gratuitamente em 2015, com

maior frequência de trabalhos da área da Educação.

NACIONAIS

Nomes Endereço eletrônico 1 Educação

Universidade Federal de Santa Catarina –

UFSC

http://pergamum.ufsc.br/pergamum/b

iblioteca/index.php

8766

Coordenação de Aperfeiçoamento de Pessoal

de Nível Superior – CAPES http://www1.capes.gov.br/bdteses/ 6281

Universidade Federal do Rio Grande do Sul

– UFRGS http://www.lume.ufrgs.br/ 1479

INTERNACIONAIS

Nomes Endereço eletrônico 1 Educação

Universidade de Lisboa – CDE http://www.rcaap.pt/ 22340

Tesis Doctorales de Cataluña - TDC@t http://www.tdcat.cesca.es/ 5704

Universities in Great Britain and Ireland –

PROQUEST

http://www.proquest.com/products-

services/pqdt_uk_ireland.html

3193

1 Quantidade de estudos científicos relacionados ao termo indexador ―Educação‖ utilizado como filtro.

http://pergamum.ufsc.br/pergamum/biblioteca/index.php

http://pergamum.ufsc.br/pergamum/biblioteca/index.php

http://www1.capes.gov.br/bdteses/

http://www.lume.ufrgs.br/

http://www.rcaap.pt/

http://www.proquest.com/products-services/pqdt_uk_ireland.html

http://www.proquest.com/products-services/pqdt_uk_ireland.html

196

APÊNDICE E: Plano para constituir amostra.

Tabela 13: Plano para compor amostra das possíveis pessoas a serem especialistas na pesquisa que adota o

Método Delphi dotado de critérios de triagem, realizada em 2015 com tema ―Avaliação de Pesquisas na área da

Educação‖

TENTATIVA DESCRIÇÃO QUANTIDADE

PR

IME

IRA

Total de envio 86

Retorno primeiro dia 25

Retorno segundo dia 9

Retorno entre terceiro ao sétimo dia 12

Retorno de caixa mensagem lotada -6

Retorno dos que não poderiam participar -5

Subtotal de aproveitamento 46

SE

GU

ND

A

Total de envio 29

Retorno primeiro dia 2

Retorno segundo dia 0

Retorno entre terceiro ao sétimo dia 2

Retorno de caixa mensagem lotada -6

Retorno dos que não poderiam participar 0

Subtotal de aproveitamento 4

TOTAL DE APROVEITAMENTO 50

197

APÊNDICE F: Matriz de registros do fenômeno.

Quadro 28: Primeira matriz de registros do fenômeno, após definida a confluência das opiniões dos

especialistas com relação as valorações realizadas sobre o tema ―Avaliação de pesquisas na área da Educação‖

realizada no segundo semestre de 2015.

Especialista “Crono” “Hestia” “Eros” “Ares” “Hades” Contribuição

1 9 7 10 7 7 9

2 8 5 5 5 5 5

3 9 8 9 7 10 9

4 8 7 9 8 7 9

5 8 9 6 7 8 4

6 9 8 7 7 9 9

7 9 9 9 9 9 9

8 8 6 8 5 8 7

9 10 9 9 8 9 10

10 8 9 8 10 9 7

11 7 8 9 7 8 7

12 5 7 8 9 9 9

13 6 10 8 9 5 7

14 9 9 9 9 9 9

15 8 8 8 7 8 9

16 9 9 9 9 9 9

O Quadro 28 é o resultado obtido na última interação com especialistas. Este quadro

representa o grau de valorização entre ―0‖ a ―10‖, discriminada por indicador, realizada pelos

16 especialistas segundo seus critérios.

198

APÊNDICE G: Resumo dos registros do fenômeno.

Tabela 14: Resumo dos registros do fenômeno investigado, após a construção da matriz de registros das

respostas dos especialistas em relação valorização sobre o tema ―Avaliação de pesquisas na área da Educação‖


CONCEITOS

INDICADORES 10 9 8 7 6 5 4 3 2 1 0 SOMA

“Crono” 1 6 6 1 1 1 0 0 0 0 0 16

“Héstia” 1 6 4 3 1 1 0 0 0 0 0 16

“Eros” 1 7 5 1 1 1 0 0 0 0 0 16

“Ares” 1 5 2 6 0 2 0 0 0 0 0 16

“Hades” 1 7 4 2 0 2 0 0 0 0 0 16

Contribuição 1 9 0 4 0 1 1 0 0 0 0 16

SOMA 6 40 21 17 3 8 1 0 0 0 0

A Tabela 15 é possível observar a escala de 10 até 0 das valorações disponível no

instrumento de registro. Na primeira coluna a indicação dos seis indicadores ―Crono‖,

‖Héstia‖, ‖Eros‖, ‖Ares‖, ‖Hades‖ e Contribuição.

Também se observa a frequência dos conceitos atribuídos pelos especialistas entre as

escalas de valorização. A exemplo, a maior frequência observada no estudo foi a escala 9,

com 40 indicações independente dos indicadores. Na última coluna da tabela anterior,

observa-se um total de 16 em cada linha, que corresponde ao total de especialistas, e na última

linha é indicado o somatório das valorações dos indicadores, a exemplo, é possível observar

que entre as valorações 0 à 3, nenhum especialista atribui conceito.

Na segunda linha indicada pelo ―Crono‖ é possível observar que um especialista

atribuiu uma valorização com valor igual a ―10‖, na próxima coluna foram 6 especialistas

atribuíram valorização igual com o valor igual a ―9‖, e na coluna de valorização de valor igual

a ―0‖, que não foi observado nenhum registro dos especialistas que atribuíssem tal valor aos

argumentos.

199

APÊNDICE H: Tabela de frequência acumulada dos registros do fenômeno.

Tabela 15: Frequência acumulada, a partir da tabela resumo dos registros das respostas dos especialistas em

relação valorização sobre o tema ―Avaliação de pesquisas na área da Educação‖ realizada no segundo semestre

de 2015.

CONCEITOS

INDICADORES 10 9 8 7 6 5 4 3 2 1 0

“Crono” 1 7 12 13 14 15 15 16 16 16 16

“Héstia” 0 5 9 12 13 14 15 15 16 16 16

“Eros” 1 8 13 14 15 16 16 16 16 16 16

“Ares” 2 7 8 14 14 16 16 16 16 16 16

“Hades” 1 8 12 14 14 16 16 16 16 16 16

Contribuição 1 10 10 14 14 15 16 16 16 16 16

SOMA 6 45 64 81 84 92 94 95 96 96 96

200

APÊNDICE I: Tabela de nível de significância para cada indicador, considerando a cada

valorização.

Tabela 16: Significância (1 - β), construída a partir da tabela de frequência acumulada dos registros das

respostas dos especialistas em relação valorização sobre o tema ―Avaliação de pesquisas na área da Educação‖


CONCEITOS

INDICADOR 10 9 8 7 6 5 4 3 2 1 0

“Crono” 0,063 0,438 0,750 0,813 0,875 0,938 0,938 1,000 1,000 1,000 1,000

“Héstia” 0,000 0,313 0,563 0,750 0,813 0,875 0,938 0,938 1,000 1,000 1,000

“Eros” 0,063 0,500 0,813 0,875 0,938 1,000 1,000 1,000 1,000 1,000 1,000

“Ares” 0,125 0,438 0,500 0,875 0,875 1,000 1,000 1,000 1,000 1,000 1,000

“Hades” 0,063 0,500 0,750 0,875 0,875 1,000 1,000 1,000 1,000 1,000 1,000

Contribuição 0,063 0,625 0,625 0,875 0,875 0,938 1,000 1,000 1,000 1,000 1,000

201

APÊNDICE J: Tabela de cálculos para a concepção das marginais da tabela do desvio

padrão (Σ).

A seguir apresenta-se os cálculos para a concepção das marginais da tabela do desvio

padrão (σ).

Para obter ∑σ, realizou-se as somas de cada σ que compõe a linha do indicador,

como segue:

∑σ para o indicador ―Crono‖:

= σ1,0 + σ1,1 + σ1,2 + σ1,3 + σ1,4 + σ1,5 + σ1,6 + σ1,7 + σ1,8 + σ1,9 + σ1,10 =

3,90 + 3,90 + 3,90 + 3,90 + 3,90 + 3,90 +1,87+ 1,54 + 1,32 + 0,58 + 0,08 = 28,79

Aonde esta representado pelo desvio padrão do indicador ―Crono‖ observado na

primeira linha com intervalo discreto entre 0 a 10 valorações disponibilizadas aos

especialistas.

∑σ para o indicador ―Héstia‖:

= σ2,0 + σ2,1 + σ2,2 + σ2,3 + σ2,4 + σ2,5 + σ2,6 + σ2,7 + σ2,8 + σ2,9 + σ2,10 =

3,90 + 3,90 + 3,90 + 3,90 + 3,90 + 3,90 + 1,87 + 1,54 + 1,02 + 0,58 + 0,08 = 28,49

Aonde esta representado pelo desvio do indicador ―Héstia‖ observado na

segunda linha com intervalo discreto entre 0 a 10 valorações disponibilizadas aos

especialistas.

∑σ para o indicador ―Eros‖:

= σ3,0 + σ3,1 + σ3,2 + σ3,3 + σ3,4 + σ3,5 + σ3,6 + σ3,7 + σ3,8 + σ3,9 + σ3,10 =

3,90 + 3,90 + 3,90 + 3,90 + 3,90 + 3,90 + 1,87 +1,54 + 1,32 + 0,68+ 0,08 = 28,89

Aonde concerne o desvio do indicador ―Eros‖ observado na terceira linha com

intervalo discreto entre 0 a 10 valorações disponibilizadas aos especialistas.

∑σ para o indicador ―Ares‖:

= σ4,0 + σ4,1 + σ4,2 + σ4,3 + σ4,4 + σ4,5 + σ4,6 + σ4,7 + σ4,8 + σ4,9 + σ4,10 =

3,90 + 3,90 + 3,90 + 3,90 + 3,90 + 3,90 + 1,54 + 1,54 + 0,68 + 0,49 + 0,08 = 27,73

202

Aonde refere-se ao desvio do indicador ―Ares‖ observado na quarta linha com


∑σ para o indicador ―Hades‖:

= σ5,0 + σ5,1 + σ5,2 + σ5,3 + σ5,4 + σ5,5 + σ5,6 + σ5,7 + σ5,8 + σ5,9 + σ5,10 =

3,90 + 3,90 + 3,90 + 3,90 + 3,90 + 3,90 + 1,54 + 1,54 + 1,16 + 0,68 + 0,08 = 28,40

Aonde diz respeito ao desvio do indicador ―Hades‖ na quinta linha com intervalo

discreto entre 0 a 10 valorações disponibilizadas aos especialistas.

∑σ para o indicador ―Contribuição‖:

= σ6,0 + σ6,1 + σ6,2 + σ6,3 + σ6,4 + σ6,5 + σ6,6 + σ6,7 + σ6,8 + σ6,9 + σ6,10 =

3,90 + 3,90 + 3,90 + 3,90 + 3,90 + 1,87 + 1,54 + 1,54 + 0,89 + 0,89 + 0,08 = 26,31

Aonde concerne o desvio do indicador ―Contribuição‖ na sexta linha com


Para obter os valores correspondentes a coluna representada por µ‘(σ) foi necessário

calcular a média dos ∑σ em razão do número de valorações disponíveis para os especialistas

escolherem, a seguir os cálculos com base nos valores da próxima tabela.

µ‘(σ) para o indicador ―Crono‖:

µ‘(σ)1 = = = 2,617

Aonde µ‘(σ)1 representa a média dos desvios do indicador ―Crono‖ na primeira linha,

em razão de 11 valorações.

µ‘(σ) para o indicador ―Héstia‖:

µ‘(σ)2 = = = 2,590

Aonde µ‘(σ)2 representa a média dos desvios do indicador ―Héstia‖ na segunda linha,


µ‘(σ) para o indicador ―Eros‖:

203

µ‘(σ)3 = = = 2,626

Aonde µ‘(σ)3 representa a média dos desvios do indicador ―Eros‖ na terceira linha,


µ‘(σ) para o indicador ―Ares‖:

µ‘(σ)4 = = = 2,521

Aonde µ‘(σ)4 representa a média dos desvios do indicador ―Ares‖ na quarta linha, em

razão de 11 valorações.

µ‘(σ) para o indicador ―Hades‖:

µ‘(σ)5 = = = 2,582

Aonde µ‘(σ)5 representa a média dos desvios do indicador ―Hades‖ na quinta linha,


µ‘(σ) para o indicador ―Contribuição‖:

µ‘(σ)6 = = = 2,392

Aonde µ‘(σ)6 representa a média dos desvios do indicador ―Hades‖ na sexta linha,


Para conhecer N da tabela 11 foi necessário realizar cálculos segundo a equação N =

, aonde n é igual o produto entre o número de indicadores e número de classes de

valorações disponíveis ao especialista para registrar.

N = = =

= = = 2,366

204

Para encontrar os pontos abscissais (Pa), que sustenta as conclusões, seguiu-se os

seguintes procedimentos de cálculo:

1) O ponto abscissal (Pa) para o indicador ―Crono‖:

(Pa)1 = = = - 0,063

2) O ponto abscissal (Pa) para o indicador ―Héstia‖:

(Pa)2 = = = - 0,035

3) O ponto abscissal (Pa) para o indicador ―Eros‖:

(Pa)3 = = = - 0,072

4) O ponto abscissal (Pa) para o indicador ―Ares‖:

(Pa)4 = = = 0,034

5) O ponto abscissal (Pa) para o indicador ―Hades‖:

(Pa)5 = = = - 0,027

6) O ponto abscissal (Pa) para o indicador Contribuição:

(Pa)6 = = = 0,163

Os últimos valores calculados foram os desvios em relação ao grau de valorização

definidos no estudo. Com esses valores definiu-se os pontos de corte [µ (σ)] entre os graus de

valorações previamente definido pelo pesquisador.

1) Aonde µ (σ)10 representa o ponto de corte para a valorização ―10‖.

µ (σ)10 = = =

205

= = = 0,08


µ (σ)9 = = =

= = = 0,65


µ (σ)8 = = =

= = = 1,07


µ (σ)7 = = =

= = =1,54


µ (σ)6 = = =

= = = 1,71


µ (σ)5 = = =

= = = 3,56


206

µ (σ)4 = = =

= = = 3,90


µ (σ)3 = = =

= = = 3,90


µ (σ)2 = = =

= = = 3,90


µ (σ)1 = = =

= = = 3,90


µ (σ)0 = = =

= = = 3,90

207

APÊNDICE K: Tabela generalizada do nível de significância (1 - β) das valorações dos

especialistas.

Tabela 17: Definição do nível de significância (1 - β) das valorações dos especialistas, construída a partir da

tabela de frequência acumulada dos registros do fenômeno investigado.

1CONCEITOS

2INDi 10 9 8 7 6 5 4 3 2 1 0

Ind1

(FV1,10)

/z

(FV1,9

+

FV1,10)

/z

(FV1,8

+

FV1,9

+

FV1,10)

/z

(FV1,7

+

FV1,8

+

FV1,9

+

FV1,10)

/z

(FV1,6

+

FV1,7

+

FV1,8

+

FV1,9

+

FV1,10)

/z

(FV1,5

+

FV1,6

+

FV1,7

+

FV1,8

+

FV1,9

+

FV1,10)

/z

(FV1,4

+

FV1,5

+

FV1,6

+

FV1,7

+

FV1,8

+

FV1,9

+

FV1,10)

/z

(FV1,3

+

FV1,4

+

FV1,5

+

FV1,6

+

FV1,7

+

FV1,8

+

FV1,9

+

FV1,10)

/z

(FV1,2

+

FV1,3

+

FV1,4

+

FV1,5

+

FV1,6

+

FV1,7

+

FV1,8

+

FV1,9

+

FV1,10)

/z

(FV1,1

+

FV1,2

+

FV1,3

+

FV1,4

+

FV1,5

+

FV1,6

+

FV1,7

+

FV1,8

+

FV1,9

+

FV1,10)

/z

(FV1,0

+

FV1,1

+

FV1,2

+

FV1,3

+

FV1,4

+

FV1,5

+

FV1,6

+

FV1,7

+

FV1,8

+

FV1,9

+

FV1,10)

/z

Ind2

FV2,10 FV2,9

+

FV2,10)

/z

FV1,8

+

FV2,9

+

FV2,10)

/z

FV1,7

+

FV1,8

+

FV2,9

+

FV1,6

+

FV1,7

+

FV1,8

+

FV2,9

+

FV1,5

+

FV1,6

+

FV1,7

+

FV1,8

+

FV1,4

+

FV1,5

+

FV1,6

+

FV1,7

+

FV1,3

+

FV1,4

+

FV1,5

+

FV1,6

+

FV2,2

+

FV1,3

+

FV1,4

+

FV1,5

+

FV2,1

+

FV2,2

+

FV1,3

+

FV1,4

+

FV2,0

+

FV2,1

+

FV2,2

+

FV1,3

+

208



+

FV2,10)

/z

+

FV2,10)

/z

+

FV2,9

+

FV2,10)

/z

+

FV1,8

+

FV2,9

+

FV2,10)

/z

+

FV1,7

+

FV1,8

+

FV2,9

+

FV2,10)

/z

+

FV1,6

+

FV1,7

+

FV1,8

+

FV2,9

+

FV2,10)

/z

+

FV1,5

+

FV1,6

+

FV1,7

+

FV1,8

+

FV2,9

+

FV2,10)

/z

+

FV1,4

+

FV1,5

+

FV1,6

+

FV1,7

+

FV1,8

+

FV2,9

+

FV2,10)

/z

... ... ... ... ... ... ... ... ... ... ... ...

Indn

(FVn,10)

/z

(FVn,9

+

FVn,10)

/z

(FV1,8

+

FVn,9

+

FVn,10)

/z

(FV1,7

+

FV1,8

+

FVn,9

+

FVn,10)

/z

(FV1,6

+

FV1,7

+

FV1,8

+

FVn,9

+

FVn,10)

/z

(FV1,5

+

FV1,6

+

FV1,7

+

FV1,8

+

FVn,9

+

FVn,10)

/z

( FV1,4

+

FV1,5

+

FV1,6

+

FV1,7

+

FV1,8

+

FVn,9

+

FVn,10)

/z

(FV1,3

+

FV1,4

+

FV1,5

+

FV1,6

+

FV1,7

+

FV1,8

+

FVn,9

(FVn,2

+

FV1,3

+

FV1,4

+

FV1,5

+

FV1,6

+

FV1,7

+

FV1,8

+

FVn,9

(FVn,1

+

FVn,2

+

FV1,3

+

FV1,4

+

FV1,5

+

FV1,6

+

FV1,7

+

FV1,8

(3FVn,0

+

FVn,1

+

FVn,2

+

FV1,3

+

FV1,4

+

FV1,5

+

FV1,6

+

FV1,7

209



+

FVn,10)

/z

+

FVn,10)

/z

+

FVn,9

+

FVn,10)

/z

+

FV1,8

+

FVn,9

+

FVn,10)

/z

1Escala [10,...,0] de valorações discretas disponíveis no instrumento de registro; 2Indicadores selecionados para

fundamentar o tema investigado, com i = 1,..., n.; 3Frequência acumulada da valorização atribuída ao indicador

pelos especialista, com i = 1,..., n.; z = número de especialistas.

Os valores registrados na Tabela 8 representam uma área abaixo da curva da

Distribuição de Probabilidade da Normal que corresponde ao nível de significância (1 - β) das

valorações dos especialistas.

210

ANEXO

211

ANEXO 1: Tabela da Distribuição de Probabilidade da Distribuição de Gauss para P(Z<z).

P(Z<z)

z 0,0 0,01 0,02 0,03 0,04 0,05 0,06 0,07 0,08 0,09

0,0 0,5000 0,5040 0,5080 0,5120 0,5160 0,5199 0,5239 0,5279 0,5319 0,5359

0,1 0,5398 0,5438 0,5478 0,5517 0,5557 0,5596 0,5636 0,5675 0,5714 0,5753

0,2 0,5793 0,5832 0,5871 0,5910 0,5948 0,5987 0,6026 0,6064 0,6103 0,6141

0,3 0,6179 0,6217 0,6255 0,6293 0,6331 0,6368 0,6406 0,6443 0,6480 0,6517

0,4 0,6554 0,6591 0,6628 0,6664 0,6700 0,6736 0,6772 0,6808 0,6844 0,6879

0,5 0,6915 0,6950 0,6985 0,7019 0,7054 0,7088 0,7123 0,7157 0,7190 0,7224

0,6 0,7257 0,7291 0,7324 0,7357 0,7389 0,7422 0,7454 0,7486 0,7517 0,7549

0,7 0,7580 0,7611 0,7642 0,7673 0,7704 0,7734 0,7764 0,7794 0,7823 0,7852

0,8 0,7881 0,7910 0,7939 0,7967 0,7995 0,8023 0,8051 0,8078 0,8106 0,8133

0,9 0,8159 0,8186 0,8212 0,8238 0,8264 0,8289 0,8315 0,8340 0,8365 0,8389

1,0 0,8413 0,8438 0,8461 0,8485 0,8508 0,8531 0,8554 0,8577 0,8599 0,8621

1,1 0,8643 0,8665 0,8686 0,8708 0,8729 0,8749 0,8770 0,8790 0,8810 0,8830

1,2 0,8849 0,8869 0,8888 0,8907 0,8925 0,8944 0,8962 0,8980 0,8997 0,9015

1,3 0,9032 0,9049 0,9066 0,9082 0,9099 0,9115 0,9131 0,9147 0,9162 0,9177

1,4 0,9192 0,9207 0,9222 0,9236 0,9251 0,9265 0,9279 0,9292 0,9306 0,9319

1,5 0,9332 0,9345 0,9357 0,9370 0,9382 0,9394 0,9406 0,9418 0,9429 0,9441

1,6 0,9452 0,9463 0,9474 0,9484 0,9495 0,9505 0,9515 0,9525 0,9535 0,9545

1,7 0,9554 0,9564 0,9573 0,9582 0,9591 0,9599 0,9608 0,9616 0,9625 0,9633

1,8 0,9641 0,9649 0,9656 0,9664 0,9671 0,9678 0,9686 0,9693 0,9699 0,9706

1,9 0,9713 0,9719 0,9726 0,9732 0,9738 0,9744 0,9750 0,9756 0,9761 0,9767

2,0 0,9772 0,9778 0,9783 0,9788 0,9793 0,9798 0,9803 0,9808 0,9812 0,9817

2,1 0,9821 0,9826 0,9830 0,9834 0,9838 0,9842 0,9846 0,9850 0,9854 0,9857

2,2 0,9861 0,9864 0,9868 0,9871 0,9875 0,9878 0,9881 0,9884 0,9887 0,9890

2,3 0,9893 0,9896 0,9898 0,9901 0,9904 0,9906 0,9909 0,9911 0,9913 0,9916

2,4 0,9918 0,9920 0,9922 0,9925 0,9927 0,9929 0,9931 0,9932 0,9934 0,9936

2,5 0,9938 0,9940 0,9941 0,9943 0,9945 0,9946 0,9948 0,9949 0,9951 0,9952

2,6 0,9953 0,9955 0,9956 0,9957 0,9959 0,9960 0,9961 0,9962 0,9963 0,9964

2,7 0,9965 0,9966 0,9967 0,9968 0,9969 0,9970 0,9971 0,9972 0,9973 0,9974

2,8 0,9974 0,9975 0,9976 0,9977 0,9977 0,9978 0,9979 0,9979 0,9980 0,9981

2,9 0,9981 0,9982 0,9982 0,9983 0,9984 0,9984 0,9985 0,9985 0,9986 0,9986

3,0 0,9987 0,9987 0,9987 0,9988 0,9988 0,9989 0,9989 0,9989 0,9990 0,9990

3,1 0,9990 0,9991 0,9991 0,9991 0,9992 0,9992 0,9992 0,9992 0,9993 0,9993

3,2 0,9993 0,9993 0,9994 0,9994 0,9994 0,9994 0,9994 0,9995 0,9995 0,9995

3,3 0,9995 0,9995 0,9995 0,9996 0,9996 0,9996 0,9996 0,9996 0,9996 0,9997

3,4 0,9997 0,9997 0,9997 0,9997 0,9997 0,9997 0,9997 0,9997 0,9997 0,9998

3,5 0,9998 0,9998 0,9998 0,9998 0,9998 0,9998 0,9998 0,9998 0,9998 0,9998

3,6 0,9998 0,9998 0,9999 0,9999 0,9999 0,9999 0,9999 0,9999 0,9999 0,9999

3,7 0,9999 0,9999 0,9999 0,9999 0,9999 0,9999 0,9999 0,9999 0,9999 0,9999

3,8 0,9999 0,9999 0,9999 0,9999 0,9999 0,9999 0,9999 0,9999 0,9999 0,9999

3,9 1,0000 1,0000 1,0000 1,0000 1,0000 1,0000 1,0000 1,0000 1,0000 1,0000

212

ANEXO 1: Tabela da Distribuição de Probabilidade da Distribuição de Gauss para P(Z < z).

P(Z < z)

z 0,0 0,01 0,02 0,03 0,04 0,05 0,06 0,07 0,08 0,09

0,0 0,5000 0,4960 0,4920 0,4880 0,4840 0,4801 0,4761 0,4721 0,4681 0,4641

-0,1 0,4602 0,4562 0,4522 0,4483 0,4443 0,4404 0,4364 0,4325 0,4286 0,4247

-0,2 0,4207 0,4168 0,4129 0,4090 0,4052 0,4013 0,3974 0,3936 0,3897 0,3859

-0,3 0,3821 0,3783 0,3745 0,3707 0,3669 0,3632 0,3594 0,3557 0,3520 0,3483

-0,4 0,3446 0,3409 0,3372 0,3336 0,3300 0,3264 0,3228 0,3192 0,3156 0,3121

-0,5 0,3085 0,3050 0,3015 0,2981 0,2946 0,2912 0,2877 0,2843 0,2810 0,2776

-0,6 0,2743 0,2709 0,2676 0,2643 0,2611 0,2578 0,2546 0,2514 0,2483 0,2451

-0,7 0,2420 0,2389 0,2358 0,2327 0,2296 0,2266 0,2236 0,2206 0,2177 0,2148

-0,8 0,2119 0,2090 0,2061 0,2033 0,2005 0,1977 0,1949 0,1922 0,1894 0,1867

-0,9 0,1841 0,1814 0,1788 0,1762 0,1736 0,1711 0,1685 0,1660 0,1635 0,1611

-1,0 0,1587 0,1562 0,1539 0,1515 0,1492 0,1469 0,1446 0,1423 0,1401 0,1379

-1,1 0,1357 0,1335 0,1314 0,1292 0,1271 0,1251 0,1230 0,1210 0,1190 0,1170

-1,2 0,1151 0,1131 0,1112 0,1093 0,1075 0,1056 0,1038 0,1020 0,1003 0,0985

-1,3 0,0968 0,0951 0,0934 0,0918 0,0901 0,0885 0,0869 0,0853 0,0838 0,0823

-1,4 0,0808 0,0793 0,0778 0,0764 0,0749 0,0735 0,0721 0,0708 0,0694 0,0681

-1,5 0,0668 0,0655 0,0643 0,0630 0,0618 0,0606 0,0594 0,0582 0,0571 0,0559

-1,6 0,0548 0,0537 0,0526 0,0516 0,0505 0,0495 0,0485 0,0475 0,0465 0,0455

-1,7 0,0446 0,0436 0,0427 0,0418 0,0409 0,0401 0,0392 0,0384 0,0375 0,0367

-1,8 0,0359 0,0351 0,0344 0,0336 0,0329 0,0322 0,0314 0,0307 0,0301 0,0294

-1,9 0,0287 0,0281 0,0274 0,0268 0,0262 0,0256 0,0250 0,0244 0,0239 0,0233

-2,0 0,0228 0,0222 0,0217 0,0212 0,0207 0,0202 0,0197 0,0192 0,0188 0,0183

-2,1 0,0179 0,0174 0,0170 0,0166 0,0162 0,0158 0,0154 0,0150 0,0146 0,0143

-2,2 0,0139 0,0136 0,0132 0,0129 0,0125 0,0122 0,0119 0,0116 0,0113 0,0110

-2,3 0,0107 0,0104 0,0102 0,0099 0,0096 0,0094 0,0091 0,0089 0,0087 0,0084

-2,4 0,0082 0,0080 0,0078 0,0075 0,0073 0,0071 0,0069 0,0068 0,0066 0,0064

-2,5 0,0062 0,0060 0,0059 0,0057 0,0055 0,0054 0,0052 0,0051 0,0049 0,0048

-2,6 0,0047 0,0045 0,0044 0,0043 0,0041 0,0040 0,0039 0,0038 0,0037 0,0036

-2,7 0,0035 0,0034 0,0033 0,0032 0,0031 0,0030 0,0029 0,0028 0,0027 0,0026

-2,8 0,0026 0,0025 0,0024 0,0023 0,0023 0,0022 0,0021 0,0021 0,0020 0,0019

-2,9 0,0019 0,0018 0,0018 0,0017 0,0016 0,0016 0,0015 0,0015 0,0014 0,0014

-3,0 0,0013 0,0013 0,0013 0,0012 0,0012 0,0011 0,0011 0,0011 0,0010 0,0010

-3,1 0,0010 0,0009 0,0009 0,0009 0,0008 0,0008 0,0008 0,0008 0,0007 0,0007

-3,2 0,0007 0,0007 0,0006 0,0006 0,0006 0,0006 0,0006 0,0005 0,0005 0,0005

-3,3 0,0005 0,0005 0,0005 0,0004 0,0004 0,0004 0,0004 0,0004 0,0004 0,0003

-3,4 0,0003 0,0003 0,0003 0,0003 0,0003 0,0003 0,0003 0,0003 0,0003 0,0002

-3,5 0,0002 0,0002 0,0002 0,0002 0,0002 0,0002 0,0002 0,0002 0,0002 0,0002

-3,6 0,0002 0,0002 0,0001 0,0001 0,0001 0,0001 0,0001 0,0001 0,0001 0,0001

-3,7 0,0001 0,0001 0,0001 0,0001 0,0001 0,0001 0,0001 0,0001 0,0001 0,0001

-3,8 0,0001 0,0001 0,0001 0,0001 0,0001 0,0001 0,0001 0,0001 0,0001 0,0001

-3,9 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000

213

ANEXO 2: Tabela da Distribuição de Probabilidade da Distribuição de T- Student.

Distribuição t de Student

Gl

Teste Unilateral

15% 10% 5% 2,5% 2% 1% 0,5% 0,1% 0,05%

Teste Bilateral

30% 20% 10% 5% 4% 2% 1% 0,2% 0,1%

1 1,9626 3,0777 6,3137 12,7062 15,8945 31,8210 63,6559 318,2888 636,5776

2 1,3862 1,8856 2,9200 4,3027 4,8487 6,9645 9,9250 22,3285 31,5998

3 1,2498 1,6377 2,3534 3,1824 3,4819 4,5407 5,8408 10,2143 12,9244

4 1,1896 1,5332 2,1318 2,7765 2,9985 3,7469 4,6041 7,1729 8,6101

5 1,1558 1,4759 2,0150 2,5706 2,7565 3,3649 4,0321 5,8935 6,8685

6 1,1342 1,4398 1,9432 2,4469 2,6122 3,1427 3,7074 5,2075 5,9587

7 1,1192 1,4149 1,8946 2,3646 2,5168 2,9979 3,4995 4,7853 5,4081

8 1,1081 1,3968 1,8595 2,3060 2,4490 2,8965 3,3554 4,5008 5,0414

9 1,0997 1,3830 1,8331 2,2622 2,3984 2,8214 3,2498 4,2969 4,7809

10 1,0931 1,3722 1,8125 2,2281 2,3593 2,7638 3,1693 4,1437 4,5868

11 1,0877 1,3634 1,7959 2,2010 2,3281 2,7181 3,1058 4,0248 4,4369

12 1,0832 1,3562 1,7823 2,1788 2,3027 2,6810 3,0545 3,9296 4,3178

13 1,0795 1,3502 1,7709 2,1604 2,2816 2,6503 3,0123 3,8520 4,2209

14 1,0763 1,3450 1,7613 2,1448 2,2638 2,6245 2,9768 3,7874 4,1403

15 1,0735 1,3406 1,7531 2,1315 2,2485 2,6025 2,9467 3,7329 4,0728

16 1,0711 1,3368 1,7459 2,1199 2,2354 2,5835 2,9208 3,6861 4,0149

17 1,0690 1,3334 1,7396 2,1098 2,2238 2,5669 2,8982 3,6458 3,9651

18 1,0672 1,3304 1,7341 2,1009 2,2137 2,5524 2,8784 3,6105 3,9217

19 1,0655 1,3277 1,7291 2,0930 2,2047 2,5395 2,8609 3,5793 3,8833

20 1,0640 1,3253 1,7247 2,0860 2,1967 2,5280 2,8453 3,5518 3,8496

21 1,0627 1,3232 1,7207 2,0796 2,1894 2,5176 2,8314 3,5271 3,8193

22 1,0614 1,3212 1,7171 2,0739 2,1829 2,5083 2,8188 3,5050 3,7922

23 1,0603 1,3195 1,7139 2,0687 2,1770 2,4999 2,8073 3,4850 3,7676

24 1,0593 1,3178 1,7109 2,0639 2,1715 2,4922 2,7970 3,4668 3,7454

25 1,0584 1,3163 1,7081 2,0595 2,1666 2,4851 2,7874 3,4502 3,7251

26 1,0575 1,3150 1,7056 2,0555 2,1620 2,4786 2,7787 3,4350 3,7067

27 1,0567 1,3137 1,7033 2,0518 2,1578 2,4727 2,7707 3,4210 3,6895

28 1,0560 1,3125 1,7011 2,0484 2,1539 2,4671 2,7633 3,4082 3,6739

29 1,0553 1,3114 1,6991 2,0452 2,1503 2,4620 2,7564 3,3963 3,6595

30 1,0547 1,3104 1,6973 2,0423 2,1470 2,4573 2,7500 3,3852 3,6460

35 1,0520 1,3062 1,6896 2,0301 2,1332 2,4377 2,7238 3,3400 3,5911

40 1,0500 1,3031 1,6839 2,0211 2,1229 2,4233 2,7045 3,3069 3,5510

50 1,0473 1,2987 1,6759 2,0086 2,1087 2,4033 2,6778 3,2614 3,4960

60 1,0455 1,2958 1,6706 2,0003 2,0994 2,3901 2,6603 3,2317 3,4602

120 1,0409 1,2886 1,6576 1,9799 2,0763 2,3578 2,6174 3,1595 3,3734

+ 1,0364 1,2816 1,6449 1,9600 2,0537 2,3264 2,5758 3,0902 3,2905

214

ANEXO 3: Função para cálculo do Desvio-Padrão.

Função 1: Coeficiente de dispersão denominado desvio-padrão.

s = estimativa do coeficiente de dispersão denominado de desvio-padrão;

n = tamanho da amostra;

xi = x - ésimo valor observado no fenômeno;

µ = Média do fenômeno observado;

i = i – ésima posição do valor observado no fenômeno, variando de 0, 1, 2, 3, ....

215

ANEXO 4: Função para cálculo do Coeficiente de Variação (%).

Função 2: Coeficiente de Variação.

CV = Coeficiente de Variação apresentado em percentual

s = estimativa do coeficiente de dispersão denominado de desvio-padrão;

µ = Média do fenômeno observado.

216

ANEXO 5: Funções para cálculo do tamanho da amostra.

Composição baseada na Função de Cochran para uma amostra aleatória simples para uma

população infinita.

Função 3: Cálculo para amostra de população infinita.

η = Tamanho da amostral para população infinita

P = Probabilidade de sucesso = 0,5

Q = Probabilidade de fracasso = 0,5

α = Nível de 95% de confiabilidade, corresponde ―Z‖95%α = 1,96 na Distribuição de Gauss.

ε = erro admitido nas estimativas = 0,05 = 5%

A Função de Cochran é adotada quando não é possível definir a dimensão da

população. Entretanto se for possível definir o tamanho da população é realizada uma

correção de cálculos através da função a seguir:

Composição baseada na Função de Cochran para uma amostra aleatória simples para uma

população finita.

Função 4: Cálculo correção amostra de população finita.

N = Tamanho populacional

η = Tamanho da amostral para população infinita

η‘ = Tamanho da amostral para população finita

217

ANEXO 6: Função para cálculo do Coeficiente de Argumentação Individual (KA) do

especialista.

Função 5: Cálculo do Coeficiente de Argumentação Individual (ka).

Aonde:

ka = Coeficiente de Argumentação do especialista;

F1 = Análises teóricas realizadas pelo especialista sobre o tema;

F2 = Experiência do especialista sobre o tema;

F3 = Conhecimento de trabalhos referenciados por autores nacionais sobre o tema;

F4 = Conhecimento de trabalhos referenciados por autores estrangeiros sobre o tema;

F5 = Conhecimento do especialista acerca do tema;

F6 = Intuição do especialista sobre o tema.

218

ANEXO 7: Função para cálculo do Coeficiente de Competência Individual de cada

especialista (KI).

Função 6: Coeficiente de Competência Individual de cada especialista

Aonde:

ki = Coeficiente de Competência do i-ésimo especialista;

kc = Coeficiente de Conhecimento do i-ésimo especialista;

kA = Coeficiente de Argumentação do i-ésimo especialista;

i = i variando de 1, 2,..., n;

n = tamanho da amostra

219

ANEXO 8: Função para cálculo do Coeficiente de Consenso da Competência dos

especialistas (Kµ).

Função 7: Coeficiente de Consenso da Competência dos Especialistas (kµ)

Onde:

kµ = Coeficiente de Consenso de Competência dos especialistas;

n = tamanho do grupo de especialistas selecionado para participar do estudo;

ki = k - ésimo competência do especialista participante do estudo;

i = i – ésima posição dos especialistas, variando de 0, 1, 2, 3, ..., n

220

ANEXO 9: Função para cálculo do Coeficiente de Dispersão Padrão da Competência do

Grupo de especialistas (KµΣ).

Função 8: Coeficiente de Dispersão Padrão da Competência do Grupo de especialistas (kµσ).

Onde:

= estimativa do coeficiente de dispersão de um desvio-padrão da competência do grupo

de especialistas;

n = tamanho do grupo de especialistas selecionado para participar das interações do grupo;

ki = k - ésimo competência do especialista participante das interações do grupo;

kµ = Tendência central do coeficiente de competência dos especialistas;

i = i – ésima posição dos especialistas, variando de 0, 1, 2, 3, .....

221

ANEXO 10: Função Distribuição de Probabilidade Gaussiana, X ~ N (µ, Σ2).

Sendo X uma variável aleatória tem distribuição ―N‖ de Gauss com média µ e

dispersão σ2, considerando que o coeficiente de competência do especialista seja x, denota-se

x ~ N (µ, σ2), sendo a função representada pela seguinte relação:

Função 9: Distribuição de Probabilidade Gaussiana, x ~ N (µ, σ2),

Para condição de existência da relação para uma distribuição padrão:

. Quando µ = 0 e σ2 = 1

Onde:

= Função de Distribuição de Probabilidade de Gauss;

3,145 valor de pi;

x = ki = Estimativa do coeficiente de competência do especialista;

= Desvio padrão = deslocamento do coeficiente de competência em relação à kµ;

n = Tamanho do grupo de especialistas selecionado para participar das interações do grupo;

= Variância = Dispersão da estimativa do coeficiente de competência;

= kµ = Tendência central do coeficiente de competência dos especialistas.

222

ANEXO 11: Função Limites de Dispersão da Estimativa do Coeficiente de Competência,

para um grupo igual ou maior do que trinta especialistas (ICC).

Função 10: Limites de dispersão da estimativa do coeficiente de competência, para um grupo

igual ou maior do que trinta especialistas.

Onde:

= limites de dispersão da estimativa do coeficiente de competência

= valor de Z inferior padronizado do desvio-padrão em relação à estimativa do

coeficiente de competência do especialista padronizada encontrado na Tabela de Distribuição

de Probabilidade de Gauss;

= valor superior de Z padronizado do desvio-padrão em relação à estimativa do

coeficiente de competência padronizado do especialista encontrado na Tabela de Distribuição

de Probabilidade de Gauss;



kµ = Tendência central do coeficiente de competência dos especialistas;

i = i – ésima posição dos especialistas, variando de 0, 1, 2, 3, .....

= nível de significância, representa o % de erro que o pesquisador se permite em

assumir.

223

ANEXO 12: Função Distribuição de Probabilidade de Student, X ~ TΝ (µ, Σ2).

Função 11: Função Distribuição de Probabilidade de Student, x ~ tν (µ, σ2)

Para condição de existência da relação:

Aonde:

= Função de Distribuição de Probabilidade de T- Student;

3,145 valor de pi;

x = ki = Estimativa do Coeficiente de Competência do Especialista;

= Graus de liberdade dado por ―n – 1‖;

n = Tamanho do grupo de especialistas selecionado para participar das interações do grupo;

= Dispersão da estimativa do coeficiente de competência;

= kµ = Tendência central do coeficiente de competência dos especialistas;

= Função Gamma, n!, para n :

224

ANEXO 13: Cálculo do Limites de Dispersão da Estimativa do Coeficiente de Competência,

para um grupo menor do que trinta especialistas (ICCT).

Função 12: Limites de dispersão da estimativa do Coeficiente de Competência, para um

grupo menor do que trinta especialistas (ICct).

Onde:

= limites de dispersão da estimativa do Coeficiente de Competência

= valor de t inferior padronizado do desvio-padrão em relação à estimativa do

Coeficiente de Competência do especialista padronizada encontrado na Tabela de

Distribuição de Probabilidade de T-Student;

= valor de t superior padronizado do desvio-padrão em relação à estimativa do

Coeficiente de Competência do especialista padronizada encontrado na Tabela de

Distribuição de Probabilidade de T-Student;



kµ = Tendência central do Coeficiente de Competência dos especialistas;

i = i – ésima posição dos especialistas, variando de 0, 1, 2, 3, ...;

= nível de significância, representa o % de erro que o pesquisador se permite em

assumir.

225

ANEXO 14: Cálculo Coeficiente de Variação do kµ do grupo de especialistas (CVKµ).

Função 13: Função resumida do Coeficiente de Variação do kµ do grupo de especialistas

(CVkµ).

CVkµ = Coeficiente de Variação do Consenso da Competência do Grupo de especialistas;

kµσ = Coeficiente de Dispersão Padrão da Competência do Grupo de especialistas;

kµ = Coeficiente de Consenso da Competência do Grupo de especialistas.

Ou, detalhadamente:

Função 14: Função detalhada do Coeficiente de Variação do kµ do grupo de especialistas.

CVkµ = Coeficiente de Variação do Consenso da Competência do Grupo de especialistas;



kµ = Tendência central do Coeficiente de Competência dos especialistas;

i = i – ésima posição dos especialistas, variando de 0, 1, 2, 3, ...

226

ANEXO 15: Cálculo Coeficiente de Relação de Indicadores Qualitativos (RIQC).

Função 15: Coeficiente de Relação de Indicadores Qualitativos.

RIQc = Coeficiente de Relação de Indicadores Qualitativos;

n = quantidade total de especialistas que participam da investigação;

R = resposta entre 0 e 1 do especialista i.

i = especialista i, variando de 1 a n.

227

ANEXO 16: Cálculo Coeficiente de Determinação da Relação de Indicadores Qualitativos

(RIQC2).

Função 16: Coeficiente de Determinação da Relação de Indicadores Qualitativos.

= Coeficiente de Determinação da Relação de Indicadores Qualitativos;

n = quantidade total de especialistas que participam da investigação;

R = resposta entre 0 e 1 do especialista i.

i = especialista i, variando de 1 a n.

228

ANEXO 17: Detalhamento para elaborar as marginais tabela dos desvios (Σ)

A seguir são apresentados os passos para construir as marginais da tabela de desvios

que fundamenta as conclusões do pesquisador sobre o consenso das valorações realizadas

pelo grupo de especialistas inseridos nos procedimentos de triagem.

Para obter ∑σ, é necessário realizar as somas de cada σ que compõe a linha do

indicador, como segue:

∑σ para o indicador Ind1:

= σ1,0 + σ1,1 + σ1,2 + σ1,3 + σ1,4 + σ1,5 + σ1,6 + σ1,7 + σ1,8 + σ1,9 + σ1,10

Aonde representa desvio do indicador Ind1 na primeira linha, variando i

valorações.


= σ2,0 + σ2,1 + σ2,2 + σ2,3 + σ2,4 + σ2,5 + σ2,6 + σ2,7 + σ2,8 + σ2,9 + σ2,10 =

Onde representa desvio do indicador Ind2 na segunda linha, variando i

valorações.


= σ3,0 + σ3,1 + σ3,2 + σ3,3 + σ3,4 + σ3,5 + σ3,6 + σ3,7 + σ3,8 + σ3,9 + σ3,10 =

3,90 + 3,90 + 3,90 + 3,90 + 3,90 + 1,87 +1,54 + 1,32 + 1,16 + 0,68+ 0,08 = 28,89

Onde representa desvio do indicador Ind3 na terceira linha, variando i valorações.

Segue a mesma lógica de cálculo até o Indn, portanto:

∑σ para o indicador Indn:

= σ4,0 + σ4,1 + σ4,2 + σ4,3 + σ4,4 + σ4,5 + σ4,6 + σ4,7 + σ4,8 + σ4,9 + σ4,10 =

Onde representa desvio do indicador Indn na n linha, variando i valorações.

229

Para obter os valores correspondentes à coluna representada por µ‘(σ) é necessário

calcular a média dos ∑σ em razão do número de valorações disponíveis para os especialistas

expor suas opiniões.

A seguir exemplos dos cálculos com base nos valores da tabela de desvios:

µ‘(σ) para o indicador Ind1:

µ‘(σ)1 =

Onde µ‘(σ)1 representa a média dos desvios do indicador Ind1 na primeira linha, em

razão de 11 valorações que variam de 10 a 0.


µ‘(σ)2 =

Onde µ‘(σ)2 representa a média dos desvios do indicador Ind2 na segunda linha, em



µ‘(σ)3 =

Onde µ‘(σ)3 representa a média dos desvios do indicador Ind3 na terceira linha, em



µ‘(σ)4 =

Onde µ‘(σ)4 representa a média dos desvios do indicador Ind4 na quarta linha, em


Portanto segue a mesma lógica de cálculo até µ‘(σ)n

µ‘(σ)n para o indicador Indn:

µ‘(σ)n =

230

Onde µ‘(σ)n representa a média dos desvios do indicador Indn na enésima linha, em


Para conhecer N da Tabela 11 é necessário o pesquisador realizar os cálculos

baseado na seguinte função:

Função 17: Calculo de N‘ da tabela dos desvios (σ).

N‘ = =

Onde n‘ é igual ao produto entre o número de indicadores e número de classes de

valorações disponíveis ao especialista para registrar.

O ponto abscissal (Pa) é um parâmetro que sustenta as conclusões do pesquisador

para definir o grau de relevância dos indicadores em relação ao tema do estudo.

A seguir, os procedimentos para definir os pontos abscissais:

1) O ponto abscissal (Pa) para o indicador Ind1:

(Pa)1 = ;


(Pa)2 = ;


(Pa)3 = ;


(Pa)4 = ;

A mesma lógica de cálculos segue para os demais pontos abscissal até (Pa)n;

5) O ponto abscissal (Pa) para o indicador Indn:

(Pa)n = ;

231

Os últimos valores a serem calculados pelo pesquisador são os desvios em

considerando o número de valorações definido pelo pesquisador. Os valores representados por

[µ (σ)] definem os pontos de corte para cada grau de valorização que variam entre ―10‖ a ―0‖

definidos previamente pelo pesquisador.

A seguir, a demonstração para se obter os pontos de corte [µ (σ)] considerando as

respostas do grupo de especialistas para as 11 possíveis atribuições de valorações:

1) Ponto de corte [µ (σ)] para a valorização ―10‖.

µ (σ)10 =

Onde µ (σ)10 representa o ponto de corte para a valorização ―10‖.


µ (σ)9 =



µ (σ)8 =



µ (σ)7 =



µ (σ)6 =



232

µ (σ)5 =



µ (σ)4 =



µ (σ)3 =



µ (σ)2 =



µ (σ)1 =



µ (σ)0 =


Método de Análise e Validação nas Investigações em ... · 3 Dados Internacionais de...

Documents

Transcript of Método de Análise e Validação nas Investigações em ... · 3 Dados Internacionais de...