C.E.S.A.R – CENTRO DE ESTUDOS E SISTEMAS...

C.E.S.A.R – CENTRO DE ESTUDOS E SISTEMAS AVANÇADOS DO RECIFE

ÁLVARO FARIAS PINHEIRO

Uso do Balanced Scorecard na Avaliação de Fábricas de Software utilizadas como Instrumento de Ensino da Tecnologia da

Informação Baseado em Problemas Reais

RECIFE

2010

ii


Uso do Balanced Scorecard na Avaliação de Fábricas de Software utilizadas como Instrumento de Ensino de Tecnologia da Informação Baseado em

Problemas Reais

Dissertação apresentada ao programa de Mestrado em Engenharia de Software do Centro de Estudos e Sistemas Avançados do Recife – C.E.S.A.R, como requisito para a obtenção do título de Mestre em Engenharia de Software.

Orientação: Prof.(a). Ph.D. Simone Cristiane dos Santos

Co-orientação: Prof.(a). MSc. Ana Paula Carvalho Cavalcanti Furtado

RECIFE

2010

iii

C.E.S.A.R – CENTRO DE ESTUDOS E SISTEMAS AVANÇADOS DO RECIFE

Uso do Balanced Scorecard na Avaliação de Fábricas de Software utilizadas como Instrumento de Ensino de Tecnologia da Informação Baseado em

Problemas Reais


Dissertação apresentada ao programa de Mestrado em Engenharia de Software do Centro de Estudos e Sistemas Avançados do Recife - C.E.S.A.R., como requisito para a obtenção do título de Mestre em Engenharia de Software.

Data de aprovação:

_____ / _____ / 2010.

Banca examinadora:

________________________________________ Prof.(a). Ph.D. Patrícia Cabral de Azevedo Restelli Tedesco UFPE – Centro de Informática

________________________________________ Prof.(a). Ph.D. Simone Cristiane dos Santos C.E.S.A.R

________________________________________ Prof.(o). Ulisses Erico Medeiros Barbosa C.E.S.A.R

________________________________________ Prof.(a). MSc. Ana Paula Carvalho Cavalcanti Furtado C.E.S.A.R

iv

Dedicatória

Para minha família.

v

Agradecimentos

Agradeço, em primeiro lugar, a Deus, que me possibilitou esta oportunidade

de aprimoramento espiritual, pessoal e profissional.

Aos meus pais, Alberto Nunes Pinheiro e Lucila de Oliveira Farias, por sua

constante presença, fornecendo ajuda e orientação para dignificar minha jornada.

Aos meus filhos, Gabriel Nepomuceno Pinheiro e Marília Nepomuceno

Pinheiro, que são para mim um eterno estímulo de vida – muito do que faço é

apenas para servir-lhes de exemplo.

À minha esposa, Aline Maria Pereira Antas, que permanece ao meu lado, me

apoiando e estimulando, para que eu nunca desista dos meus sonhos.

Agradeço aos professores, orientadores e coordenação que compõem o

Centro de Estudos e Sistemas Avançados do Recife. Em especial, a Simone

Cristiane dos Santos e a Ana Paula Carvalho Cavalcanti Furtado, que aceitaram me

orientar nesta dissertação. Sem elas, seria difícil obter mais esta conquista em

minha jornada.

Finalmente, agradeço ao amigo Isaque Ferreira de Oliveira, que ajudou na

concretização desta empreitada.

vi

Epígrafe

“Não se consegue controlar o que não se consegue medir”

Tom Demarco

vii

SUMÁRIO

1 INTRODUÇÃO ............................................................................................. 1

1.1 MOTIVAÇÃO ................................................................................................ 2

1.2 PROBLEMA ................................................................................................. 7 1.2.1 OBJETIVO GERAL ...................................................................................... 8 1.2.2 OBJETIVOS ESPECÍFICOS ........................................................................ 8

1.3 JUSTIFICATIVA ........................................................................................... 9

1.4 CONTRIBUIÇÕES ....................................................................................... 9

1.5 ESTRUTURA DA DISSERTAÇÃO ............................................................... 9

2 ESTADO DA ARTE ................................................................................... 10

2.1 PROBLEM BASED LEARNING (PBL) ....................................................... 10

2.2 PROCESSOS AVALIATIVOS .................................................................... 14

2.3 BALANCED SCORECARD (BSC) ............................................................. 17

2.4 TRABALHOS RELACIONADOS ................................................................ 24 2.4.1 PBL NO CURSO COMPUTAÇÃO DA UNIVERSIDADE DE

DONGUA ................................................................................................... 24 2.4.2 PBL NO CURSO CIÊNCIAS APLICADAS DA UNIVERSIDADE DE

TURKU ....................................................................................................... 31 2.4.3 PBL NO MESTRADO PROFISSIONAL DO CESAR .................................. 35

2.4.4 COMPARAÇÃO ENTRE OS TRABALHOS DE PESQUISA CITADOS ................................................................................................... 40

2.4.5 AVALIAÇÕES DAS METODOLOGIAS PESQUISADAS ........................... 42 2.4.6 ANÁLISE SOBRE A EFETIVIDADE DO ENSINO ...................................... 48 2.4.7 CONCLUSÃO DOS TRABALHOS CORRELACIONADOS ........................ 50

2.5 CONCLUSÃO DO ESTADO DA ARTE ...................................................... 50

3 SOLUÇÃO PROPOSTA ............................................................................ 52

3.1 METODOLOGIA UTILIZADA ..................................................................... 52

3.2 INDICADORES PROPOSTOS ................................................................... 53 3.2.1 OBJETIVOS ............................................................................................... 53

3.2.2 METAS ....................................................................................................... 54 3.2.3 PLANO DE AÇÃO ...................................................................................... 55 3.2.4 MAPA ESTRATÉGICO .............................................................................. 56 3.2.5 DICIONÁRIO DE INDICADORES .............................................................. 59

4 ESTUDO DE CASO ................................................................................... 63

4.1 DESCRIÇÃO DO ESTUDO DE CASO ...................................................... 63

4.2 PROCESSO DE AVALIAÇÃO DAS FÁBRICAS DE SOFTWARE NO CESAR ................................................................................................ 64

viii

4.3 ANÁLISE DOS RESULTADOS .................................................................. 65

4.4 CONCLUSÃO DO ESTUDO DE CASO ..................................................... 69

5 CONSIDERAÇÕES FINAIS ....................................................................... 72

5.1 EVOLUÇÃO DO TRABALHO ..................................................................... 73

5.2 CONCLUSÃO ............................................................................................ 74

REFERÊNCIAS ......................................................................................................... 76

APÊNDICE A – ANÁLISE DAS ENTREGAS ........................................................... 81

APÊNDICE B - ANÁLISE DA SATISFAÇÃO ........................................................... 88

APÊNDICE C – PLANILHA DE VERIFICAÇÂO ....................................................... 92

APÊNDICE D – PLANILHA DE AVALIAÇÃO INDEPENDENTE ............................. 93

APÊNDICE E – STATUS REPORT .......................................................................... 94

ix

Resumo

Este trabalho está relacionado à identificação de indicadores baseando-se no

Balanced Scorecard de Kaplan e Norton (1996), uma metodologia de mercado que

foi adaptada para indicar se o processo de aprendizagem de um corpo discente está

atendendo as expectativas. Para essa dissertação, se mostra conveniente o uso de

uma metodologia real para criação de indicadores, já que se faz uso de uma

metodologia de aprendizagem que se propõe uso de problemas reais, o PBL.

Essas expectativas são a obtenção do conhecimento da Engenharia de

Software através de abordagens alternativas, como a Aprendizagem Baseada em

Problemas, conhecida em inglês como Problem Based Learning (PBL).

Para isso, foram usados como instrumentos fábricas de software e métodos

avaliativos modernos, que tornam mais efetivo o ensino das disciplinas relacionadas,

buscando fomentar nos estudantes a capacidade de resolver problemas reais,

dentro de um ambiente real, fazendo uso de indicadores reais.

O PBL foi usado para tentar se obter uma diminuição da curva de

aprendizagem e ao mesmo tempo torná-la mais duradoura. Para buscar a

comprovação disso, foram realizadas pesquisas sobre métodos de ensino

alternativos aplicados à Engenharia de Software, evidenciando os aspectos teóricos

e práticos desta. Também foi procurado um processo de avaliação que forneça

suporte às atividades educacionais, com o objetivo de promover uma melhor

aprendizagem, através das experiências vivenciadas na utilização do método

proposto.

x

Para fundamentar esse trabalho, foi realizada uma pesquisa ex-post facto

(investigação sistemática e empírica) diretamente no ensino da Engenharia de

Software do Mestrado Profissional do Centro de Estudos e Sistemas Avançados do

Recife.

Os resultados dessa pesquisa mostraram que o uso do instrumento de

fábricas associado à metodologia de ensino alternativa baseada em problemas reais

(PBL) é relevante para aprendizagem da Engenharia de Software.

Palavras-chave

Balanced Scorecard. Avaliação. Aprendizagem Baseada em Problemas.

Engenharia de Software.

xi

Abstract

This work is related to the identification of indicators based on the Balanced

Scorecard of Kaplan and Norton (1996), a market approach that has been adapted to

indicate whether the learning process of a faculty is meeting expectations. Since the

actual use of a methodology for creating indicators should be in a different learning

methodology that proposes to use for real problems in the PBL.

These expectations are the way to obtain knowledge of the Software

Engineering by alternative approaches such as Problem Based Learning (PBL).

For execution this, they were used as tools like, software factories, and

modern evaluation methods, which make more effective the teaching of related

disciplines, seeking to foster in students the ability to solve real problems within a real

environment, using real indicators.

The PBL was used to try to obtain a reduced learning curve and at the same

time makes it more durable. To seek evidence were held in research on alternative

teaching methods applied to Software Engineering, highlighting the theoretical and

practical aspects of this. Was also sought an evaluation process that provides

support to educational activities, aiming to promote better learning through

experiences in the use of the method.

In support of this work, a survey was conducted ex-post facto (systematic

research and empirical) directly in teaching Software Engineering Professional

Master of the Recife Center for Advanced Studies and Systems.

xii

These survey results showed that the use of the instrument of plants

associated with alternative teaching methodology based on real problems (PBL) is

relevant to learning Software Engineering.

Key-words

Balanced Scorecard. Assessment. Problem Based Learning. Software

Engineering.

xiii

Lista de ilustrações

Figura 1.1: Tema ......................................................................................................... 2

Figura 2.1: Perspectivas do BSC .............................................................................. 19

Figura 2.2: Mapa Estratégico .................................................................................... 21

Figura 3.1: Mapa Estratégico .................................................................................... 57

Figura 4.1: Análise da Eficiência ............................................................................... 66

Figura 4.2: Análise da Eficácia .................................................................................. 67

Figura 4.3: Análise da Motivação e Comprometimento ............................................. 68

xiv

Lista de quadros

Quadro 2.1: Percentual para Avaliações da Metodologia de Yin .............................. 29

Quadro 2.2: Comparativo entre os Trabalhos Pesquisados ...................................... 41

Quadro 3.1: Dicionário de Indicadores ...................................................................... 60

Quadro 4.1: Análise da Eficiência ............................................................................. 66

Quadro 4.2: Análise da Eficácia ................................................................................ 67

Quadro 4.3: Análise da Motivação e Comprometimento ........................................... 68

Quadro 4.4: Resultado da Eficiência ......................................................................... 69

Quadro 4.5: Resultado da Eficácia ............................................................................ 70

Quadro 4.6: Resultado da Motivação e Comprometimento ....................................... 70

Quadro A.1: Legendas .............................................................................................. 81

Quadro A.2: Entrega dos Artefatos da Fábrica de Software-1 .................................. 81







Quadro B.1: Satisfação do Cliente com Fábrica de Software-1 ................................ 88







xv

Abreviaturas

Sigla Significado

BSC Balanced Scorecard

CESAR Centro de Estudos e Sistemas Avançados do Recife

CMMI Capability Maturity Model Integration

EAD Ensino a Distância

ESW Engenharia de Software

FSW Fábrica de Software

IDC International Data Corporation

MPES Mestrado Profissional em Engenharia de Software

PBL Problem Based Learning

SEI Software Engineering Institute

SWEBOK Software Engineering Body of Knowledge

TIC Tecnologia da Informação e Comunicação

UEFS Universidade Estadual de Feira de Santana

1

1 INTRODUÇÃO

O trabalho dissertativo foca na obtenção de indicadores baseados no Balanced

Scorecard (BSC) de Kaplan e Norton (1996), uma metodologia aplicada no mercado

de trabalho para o acompanhamento das organizações no cumprimento de suas

metas. A proposta de uso dessa metodologia se faz porque, na constante evolução

da Tecnologia da Informação e Comunicação (TIC), um número cada vez maior de

metodologias, processos, técnicas e ferramentas vêm sendo criados. Além dessa

diversidade tecnológica, existe o fato de que, periodicamente, novos profissionais

são incorporados a esse mercado. Para confirmar esta afirmação, o IDC (2009)

coloca que o setor de serviços, em especial o de TIC, possui um grande potencial –

tanto na área de produção de software quanto na de consultoria. De fato, além das

800 mil vagas de trabalho existentes no ano de 2007, outras 200 mil vagas serão

criadas até o ano de 2010. Esses dados nos informam que o setor de TIC cresce a

cada ano, e que cada vez mais novos profissionais são incorporados a esse

segmento.

Assim sendo, esses profissionais necessitam obter o conhecimento dessas

novas tecnologias, em um intervalo de tempo cada vez menor, para que possam ser

absorvidos pelo mercado que busca produzir software com qualidade, para atender

a demanda que aumenta a cada ano.

Para que essa demanda crescente por profissionais qualificados, que tenham

que adquirir conhecimentos novos em intervalos de tempo cada vez menor, se faz

necessidade do uso de abordagens alternativas que possibilitem a obtenção do

conhecimento buscado.

Assim, a fundamentação deste trabalho busca alguns métodos atualmente

usados no ensino da Engenharia de Software, que fazem uso de novos formatos

avaliativos ou de novas metodologias de aprendizagem: a que faz uso de aplicação

de problemas reais no processo de aprendizagem é um bom exemplo. Desta forma,

o uso dos indicadores serviu para verificar se essas novas abordagens realmente

melhoraram a assimilação do conhecimento necessário que deveria ser adquirido,

2

para que o mercado de trabalho pudesse absorver estes profissionais em menor

tempo.

Figura 1.1: Tema Uso do BSC para

avaliar

FSW como

instrumento de ensino da

ESW na

abordagem alternativa

PBL

1.1 MOTIVAÇÃO

As organizações de tecnologia serão cada vez mais solicitadas por um mercado

cada vez mais competitivo. Para permanecer nele, elas terão que se atualizar com

as novas tendências, que visam fornecer mais qualidade aos produtos oferecidos.

A motivação desta dissertação consiste em analisar as características e

princípios reais de metodologias que buscam a efetividade do ensino da Engenharia

de Software (ESW), já que um dos prováveis problemas decorrentes da evolução da

área de Tecnologia da Informação e Comunicação (TIC) é tornar efetivo o ensino da

disciplina de Engenharia de Software aos que entram na área, e também àqueles

que já se encontram inseridos nela e que precisam de atualização.

Na evolução do processo de ensino, se vem buscando formas alternativas

que permitam que alunos possam assimilar o conhecimento passado pelos

professores e um deles é o uso da Aprendizagem Baseada em Problemas (no

inglês, Problem Based Learning - PBL), que está sendo utilizado na qualificação de

profissionais em Engenharia de Software, conforme os autores Santos et al (2008).

Devido às mudanças constantes na área de TIC, são constantes os desafios

para o aprendizado dessas transformações – e, devido a essas características, os

profissionais dessa área são exigidos ao máximo na sua constante atualização. Por

isso, existe a necessidade de uma metodologia pedagógica alternativa para

3

melhorar a aprendizagem. O PBL é uma metodologia que se apresentou como uma

alternativa para se trabalhar ativamente com essas particularidades, além de outras

inerentes à área, como a multidisciplinaridade.

Três formas de implementação da abordagem de ensino PBL pesquisado

nesse trabalho são, a utilização de fábricas de software, que de acordo com a

pesquisadora Santos et al, (2008), os estudantes podem trabalhar para resolver

problemas reais. A outra abordagem foi proposta pela Universidade de Turku e

implantada na área de Ciências Aplicadas, no curso de Tecnologia de Informação.

Nela, os estudantes são imersos nos estudos da Engenharia de Software através de

práticas relacionadas às suas várias disciplinas, como gerenciamento de projetos e

desenvolvimento de software – evidenciando que a Engenharia de Software não é

apenas o ato de programar, mas um conjunto de atividades que, interligadas,

servem para imprimir qualidade à tarefa de construção de um software. A última

forma pesquisada foi a abordagem utilizada pela Universidade de Dongua em

Shangai no curso de Ciência da Computação, onde os alunos são distribuídos em

times para desenvolver um projeto, que orientados e acompanhados pelos

professores são motivados a resolverem os problemas passados. Nesses casos

estudados, é verificado o uso de uma abordagem de ensino que integra teoria e

prática, avaliando constantemente os resultados gerados pelos alunos.

Assim, nessa busca para tornar o ensino mais rápido e duradouro, o PBL vem

se mostrando eficaz. Na pesquisa da efetividade do ensino onde se estuda o

processo cognitivo, Peterson (1997) nos mostra que conhecimentos sobre PBL vêm

sendo enriquecidos com estudos da aprendizagem de adultos e da fisiologia da

memória – ressaltando-se a importância da experiência prévia, bem como da

participação ativa do corpo discente, como pontos fundamentais para a motivação e

a aquisição de novos conhecimentos. O autor leva em consideração a experiência

no processo de aquisição do conhecimento, bem como outros fatores que são

inerentes ao individuo no seu processo de assimilação de informações.

Pesquisadores como Peterson (1997) ressaltam ainda outros critérios que

promovem a eficiência do uso do PBL como método, em prol da efetividade do

4

ensino que tem a característica de aprender a aprender – o que, segundo Piaget

(1985), é um fator relevante no processo de aquisição de conhecimentos.

Outras características são trabalhar em equipe, ouvir outras opiniões, e

induzir o alunato a assumir um papel ativo e responsável pelo seu aprendizado,

conscientizando o aprendiz do que ele sabe e do que ele precisa aprender, bem

como motivando-o a buscar informações relevantes para que possa efetivamente

fazer uso do conhecimento que está sendo adquirido.

O papel do aprendiz, segundo Ribeiro (2005), é o de participar ativamente da

discussão, contribuindo com seu conhecimento e experiências prévias, adquirindo

novos conhecimentos e justificando-os com as referências bibliográficas estudadas.

O aprendiz também deve ajudar o grupo a solucionar o problema,

identificando material de aprendizagem relevante, como artigos, livros e outros. Em

síntese, os alunos devem construir em conjunto, buscando uma solução do

problema, que deve ser entregue ao professor. Por isso, o autor enfatiza:

[...] este método também pretende apoiar os estudantes na aquisição

de uma base de conhecimento estruturada em torno de problemas

da vida real e no desenvolvimento de competências e atitudes,

incluindo trabalho em equipe e habilidades de auto-aprendizado,

cooperação, ética e respeito aos pontos de vista de outras pessoas.

Ribeiro (2005)

Conforme Santos et al (2008), a metodologia PBL tem sido cada vez mais

utilizada em diversas áreas, a exemplo da Engenharia de Software, e em diferentes

níveis educacionais. A autora ressalta que PBL é a forma de usar um problema para

ensinar. Nos princípios educacionais, essa abordagem segue a metodologia

construtivista. É uma forma de estimular a aprendizagem utilizando problemas reais

para o ensino da disciplina de Engenharia de Software. Dessa forma, para Santos et

al (2008), a inserção dos aprendizes em uma Fábrica de Software pode facilitar a

vivência prática e a absorção de novas tecnologias.

Também é percebido que o ensino da disciplina de Engenharia de Software,

devido à sua ampla gama de conceitos, necessita de uma de uma abordagem

5

alternativa para o seu aprendizado. O PBL é uma proposta que vem se mostrando

apropriada para tal, pois atende a necessidade de inserção de alunos em um

ambiente real.

Para que se possa verificar a influência do PBL, devem-se analisar os

instrumentos que podem ser utilizados para sua medição. É necessário saber se a

abordagem baseada em problemas reais é apropriada, através da utilização de

instrumentos de avaliação adequados – isto é, avaliações também reais, que

possam medir seus resultados. Também é necessário saber como validar os

processos – ou seja, as ações que devem ser tomadas para realizar a avaliação do

corpo discente – além dos papéis que devem existir nesses processos, para avaliar

a efetividade do ensino fazendo uso dessas novas metodologias. Uma forma que

vem sendo utilizada com esse objetivo compreende sistemas de avaliação que se

baseiam nos resultados das atividades executadas pelos estudantes, colhidos

através de relatórios, exames escritos e orais, e posteriormente realimentados pelos

professores. Tais sistemas já estão sendo utilizados nos dias atuais segundo Tuohi

(2007).

Conforme Yin (2006), outro método contemporâneo para acompanhar a

efetividade do ensino é baseado no envolvimento maior dos professores, que

contribuem para o processo através de avaliações formativas e somativas.

Essas formas de avaliação vêm se mostrando mais eficientes que as

tradicionais, pois são centradas no aprendiz e no conhecimento, segundo os

pesquisadores Stufflebeam e Shinkfield (2007). Os autores também colocam que as

avaliações devem proporcionar oportunidades para o feedback, que é um

instrumento precioso no processo avaliativo, no sentido de verificar o que foi e não

foi absorvido. Já para Fernandes (2006), é importante distinguir entre os dois

principais usos da avaliação: o primeiro envolve o emprego de avaliações que são

aplicadas, em geral, no contexto de uma sala de aula, como fontes de feedback para

a melhoria do ensino e da aprendizagem (avaliações formativas); o segundo é a

avaliação que mede o que os estudantes aprenderam no final de certo conjunto de

atividades de aprendizagem, (avaliações somativas).

6

São exemplos de avaliações formativas os comentários de professores sobre

os trabalhos executados pelos alunos, como também a preparação para

apresentações ou rascunhos de alunos. São exemplos de avaliações somativas os

testes elaborados pelos professores que são aplicados na conclusão de uma fase do

estudo.

Segundo Fernandes (2006), a ferramenta de feedback ainda não é

amplamente utilizada, pois em sua maior parte é constituída por notas de testes ou

exames escritos que representam avaliações somativas, cuja finalidade é mensurar

os resultados da aprendizagem. Os alunos, depois da recepção das notas,

normalmente passam para uma nova fase da aprendizagem, com o intuito de

receber outro conjunto de notas. Essa prática desvaloriza a ferramenta de feedback

na avaliação dos resultados obtidos, pois, segundo o autor, a ferramenta passa a ter

mais valor quando os alunos têm a oportunidade de usá-la para rever seu raciocínio,

enquanto trabalhavam em uma determinada fase do estudo.

A inclusão de novas oportunidades para a avaliação formativa promove a

aprendizagem, e os alunos passam a dar mais valor às oportunidades de revisão.

Com a oportunidade de trabalhos em grupo, a qualidade do feedback aumenta de

acordo com Loch (2000). As novas tecnologias surgem em prol dessa abordagem,

criando novas oportunidades para aumentar o feedback e permitindo que alunos,

professores e especialistas interajam de uma forma melhor, segundo Stufflebeam e

Shinkfield (2007).

Outro aspecto analisado por Morales (2008) é que a avaliação somativa, que

deve ocorrer no final de uma fase de avaliação, possibilita, tanto para o aluno quanto

para o professor, a geração de dados que tornam viável a verificação do valor do

que foi aprendido. O autor também coloca que os dois tipos de avaliação são

complementares, e sua articulação colabora para uma visão ampla do objeto

avaliado. O teórico, com essa proposição, visa superar os possíveis problemas, bem

como aumentar a objetividade do processo avaliativo. Dessa forma, pretende

resgatar a objetividade dos processos avaliativos – a ponto de defender avaliação

comparativa, para produzir um maior numero de dados que torne possível uma

7

melhor tomada de decisão em relação ao aprendizado – o bem de maior valor a ser

obtido.

Outro tipo de avaliação é a proposta por Stufflebeam e Shinkfield (2007), com

a avaliação orientada para o aperfeiçoamento, que é baseada na resposta a

problemas. Esse tipo de avaliação refere-se ao julgamento sobre as definições,

observando se são vagas e equivocadas em suas pressuposições, ou inadequadas

nas suas orientações metodológicas. Dessa forma, a tomada de decisão passa a

dizer a respeito à clareza das transformações que se pretende alcançar, bem como

às decisões que sejam pertinentes a tais mudanças esperadas; e os valores passam

a questionar sua própria adequação como referências para o processo de tomada

de decisão.

Outra forma de avaliar encontra-se no trabalho de Santos et al (2008), que faz

uso de instrumentos de mercado, baseados em CMMI, na tentativa de obter

resultados reais, através de avaliações de problemas verdadeiros.

Entendida a motivação deste trabalho, segue o problema que gera a sua

existência, descrito na seção seguinte.

1.2 PROBLEMA

É desejado pelo mercado que os produtos de software desenvolvidos tenham cada

vez mais qualidade. Para isso, se faz necessário a formação em um curto espaço de

tempo de mão de obra especializada, que conheça e faça uso de metodologias

aceitas para comunidade de TIC.

Mas, são muitas as disciplinas que envolvem o aprendizado da Engenharia de

Software (ESW), e pesquisadores como Yin (2006), Tuohi (2007) e Santos et al

(2008) em suas pesquisas verificaram que o ensino tradicional não oferece o suporte

desejado para a efetividade da aprendizagem.

Assim, o que se deseja com esse trabalho, é verificar se o uso de uma

abordagem alternativa para o ensino da ESW aumentaria a efetividade desejada no

aprendizado de novas metodologias na área de Tecnologia da Informação e

Comunicação com ênfase na Engenharia de Software.

8

Nesse trabalho a abordagem pesquisada é a aprendizagem baseado em

problemas, mais conhecida como Problem Based Learning (PBL), que tem o objetivo

de fazer com que os alunos sejam inseridos em um processo real de solução de

problemas, e assim obtenham o aprendizado desejado em um intervalo de tempo

menor.

Para verificar se a efetividade da aprendizagem foi alcançada, pretende-se

usar métodos de avaliação baseados nos processos atualmente utilizados pelo

mercado. Com o objetivo de promover indicadores reais, com o intuito de obter

feedback do que está se assimilando em um curto intervalo de tempo, verificando se

a efetividade foi alcançada.

1.2.1 OBJETIVO GERAL

Verificar, através de indicadores elaborados com o uso do Balanced Scorecard, a

evolução de um corpo discente que objetiva o aprendizado de novos conhecimentos

da Engenharia de Software, através da inserção dos mesmos, em uma nova

abordagem metodológica de aprendizagem, baseada em problemas reais, fazendo

uso de fábricas de software como instrumentos de ensino.

1.2.2 OBJETIVOS ESPECÍFICOS

• Entender e analisar as questões do processo de ensino e aprendizagem

baseada em problemas Problem Based Learning (PBL), no âmbito da

Educação;

• Verificar o uso de Fábrica de Software como um instrumento de ensino,

analisando se é um recurso eficaz para a metodologia PBL no aprendizado da

Engenharia de Software;

• Utilizar o Balanced Scorecard na criação de indicadores que possam ser

usados para verificar a evolução dos alunos no aprendizado da Engenharia

de Software, inseridos no contexto de aprendizagem baseada em problemas;

e

• Realizar uma pesquisa aplicada utilizando os indicadores propostos para

analisar se essa abordagem produz o resultado esperado.

9

1.3 JUSTIFICATIVA

Existe uma necessidade de verificar se o uso de uma abordagem alternativa

utilizada para transmitir os conhecimentos da Engenharia de Software (ESW) trás

resultados satisfatórios. Assim, se faz a necessidade de se acompanhar o

andamento desse processo de ensino, que integra teoria e prática. E uma forma

proposta para isso é validar esta aprendizagem através de indicadores elaborados

com a metodologia Balanced Scorecard.

1.4 CONTRIBUIÇÕES

• Propor indicadores utilizados para avaliar a evolução de um corpo discente

inserido nas fábricas de software, baseando-se no Balanced Scorecard;

• Aplicar os indicadores propostos na realização das atividades; e

• Justificar o uso de fábricas de software no processo de ensino da Engenharia

de Software, fazendo uso de problemas reais para melhor transmitir os

conhecimentos dessa disciplina.

1.5 ESTRUTURA DA DISSERTAÇÃO

Esta dissertação está organizada em cinco capítulos.

O primeiro descreve a introdução, discute o problema, as suas implicações e os

objetivos gerais e específicos.

O segundo apresenta o Estado da Arte, relatando trabalhos correlacionados ao

ensino da Engenharia de Software. Descreve, para isso, a fundamentação teórica

sobre aprendizagem baseada em problemas, processos e métodos de avaliação e

Balanced Scorecard.

A proposta de uma solução é relatada no terceiro capítulo.

No quarto, é apresentado um estudo de caso.

Finalmente, no quinto capítulo apresentam-se a contribuição esperada e a

conclusão.

10

2 ESTADO DA ARTE

Este capítulo apresenta a fundamentação teórica sobre PBL, processos avaliativos e

BSC. Finalizando com os trabalhos correlacionados ao tema.

Para o melhor entendimento da pesquisa, nesta seção será fundamentado

sobre o Problem Based Learning (PBL) como metodologia alternativa no ensino, em

acréscimo será fundamentado os processos avaliativos que são utilizados

atualmente. Também será fundamentada uma das metodologias adotadas

atualmente pelas organizações, para acompanhamento e monitoramento das ações,

que é o Balanced Scorecard (BSC), justificando o seu uso para obtenção dos

indicadores.

2.1 PROBLEM BASED LEARNING (PBL)

O Problem Based Laerning, segundo Ribeiro (2005), é uma metodologia que foi

inicialmente usada na área médica, com a proposta de ensinar aos alunos do curso

de medicina suas teorias e técnicas, fazendo uso de problemas reais. Essa

metodologia vem sendo cada vez mais empregada, em diversas áreas, pois vem se

mostrando eficiente na arte de transmitir conhecimentos fazendo uso da experiência

do aprendiz.

A aprendizagem baseada em problemas se caracteriza em aprender a

aprender, o que, segundo Piaget (1975), é fator relevante no processo de aquisição

de conhecimentos. Outras características do PBL são: trabalhar em equipe, ouvir

outras opiniões e induzir o aluno a assumir um papel ativo e responsável pelo seu

aprendizado. O aprendiz é conscientizado do que ele sabe e do que precisa

aprender, e sente-se motivado a buscar informações relevantes, para que possa,

efetivamente, fazer uso do conhecimento que está sendo adquirido.

Já o papel do aprendiz, para Ribeiro (2005), é o de participar ativamente da

discussão, contribuindo com seu conhecimento e experiências prévias, adquirindo

novos conhecimentos e justificando-os com as referências bibliográficas estudadas.

O aprendiz também deve ajudar o grupo a solucionar o problema, identificando

material de aprendizagem relevante, como livros, artigos e outros. Em síntese, os

11

alunos devem construir em conjunto, buscando uma solução do problema, que deve

ser entregue ao professor. Por isso, o autor enfatiza:

[...] este método também pretende apoiar os estudantes na

aquisição de uma base de conhecimento estruturada em torno de

problemas da vida real, e no desenvolvimento de competências e atitudes,

incluindo trabalho em equipe e habilidades de auto aprendizado,

cooperação, ética e respeito aos pontos de vista de outras pessoas.

Ribeiro (2005) pg.359.

Conforme Santos et al (2008), a metodologia Problem Basead Learning vem

sendo cada vez mais utilizada e percebe-se o seu uso nas áreas de medicina,

odontologia e nas engenharias, a exemplo da Engenharia de Software. Santos et al

(2008) ressalta que PBL é fazer uso de um problema para ensinar. Nos princípios

educacionais, essa abordagem segue a metodologia construtivista.

Uma forma de estimular a aprendizagem utilizando problemas reais para

ensino da disciplina de Engenharia de Software é, para Santos et al (2008), a

inserção dos aprendizes em uma Fábrica de Software, para, assim, facilitar a

vivência e também a absorção de novas tecnologias. O capital humano envolvido

nesse processo, segundo a autora, é organizado em quatro grupos: O time, que é

responsável pela definição do negócio da Fábrica de Software e desenvolvimento de

software; Os professores, que são responsáveis por ministrar as aulas, executando o

papel de consultores especialistas em áreas de sua disciplina, e de facilitadores no

processo de aprendizado; os monitores, que se responsabilizam pelo

acompanhamento quanto ao atendimento dos objetivos a que se comprometeram,

sob os pontos de vista de processos e produtos; e os clientes, responsáveis pela

demanda técnica, validação de requisitos e dos resultados acordados com as

fábricas de software.

Nesse contexto, a Fábrica de Software tem a finalidade de propiciar um

ambiente de educação, fazendo uso da metodologia de aprendizagem baseada em

problemas. Porém, como as organizações de ensino possuem a preocupação da

criação de um aparato educacional, como ementas, cronograma, proposta de ensino

e outros, uma Fábrica de Software real que se proponha a fazer uso do PBL deve

também se preocupar com os aspectos do processo de aprendizagem. Como

12

exemplo, podemos citar a elaboração de um projeto de aprendizagem de uma

tecnologia alternativa que se pretende implantar na fábrica de software. Nesse caso,

deverão ser criados elementos que possam se avaliados durante a execução do

processo.

Na elaboração desse projeto de aprendizagem baseada em problemas com o

uso de fábrica de software, o que se deseja transmitir deve ser apoiado por uma

elaboração de uma grade curricular que permita incorporar prática a teoria. Dessa

forma, as disciplinas passam a ser a base conceitual da metodologia PBL,

subsidiando o time (equipe), professores (facilitadores), monitores (coordenadores) e

clientes (colaboradores) nos conhecimentos necessários para a resolução dos

problemas.

O uso das disciplinas permitirá que, durante a vivência da fábrica de software,

possa-se dividir a carga horária em horas para aulas conceituais, horas para práticas

guiadas e horas para avaliação. As horas de prática devem ser utilizadas para

atividades que ajudem os aprendizes a aplicar a teoria repassada, baseando-se nos

projetos da fábrica de software. Essas tarefas serão apoiadas por profissionais

(facilitadores), que irão atuar como consultores especialistas nessas atividades.

Para Santos et al (2008), esses projetos precisam de um cliente real

envolvido, pois ele motiva os aprendizes a se envolverem no projeto. A necessidade

de um cliente real pode ser percebida na frase “é importante ressaltar que, se o

estudante se engaja em uma autêntica resolução de problemas, então segundo

Santos et al (2008) ele é o dono do problema”. Ainda de acordo com a autora, os

aprendizes percebem o problema como real quando existe relevância pessoal para

cada indivíduo envolvido.

É nesse contexto que se encaixa o PBL em uma fábrica de software: existe a

possibilidade de utilização de uma necessidade real de um cliente, fazendo uso de

uma metodologia alternativa. Para isso, aproveita-se a necessidade dos novos

profissionais em se atualizar, bem como a experiência dos profissionais veteranos,

que também precisam se reciclar. Para Colaborar com o que foi dito, temos as

palavras de Greeenfield (2004), consultor da Microsoft, que nos diz que:

13

[...] os métodos e práticas de desenvolvimento de software terão

que mudar radicalmente [...] A solução deve envolver a modificação dos

nossos métodos e práticas. Devemos encontrar formas de tornar os

desenvolvedores muito mais produtivos [...]

E para confirmar que uma Fábrica de Software é interessante para imersão

dos aprendizes no processo de aprendizagem, vemos que cada vez mais

organizações que fazem uso da Engenharia de Software estão se estruturando

como fábricas de software. Elas podem fazer uso de conceitos herdados da

indústria, como os de Linhas de Produção de Software. De acordo com Caprio

(2009), um componente pode ser montado, configurado e empacotado. Resultando

em um produto final completo. Assim, utiliza-se o processo de construção e aplicam-

se metodologias que, mesmo ainda pouco usadas, mostram-se uma tendência

nessa área.

É percebido, então, que o ensino da disciplina de Engenharia de Software,

devido à sua ampla gama de conceitos, necessita de uma nova abordagem. A

aprendizagem baseada em problemas é uma proposta que vem se mostrando

apropriada para tal, pois atende à necessidade de inserção dos alunos em um

ambiente real. Com o uso da metodologia, é possível que a curva de aprendizagem

seja menor. Afinal, as novas tecnologias evoluem muito rapidamente, gerando uma

enorme demanda de profissionais que precisam de reciclagem e adaptação. Para

isso, eles necessitam de treinamento e capacitação em intervalos de tempo cada

vez menor. Assim, as organizações que fazem uso de Tecnologia da Informação e

Comunicação, mais que quaisquer outras, devem estar atualizadas, para que

possam realizar suas atividades de forma mais eficiente, eficaz e efetiva.

Assim, os profissionais que desejam adquirir ou se reciclar se tornam

aprendizes que buscam essa atualização. O primeiro é o novo aprendiz, isto é,

aqueles profissionais recém-saídos das instituições de ensino, com pouca prática

nas novas tecnologias. O segundo é composto pelos profissionais que já atuam na

profissão, mas precisam se atualizar. São caracterizados pela necessidade de um

aprendizado de aplicação imediata – e é nesse ponto que surge o PBL como

metodologia de ensino que faz uso de processos avaliativos alternativos para

monitorar a evolução.

14

Para melhor entender tais processos avaliativos, segue a fundamentação

sobre eles.

2.2 PROCESSOS AVALIATIVOS

A avaliação é um processo que faz parte do cotidiano dos indivíduos, mesmo

quando não existem instrumentos formais que a evidenciem. Normalmente, o ser

humano atribui valores a tudo com que interage.

No ambiente educacional, para Abramowicz (1996), a palavra avaliação é

associada a um processo de classificação, ou de julgamento, ou ainda de

regulamentação. Para esse autor, ela é utilizada como um instrumento de poder, que

aprova ou reprova. Ele explica que “o estudo de avaliação da aprendizagem

constitui-se no ramo mais antigo da área de medida do rendimento, e teve início em

1901, com Robert Thorndike, nos Estados Unidos, enfatizando a medida das

mudanças comportamentais”. Nesse caso, o rendimento é entendido como avaliação

escolar.

Nessa abordagem, o autor nos diz que, durante um longo período, o foco da

medição estava na evolução da quantidade de informações que o aluno possuía.

Para isso, eram utilizados testes padronizados, elaborados de acordo com objetivos

pré-definidos. Mas, quando os alunos passaram a não mais ser vistos como simples

depositários de informações, segundo Freire (1996), essa forma de avaliação

começou a ser revista, passando a considerar questões como opiniões, atitudes e

expectativas.

Essa inovação – a inserção de novos elementos avaliativos – foi considerada

um pioneirismo na forma de fazer avaliação educacional, segundo Abramowicz

(1996), desde que passou a considerar questões como avaliação da aprendizagem,

com ênfase na elaboração do currículo apenas como um instrumento para

regularização do conhecimento.

Porém, anos antes, os pesquisadores Popham (2008) propuseram a idéia de

que “quando se avalia, faz-se sempre algum tipo de apreciação. Faz-se uma

estimativa ou um julgamento de valor de algum fenômeno, e, na avaliação

15

educacional, estamos interessados em fazer apreciações acerca do mérito dos

empreendimentos educacionais”. Assim, as avaliações passaram a medir também

os processos de ensino. Nesse contexto, o pesquisador Bloom (1996), entre os anos

de 69 e 70, propôs uma linha que definia a avaliação como critério de atribuição de

notas e classificação. Sob a supervisão desse autor, uma pesquisa foi realizada na

Universidade de Chicago, onde as atividades de aprendizagem foram ordenadas e

aplicadas para verificar o progresso de um grupo de alunos. Assim, era possível

acompanhar a aprendizagem e auxiliar sua motivação. Com esse trabalho o

pesquisador e seus colaboradores passaram a defender dois tipos de avaliações: a

formativa e a somativa. A primeira se realiza ao longo do processo, e a segunda é

realizada no término do mesmo, para verificação dos resultados.

Quanto à avaliação formativa, é notório que, na década de 80, Freire (1987)

nos traz a Educação Libertadora – isto é, a Educação que foca no processo

formativo. Nessa abordagem, a avaliação deve ser feita para questionar se os

ensinamentos passados foram transformadores do conhecimento e se ajustam à

realidade vivida. Assim pode ser feito o posicionamento do aprendizado em um

contexto sócio-político-histórico, com valores multiculturais. Dessa forma, o educador

colabora para a construção de novos caminhos, conduzindo assim à formação da

consciência crítica. Nessa linha, Perrenoud (1999) nos diz que é necessário mudar o

processo de avaliação, atribuindo-lhe um significado formativo, isto é, alterar os

métodos de ensino. Segundo ele, as principais alterações seriam: considerar os

conhecimentos como recursos passíveis de mobilização; negociar e conduzir

projetos com seus alunos; adotar um planejamento flexível; e implementar e

explicitar um novo contrato didático/pedagógico.

Nessa linha de pensamento, o aluno é visto como o próprio construtor do seu

conhecimento. Desse modo, a avaliação formativa, em um processo continuado de

aprendizagem, é um elemento construtor, que permite o entendimento do que e

porque se está fazendo. Outro aspecto salientado pelos autores é que as aulas

devem ser momentos de diálogos participativos, onde se busca comprometimento e

respeito às diferenças de opiniões dos participantes, valorizando a opinião dos

alunos.

16

Sobrinho (2005) aponta que a avaliação formativa serve para revelar as

dificuldades, sendo possível devido às respostas contínuas as questões propostas.

Isso é importante para que a atividade atenda às necessidades do aluno. Assim

como a autoavaliação passa a ser de grande importância no processo de

aprendizagem, a avaliação formativa é toda permeada pela ação-reflexão. Assim,

Abrecht e (1991) afirma que:

[...] a avaliação formativa não é uma verificação de conhecimentos.

É antes o interrogar-se sobre um processo; é o refazer do caminho

percorrido, para refletir sobre o processo de aprendizagem em si mesmo,

sendo útil, principalmente, para levar o aluno a considerar uma trajetória, e

não um estado (de conhecimentos), dando sentido à sua aprendizagem e

alertando-o, ao mesmo tempo, para eventuais lacunas ou falhas de

percurso, levando-o a buscar – ou, nos casos de menor autonomia, a

solicitar – os meios para vencer as dificuldades.

Dessa forma, temos então os instrumentos da avaliação tradicional, da

avaliação formativa e da avaliação somativa. O primeiro, que é o mais conhecido,

consiste na aplicação de uma prova que é utilizada como certificação ou verificação

de resultados. Ela avalia e classifica o que foi ensinado – e não o que foi aprendido.

A prova é um relato instantâneo de um determinado momento da aprendizagem. Já

o segundo, a avaliação formativa, busca o desenvolvimento dos conhecimentos,

habilidades e valores que se evidenciam durante o processo de aprendizagem,

através da observação constante e comunicação permanente com os alunos. Ela

permite incentivar e motivar a aprendizagem de forma contínua. Temos, ainda, a

avaliação somativa, que é instrumento de pós-avaliação do ensino, e objetiva

verificar o que foi assimilado e compreendido. Assim, torna-se útil para análise dos

resultados do aprendizado.

Para Freire (1996), os métodos avaliativos podem apontar as causas para

alguns índices, como o de reprovação – se uma turma tiver um desempenho

insatisfatório em determinada disciplina, as avaliações podem contribuir para a

explicação. Ainda para Freire (1996), o professor deve estar ciente que o ensino

nunca acaba. Dessa forma, o reconhecimento da sua não conclusão significa

entender que ser professor não é ser o dono do saber, e sim o facilitador no

processo de transmissão. Sendo assim, o professor sempre deve pensar no porquê

17

de serem formuladas certas perguntas, e o que se pretende de fato investigar –

melhorando, assim, os métodos avaliativos.

Hoffmann (2007) pondera que, se o educador valoriza a produção do aluno,

compartilhando suas ideias ou dificuldades para o planejamento de novas ações

educativas, estará, naturalmente, facilitando sua participação no processo. A autora

esclarece que os docentes que exigem, em suas avaliações, a reprodução de

respostas decoradas, não contribuem para a capacidade de reflexão, nem para a

construção do conhecimento por parte dos alunos. Além disso, ela explica que

professores que não possuem formação em Educação, e que são docentes pelo

domínio de sua área específica, apresentam dificuldades para preparar aulas e criar

métodos avaliativos de boa qualidade. Isso acontece porque esses profissionais,

apesar de serem competentes em suas especializações, desconhecem as teorias

educacionais. Assim, um professor não capacitado acaba, portanto, elaborando

avaliações que não visam à reflexão, mas sim à memorização do conteúdo, fator

que não avalia a aprendizagem e ainda colabora com a passividade do aluno.

Concluindo, o processo de avaliar corretamente se transforma em um dos

fatores que permitem a evolução do ensino, já que o mesmo permite o feedback do

que se busca – que é não só aquisição dos conceitos passados, mas também as

capacidades de criar, de multiplicar e de utilizar de forma eficaz os conhecimentos e

as habilidades, evidenciando o conceito de capital intelectual e fazendo com que a

avaliação seja um instrumento na busca de um ensino mais rápido e duradouro.

E em qualquer processo avaliativo faz se necessário um acompanhamento

dos resultados assim segue a fundamentação com o BSC.

2.3 BALANCED SCORECARD (BSC)

Na primeira era – a industrial – a alocação de recursos era baseada nos fatores

financeiros e físicos, com a utilização de índices financeiros e de produtividade para

mensurar o desempenho que, conforme Chiavenato (2003) estavam centrados nas

teorias de Henry Ford. Entretanto, esses fatores mostraram-se obsoletos nos anos

que compõem a era da informação, pois nela o ambiente é mais complexo. Para a

obtenção de vantagem competitiva, são necessários vários outros fatores – por

18

exemplo, o ambiente e o desempenho organizacional. É importante o conhecimento

tanto do ambiente interno quanto externo, bem como a análise de seus pontos fortes

e fracos, suas oportunidades e ameaças. Daychoum (2007).

Para o autor Pérez (2007), os agentes econômicos devem agregar valor pelo

que sabem, e também pelo que podem fornecer. E as organizações necessitam de

um monitoramento para acompanhar as atividades que foram planejadas, e assim

verificar se o que foi planejado está sendo executado e respondendo às expectativas

– de tal forma que possa ser feito um realinhamento caso essas não sejam

atendidas, permitindo os ajustes necessários para que o planejado seja cumprido.

Kaplan; Norton (1996) descreve o Balanced Scorecard (BSC) como um

processo focado em fornecer instrumentos para atingir os objetivos de uma

organização moderna, partindo das metas pré-estabelecidas e dos indicadores para

monitorá-las. Dessa forma, ele auxilia a obtenção de êxito no alcance da missão.

Através dele, pode-se medir o desempenho organizacional sob quatro perspectivas:

Financeira; Cliente; Processos Internos; Aprendizado e Crescimento.

Assim, o Balanced Scorecard sugere que as organizações sejam vistas a

partir dessas perspectivas. E para desenvolver “ações para obtenção de sucesso”,

devem-se coletar dados e analisá-los sob o foco de cada uma delas.

Podemos definir o Balanced Scorecard como uma abordagem para

administração estratégica, desenvolvida por Robert Kaplan e David Norton, na

Universidade de Harvard, na década de 90.

O Balanced Scorecard é um processo que possibilita determinar ações para

obtenção de sucesso em uma empreitada. Para isso, a organização precisa

estabelecer a sua missão. Como os próprios criadores desse processo esclareceram

em seu livro “BSC, A Estratégia em ação” de Kaplan e Norton (1996), o

estabelecimento da missão auxilia na criação de medidas para acompanhamento

das metas, possibilitando o monitoramento e o realinhamento, caso seja necessário.

O monitoramento de projetos de uma organização já é realizado por

administradores, e existem metodologias para o devido acompanhamento em uso há

tempos, como pode ser visto no trabalho de Daychoum (1995). Pode-se citar o Plan,

19

Do, Check & Act (PDCA) – ou Planejar, Executar, Verificar e Agir – ferramenta que

implica na melhoria dos processos de fabricação. Mas o foco que Kaplan e Norton

(1996) nos fornecem nesse processo são os quatro aspectos citados anteriormente,

e detalhados a seguir. Os trabalhos de pesquisa realizados pelos autores verificam

que vários aspectos são inerentes às organizações, e alguns deles variam de acordo

com a missão da mesma – mas os aspectos financeiros, clientes, processos

internos, e aprendizagem e crescimento, são comuns a todas elas.

Assim, baseando-se em Kaplan e Norton (1997), esses aspectos procuram

responder às seguintes perguntas, visualizadas na Figura 2.1.

Figura 2.1: Perspectivas do BSC

Fonte: “A estratégia em ação”, de Robert Kaplan e David Norton, 1997.

Dessa forma, o Balanced Scorecard se apresenta para as organizações da

era da informação como um processo que não avalia apenas os fatores financeiros.

Esses fatores se mostraram mais relevantes na era clássica, que compreendia o

período de 1900 a 1950. O principal objetivo do Balanced Scorecard é prover as

organizações de uma prescrição clara sobre o que elas devem medir para equilibrar

as finanças, mas não focando apenas nesse aspecto. Assim, o Balanced Scorecard,

de acordo com Kaplan e Norton (1996), “é um sistema de gestão, e não apenas um

sistema de medidas, que habilita as organizações a clarear sua visão e estratégia, e

traduzi-las em ações”.

20

É importante ressaltar que o Balanced Scorecard não abandona as medidas

financeiras tradicionais, mas sim as complementa, com vetores derivados da visão e

da estratégia da organização. Para Prado (2009), esse processo se ajusta tanto às

medidas de curto quanto às de longo prazo, revelando vetores de valor para

medidas de desempenho financeiro e competitivo.

O Balanced Scorecard complementa as medidas já usadas no mercado,

focadas no aspecto financeiro, com medidas que salientem a missão e visão da

organização. No entanto, para que essas medidas possam ser obtidas com melhoria

na forma, e para que realmente retratem a missão e visão da organização, é

necessário que os componentes da organização estejam comprometidos.

Para os criadores do BSC, Kaplan e Norton (1996), uma das suas

características marcantes é que os componentes da organização devem estar

comprometidos com as metas elaboradas para atingir os objetivos definidos. Porém,

tais metas devem ser elaboradas pelos altos executivos da referida organização,

apoiados pelos especialistas da mesma. Eles devem reconhecer a necessidade das

metas a partir de um processo top-down, norteados pela missão e visão estratégica,

através dos objetivos traçados.

As metas devem representar o equilíbrio entre os indicadores externos,

voltados para os acionistas e clientes, e os indicadores internos, voltados aos

processos críticos de negócio e inovação – como também do aprendizado e

crescimento. Além disso, os criadores Kaplan e Norton (1996) enfatizam que o

processo é baseado em um trabalho de equipe, que deve criar metas para atingir os

objetivos. As metas devem possuir indicadores para possibilitar a sua monitoração, e

assim verificar a evolução das ações que permitem que o objetivo seja atingido. E

para tal, os componentes devem focar nos aspectos financeiro, mercado, processos

e inovação, que são mostrados na figura 2.2.

21

Figura 2.2: Mapa Estratégico

Fonte: “O que é Balanced Scorecard”, de David Kallás, 2009.

Para Kaplan e Norton (2004), o trabalho de montagem do mapa estratégico

consiste em: traduzir a estratégia em objetivos estratégicos específicos; estabelecer

metas financeiras; deixar claro o segmento de cliente e de mercado a que está

competindo; e identificar objetivos e medidas para seus processos internos – o que é

a principal inovação e benefício do BSC.

O Balanced Scorecard destaca os processos mais críticos na busca da

excelência de estratégias que sejam bem sucedidas para obtenção de um

desempenho superior, tanto para clientes quanto para acionistas. Para isso, cria

metas de aprendizado e crescimento que possam expor os motivos para

investimentos na reciclagem de funcionários, na tecnologia disponível e nos

sistemas de informações gerenciais, que vão produzir inovações e melhorias

significativas nos processos internos.

Dessa forma, é possível que os componentes da organização enxerguem e

entendam quais os objetivos da mesma. Isso possibilita a visualização de quais

serão as metas para atingir cada um desses objetivos, quais os indicadores que

permitirão seu acompanhamento, quais as ações que devem ser executadas para

obtenção do êxito desejado e, finalmente, como essas metas se relacionam.

22

Assim, Kaplan e Norton (2004) dizem que “o processo de construção do

Balanced Scorecard esclarece os objetivos estratégicos, e identifica um pequeno

número de vetores críticos que determinam os objetivos estratégicos”. Podemos,

então, dizer que o Balanced Scorecard é um trabalho de equipe de altos executivos

– mas o resultado deve ser um modelo consensual da organização, permitindo que

os componentes da mesma possam contribuir. A implantação da cultura do

Balanced Scorecard na organização deve ser realizada fazendo uso do seu meio

interno de comunicação, para levar as ideias dessa metodologia para a força de

trabalho.

Para Kaplan e Norton (2004), o Balanced Scorecard incentiva o diálogo entre

os setores, gerentes e diretores em relação a objetivos financeiros, bem como em

relação à formulação e implementação de uma estratégia destinada a produzir um

desempenho excepcional no futuro. Para isso, é preciso que os componentes da

organização tenham adquirido uma clara compreensão dessas metas, bem como da

estratégia adequada para alcançá-las, e os esforços e iniciativas estarão alinhados

com os processos de mudança necessários.

Dessa forma, cumpre notar que, mesmo sendo um trabalho de

desenvolvimento de cima para baixo na organização, deve-se manter a preocupação

de envolvimento do maior número de seus componentes no conhecimento dos

objetivos críticos que devem ser alcançados, para que a estratégia da empresa seja

bem sucedida. Assim, Kaplan e Norton (2001) explicam que “o BSC estimula a

mudança, uma vez que seu maior impacto está na indução dessa mudança”. Para

isso, as melhores práticas do mercado devem ser incorporadas à organização pelo

processo de Benchmarking, que é a busca das melhores práticas na indústria que

conduzem ao desempenho superior. Ele é visto como um processo positivo e

proativo. Além disso, deve-se dar uma atenção especial às metas internas, para que

elas não permitam que um setor seja travado na execução de suas atribuições.

Ainda segundo os autores Kaplan e Norton (2001), após o estabelecimento de

metas para as quatro perspectivas, a direção estará em condições de alinhar suas

iniciativas estratégicas de qualidade, tempo de resposta e reengenharia para

alcançar os objetivos extraordinários. Assim o Balanced Scorecard possui o foco

23

para integração e melhoria contínua, para a reengenharia e os programas de

transformação, não se limitando ao redesenho de qualquer processo local. Afinal, os

esforços são dirigidos à melhoria dos processos críticos para o sucesso estratégico

da empresa. E esse processo de planejamento e estabelecimento de metas permite

que a organização consiga avanços nos seguintes aspectos: quantificação dos

resultados pretendidos; identificação dos mecanismos; fornecimento de recursos

para que os resultados sejam alcançados; e estabelecimento de referenciais de

curto prazo para as medidas financeiras e não financeiras. Com isso, melhora o

aprendizado estratégico.

Para os autores, o aspecto mais inovador e importante do Balanced

Scorecard é a incorporação do aprendizado estratégico, que cria instrumentos para

o aprendizado organizacional em nível executivo. Esta inovação monitora e ajusta a

implementação da estratégia, e, se necessário, efetua mudanças na própria

estratégia. Além disso, as revisões gerenciais permitem o exame minucioso das

metas, verificando se elas estão sendo alcançadas. Os autores ainda dizem que o

Balanced Scorecard induz para “o processo de planejamento, estabelecimento de

metas e iniciativas estratégicas que definem metas específicas e quantitativas de

desempenho desejadas”. Assim, a indução segue para o raciocínio dinâmico: as

pessoas veem onde as peças se encaixam, e como seus papéis influenciam outras

pessoas e a própria empresa.

Como a finalidade de utilizar o BSC neste estudo é a obtenção de indicadores

para acompanhamento do processo de ensino que faz uso do PBL, segue a um

estudo sobre três trabalhos relacionados à metodologia PBL.

24

2.4 TRABALHOS RELACIONADOS

Entendido o que é PBL e BSC e qual o contexto dessas metodologias nesse

trabalho, segue uma pesquisa sobre trabalhos publicados relacionados ao uso do

PBL no ensino da Engenharia de Software.

2.4.1 PBL NO CURSO COMPUTAÇÃO DA UNIVERSIDADE DE DONGUA

A primeira pesquisa analisada foi publicada no China Papers, e refere-se à utilização

de avaliações formativas e somativas no curso de Ciência da Computação da

Universidade de Dongua, em Shangai, trabalho de Yin (2006). Esse curso optou por

fazer o uso da aprendizagem baseada em problemas reais, na busca de novos

processos educacionais que auxiliassem na aprendizagem da disciplina de

Engenharia de Software (ESW), que possuía baixo aproveitamento devido ao seu

caráter multidisciplinar.

Esse trabalho de pesquisa aplicada apresentou tipos de avaliações que

contribuíram com o processo de aprendizagem. Foram realizados o estudo e o

desenvolvimento das habilidades necessárias para resolver problemas, através da

análise dessas habilidades e da inferência nesses problemas, com a experiência

prévia que, segundo Yin (2006), fornece sustentação ao aprendizado.

Nessa pesquisa, o PBL foi reconhecido como uma metodologia que deve ser

amplamente utilizada na área educacional que almeja resultados. Na elaboração dos

métodos avaliativos a serem adotados, foi dada uma atenção especial aos

resultados. Essa atenção é corroborada pelo autor Popham (2008), segundo o qual

a avaliação é uma poderosa ferramenta – não só para avaliar a eficiência do

aprendizado por parte dos alunos, como também para verificar se o método de

ensino adotado está produzindo os resultados esperados.

Uma das formas avaliativas adotadas nessa pesquisa foi a inclusão de

feedbacks, o que foi observado por Yin (2006) como uma prática importante no

processo de aprendizagem, pois os alunos podem absorver melhor os conceitos,

25

avaliando-os e também avaliando a si mesmos. Sobre o feedback, já existem

pesquisas que comprovam tal fato. Uma delas, citada por muitos pesquisadores, a

exemplo de Perrenoud (1999), conclui que não se pode ensinar diretamente a

outrem, mas apenas facilitar sua aprendizagem. Uma pessoa aprende,

significativamente, somente aquelas coisas que percebe estarem ligadas à

manutenção ou ampliação da estrutura do seu “eu”; o feedback lhe dá essa

oportunidade.

Yin (2006) observou que em um ensino multidisciplinar, que exige uma

atenção maior por parte do alunato, este tipo de avaliação passa a ser um fator

chave dentro da metodologia PBL, influenciando na forma de absorção de novos

conhecimentos pelos estudantes.

Outra ferramenta importante que, segundo Yin (2006), deve ser utilizado

pelos professores, é formada pelas avaliações formativas e somativas. Para Yin

(2006), em concordância com outros pesquisadores como Freire (1987) e Rogers

(1951), a metodologia tradicional coloca os professores como meros transmissores

de conhecimento, e os estudantes como meros e passivos receptores desses.

Cumpre notar que esses alunos, segundo os autores, estão inseridos em um

ambiente altamente competitivo, focado no sucesso individual. Por sua vez, os

professores, que geralmente possuem excelência na sua especialidade,

normalmente pecam na elaboração de suas aulas, deixando de explorar o raciocínio

dos alunos – isto sendo decorrente, segundo Perrenoud (1999), da sua falta de

conhecimentos na área de educação.

Para que os professores possam usar avaliações que estimulem o raciocínio,

é necessário, segundo Yin (2006), uma renovação da relação estudante-professor.

Isso já foi observado por Piaget (1985). Segundo os dois teóricos, como o objetivo é

tornar os alunos mais independentes e ativos, faz-se necessário também que as

estratégias educacionais utilizem novos métodos, e, por conseqüência, novas

atividades que sejam interessantes e motivadoras. Além disso, é preciso que

requeiram o envolvimento dos alunos nessas atividades de aprendizagem – o que,

no ensino tradicional, não se verifica: a devida preocupação na elaboração dessas

estratégias.

26

Assim, segundo Finkel e Torp (2009), o PBL é uma de várias metodologias

instrutivas que podem ser utilizadas na perspectiva construtivista, gerando um

ambiente onde os estudantes são motivados a exercer um papel ativo na elaboração

e na conclusão das suas atividades. Essas, por sua vez, possibilitam o aprendizado

do objetivo desejado – pois a prática da teoria faz parte do cotidiano do aprendiz que

faz uso dessa metodologia. De acordo com essa definição, a aquisição de

conhecimento é fator primordial para o desenvolvimento de habilidades através da

solução de problemas.

No trabalho de Yin (2006), realizado no curso de Ciência da Computação, foi

adotada a prática da programação supervisionada, substituindo as aulas teóricas de

programação. A intenção era que os conceitos fossem reforçados e assim melhor

assimilados, e as habilidades de construção de software fossem exploradas através

da solução de problemas reais.

Com o uso dessa metodologia foi possível observar, através das avaliações,

que os alunos se tornaram mais aptos ao desenvolvimento de programas com um

grau de complexidade maior – uma vantagem importante a ser salientada em

relação ao ensino tradicional, cujo objetivo é apenas conferir se os estudantes

dominam a sintaxe da linguagem de programação. Através desse conhecimento,

eles estarão capacitados a escrever pequenos programas que, de forma geral, não

exercitam a criatividade – e, por consequência, o domínio da habilidade na

linguagem ensinada. Essa abordagem é claramente desvantajosa, já que, no

mercado de trabalho, como competência para construção de software, será exigida a

solução de problemas normalmente não triviais.

Um fator relevante no trabalho de pesquisa de Yin (2006) é a aplicação das

avaliações que retrataram as competências adquiridas. Para tal estudo, foram

levados em consideração vários tipos de avaliações – como as formais, os

feedbacks e os trabalhos em equipe. O que foi verificado pelo teórico é que se faz

necessária uma avaliação que permita aos envolvidos no processo de aprendizagem

a verificação da sua efetividade – ou seja: que os alunos possam verificar o que

realmente aprenderam, e o que os professores realmente conseguiram transmitir.

27

Yin (2006) introduziu no curso de Computação da Universidade de Dongua,

em Shangai, um método que foi aplicado como avaliação das atividades executadas

pelos alunos no processo de aprendizagem. Tal método foi baseado nas avaliações

formativas e somativas, para que tanto os alunos quanto os professores verificassem

o que foi aprendido. Para isso, fez uso das práticas descritas abaixo:

• A prática introduzida consistiu em atribuir aos estudantes, durante o

transcorrer do processo, uma nota indicativa de atenção às atividades

passadas, com o intuito de verificar se estavam ou não atentos, buscando dos

mesmos uma maior dedicação aos assuntos ministrados;

• A outra prática adotada foi o uso de feedback, objetivando estimular o aluno a

verificar seus pontos fracos na aprendizagem, e, ao mesmo tempo, os dos

professores no repasse dos conhecimentos; e

• Todas as atividades concebidas deveriam envolver todos os alunos, porém

observando as características específicas de cada atividade – e também de

cada aluno – para permitir que o feedback fosse pertinente e significativo para

o objeto do estudo e para os envolvidos nele.

O trabalho de pesquisa de Yin (2006) também elaborou alguns conceitos

importantes que foram implementados na metodologia – conceitos estes mostrados

a seguir:

• Considerar a heterogeneidade do grupo e ressaltar aos professores que

devem fazer bom uso dela;

• Fazer uso de vários tipos de avaliação, para verificar: o aluno individualmente,

o grupo formado para fazer determinada atividade, e a turma como um todo; e

• Fazer uso de diversos tipos de avaliação: trabalhos escritos, projetos,

apresentações e feedbacks.

Ainda nesse estudo, verificou-se que não é importante o tipo de avaliação,

mas sim a sua propriedade para avaliar o que se pretendeu ensinar. O objetivo é

atribuir o valor mais significativo possível ao aluno, em relação ao desempenho do

mesmo na execução da tarefa atribuída. Para isso, segundo o autor, essa avaliação

deveria ser suficientemente flexível, contendo um maior número de formatos – e

28

sempre favorecendo o feedback, para que os estudantes possam fazer uso desse

na melhoria do seu desempenho.

Na pesquisa realizada pelo autor, na busca da efetividade do ensino, foram

utilizados recursos como conferências e grupos de trabalhos, além de outras formas

de transmissão de conhecimentos – fazendo com que a atividade de aprendizagem

fosse a mais variável possível, com o intuito de facilitá-la. Para tal, foram definidos

nessa metodologia os papéis que deveriam ser utilizados, que são descritos a

seguir:

• Alunos são os que têm a missão de empreender as tarefas definidas da

melhor forma possível; e

• Supervisores são os professores, que devem atuar como facilitadores – e não

como meros direcionadores das tarefas solicitadas – objetivando que os

alunos se tornem proativos no processo de aprendizagem, e busquem

aprender e aplicar o conhecimento almejado através de habilidades

adquiridas durante o processo de solução do problema.

Com esse trabalho, pode-se verificar que o custo de preparação das aulas por

parte do corpo docente e administrativo é mais alto que nas aulas tradicionais. Isso

ocorre devido à demanda por um cuidado maior na sua preparação, com o intuito de

gerar a participação do corpo discente.

Para verificar se a metodologia utilizada por Yin (2006) atingiu os objetivos

traçados, foram propostos indicadores individual e equipe e o professor é o

responsável por atribuir as notas e fornecer o feedback, tanto para o grupo quanto

para o indivíduo.

Para fornecer subsídios aos indicadores, a metodologia propõe a seguinte

pontuação, descrita no quadro 2.1, estabelecendo a aplicação de percentuais para

avaliação.

29

Quadro 2.1: Percentual para Avaliações da Metodologia de Yin

Avaliação Item a ser avaliado % Avaliação Grupo (60%)

Plano de projeto 20% Relatório de projeto e teste de sistema 30% Apresentação de grupo final e semanal 10%

Avaliação Individual (40%)

Avaliação do portfólio (logbook) 10% Relatório de progresso verbal 10% Autoavaliação e dos componentes do grupo 10% Exame oral 10%

A metodologia propõe os passos que devem ser executados para aplicá-la.

Para melhor entendimento, segue descrição a seguir:

• O grupo avalia um plano de ação;

• Verifica-se se foram elencadas todas as atividades que necessitam ser

realizadas pelo grupo para completar o projeto em tempo hábil;

• Durante três semanas, é necessário preparar um plano de projeto, construído

pelos próprios alunos;

• Todos os componentes do grupo devem receber uma responsabilidade;

• O professor que assume o papel de supervisor irá verificar se todas as

atividades que deveriam ser executadas o foram;

• Um cronograma para organizar todos os horários das tarefas também deve

ser elaborado;

• Um supervisor deve monitorar o progresso ao longo do projeto;

• Ao término de cada semana, cada componente do grupo deve fazer um

relatório com as atividades executadas, e esse relatório deve ser submetido

ao supervisor, que pode dar sugestões;

• O grupo deve produzir apresentações, que devem ser proferidas por um

representante de grupo ou por todos do grupo, dependendo do que for

acertado pelos componentes – e também o que for mais apropriado – em

intervalos mínimos de 15 a 20 dias. Essa prática leva os estudantes ao

desenvolvimento de habilidades de apresentação, ao mesmo tempo em que

as habilidades dos assuntos específicos são adquiridas;

• Ao término do semestre, o grupo produzirá um relatório final e um protótipo do

produto, com as fontes comentadas dos mesmos. Além disso, os documentos

30

de sistemas, como dados e modelagem, dicionários de dados e diagramas

que foram produzidos, serão apresentados ao supervisor para avaliação;

• Os componentes do grupo devem produzir, também, uma apresentação final

do produto, demonstrando suas funcionalidades em detalhes;

• Durante o projeto, os alunos devem manter um registro de todas as atividades

executadas (logbook);

• Em períodos pré-definidos, devem ser providenciados relatórios de progresso.

Os componentes do grupo deverão apresentar a evolução do mesmo através

de reuniões de classe, e o tema deverá enfatizar uma revisão do plano de

projeto atual e destacar discrepâncias existentes no grupo. O propósito

principal dessa atividade é conhecer a extensão do aprendizado do aluno –

além de prover feedbacks, fornecendo aos estudantes uma oportunidade para

melhorar as habilidades de apresentação individual, que, por falta de

experiência, mostram-se um ponto fraco comum entre os estudantes;

• Os supervisores atribuem uma pontuação para cada apresentação, além de

comentá-las, e fazem o direcionamento necessário para melhorar o que for

preciso;

• Realização de uma autoavaliação, que servirá para o estudante fazer

julgamentos no próprio trabalho, e também nos dos outros componentes da

equipe; e

• Realização de um exame oral individual, que possibilita ao supervisor

identificar particularidades do conhecimento e habilidades adquiridas pelos

estudantes, além das que não foram adquiridas e são necessárias para o

domínio da área pretendida. Aqui, o supervisor deverá ser capaz de identificar

os bons estudantes de outros que não contribuíram no desenvolvimento do

projeto – isto é, não participaram ativamente do grupo.

Verificou-se que, nessa metodologia, o ato de fazer apresentações e escrever

relatórios é considerado um instrumento essencial de avaliação. O relatório do

projeto é um dos meios pelos quais os estudantes registram os procedimentos

adotados, observações e resultados de atividades práticas – e, por sua vez, os

professores podem avaliar o conteúdo desses. Essa tese é reforçada pelos

pesquisadores Arter e Spandel (1992), que afirmam que uma avaliação pode ser

31

baseada na qualidade de uma apresentação, através da análise do seu conteúdo e

da verificação das atividades praticadas.

Os relatórios são úteis de duas maneiras. A primeira é que eles indicam que o

conhecimento adquirido pelo estudante, comprovando o entendimento e a absorção

das habilidades pretendidas, como também os valores e atitudes pertinentes à área

do estudo. A segunda é que os alunos aprendem a partir de experiências

construídas por eles mesmos, e assim, segundo Freire (1996), aprendem baseados

nas suas próprias experiências, garantindo um aprendizado mais duradouro.

Concluindo a análise dessa pesquisa, pode-se verificar que os estudantes

passaram a ter uma melhor ideia das características desejadas pelo mercado de

trabalho. Além disso, é mais fácil observar a evolução do desempenho do corpo

discente através dessa nova abordagem – ela permite que os conhecimentos pré-

existentes sejam a base para a obtenção dos novos, sedimentando os anteriores e

favorecendo os complementares na escalada da aprendizagem. Assim, ficou

evidenciada a utilidade dessa nova abordagem. Entretanto, cumpre notar um

problema levantado tanto pelo corpo discente quanto pelo docente, que foi a

dificuldade em realizar relatórios com maior qualidade – já que, para isso, apresenta-

se o requisito de familiaridade com a metodologia, e uma maior desenvoltura no

domínio de relatar o ocorrido (feedback). No entanto, de forma geral, a metodologia

aplicada trouxe benefício à aprendizagem, mostrando ser uma alternativa plausível

em processos de ensino que necessitem integrar teoria e prática.

2.4.2 PBL NO CURSO CIÊNCIAS APLICADAS DA UNIVERSIDADE DE TURKU

Outro trabalho relacionado à PBL é o de Tuohi (2007), da Universidade de Turku de

Ciências Aplicadas, que foi utilizado inicialmente no Degree Programme in

Information Technology, objetivando a criação de grupos para desenvolver projetos

de software. Para a execução desse trabalho, foi utilizada a aprendizagem baseada

em problemas (PBL), agrupando noventa e dois estudantes iniciantes e oito

professores em times. Foi criada, assim, uma metodologia com o intuito de aprender

fazendo. As práticas dessa metodologia são explicadas a seguir.

• Inicialmente os participantes foram organizados entre estudantes, tutores e

observadores;

32

• Ensinou-se aos participantes a fazer e receber feedbacks, sendo apresentada

para os mesmos a metodologia PBL; e

• Os estudantes produziram um relatório sobre o problema, à solução e as

conclusões, e esses foram entregues dez dias após o início da fase de

aprendizado. No final o tutor e o observador do grupo realizaram a avaliação

de desempenho do respectivo grupo e também de cada componente do

mesmo.

Essa metodologia foi aplicada durante três anos consecutivos, e foi

aprimorada a cada ano. A evolução da metodologia se deu a partir das avaliações

resultantes da execução das atividades, obtidas no final de cada ano.

No primeiro ano, os professores observaram que, nessa abordagem, os

alunos só conseguiam êxito se estivessem concentrados no trabalho – não se

preocupando com o processo de avaliação em si, mas sim com a execução das

atividades previstas. Caso o foco ficasse na avaliação tradicional, observava-se uma

crescente desmotivação pelas atividades.

Outro ponto observado nesse trabalho foi em relação aos feedbacks, que

motivaram uma série de questionamentos sobre quem deveria produzi-los – isto é,

de quem deveria ser a responsabilidade de fornecê-los: se dos tutores, se dos

observadores, se dos estudantes, ou se de todos. Além dessa discussão, houve

também o questionamento sobre se somente as avaliações formativas, somativas ou

ambas deveriam ser realizadas.

No segundo ano de aplicação da metodologia PBL, os professores

programaram as avaliações com base nos estudos de Rasinkangas (2009), nos

quais as avaliações eram divididas em dois tipos: uma planejada para os secretários,

observadores e presidente do grupo, e outra para os alunos, que são os

componentes básicos, gerando novos papéis: os de secretários e os de presidente

do grupo, que nessa metodologia é denominação de time.

No final do período letivo, com a aplicação das avaliações do uso do PBL no

processo de aprendizagem, outra vez a questão foi levantada: “O que o aluno achou

33

da forma de avaliação aplicada no PBL?”. Novamente, os alunos responderam que

estavam bastante satisfeitos.

No terceiro ano de aplicação do trabalho, a preocupação passou a ser a

qualidade da produção dos feedbacks realizados pelos estudantes, bem como as

suas autoavaliações. O objetivo dessa ênfase foi o de motivar os estudantes na

obtenção de melhores desempenhos.

Um ponto importante dessa metodologia foi a realização de autoavaliações

por parte dos alunos. Elas foram analisadas pelos tutores e observadores, porém

não tiveram influência direta nas notas obtidas pelas avaliações tradicionais

realizadas no curso. O objetivo não foi modificar as regras de aprovação acadêmica,

mas sim avaliar o processo de estudo, para verificar se, com essa nova abordagem,

o mesmo se torna mais efetivo ou não. Importante ressaltar que, pelo fato do alunato

não estar familiarizado com essas novas formas de aprendizagem, houve uma

esperada repercussão nas notas. Assim sendo, o foco não foi o tradicional – de

aprovação ou reprovação – e sim a verificação dos resultados obtidos. Por esta

razão, muitas preocupações foram observadas, como a quantidade de perguntas e

sua complexidade – buscando sempre a opção pela maior simplicidade.

Dessa forma, o objetivo maior do método foi obter um impacto positivo na

avaliação do curso por parte dos docentes e discentes. Isso foi atingido com a

melhoria constante das práticas aplicadas, que culminou na melhoria das notas

conseguidas pelos alunos. No final do trabalho, que serviu para analisar o uso do

PBL no processo de aprendizagem, foi elaborada a seguinte questão: “O que o

aluno achou da forma de avaliação aplicada no PBL?”, e a maioria dos estudantes

respondeu que a forma de avaliação foi produtiva.

Os conceitos e indicadores aplicados nessa metodologia são básicos, e

consistem em relatórios, e ambos podem ser vistos a seguir:

• Realizar avaliações no início e no término de cada fase;

• A forma de avaliação adotada foi o feedback das atividades realizadas;

• Nenhum dos componentes de time se autoavalia diretamente, mas todos

obtêm no mínimo duas avaliações; e

34

• Indicadores utilizados - individual e equipe.

Para a realização dessa metodologia, alguns papéis foram definidos. No

início, os papéis estavam resumidos a alunos, tutores e observadores. Ao longo do

processo, foi observada a necessidade de inclusão de novos papéis. A seguir

mostram-se todos os papéis identificados:

• Estudantes, que têm a missão de empreender as tarefas definidas da melhor

forma possível;

• Tutores são os professores que devem atuar como facilitadores – e não como

meros direcionadores das tarefas solicitadas – objetivando que os alunos se

tornem proativos no processo de aprendizagem, e busquem aprender e

aplicar o conhecimento almejado através de habilidades adquiridas durante o

processo de solução do problema;

• Observadores são os professores que devem atuar como facilitadores, e

observar o andamento das atividades, além de serem os responsáveis em

atribuir as notas e fornecer o feedback, tanto para o grupo como para o

indivíduo, realizando a avaliação dos componentes do time. Entretanto, não

realizam suas próprias avaliações;

• Secretários são alguns dos componentes do time escolhidos para produzir

feedbacks mais detalhados, avaliando os componentes do time. Também não

realizam suas autoavaliações; e

• Presidentes são componentes do grupo responsáveis por coordenar algumas

das atividades, e avaliar se os feedbacks estão ou não prontos para serem

entregues. Também realizam as avaliações dos secretários e dos

observadores, possibilitando assim, no mínimo, duas avaliações para cada

componente.

Em uma conferência ocorrida em Melbourne, na Austrália, os professores

expressaram suas opiniões sobre o processo de avaliação adotado no ensino com

base no PBL. A maioria sintetizou que os alunos agrupados em times passaram a

obter boas notas nas disciplinas ministradas no curso. Outro aspecto observado é

que a natureza da avaliação do professor que se baseava em avaliações formativas,

passou a ser incrementada com avaliações somativas, gerando um motivador a mais

35

em todo o processo, e tornando o feedback do professor mais importante. Por

conseqüência, os professores passaram a ser mais criteriosos na elaboração

desses.

O trabalho de Tuohi, portanto, verificou a necessidade de mudar o sistema

avaliativo através da utilização de grupos de trabalhos (times), que objetivavam a

produção de relatórios do problema a ser solucionado (feedbacks), fazendo uso de

apresentações para explicá-los. Para isso, foram adotados papéis com finalidades

específicas – como o de coordenador, para aplicar aferições de participação, por

exemplo. Assim, os professores passaram a produzir feedbacks com mais

qualidade, anexando as notas decorrentes da participação de cada um.

O problema observado nessa prática foi o mesmo encontrado na pesquisa

anterior, e se refere aos feedbacks. Provenientes dos relatos, eles são produzidos

em grande quantidade, e o fato de alguns não terem prática na sua produção

ocasionou a geração de muito texto repetitivo – o que acabou culminando na

necessidade de um trabalho de triagem.

Posteriormente, esse problema recebeu um tratamento. Foi introduzida a

produção dos relatórios em pares, fazendo com que fossem produzidos de forma

mais criteriosa.

2.4.3 PBL NO MESTRADO PROFISSIONAL DO CESAR

Esse trabalho foi desenvolvido no Centro de Estudos e Sistemas Avançados do

Recife, em 2007, com a finalidade de verificar a aplicabilidade do PBL no ensino da

Engenharia de Software. Santos et al (2008) verificaram a possibilidade do uso da

metodologia em Tecnologia da Informação e Comunicação. Essa área, que se

encontra em constante evolução, necessita de práticas que permitam a sua

assimilação com a menor curva de aprendizagem possível.

O objetivo do trabalho de Santos et al (2008) é melhorar a efetividade da

aprendizagem da Engenharia de Software, com a utilização de fábricas de software,

onde os estudantes podem vivenciar a resolução de problemas reais. O trabalho foi

36

realizado no Mestrado Profissional de Engenharia de Software do Centro de Estudos

e Sistemas Avançados do Recife.

O foco desse trabalho foi fazer com que os alunos, que são – ou serão em

breve – profissionais da área de TIC, tornem-se aptos às mudanças constantes

dessa área, já que os profissionais precisam frequentemente se adaptar a novos

conceitos, métodos e técnicas na solução de problemas específicos de mercado.

O MPES fez uso do trabalho de Santos et al (2008) com a proposta de

resolver essa necessidade de mercado, buscando colocar, dentro do processo de

ensino, habilidades como o bom relacionamento interpessoal. Segundo Chiavenato

(2003), tais habilidades são desejadas pelo novo modelo de organização. Além

disso, é desejável propor o ensino das novas tendências através de uma

metodologia alternativa, que busque relacionar a experiência prática do trabalho com

a aprendizagem. Devido a isso, foi utilizada a metodologia PBL, com o intuito de

melhorar a efetividade da aprendizagem, promovendo a habilidade dos estudantes

para trabalhar em grupos focados na resolução de problemas reais, bem como

estimulando o desenvolvimento das habilidades e atitudes de trabalho em equipe e

autoavaliação.

Segundo Peterson (1997), são três os critérios importantes para a promoção

de uma aprendizagem efetiva com o uso do PBL: uso da prática no processo de

aprendizagem; maior interação entre os estudantes; e aprendizagem baseada em

resolver problemas reais. Tendo esses três elementos como referência, a

metodologia adotada pelo CESAR para o MPES foi usar como ferramenta uma

Fábrica de Software (FSW), na qual os estudantes foram designados a desenvolver

um software através de um projeto real, cujas necessidades foram elicitadas com

clientes reais. Os alunos foram apoiados por processos, papéis e métricas com o

intuito de controlar e obter os resultados desejados.

Segundo Santos et al (2008), a adoção da metodologia PBL não é uma tarefa

fácil – e tal método é frequentemente uma surpresa para alunos e professores. Isso

ocorre devido ao seu paradigma totalmente diferente de ensino tradicional, baseado

em uma aprendizagem unilateral, do professor para o estudante.

37

Para confirmar as observações da autora, temos as experiências de Waters e

McCracken (1996), que descrevem a aplicação do PBL em um curso de Sistemas de

Informação, fazendo uso do instrumento de fábricas de software para o ensino das

disciplinas.

Nesse contexto, a metodologia proposta era fazer uso das experiências dos

alunos em desenvolvimento de software – que normalmente estava resumida a um

ou dois anos – com o apoio de um profissional maduro, que trabalhava como

colaborador. O estudo foi executado em duas turmas.

No experimento, alguns problemas puderam ser identificados – como a

superficialidade da descrição dos problemas encontrados, bem como a insuficiência

na descrição das soluções. Tal superficialidade nas descrições (feedbacks) pode

também ser verificada na Metodologia de Tuohi. Assim, é percebido que, no início,

os relatórios são pouco elaborados, até que atinjam detalhamento suficiente por

ocasião do domínio da técnica. Na metodologia de Santos, para minimizar esses

problemas, foram implementadas as práticas descritas a seguir:

• Fazer uso de Fábrica de Software como ambiente para implementar a prática

no ensino da Engenharia de Software;

• Melhoria no controle dos processos de desenvolvimento de software com o

uso da Fábrica de Software; e

• Organizar o trabalho com considerável especialização, formalização e

padronização de seus processos.

Essa metodologia é apoiada por quatro papéis básicos, que são descritos a

seguir:

• Grupo, que compõe a Fábrica de Software – sendo assim possível explorar

diferentes capacidades em desenvolvimento de software. O grupo é composto

por estudantes, que representam todos os papéis no desenvolvimento de

software – como gerente de projeto, analista de sistemas, arquiteto de

software, desenvolvedor, SQA e testador. É recomendável formar grupos de 5

a 7 componentes, nos quais cada estudante possui vários papéis;

• Monitor, que é responsável pelo desenvolvimento de software nas fábricas,

além de administrar o processo definido. Esse papel também é responsável

38

por gerar relatórios sobre os resultados das fábricas, avaliando o

desempenho e o compromisso de cada um de seus componentes;

• Cliente, que deve ser um demandante real do mercado de trabalho. É o

componente que solicita projetos para as fábricas de software, através de um

Pedido para Proposta (RFP). Esse documento apresenta uma breve

explicação das suas necessidades. O cliente também é responsável por

responder a um questionário de avaliação de satisfação, que faz parte do

método avaliativo aplicado nas fábricas; e

• Professor, que é responsável por ensinar o programa planejado para cada

disciplina. Também é responsável por coordenar as atividades acadêmicas,

servir de consultor no contexto da disciplina especificada e, além disso,

realizar as avaliações dos estudantes.

É importante enfatizar que todos os estudantes são envolvidos em cada um

dos passos do processo de desenvolvimento de software. Para que essa

metodologia possa funcionar adequadamente, são propostas as atividades descritas

a seguir:

• Criação dos grupos em fábricas de software considerando aspectos como

habilidades e afinidades – o que deve ser obtido através de entrevistas;

• Escolha do processo de desenvolvimento de software entre os aceitos pela

comunidade de TIC;

• Definição do processo de desenvolvimento de software detalhando o mesmo

com os papéis, artefatos e modelos;

• Definição da infraestrutura da Fábrica de Software;

• Definição do modelo empresarial – por exemplo, o tipo de licença de software

e as políticas de proteção da organização;

• Definição das políticas de avaliação internas; e

• Definição das políticas de avaliação de cliente.

Dentro desse contexto, o currículo é organizado em sete disciplinas baseadas

no SWEBOK, e cada uma é dividida em três módulos: básico, intermediário e

profissional. Tais disciplinas são estruturadas com um conteúdo próprio para apoiar

a resolução de fábricas de software. As disciplinas propostas pela metodologia são:

39

Fábricas de software; Aplicação e interface de usuário; Gerência de projeto;

Arquitetura; Engenharia de reuso; Interoperabilidade; e Verificação e validação de

sistemas. Todas são distribuídas em 15 horas de atividades de classes, 12 horas de

atividades práticas, e uma hora de avaliação, ao final de cada semana.

O projeto de software deve ser baseado em uma demanda real do cliente.

Assim, a metodologia definiu alguns conceitos para apoiar a sua definição,

mostrados a seguir.

• Os problemas têm que ter conceitos pertinentes e princípios para o domínio

corrente. Assim, o processo começa com a identificação de conceitos

primários – ou princípios – que o estudante deve aprender;

• Os problemas devem ser reais, com preocupações e assuntos. Cada projeto

é submetido pelos clientes, e eles devem ser complacentes a um jogo de

exigências, relacionadas aos tópicos de inovação, relevância para indústria,

modelo empresarial e desenvolvimento do processo. Os clientes precisam

motivar os estudantes e empenhá-los no problema;

• O processo é baseado no modelo de referência de maturidade, capacidade e

integração (CMMI). Isso reúne, dentre as práticas da indústria, o melhor que

pode ser implementado em projetos de software. O objetivo desse processo é

prover uma ferramenta de diagnóstico, para assegurar aos estudantes que

estão progredindo adequadamente em direção ao aprendizado desejado,

tendo em vista práticas reais de mercado; e

• As atividades planejadas são mantidas e atualizadas com o apoio da

ferramenta Moodle, que é um software opensource projetado para apoiar

educadores no ensino à distância.

Com esses conceitos, é possível aplicar avaliações para as fábricas de

software permitindo um acompanhamento contínuo, bem como verificando o

progresso das atividades desenvolvidas. Para aplicar as avaliações, os indicadores

utilizados são exibidos a seguir:

• Existem dois tipos de avaliação: a individual e a coletiva;

• A avaliação individual é focada nos conceitos e fundamentos das disciplinas,

e é aplicada pelo professor; e

40

• A avaliação da equipe é focada na obtenção do resultado global de cada

Fábrica de Software, e é aplicada pelo monitor.

Essa pesquisa é baseada no modelo de referência de maturidade,

capacidade e integração (CMMI), o que permite o uso de práticas de mercado

reconhecidas pelo Instituto de Engenharia de Software (SEI). Isso permite a

aplicação de regras consolidadas e reconhecidas, tanto na implementação de

projetos de software, quanto no objetivo de prover uma ferramenta para diagnosticar

a evolução dos estudantes. Tendo em vista práticas reais aplicadas no mercado, ela

possibilita a integração das experiências pessoais e profissionais no processo de

aprendizagem, bem como o uso de um ferramental (Moodle), voltado para o Ensino

a Distância (EAD).

Um problema verificado nessa metodologia foi a grande quantidade de

disciplinas envolvidas no processo de ensino da Engenharia de Software (ESW), em

contraposição à pequena quantidade de componentes por Fábrica de Software

(FSW). Em conjunto com a necessidade de realização de atividades reais, isso gera

conflitos entre produções acadêmicas e profissionais. Entretanto, devido à existência

da adversidade no mundo real – principalmente na disponibilidade do cliente, dentre

outras variáveis – tal problema acaba servindo para tornar mais real o processo de

aprendizagem.

2.4.4 COMPARAÇÃO ENTRE OS TRABALHOS DE PESQUISA CITADOS

Para melhor visualizar a comparação entre os trabalhos pesquisados, segue o

quadro 2.2, que pode complementar o entendimento das três metodologias

pesquisadas.

41

Quadro 2.2: Comparativo entre os Trabalhos Pesquisados Metodologias Yin Tuohi Santos

Práticas Nota de Atenção; Uso de feedbacks; Avaliação apropriada ao contexto.

Transmitir os conceitos do PBL; Produção de feedbacks; Realização de avaliações.

Uso de fábricas de software; Uso de metodologias que são aceitas pelo mercado.

Conceitos

Aproveitar a heterogeneidade; Avaliar o individuo; Avaliar a equipe; Avaliar a turma; Utilizar diversos recursos avaliativos.

Realizar avaliações no início e no término de cada fase; Nenhum dos componentes deve se autoavaliar; Obter no mínimo duas avaliações por componente do grupo.

Utilizar problemas reais; Utilizar processos de mercado para garantir a qualidade.

Papéis Alunos; Supervisores.

Alunos; Tutores; Observadores; Secretários; Presidentes.

Alunos; Professores; Monitores; Clientes.

Indicadores Individual; Equipe.

Individual; Equipe. Individual; Equipe.

Pontos Fortes Propicia o aprendizado do trabalho em equipe; Melhora no acompanhamento do rendimento educacional; Estimula áreas correlacionadas às disciplinas ministradas.

Entendimento da necessidade de mudanças no sistema avaliativo; Trabalho em equipe atendendo a uma necessidade do mercado de ter profissionais com facilidade de relacionamento; Maior dinamismo nas avaliações dos professores.

Integração das experiências pessoais e profissionais; Aplicação dos conceitos de mercado atuais; Utilização de processo avaliativo formativo e somativo.

Pontos Fracos Trabalho exaustivo na preparação das aulas; Metodologia fortemente atrelada a feedbacks.

Quantidade excessiva de relatórios, retardando o processo avaliativo; Falta de prática no dinamismo exigido pela metodologia.

Grande quantidade de disciplinas envolvidas que se confundem com processo profissional e acadêmico; Adversidades do mundo real que impedem que o processo acadêmico transcorra sem dificuldades.

42

2.4.5 AVALIAÇÕES DAS METODOLOGIAS PESQUISADAS

Com o estudo da Metodologia de Yin, podemos observar alguns pontos fortes

e fracos, descritos a seguir:

• Pontos Fortes

o Os estudantes passam a ter uma melhor ideia do que é trabalhar em

equipe – uma das características desejadas pelo mercado de trabalho;

o Fica mais fácil observar a evolução do desempenho do estudante;

o Permitir que os conhecimentos pré-existentes dos alunos possam ser

usados para construir novos conhecimentos desejados; e

o Estimular áreas de atuação que não são objetivos diretos do ensino,

mas que são muito desejadas como habilidades complementares. Por

exemplo, a de realizar apresentações com maior desenvoltura e a de

saber trabalhar em equipe.

• Pontos Fracos

o As preparações das aulas requerem um maior trabalho no seu

planejamento, exigindo um maior conhecimento das práticas

educacionais por parte do corpo docente; e

o A necessidade de relatórios é vital para essa metodologia, colocando

os conceitos avaliativos fortemente vinculados aos feedbacks das

narrativas desenvolvidas.

No trabalho da Metodologia de Tuohi, são observados os seguintes pontos

fortes e fracos, descritos a seguir:

• Pontos Fortes

o Utilização de grupos de trabalhos (times) que tinham a missão de

produzir relatórios do problema a ser solucionado, fazendo uso de

apresentações para explicá-lo;

o Outra inovação aplicada foi a adoção de um coordenador de grupo,

que deveria aplicar notas pela participação dos componentes na

confecção dos relatórios, justificando-as; e

o Com base na avaliação anterior, os professores passaram a incluir

seus feedbacks e notas como anexos, colocando também as notas

avaliadas pelos professores pela participação de cada aluno.

43

• Pontos Fracos

o Grande quantidade de relatórios, provenientes dos feedbacks, que

acarretaram em sobrecarga para os tutores, no processo de avaliação

dos mesmos; e

o Alunos sem prática na produção de relatórios, gerando muito texto

repetitivo, o que ocasionou um trabalho a mais (o de triagem) por parte

dos professores.

Para finalizar, são apresentados os pontos fortes e fracos Metodologia de

Santos, a seguir:

• Pontos Fortes

o Possibilidade de integrar as experiências pessoais e profissionais no

processo de aprendizagem, integrando todos os stakeholders;

o Aplicação de conceitos moderno da área de TIC no processo de

aprendizagem;

o Processos de avaliação formativa e somativa, tanto para o indivíduo

quanto para o grupo, fazendo uso de ferramenta voltada para EAD

(Moodle) no processo de aprendizagem; e

o Processo baseado no modelo CMMI, que junta o melhor das práticas

de mercado para implementação em projetos de software, tendo como

objetivo prover ferramental de diagnóstico para assegurar aos

estudantes o seu progresso, tendo em vista práticas reais de mercado.

• Pontos Fracos

o A grande quantidade de disciplinas envolvidas no processo de ensino

da ESW versus a pequena quantidade de componentes por FSW, em

conjunto com a necessidade de realização de atividades reais, geram

conflitos entre produções acadêmicas e profissionais; e

o As adversidades do mundo real – principalmente aquelas relacionadas

à disponibilidade do cliente – geram problemas no processo de

elicitação e homologação. Ao mesmo tempo, servem de preparação

para o mundo real, gerando desconforto na produção dos artefatos

exigidos academicamente.

44

Para melhor entender as formas de avaliar aplicados nas três metodologias, segue

uma descrição delas, a seguir:

• Yin - O processo de avaliação adotado por essa metodologia consiste na

elaboração de relatórios que servem como feedback, com o objetivo de

estimular o aluno a verificar seus pontos fracos na aprendizagem. No

transcorrer do processo, o supervisor irá atribuir uma nota indicativa de

atenção aos estudantes, objetivando a pró-atividade dos alunos. Além dessa

nota, o supervisor atribui outras, representando 60% do total para o grupo e

40% para o indivíduo. São analisados como artefatos do grupo o plano de

projeto, com 20%; o relatório de projeto e teste de sistema, com 30%; a

apresentação de grupo semanal e final, com 10%. Para a avaliação individual:

a produção do portfólio, com 10%; relatório de progresso verbal, com 10%;

autoavaliação e avaliação dos componentes do grupo, com 10%; e,

finalmente, o exame oral, com 10%;

• Tuohi - O processo de avaliação adotado por essa metodologia consiste na

elaboração de relatórios pelos alunos, no início e término de cada fase,

relatando os problemas e soluções. Assim, é fornecido o feedback do que os

mesmos entendiam e passaram a entender depois da fase transcorrida. Os

componentes também são avaliados pelos secretários (componentes do

time), que fornecem feedbacks mais detalhados. Já os secretários são

avaliados pelos presidentes (componentes do time). Todos esses relatórios

são analisados e pontuados – tanto individualmente quanto em grupo – pelos

tutores, identificando os alunos que foram proativos. Os observadores, por

fim, pontuam os conhecimentos obtidos pelos alunos através de habilidades

adquiridas durante o processo de solução do problema; e

• Santos - O processo de avaliação adotado por essa metodologia consiste em

aplicar questionário, com questões subjetivas, sobre os assuntos abordados

durante cada semana. Para isso, é utilizada a ferramenta Moodle, de ensino a

distância. Além disso, são enviados questionários de avaliação para os

clientes que designam os problemas a serem resolvidos, com o objetivo de

medir a sua satisfação. Tais questionários são agregados às avaliações que

45

serão pontuadas pelos monitores, relativas à produção dos artefatos

realizados pela equipe. Dessa forma, são realizadas tanto avaliações

individuais quanto coletivas – além das avaliações formativas, que verificam a

evolução individual e coletiva dos conceitos passados e de suas aplicações

na prática.

Comparando as metodologias, em busca de um melhor entendimento das

mesmas, percebe-se que a aprendizagem baseada em problemas é um instrumento

que pode ser usado como alternativa para ensinar a Engenharia de Software, pois o

uso de instrumentos como as fábricas de software ou os grupos de trabalho

possibilitam a integração entre os conceitos e as práticas, tornando mais fáceis o

entendimento e, principalmente, a compreensão de quando e onde esses conceitos

devem ser aplicados. Segundo Fleury (2001) e Vasconcelos (2008), a renovação do

modelo de ensino permite o uso de instrumentos que agreguem valor ao ensino,

permitindo atingir o objetivo – que não é outro senão a assimilação, por parte dos

alunos, dos conceitos transmitidos.

Outro fator que torna interessante o uso de fábricas de software no ensino da

Engenharia de Software é o de que, de acordo com Chiavenato (2003), as

organizações que fazem uso de TIC estão buscando realizar seus trabalhos de

forma mais estruturada – isso é, formando grupos de pessoas com habilidades

complementares, que se unem em prol de um objetivo. Tais equipes se diferenciam

de um simples grupo de trabalho, no qual as pessoas apenas compartilham

informações de interesse comum. O autor também ressalta que, em tais equipes de

trabalho, os membros são coletivamente responsáveis pelos resultados. Além disso,

são equipes formadas para fins organizacionais, sendo responsáveis pela atividade

informal ou formalmente direcionada a elas – assim, são autossuficientes e

dispensam a presença de líderes de caráter multifuncional. Nelas, os conhecimentos

individuais são integrados, e isso possibilita a sua formação para atender a projetos

imediatos da organização. Elas podem ser diluídas ao fim desses projetos, ou

podem passar a funcionar como um setor institucional, nos casos em que a equipe

torna-se suficientemente desenvolvida.

46

Cumpre notar que, fazendo uso das fábricas de software ou de grupos de

trabalho, todos os alunos poderão vivenciar as várias atividades inerentes à

profissão de engenheiro de software. Dessa forma, o uso de um instrumento que

coloque os aprendizes em contato com o mundo real se mostra bem adequado, pois

uma ferramenta que possibilite a relação teoria-prática vem se mostrando cada vez

mais apropriada para a aprendizagem.

Entretanto, existe a dúvida sobre se fábricas de software, ou grupos de

trabalho, como instrumento de aprendizagem teórico-prático, podem atingir a

efetividade que se busca no ensino da Engenharia de Software. Outra vertente

busca nos processos avaliativos uma forma de se chegar a essa efetividade. E,

talvez, a junção dos instrumentos – fábricas de software ou grupos de trabalho –

com processos avaliativos se torne um processo mais coerente no ensino que busca

resultados.

Quando se fala em avaliação, o foco é avaliar pessoas. Porém, em um

processo de ensino, elas normalmente estão inseridas em um grupo – seja esse

acadêmico ou profissional. Considerando a avaliação um processo que faz parte do

cotidiano dos indivíduos, mesmo quando não existam instrumentos formais que

denotem esse processo, presume-se a atribuição de valores a todas as interações

possíveis.

Uma forma de atribuir valores, condizente com um método que busca trazer

problemas reais para que o aluno os vivencie e os solucione seria, também, adotar

métodos avaliativos reais – isto é, métodos aplicados pelo mercado. Em especial,

pela indústria de software.

Apesar de avaliações formativas e somativas se mostrarem uma evolução no

processo avaliativo, há dúvidas sobre o seu impacto no processo de aprendizagem

baseado em problemas reais. Não se sabe se essas avaliações, por si só, podem

responder às questões de efetividade no aprendizado. A Engenharia de Software é

multidisciplinar – todas as suas disciplinas interagem entre si – para que, no final, se

atinja o objetivo maior – que é produzir um software. Esse é o problema maior de

quem se predispõe a ensinar e aprender essa engenharia.

47

Comprovadamente, o processo de aprendizagem apenas com teorias e

avaliações tradicionais já se mostrou ineficaz. No entanto, manter apenas aulas

teóricas, com a aplicação de novos métodos de avaliação – como as formativas e

somativas – também se mostra não muito eficiente para garantir a efetividade do

ensino. É por isso que se busca uma metodologia que saia da forma tradicional de

ensino – e o PBL, com a aplicação das novas avaliações, pode ser esse caminho.

Para os pesquisadores Santos et al (2008), esses projetos precisam de um

cliente real envolvido, pois isso motiva os aprendizes ao envolvimento no projeto. A

necessidade de um cliente real pode ser percebida nesta frase: “é importante

ressaltar que, se o estudante se engaja em uma autêntica resolução de problemas,

então ele é o dono do problema”, Santos et al (2008). Ainda de acordo com a autora,

os aprendizes percebem o problema como real quando existe relevância pessoal

para cada indivíduo envolvido.

Para problemas reais, métodos avaliativos alinhados com o mercado trazem

respaldo tanto ao processo de verificação quanto ao de aprendizagem. Por exemplo:

o uso de modelos de qualidade como o Capability Maturity Model Integration (CMMI)

– um modelo de referência, que contempla práticas tanto genéricas quanto

específicas, importantes para atribuir maturidade ao processo de construção de

software, e cujo objetivo é estabelecer um modelo único para o processo de

melhoria contínua – pode bem ser aplicado. Outro modelo de qualidade que também

pode ser bem aplicado, e está se difundindo, é o de Melhoria de Processos do

Software Brasileiro (MPS-BR), que é voltado para a realidade do mercado brasileiro

de pequenas e médias empresas de desenvolvimento de software de Koscianski e

Soares (2007).

Esses modelos podem ser um bom recurso para garantir uma melhor

assimilação na prática aplicada para a absorção da teoria dada. Mas para verificar

se o andamento está de acordo com o planejado, faz-se necessário o uso de

indicadores.

Dentre os indicadores que servem para verificar o andamento das atividades,

uma metodologia que merece estudo é o Balanced Scorecard (BSC), que, segundo

Kaplan e Norton (2001) vem sendo utilizado pelo mercado. Assim, na próxima

48

seção, é realizada uma análise sobre a necessidade dessa efetividade do ensino –

e, por conseqüência, sobre a necessidade da utilização de indicadores para validá-

la.

2.4.6 ANÁLISE SOBRE A EFETIVIDADE DO ENSINO

Nesta seção, além da análise sobre a necessidade da efetividade do ensino, serão

propostos indicadores que podem ser usados para avaliar essa efetividade. Tais

indicadores serão propostos a partir do BSC – metodologia que já vem sendo

utilizada por organizações de diversas áreas.

Considerando a avaliação um processo, Abramowics (1996) sustenta que “o

estudo de avaliação da aprendizagem constitui-se no ramo mais antigo da área de

medida do rendimento”. Nessa abordagem, o autor explica que, durante um longo

período, o foco da medição estava na evolução do aluno. Para isso, eram utilizados

testes padronizados, elaborados de acordo com objetivos pré-definidos. Entretanto,

quando os alunos passaram a não mais ser vistos como meros depositários de

informações, segundo Freire (1987), essa forma de avaliação começou a ser revista,

passando considerar questões como opiniões, atitudes e expectativas.

Nessa linha, Perrenoud (1999) esclarece que é necessário mudar o processo

de avaliação, atribuindo-lhe um significado formativo – isto é, alterar os métodos de

ensino. As alterações sugeridas são:

• Considerar os conhecimentos como recursos a serem mobilizados;

• Negociar e conduzir projetos com seus alunos;

• Adotar um planejamento flexível; e

• Implementar e explicitar um novo contrato didático.

Para garantir que o que está sendo ensinado está sendo absorvido, são

necessários instrumentos avaliativos, que podem ser tradicionais ou formativos.

Porém, mais que a simples aplicação de avaliações, é preciso o monitoramento das

mesmas, verificando assim se está existindo evolução ou não no aprendizado.

Dessa forma, caso o desejado não ocorra, será possível a aplicação de atitudes

corretivas no processo. Uma forma de monitorar é fazer uso de indicadores, que

podem informar através de valores, quantitativos ou qualitativos, o andamento das

49

ações que foram planejadas. Só assim as metas definidas poderão ser atingidas – e,

por conseqüência, os objetivos poderão ser conquistados. No caso em questão, o

objetivo é o de tornar o conhecimento adquirido aplicável na prática, além de garantir

a continuidade de sua aquisição.

Com o uso do BSC, pode-se, então, elaborar indicadores que permitam

acompanhar o desempenho dos alunos – tanto individualmente quanto em equipe.

Como o foco desse trabalho é o ensino da Engenharia de Software, fazendo uso de

uma metodologia que traz para a prática os conceitos passados pelos professores,

faz-se necessária uma situação real, para melhor entendimento de muitas das

atividades realizadas por um profissional. Como uma delas é a entrega de artefatos,

esse pode ser um indicador para verificar a qualidade do produto. Pode-se medir,

por exemplo, a periodicidade dessas entregas – e os resultados atestarão o

comprometimento por parte da equipe. Nesse caso, atende-se o aspecto dos

processos internos determinados pela metodologia.

Outro indicador que pode ser utilizado é o que atende o aspecto de motivação

e crescimento do BSC. Ele serve para avaliar como os ativos do processo foram

produzidos e entregues, verificando se atendem ao processo definido e se estão

dentro do prazo planejado.

Pode-se, ainda, fazer uso do aspecto cliente. Basta elaborar um indicador de

Avaliação da Equipe, com o intuito de acompanhar o feedback do cliente. Isso

permitirá a verificação dos requisitos e prazos planejados com o cliente, e se foram

alcançados.

Assim, os ativos tangíveis e intangíveis podem ser verificados. Cada vez mais

são requeridas as capacidades de criar, de multiplicar e de utilizar de forma eficaz os

conhecimentos e as habilidades. Isso evidencia o conceito de capital intelectual,

fazendo com que a avaliação torne-se necessário na busca da do aprendizado mais

rápido e duradouro.

Nesse contexto, estuda-se um método de ensino baseado em problemas que,

na sua própria definição, está relacionado a um processo de educação que se apoia

na avaliação, para a diminuição do tempo do processo de aprendizagem. Contudo,

50

para verificar se o objetivo foi atingido, é necessário que se criem indicadores para

acompanhar e corrigir processos quando necessário. Uma metodologia desenvolvida

para facilitar a busca e criação desses indicadores é o Balanced Scorecard.

2.4.7 CONCLUSÃO DOS TRABALHOS CORRELACIONADOS

Com base nas pesquisas realizadas, a necessidade de se obter a efetividade no

ensino é imperiosa – e várias teorias e metodologias vêm sendo estudadas para se

obtê-la. Resta saber qual seria a melhor abordagem, e como comprovar que a

escolhida é a mais apropriada para o ensino da ESW. A proposta deste estudo é

fazer uso de uma metodologia aceita pelo mercado para verificar se a escolhida é

adequada a esse fim.

2.5 CONCLUSÃO DO ESTADO DA ARTE

Nesse contexto, encontra-se um método de ensino baseado em problemas que, na

sua própria definição, está relacionado ao processo de educação – que, por sua vez,

é baseado na avaliação para a aferição se o processo de aprendizagem obteve

efetividade. Para se assegurar que o objetivo será atingido, é necessário que se

criem indicadores para acompanhar e corrigir os resultados, quando se fizer

necessário. Uma metodologia testada e aceita pelo mercado, que pode facilitar a

busca e criação desses indicadores, é o Balanced Scorecard (BSC).

Com o uso do BSC, podem-se determinar objetivos. É importante verificar o

desempenho de um corpo discente que pretende aprender a disciplina de

Engenharia de Software, utilizando instrumentos como uma Fábrica de Software

para vivenciar o desenvolvimento de real de um produto, seguindo a metodologia de

Aprendizagem Baseada em Problemas. Isso é fundamental para que se possa obter

um melhor aproveitamento dos conhecimentos, passados por especialistas, através

de metas que devem ser definidas pelo grupo. Além disso, devem-se investigar

quais as ações para alcançar essas metas, e quais os indicadores para o

monitoramento das mesmas. Se necessário, deve haver prazo para replanejá-las,

caso não venham cumprir o prometido. O objetivo final de todo esse processo de

aprendizagem é a assimilação do conhecimento.

51

No próximo capítulo, será proposto o uso da Aprendizagem Baseada em

Problemas como metodologia para o ensino efetivo da Engenharia de Software. O

instrumento para essa aprendizagem será composto pelas Fábricas de Software, e

para a verificação da aprendizagem serão usados indicadores elaborados pela

metodologia de mercado denominada Balanced Scorecard.

52

3 SOLUÇÃO PROPOSTA

A solução proposta é a busca de indicadores fazendo o uso do BSC que é a

metodologia adotada para criar indicadores com o objetivo de acompanhar os

processos avaliativos das FSW, para verificar se a aprendizagem produziu o efeito

esperado na produção de software, avaliando assim a evolução de alunos que

estejam inseridos em um processo de aprendizagem da Engenharia de Software,

usando a metodologia de Aprendizagem Baseada em Problemas.

3.1 METODOLOGIA UTILIZADA

Para gerar os conhecimentos necessários à pesquisa na obtenção de indicadores

que possam ser aplicados no estudo de caso, é necessário que a mesma seja

aplicada, pois ela estuda uma utilização focada na solução de problemas específicos

do mundo real.

Nessa abordagem – uma relação entre o mundo real e o mundo acadêmico –

foi realizada com uma pesquisa qualitativa, visando descrever as características de

determinados aspectos, como:

• Verificar se a interação com o cliente foi satisfatória e atendeu às

expectativas;

• Verificar se os alunos atingiram os objetivos de aprender a executar as

atividades de Engenharia de Software; e

• Verificar se os conhecimentos recebidos e o tempo destinado para

realização das atividades aprendidas foram satisfatórios.

Com base nesses aspectos, foi necessário o uso de determinadas técnicas de

levantamento de dados – como questionários e planilhas de acompanhamento – que

serviram para registrar a evolução das fábricas de software, tais como:

• Avaliação do nível de satisfação do cliente com relação à equipe e ao

produto entregue, que consta no apêndice B;

53

• Medição realizada a partir dos levantamentos, para efeito de

comparação e visualização do progresso através dos indicadores

propostos, conforme apêndice C;

• Verificação do andamento das fábricas com base na metodologia

definida, fazendo uso de uma planilha de avaliação independente,

disponível no apêndice D; e

• Aplicação, no final de cada etapa, de questionário baseado na planilha

de status report exibida no apêndice E, para averiguar os critérios e

verificar se tempo destinado para realização das atividades foi

atendido.

Com base nas técnicas de comparação da pontuação alcançada pelos alunos

e na verificação do progresso, serão apresentados, a seguir, os indicadores para

monitorar a efetividade do ensino.

3.2 INDICADORES PROPOSTOS

A metodologia utilizada para obtenção dos indicadores é o Balanced Scorecard.

Conforme descrito na seção 2.3, o BSC orienta que se definam os objetivos no início

da elaboração dos indicadores. Seguem, então, na próxima seção, tais objetivos.

3.2.1 OBJETIVOS

O objetivo trata do que deve ser alcançado. Isso é crucial para o sucesso do tema

deste estudo, que é a busca da efetividade do ensino da Engenharia de Software

baseado na Aprendizagem Baseada em Problemas.

Para tal, dois objetivos foram traçados.

O primeiro é a busca da eficiência que mede a capacidade em utilizar, com

rendimento máximo, todos os insumos necessários ao cumprimento dos objetivos e

metas, esse se preocupa com os meios, com os métodos e procedimentos

planejados e organizados a fim de assegurar otimização dos recursos disponíveis,

segundo a SEFAZ (2010); eficácia que verifica a capacidade em se cumprir as

54

metas e objetivos previamente fixados, de acordo com a SEFAZ (2010); e

efetividade que verifica o impacto de uma programação em termos de solução de

problemas, conforme a SEFAZ (2010).

Quanto à eficiência: verificar se o processo adotado atende ao que se propõe

construir. Quanto à busca da eficácia: com base no processo adotado, realizar

verificações nas atividades para assegurar que estão sendo realizadas a contento.

Para isso, são necessários indicadores. Alguns deles verificam a eficiência,

ao acompanhar as ações de produção dos artefatos, ao decidir quais artefatos

devem ser produzidos, ou quais os modelos corretos para produção dos mesmos,

quais os melhores recursos, quais atividades do processo devem elaborá-los e quais

atividades irão garantir sua qualidade. Outros investigam a eficácia, que deve medir

se os artefatos estão sendo entregues dentro do prazo planejado.

Para o segundo objetivo, que é a verificação da evolução das fábricas,

devem-se obter indicadores que meçam a motivação e comprometimento das

equipes durante todo o processo.

Com os objetivos definidos, a metodologia orienta que devem ser traçadas as

metas para alcançá-los. Assim, na próxima seção, elas são descritas.

3.2.2 METAS

Segundo o BSC, as metas tratam da taxa de melhoria necessária para atingir os

objetivos traçados. Assim, a meta para o primeiro objetivo é a obtenção do nível de

desempenho para eficiência e eficácia do trabalho, e deve ser medida em atendida

ou excepcional. E a meta para o segundo objetivo é o nível de motivação e

comprometimento no trabalho, e deve ser medida em bom ou ótimo.

Na próxima seção seguem os planos de ação definidos para que se atinjam

os objetivos desejados, conforme orienta o Balanced Scorecard.

55

3.2.3 PLANO DE AÇÃO

O plano de ação consiste em um conjunto de atividades-chave necessárias para

alcançar os objetivos. A seguir, a descrição das mesmas.

Para o primeiro objetivo:

• Indicador eficiência:

o Aprender como o artefato deve ser produzido;

o Determinar o artefato que precisa ser construído;

o Determinar o modelo correto para produção desse artefato;

o Determinar o melhor recurso para elaboração do artefato;

o Determinar que atividade deverá ser executada; e

o Determinar que atividade irá garantir a qualidade do mesmo.

• Indicador eficácia:

o Verificar se o artefato entregue atende ao processo; e

o Verificar se o artefato entregue está dentro do prazo.

Para o segundo objetivo:

• Indicador de Comprometimento:

o Realizar avaliações periódicas com o feedback dos professores;

o Fazer avaliações periódicas com o feedback das monitores; e

o Obter o feedback do cliente sobre as entregas periódicas.

• Indicador de Motivação:

o Obter o feedback da equipe.

Com o plano de ação diagramado, pode-se gerar o mapa estratégico, que é

uma visão de tudo que deve ser realizado. Na próxima seção, segue sua descrição.

56

3.2.4 MAPA ESTRATÉGICO

O Mapa Estratégico, segundo descrito na seção 2.3, representa a estratégia através

dos objetivos relacionados entre si e distribuídos nos aspectos relevantes ao tema.

O BSC é composto de quatro aspectos, que são as visões necessárias para

obtenção do sucesso dos seus objetivos: o financeiro, o cliente, os processos

internos e a motivação/inovação. Porém, a proposta aqui apresentada é uma

adaptação do BSC. Assim sendo, os quatro aspectos que se ajustam à obtenção do

sucesso para o tema não contempla o financeiro sendo substituído pela efetividade

do ensino.

O aspecto Efetividade do Ensino é uma inovação, e foi contemplado devido

ao tema, que busca verificar o impacto do uso de uma metodologia alternativa no

ensino da Engenharia de Software.

Para tal verificação, um aspecto importante a ser considerado é a melhoria

significa em produzir com menos esforço, permitindo o uso da energia de construção

da forma mais adequada para as atividades necessárias. Outro aspecto essencial é

a pontualidade da entrega dos artefatos: o cumprimento do prazo de entrega indica

a qualidade na produção.

Os demais aspectos são provenientes do próprio BSC, tendo o de

Aprendizado e Inovação – que visa o uso da técnica apropriada para o

desenvolvimento, o de Processos Internos – que busca o domínio das técnicas e

sua racionalização para produção dos artefatos de forma correta e o de Cliente –

que é o fomentador das demandas do que será produzido e que deseja a qualidade

dessa entregas.

A finalidade dos aspectos é focar em áreas que são necessárias para a

obtenção do sucesso. E é importante salientar que esses aspectos só existem para

obter o sucesso do tema – isto é, alcançar os objetivos traçados. O primeiro deles é

buscar a eficiência e eficácia na produção nas fábricas de software. Para isso se

deve verificar: quem, como os artefatos estão sendo produzidos para assim se

garantir a eficiência; e quando e onde estão sendo produzidos para obter a eficácia.

O segundo objetivo é verificar a assimilação dos novos conhecimentos para

57

produção de software com qualidade. Os aspectos considerados para esse objetivo

são o aprendizado e os processos internos estipulados.

Para visualizar o que foi explicado, e entender melhor como esses aspectos

se relacionam, a metodologia BSC orienta que os aspectos devem se relacionar aos

objetivos, mostrando o impacto de um sobre o outro, como mostrado na figura 3.1.

Figura 3.1: Mapa Estratégico

Tema: Efetividade do Ensino da ESW baseado em PBL

Efetividade do Ensino

Impacto do uso de uma metodologia alternativa para assimilação dos conceitos da ESW

Cliente

Objetiva o recebimento da produção com qualidade, no prazo e com os requisitos solicitados

Processos Internos

Domínio das técnicas escolhida para atendimento das demandas e sua racionalização

Aprendizado e Inovação

Análise das técnicas aceitas pelo mercado e seleção das mais adequadas

Para melhor compreender os objetivos, indicadores, metas e ações, segue

um detalhamento do Mapa Estratégico, pois ele possibilita uma visão mais clara dos

pontos citados, com base nos quatro aspectos acima elaborados.

• O que é crítico para o sucesso do tema:

o Objetivo 1 – Buscar a capacidade em utilizar, com rendimento máximo,

todos os meios necessários para a produção de software, a fim de

assegurar otimização dos recursos disponíveis e verificar a capacidade

em se cumprir os prazos:

� Indicador 1 – Eficiência:

• Ação 1 – Aprender como os artefatos devem ser

produzidos;

• Ação 2 – Determinar quais artefatos que devem ser

produzidos;

58

• Ação 3 – Qual o modelo correto para produção dos

artefatos;

• Ação 4 – Quais os melhores recursos para produção dos

artefatos;

• Ação 5 – Quais atividades do processo definido que

devem ser executadas; e

• Ação 6: Quais atividades irão garantir a qualidade dos

artefatos.

� Indicador 2 – Eficácia:

• Ação 1 – Verificar se os artefatos entregues atenderam

ao processo definido; e

• Ação 2 – Verificar se os artefatos entregues estão dentro

do prazo planejado para sua produção.

o Objetivo 2 – Verificar a motivação e comprometimento das equipes

durante todo o processo:

� Indicador 3 – Comprometimento:

• Ação 1 – Obter feedback dos professores;

• Ação 2 – Obter feedback dos monitores; e

• Ação 2 – Obter feedback dos clientes.

� Indicador 3 – Motivação:

• Ação 1 – Obter feedback da equipe.

Esse detalhamento do Mapa Estratégico pode ser mais delineado. Para isso,

o BSC fornece outro recurso, chamado de Dicionário de Indicadores. Seu

funcionamento é explicado na próxima seção.

59

3.2.5 DICIONÁRIO DE INDICADORES

É outra forma indicada pelo BSC de representar os indicadores elaborados. É

exibido na página seguinte no quadro 3.1.

60

Quadro 3.1: Dicionário de Indicadores Indicador Eficiência Eficácia Comprometimento Motivação Descrição Quantidade e qualidade dos artefatos em

relação à otimização definida Tempo gasto para a produção dos artefatos com qualidade

Analisar os feedbacks dos professores, monitores e clientes

Analisar os feedbacks dos componentes das equipes

Freqüência Final de cada etapa Final de cada etapa Final de cada etapa Final de cada etapa Unidade Índices:

-1=Não Coletado;

0=Não Avaliado, com nota 0;

1=Inacabado, com nota entre 0,1 - 1,9;

2=Inapropriado, com nota entre 2,0 - 3,9;

3=Insuficiente, com nota entre 4,0 - 5,9;

4=Atendido, com nota entre 6,0 - 8,9;

5=Excepcional, com nota entre 9,0 - 10,0.

Índices:

-1=Não Coletado;

0=Inapropriado;

1=Insuficiente;

2=Atendido.

Índices:

-1=Não Coletado;

0=Não Avaliado;

1=Péssimo;

2=Insatisfatório;

3=Regular;

4=Bom;

5=Ótimo.

Índices:

-1=Não Coletado;

0=Não Avaliado;

1=Péssimo;

2=Insatisfatório;

3=Regular;

4=Bom;

5=Ótimo.

Linha Base -1=Não Coletado -1=Não Coletado -1=Não Coletado -1=Não Coletado

Meta 4=Atendido; ou 5=Excepcional 2=Atendido 4=Bom; ou 5=Ótimo 4=Bom; ou 5=Ótimo

Ações Aprender como os artefatos devem ser

produzidos;

Determinar qual o artefato deve ser produzido;

Qual o modelo correto para produção dos

artefatos;

Quais os melhores recursos para produção;

Quais atividades devem ser executadas; e

Quais atividades iram garantir a qualidade.

Verificar se os artefatos

entregues atenderam ao

processo definido; e

Verificar se os artefatos

entregues estavam dentro dos

prazos planejados para sua

produção.

Avaliações periódicas com opinião

dos stakeholdes.

Avaliações periódicas com

opinião dos componentes das

fábricas de software.

61

O indicador escolhido para a eficiência analisa as notas atribuídas aos

artefatos entregues pelos alunos. Para a eficácia, levam-se em consideração os

prazos para entrega, a qualidade do trabalho, o atendimento aos padrões exigidos, e

a relevância das informações ao projeto. Os indicadores de comprometimento levam

em consideração as notas dos professores e monitores em relação às entregas

solicitadas e a satisfação do cliente; e motivação considera o feedback dos

componentes das fábricas de software.

Para isso, existe a necessidade do uso de uma unidade que melhor

represente a medição para os indicadores propostos. Nesse caso, foi escolhido o

índice. Seus valores podem variar na seguinte faixa: (-1) para quando uma nota não

for coletada; (0) para uma nota não avaliada, mesmo que possa ser coletada; (1)

para artefatos inacabados, nos quais as notas atribuídas ficam entre 0,1 e 1,9; (2)

para artefatos inapropriados – aqueles que, apesar de completos, não atendem ao

propósito, e ficam com notas entre 2,0 e 3,9; (3) para as entregas medidas como

insuficientes – que ficam com nota entre 4,0 e 5,9, já que atendem ao propósito, mas

então incompletas; (4) para os atendidos, isto é, os artefatos que atendem ao

propósito, mas não estão bem elaborados, ficando com notas entre 6,0 e 8,95; e, por

fim, os de índice (5) para os medidos como excepcionais, com notas entre 9,0 e 10,0

já que atendem ao propósito e estão bem elaborados.

Os índices para o indicador de eficácia são: (-1) para indicar que o artefato

não foi entregue em nenhuma das datas planejadas – sendo assim, não houve

coleta, e o item é denominado “não coletado”; (0) para mostrar que o artefato foi

entregue, porém fora do prazo, em todas as datas planejadas, caracterizando uma

falta de deferência aos prazos fixados – denominado de inapropriado; (1) indicando

que o artefato foi entregue em algumas datas planejadas, porém, em outras não,

resultando em uma inconstância na observância dos prazos – denominado de

insuficiente; (2) denotando que o artefato foi entregue, em todas as datas

planejadas, dentro do prazo estipulado – denominado de atendido.

Os índices para os indicadores de comprometimento e motivação são

decorrentes das pontuações aplicadas pelos professores, monitores, clientes e

equipes, indicando seu nível de satisfação para os itens descritos nos apêndices A e

62

B. Esses índices são baseados nessas pontuações, e a sua relação é: (-1) para não

coletado; (0) para não analisado; (1) que indica péssimo e ocorre quando a

pontuação ficar em 0,1 e 1,0; (2) para insatisfatório, quando a pontuação ficar entre

1,1 e 2,0; (3) indicando regular quando a pontuação for 2,1 até 3,0; (4) que significa

bom, para pontuação entre 3,1 e 4,0; e por fim (5) que indica ótimo, para pontuação

entre 4,1 e 5,0.

Definidos os índices, os mecanismos de análise passam a medir as notas de

entregas dos artefatos em relação a sua eficiência, isto é, respeitando os requisitos

solicitados. Para eficácia, o mecanismo se refere aos prazos, aplicando os índices

para cada um dos artefatos de cada uma das sete fábricas, como pode ser visto no

apêndice A.

É possível obter a ocorrência de cada um desses índices em quaisquer das

sete fábricas, e assim observar sua variação. No quadro 3.1, são mostrados todos

os indicadores de forma simples. Constam suas descrições; as freqüências de

medições; as unidades utilizadas; a linha de base – isto é, quando serão iniciadas as

medições; e as metas – ou seja, o que a medição deseja que seja considerado como

sucesso, e quais as ações necessárias para obtê-lo.

No próximo capítulo, será realizado um estudo de caso, com sete fábricas de

software que serviram para aplicação dos indicadores aqui propostos, bem como

com a aplicação dos mecanismos de análise descritos.

63

4 ESTUDO DE CASO

Durante a realização desta pesquisa, foram utilizados os indicadores propostos para

avaliar a evolução dos alunos inseridos em fábricas de software, no Mestrado

Profissional de Engenharia de Software (MPES) do Centro de Estudos e Sistemas

Avançados do Recife (CESAR).

O MPES, desde o segundo semestre de 2007, inseriu o processo de

aprendizagem baseada em problemas. Para isso, passou a utilizar fábricas de

software como instrumento de ensino, buscando a qualificação de profissionais em

Engenharia de Software. O objetivo é o aprimoramento e a efetividade do ensino

dessa disciplina, promovendo a habilidade de estudantes para resolver problemas

reais dentro de ambientes mais próximos da realidade.

4.1 DESCRIÇÃO DO ESTUDO DE CASO

O MPES está organizado pelas seguintes disciplinas: Fábricas de software,

Requisitos e Interfaces, Gestão de Projetos, Arquitetura, Testes e Interoperabilidade.

Elas são lecionadas dentro do contexto de fábricas de software. Para sua criação, os

aprendizes são orientados a montar equipes, em busca das definições e

formalizações dos seus respectivos papéis.

A coordenação do curso faz a montagem das fábricas a partir das

experiências dos estudantes. Com base no estudo dos modelos de fábricas de

software disponíveis no mercado, define-se o ciclo de vida do software. Além disso,

ocorre a definição do processo de desenvolvimento, a organização da infraestrutura

e os pontos de avaliação das fábricas, para acompanhamento dos processos, do

capital humano e do cliente.

É importante salientar que a montagem das fábricas não prescinde do

componente pedagógico, nem do aspecto prático-experimental. O processo não

limita, nem impõe restrições à criatividade das equipes em suas definições. Outro

aspecto no processo de aprendizagem é a avaliação, que é realizada através de

reuniões periódicas, avaliando os artefatos gerados. Dessa forma, é possível

analisar o desempenho individual e o da equipe.

64

Os alunos que cursam o MPES são profissionais da área de TIC, que

desejam aperfeiçoamento nas técnicas mais atuais e vigentes no mercado – e, ao

mesmo tempo, desejam fazê-lo através de uma metodologia de aprendizado

alternativa.

Muitos desses profissionais já trabalham no mercado. No entanto, ainda usam

técnicas ultrapassadas, desenvolvendo de forma adhoc – e, por conseqüência,

imprimindo pouca qualidade na produção.

Os projetos utilizados nesses trabalhos de aprendizado são todos reais – isto

é, são todos oriundos de demandas de mercado que buscam no MPES uma forma

de solucionar seus problemas. Procuram soluções que usem técnicas reconhecidas,

e, além disso, orientadas por profissionais experientes e alunos motivados,

abrangendo várias áreas – como sites para comércio eletrônico, aplicações para TV

Digital e sistemas para área médica, dentre outros. Com base nesses projetos, a

próxima seção mostra os resultados das análises dos dados obtidos.

4.2 PROCESSO DE AVALIAÇÃO DAS FÁBRICAS DE SOFTWARE NO CESAR

As fábricas de software utilizadas como instrumento de ensino são avaliadas

no MPES de duas formas. A primeira é o conjunto, isto é, a equipe formada para

compor a FSW deverá produzir as demandas do cliente como uma fábrica real e os

entregáveis são avaliados pelo cliente que irá responder um questionário de

satisfação atribuindo uma nota de 0 (zero) a 5 (cinco) as critérios relacionados nesse

questionário como podem ser visto no apêndice B.

Os artefatos gerados pela FSW que devem atender ao processo definido pela

FSW e são avaliados pelos monitores que irão atribuir uma nota de 0 (zero) a 10

(dez) levando em consideração os aspectos de qualidade na produção que podem

ser visto no apêndice D chamado de avaliação independente. Essas avaliações são

pontuais sendo planejadas e divulgadas no início de cada fase.

Além das avaliações independentes, a monitoria também realiza uma

avaliação em relação ao processo adotado, em relação a quem faz, o que faz, como

faz e quando faz, atribuindo uma nota também de 0 (zero) a 10 (dez) em um relatório

65

denominado de status report que pode ser visualizado no apêndice E, aplicado em

pontos de checagens previamente combinados.

A última forma de avaliação aplicada no MPES é a formativa, que consiste na

aplicação de notas de 0 (zero) a 10 (dez) pelos professores das disciplinas através

de questionamentos sobre os conceitos passados e suas aplicações nas demandas

dos clientes das fábricas.

4.3 ANÁLISE DOS RESULTADOS

Para analisar o estudo de caso, foram utilizados índices para medir os indicadores

propostos – índices esses que indicam a eficiência, eficácia, motivação e

comprometimento na produção dos artefatos entregues.

Os dados utilizados para aplicação dos índices foram coletados durante dois

anos de utilização da metodologia pelo MPES. Eles estão disponíveis no apêndice A

e B, onde estão registradas as notas obtidas pelos alunos por cada uma das sete

fábricas de software – como também as datas planejadas para suas respectivas

entregas.

O mecanismo de análise baseou-se na observação das notas atribuídas pelos

professores, monitores e clientes - durante o processo de execução das fábricas de

software em relação à entrega dos artefatos. Com base nessas notas foi verificado

em que faixa as mesmas se encontravam em relação às faixas de valores propostos

no dicionário de indicadores e baseado nessa localização nas faixas foi aplicado o

índice correspondente a faixa, nas unidades estabelecidas e descritas no quadro

3.1, para atingir as metas definidas no mesmo quadro. A partir desses índices, foi

verificada a ocorrência dos mesmos em cada uma das sete fábricas de software,

para os indicadores de eficiência e eficácia – quadros 4.1 e 4.2. A última medição foi

a de motivação e comprometimento, vista no quadro 4.3. Ela é baseada nas

pontuações de satisfação dadas pelos clientes nas referidas fábricas, para no final

verificar a ocorrência que cada índice.

66

Com isso, foi possível fornecer dados visuais para cada indicador, retratando

a evolução das fábricas em relação às entregas dos artefatos e à satisfação dos

clientes.

Quadro 4.1: Análise da Eficiência Fábricas Inacabado Inapropriado Insuficiente Atendido Excepcional FSW-1 0 0 0 12 1 FSW-2 1 1 0 7 0 FSW-3 0 0 0 4 2 FSW-4 0 0 3 2 1 FSW-5 0 0 0 6 5 FSW-6 0 0 0 1 10 FSW-7 0 0 0 6 4

Figura 4.1: Análise da Eficiência

Com a figura 4.1, pode-se observar que as medições Atendidas e

Excepcionais ocorrem com maior freqüência, denotando que a entrega dos artefatos,

em relação ao rendimento, é satisfatória. Além disso, o uso do Aprendizado Baseado

em Problemas mostra-se bem sucedido nos seguintes itens: a transmissão de

conhecimentos de como os artefatos devem ser produzidos; a determinação de

quais artefatos devem ser produzidos; a definição do modelo correto para produção

dos artefatos; a escolha dos melhores recursos para produção dos mesmos; a

eleição das atividades do processo que devem ser executadas; e a definição das

atividades que irão garantir que a qualidade dos artefatos gerados foi bem sucedida.

67

Quadro 4.2: Análise da Eficácia Fábricas Inapropriado Insuficiente Atendido FSW-1 6 7 0 FSW-2 4 5 0 FSW-3 7 1 2 FSW-4 6 4 1 FSW-5 4 4 3 FSW-6 5 2 4 FSW-7 5 3 3

Figura 4.2: Análise da Eficácia

A figura 4.2 nos mostra que a medição com maior ocorrência é a

Inapropriado. Isso quer dizer que boa parte dos artefatos não foi entregue em

nenhuma das datas planejadas. Em seguida, o de maior incidência é o Insuficiente,

indicando que os artefatos foram entregues em, pelo menos, algumas datas

planejadas. Ainda em menor proporção, está o Atendido, que indica que os artefatos

foram entregues em todas as datas planejadas, dentro do prazo estipulado.

Levando em consideração os números mostrados, o aspecto pontualidade –

que busca verificar se as entregas atenderam ao planejamento definido, dentro do

prazo – mostra que, para esse indicador, o resultado é insatisfatório. Isso indica a

necessidade de um estudo para identificação dos problemas que provocaram o não

cumprimento dos prazos de entrega.

Como foi descrito acima para o indicador de eficiência, o seu resultado foi

satisfatório, mantendo-se entre Atendido e Excepcional. Isso é uma repetição de

68

indicação positiva. Entretanto, para a eficácia, os índices que ocorreram com

freqüência foram o Inapropriado e Insuficiente, mostrando uma efetividade negativa.

Quadro 4.3: Análise da Motivação e Comprometimento Fábricas Péssimo Insatisfatório Regular Bom Ótimo FSW-1 1 0 0 1 8 FSW-2 0 0 0 3 7 FSW-3 0 0 1 8 1 FSW-4 0 4 5 1 0 FSW-5 0 0 5 2 0 FSW-6 0 0 0 6 3 FSW-7 0 0 0 0 0

Figura 4.3: Análise da Motivação e Comprometimento

Na figura 4.3, percebemos que as ocorrências das medidas Ótima e Boa

ocorrem com frequência muito maior. Em segundo lugar, surgem as medidas

Regular e Insatisfatório. A medida Péssima fica quase sem representação.

Isso indica que a satisfação dos clientes foi percebida nas sete fábricas.

Portanto, a produção de artefatos com finalidades acadêmicas – mas baseados em

necessidades reais – trouxe motivação e comprometimento dos alunos nas suas

confecções. Esse fato pode ser percebido em relação ao atendimento dos objetivos,

à qualidade do artefato entregue, à comunicação e transparência, e à agilidade dos

alunos no desenvolvimento dos artefatos, através da capacidade técnica adquirida.

Tais índices comprovam resultados satisfatórios no processo de aprendizagem.

69

4.4 CONCLUSÃO DO ESTUDO DE CASO

Com a análise realizada, podem-se obter alguns parâmetros sobre a efetividade do

ensino da Engenharia de Software em conjunto com a Aprendizagem Baseada em

Problemas. Tais indicadores são baseados em eficiência, eficácia, comprometimento

e motivação das sete fábricas de software analisadas, durante dois anos, na

aplicação do Mestrado. Assim, segue o resultado quanto aos indicadores aplicados.

Em relação ao indicador de entrega dos artefatos para Eficiência, verificou-se

que a utilização das fábricas de software no processo de aprendizagem da

Engenharia de Software produziu resultados satisfatórios. Afinal, os números de

ocorrências das medições Atendidos e Excepcionais foram, em termos percentuais,

melhores que as medições Inacabadas, Inapropriadas e Insuficientes. Isso pode ser

visto nos valores que se seguem no quadro 4.4, confirmando o atendimento da meta

estipulada para esse indicador.

Quadro 4.4: Resultado da Eficiência Fábricas Artefatos Medidos Ocorrências de Atendido ou Excepcional % de Sucesso

FSW-1 13 13 100

FSW-2 13 9 69

FSW-3 13 6 46

FSW-4 13 6 46

FSW-5 13 11 85

FSW-6 13 11 85

FSW-7 13 10 77

Já em relação ao indicador de entrega dos artefatos para Eficácia, verificou-

se que não foram atingidos os resultados pretendidos. Os números de ocorrências

de entregas nos prazos não alcançaram a meta planejada, como pode ser visto no

quadro 4.5. A maioria das datas de entrega não foi respeitada, em todas as sete

fábricas de software. Porém, essa pesquisa não traz dados suficientes para justificar

o motivo da falta de eficácia na entrega dos artefatos. Isso deverá ser contemplado

em trabalhos futuros.

70

Quadro 4.5: Resultado da Eficácia Fábricas Artefatos Medidos Ocorrências de Atendido % de Sucesso

FSW-1 13 0 0

FSW-2 13 0 0

FSW-3 13 2 15

FSW-4 13 1 8

FSW-5 13 3 23

FSW-6 13 4 31

FSW-7 13 3 23

Os indicadores de Comprometimento e Motivação permitiram verificar avanço

dos trabalhos, característica importante em um processo que envolve várias

disciplinas. Percebeu-se, também, que o feedback dos envolvidos (clientes,

professores, monitores e alunos) é normalmente positivo – o que nos leva a

considerar que a inserção de uma fábrica de software dentro do processo de ensino

da Engenharia de Software é relevante. Isso é mostrado no quadro 4.6, onde a

maior parte das pontuações está entre as metas com desempenho bom ou ótimo.

Quadro 4.6: Resultado da Motivação e Comprometimento Fábricas Artefatos Medidos Ocorrências de Bom e Ótimo % de Sucesso

FSW-1 13 9 69

FSW-2 13 10 77

FSW-3 13 9 69

FSW-4 13 1 8

FSW-5 13 2 15

FSW-6 13 9 69

FSW-7 13 0 0

Com a mudança do paradigma da forma de ensino, o professor e o monitor

deixam de ser apenas transmissores de conhecimento, tornando-se facilitadores na

obtenção do mesmo. São capazes de dar suporte, mas deixam as decisões nas

mãos dos alunos. Nesse processo, através dos números obtidos nos quadros de

resultados acima, verifica-se que essa mudança mostrou resultado em relação à

eficiência, mas não foi satisfatória em relação à eficácia.

A metodologia PBL, que inseriu o feedback nas fábricas, mostrou vantagens

tanto para os alunos quanto para os professores. Os alunos conseguiram visualizar

a sua evolução e motivação, e os professores e monitores puderam interagir melhor

com os alunos dentro das referidas fábricas. Isso permitiu a indicação dos pontos

mais fracos, que mereciam maior atenção.

71

Analisando as sete fábricas de software onde essa abordagem foi aplicada,

verifica-se que existe uma evolução nos índices. Sua progressão acaba por

classificá-las nas melhores metas, pois os alunos mantiveram o interesse na

realização das mais diversas atividades – mesmo não sendo parte do seu dia-a-dia,

mas visualizando que é uma atividade relevante ao processo. Isso mostra a

aprovação da metodologia por parte dos envolvidos, já que as notas das entregas,

em geral, foram atendidas ou excelentes.

No próximo capítulo, seguem as considerações finais desta pesquisa.

72

5 CONSIDERAÇÕES FINAIS

Este capítulo apresenta a contribuição do trabalho, como também a evolução do

mesmo, e é finalizado pela conclusão da pesquisa.

A contribuição deste trabalho dissertativo se traduz na justificativa do uso de

fábricas de software como instrumento de apoio no processo de ensino da

Engenharia de Software, em uma metodologia que se baseia em problemas reais,

com o objetivo de transmissão de conhecimento.

A partir das referências discutidas neste trabalho, foram propostos e utilizados

indicadores de mercado, criados com base em uma metodologia aceita pelo

mercado. O objetivo foi avaliar a evolução de um corpo discente inserido em um

processo de ensino que envolve problemas reais. Com isso, foi possível vivenciar

todos os problemas decorrentes do cotidiano no trabalho de desenvolvimento de

software, orientando para as boas práticas e padrões dessa indústria.

Aplicando os indicadores baseados no Balanced Scorecard com o objetivo de

aprender novas técnicas, nota-se a possibilidade de acompanhar detalhadamente

todo o processo, verificando e analisando os resultados. É possível detalhá-los em

relação à produção de artefatos, à técnica aprendida e à suficiência do tempo para a

realização das atividades. Também é possível analisar a relação do aprendizado

(mundo acadêmico) versus necessidades (mundo real).

Essa abordagem é alternativa no ensino das disciplinas que envolvem a

produção de software, e apresenta dificuldades intrínsecas a qualquer atividade que

envolva pessoas, requisitos de negócios e prazos. Como a equipe nem sempre

possui know-how suficiente para executar as atividades previstas, os alunos são

apresentados a um duro realismo – e, por conseqüência, são levados à necessidade

de produzir como se estivessem em uma verdadeira organização de tecnologia.

Como o sucesso depende da qualidade da sua produção, o cuidado que se deve ter

nas produções é, também, enfatizado.

73

5.1 EVOLUÇÃO DO TRABALHO

Este trabalho pode ser complementado com novos indicadores, que podem ser

elaborados contemplando outros aspectos.

Como o financeiro quando na aplicação da metodologia de aprendizagem

baseada em problemas em fábricas de software reais que desejem assimilar novas

técnicas, fazendo uso do BSC para avaliar o impacto desse aprendizado inserido no

processo normal de trabalho, analisando assim o retorno financeiro obtido com a

aplicação de novas técnicas.

Outra possível avaliação é em relação ao aspecto clima organizacional, que

com novos indicadores para motivação e crescimento se pode analisar a capacidade

da gerencia em motivar sua equipe.

Outra possibilidade de aplicabilidade futura seria a utilização de média

ponderada para obtenção da efetividade, aplicando pesos para tipos de pontuações

obtidas no processo, a exemplo notas dos professores, monitores e clientes para os

artefatos entregas utilizar peso 2; para a satisfação do cliente aplicar peso 3; e para

retorno da equipe peso 1, e assim ter uma métrica a mais para analisar os

resultados obtidos, apontando a efetividade de cada aspecto através de indicadores

e pesos.

Um fator não mensurado no trabalho de pesquisa foi o fato da metodologia

ser aplicada em um formato que divide as fábricas de software em grupos pequenos.

O fato de, elas terem baixo número de alunos pode ser de certa forma, um fator

importante para o sucesso da metodologia. No entanto, não se tem como relacionar

o número de participantes por fábrica, já que não foi criado indicador para essa

finalidade e não houve como testar em fábricas com número maior de participantes,

assim essa informação não pode ser obtida. Fica a possibilidade de obtenção futura

desse dado, para verificação se a quantidade de participantes por FSW é um fator

relevante para o sucesso da metodologia.

Outro fator não analisado foi o insucesso quanto ao prazo das entregas. Boa

parte dos artefatos, nas diversas fábricas de software analisadas, não foi entregue

74

nas datas planejadas. Houve uma falha nesse ponto, mas não existem dados na

coleta obtida, que possam indicar o motivo de tal atraso.

Uma complementação desse trabalho que seria de valia para o MPES, pode

ser a análise dos egressos com relação à empregabilidade após o curso, obtendo

indicação de que, com os conhecimentos obtidos pelos egressos, as suas

colocações no mercado passam para uma posição melhor em relação a outros

profissionais que não adquiriram esses conhecimentos.

5.2 CONCLUSÃO

Verifica-se, a partir das análises dos dados obtidos, que o uso de fábricas de

software no ensino da Engenharia de Software promove uma melhor assimilação,

por parte do corpo discente, das diversas disciplinas que envolvem a produção de

um software.

O uso do BSC mostrou-se útil na criação de indicadores para avaliação do

ensino. Essa metodologia já é usada no comércio para aplicação de indicadores, e

indicou praticidade análoga na área educacional – com algumas adaptações, a partir

dos aspectos que se mostraram mais relevantes para o tema.

Os indicadores que foram contemplados se mostraram úteis para avaliação

das entregas dos artefatos em relação à eficiência e eficácia; como também ao

comprometimento e motivação das equipes. Todos obtidos a partir da aplicação do

BSC.

Com esse trabalho se pode ter a clareza da importância das formas

avaliativas que podem ser aplicadas para obtenção de resultados que busquem a

efetividade do ensino, a exemplo o uso do feedback; a atribuição de nota ao grupo e

ao indivíduo. Verificando que as atividades devem envolver todos, levando em

consideração a heterogeneidade do grupo. Também se pode observar nesse

trabalho que a organização por papéis tornar melhor o processo de ensino da

Engenharia de Software através dessa abordagem alternativa.

Este trabalho elenca algumas técnicas que podem ser aplicadas no ensino da

Engenharia de Software, mas o seu objetivo é o entendimento da necessidade de

75

obter mecanismos de acompanhamento da aplicabilidade dos conceitos passados

entre as diversas disciplinas que compõem a ESW, que se integram com o objetivo

de imprimir mais qualidade à confecção de produtos de software.

Ressalta-se aqui então o recurso de indicadores, que podem ser utilizados

para acompanhar uma abordagem alternativa de ensino, possibilitando a análise e a

oportunidade de realizar os ajustes requeridos, quando se fizer necessário. Servindo

como mais uma opção de acompanhamento para os educadores de Engenharia de

Software auxiliando na tarefa de verificação da efetividade do ensino.

76

REFERÊNCIAS

ABRAMOWICZ, Michael. Avaliando a avaliação da aprendizagem: um novo olhar.

São Paulo: Lúmem, 1996.

ABRECHT, Roland. A avaliação formativa. Porto: Editora Asa, 1994.

ABRECHT, Roland. L’évaluation formative: une analyse critique. Paris: De Boeck

Université, 1991.

ARTER Judith; SPANDEL Vicki. Using Portfolios os Student Work in Instruction

and Assessment, USA: National Council on Measurement in Education, 1992.

BLOOM, Benjaman. Taxonomy of Educational Objectives: The Classification of

Educational Goals. Australis: The University of Queensland, 1996.

BSC. Balanced Scorecard Institute. Disponível em. http://balancedscorecard.org/.

Acesso em 01/04/2009.

CAPRIO, Griffin. Software Factories: Refactoring a Industry. Disponível em:

http://www.theserverside.net/tt/articles/content/SFRefactoringIndustry/SFRefactoringI

ndustry.html. Acessado em 01/05/2009.

CHIAVENATO, Idalberto. Administração estratégica: em busca do desempenho

superior - uma abordagem além do Balanced Scoredcard. São Paulo: Saraiva, 2003.

CHIAVENATO, Idalberto. Teoria Geral da Administração. Rio de Janeiro: Campus,

2000.

DAYCHOUM, Merhi. 40 Ferramentas e Técnicas de Gerenciamento. Rio de

Janeiro: Brasport, 2007.

DEMARCO, Tom; LISTER Timothy. Peopleware Productive Projects and Teams.

New York: Dorset House, 1999.

FEBRABAN. Pesquisa de indicadores. Recife: FEBRABAN, 2009. Disponível em

www.febraban.org.br. Acesso em 16/04/2009.

77

FERNANDES, Domingos. Para uma teoria da avaliação formativa. Portugal:

Universidade da Lisboa, 2006.

FINKLE, Sheryl; TORP, Linda. Introductory Documents. Illinois Math and Science

Academy. USA: Illinois. Disponível em http://pbln.imsa.edu/. Acesso em 03/08/2009.

FLEURY, Maria Tereza; FLEURY Afonso. Construindo o Conceito de

Competência. RAC - Revista de Administração Contemporânea. v.5, Edição

especial, 2001.

FREIRE, Paulo. Pedagogia da Autonomia: Saberes Necessários à Prática

Educativa. Rio de Janeiro: Paz e Terra, 1996.

FREIRE, Paulo. Pedagogia do Oprimido. Rio de Janeiro: Paz e Terra, 1987.

GREENFIELD, Jack. O Caso das Fábricas de Software. Disponível em

http://msdn.microsoft.com/pt-br/library/aa480032.aspx. Acesso em 29/09/2009.

HOFFMANN, Jussara. Avaliação mediadora: uma prática em construção da pré-

escola à universidade. Porto Alegre: Mediação. 2007.

IDC, Analyze the Future: Saiba onde investir na sua carreira em 2009. Disponível

em http://www.idcbrasil.com.br ou http://carreiradeti.com.br/previsoes-idc-

investimentos-carreira-2009/. Acesso em 23/04/2009.

KALLÁS, David. O que é Balanced Scorecard. Disponível em:

http://www.mp.pr.gov.br/arquivos/File/o_que_e_bsc.pdf, Acesso em 30/09/2009.

KAPLAN Robert; NORTON David. Strategy maps: converting intangible assets into

tangible outcomes. USA: Harvard College, 2004.

KAPLAN Robert; NORTON David. The strategy: focused organization. USA:

Harvard College, 2001.

KAPLAN, Robert; NORTON, David. A estratégia em ação: Balanced Scorecard. Rio

de Janeiro: Campus, 1997.

78

KAPLAN, Robert; NORTON, David. Translating Strategy into Action: The

Balanced Scorecard. USA: Harvard College, 1996.

KOSCIANSKI, André; SOARES, Michel. Qualidade de Software: Aprenda as

metodologias e técnicas mais modernas para desenvolvimento de software. São

Paulo: Novatec, 2007.

LOCH Jussara, Avaliação: uma perspectiva emancipatória. São Paulo: AMPUB,

2000.

MORALES, Pedro. A avaliação escolar: o que é, como se faz. São Paulo: Loyola,

2003.

PÉREZ Juan, Coaching para Docentes: el Desarrollo de Habilidades en el aula.

San Vicente: Editorial Club Universitario, 2007.

PERRENOUD, Phillipe. Construir competências desde a escola. Porto Alegre:

Artmed, 1999.

PETERSON, Michael. Skills to Enhance Problem-based Learning. USA:

University of Delaware, College of Health and Nursing Sciences. Med Educ Online,

Disponível em http://www.utmb.edu/meo/, 1997.

PIAGET, Jean. A teoria básica. Instituição brasileira de difusão cultural. São Paulo:

IBRASA, 1975.

PIAGET, Jean. Psicologia e Padagogia. Instituição brasileira de difusão cultural.

Rio de Janeiro: Forense Universitária, 1985.

POPHAM, James. Transformative Assessment. Michigan: Prentice-Hall, 2008.

PRADO, Lauro. Guia LJP E-ZINE para Balanced Scorecard. Série Empresarial,

2002. Disponível em http:/lauroprado.tripod.com/enzine. Acessado em 01/08/2009.

RASINKANGAS, Anne. International Conference on Problem-Based Learning.

Finland: Lahti, 2005 Disponível em:

http://www.lpt.fi/pblconference/abstracts/workshops/index.htm. Acessado em:

01/11/2009.

79

RIBEIRO, Luis. An experiment with PBL in higher education as appraised by

the teacher and students. Interface, 2005.

ROGERS, Carl. Client-centered Therapy: Its Current Practice, Implications and

Theory. London: London, 1951.

SANTOS, Simone. An Evaluation Approach Based on the Problem-Based

Learning in a Software Engineering Master Course. Journal of Technology

Management and Innovation, 2008.

SAVERY, John; DUFFY, Thomas. Problem based learning: An instructional model

and its constructivist framework. USA: Indiana University, Education Technology,

1995.

SCIELO. Pesquisa de artigos. Recife: SCIELO, 2009. Disponível em

www.scielo.org/php/index.php?lang=pt. Acesso em 20/04/2009.

SEFAZ. Secretaria da Fazenda. Disponível em

http://www.fazenda.gov.br/portugues/glossario/glossario-e.asp. Acessado em

25/07/2010.

SOBRINHO, José. Dilemas da educação superior no mundo globalizado:

sociedade do conhecimento ou economia do conhecimento? São Paulo: Casa do

Psicólogo, 2005.

STUFFLEBEAM Daniel, SHINKFIELD Anthony. Evaluation theory, models, and

applications. San Francisco: Jossey-Bass, 2007.

TUOHI, Raija. Assessment in Problem Based Learning connected with IT

Engineering Education. International Conference on Engineering Education &

Research. Australia: Melbourne, 2007.

VASCONCELOS, Maria Celeste et al. Gestão Estratégica da Informação, do

Conhecimento: e das competências no ambiente educacional. Curitiba: Juruá,

2008.

80

VERGUEIRO, Waldomiro. Qualidade em Serviços de Informação. São Paulo: Arte

& Ciência, 2002.

WATERS, Robert; MCCRACKEN, Michael. Assessment and evaluation in

problem-based learning. In IEEE Frontiers in Education Conference. Georgia

Institute of Technology, 1996.

WEBSHOPPERS. Pesquisa de indicadores. Disponível em

www.webshoppers.com.br. Acesso em 18/04/2009.

YIN, Feng. Applying methods of formative and summative assessment to

problem-based learning in computer courses. School of Computer Science The

Donghua University. China: The China Papers, 2006.

81

APÊNDICE A – ANÁLISE DAS ENTREGAS

Quadro A.1: Legendas Índice Eficiência

Índice Eficácia

Índice Efetividade

Índice Motivação e Comprometimento

Outras Legendas

-1=Não Coletado; 0=Não Avaliado, com nota 0; 1=Inacabado, com nota entre 0,1 - 1,9; 2=Inapropriado, com nota entre 2,0 - 3,9; 3=Insuficiente, com nota entre 4,0 - 5,9; 4=Atendido, com nota entre 6,0 - 8,9; 5=Excepcional, com nota entre 9,0 - 10,0.

-1=Não Coletado; 0=Inapropriado; 1=Insuficiente; 2=Atendido.

0=Baixa; 1=Média; 2=Alta.

-1=Não Coletado; 0=Não Avaliado; 1=Péssimo; 2=Insatisfatório; 3=Regular; 4=Bom; 5=Ótimo.

NC=Não Computado

Quadro A.2: Entrega dos Artefatos da Fábrica de Software-1

FSW-1 DATAS DAS COLETAS/ NOTAS

Artefatos 07-04-08

28-04-08

20-05-08

09-06-08

31-07-08

00-00-00

MÉDIA ÍNDICE EFICIÊNCIA

ÍNDICE EFICÁCIA

Documento de Arquitetura

8,4 8,4 4 0

Acordo de nível de serviço

6,8 6,8 4 0

Cronograma

8,4 7,6 8,0 4 1

Métricas coletadas

8,4 6,8 7,6 4 1

Planilha de Auditoria

8,4 8,4 4 0

Plano de Métricas

6,8 9,2 8,0 4 1

Plano de Riscos

9,2 9,2 5 0

Plano do Projeto

8,8 7,6 10,0 8,8 4 1

Processo de Desenvolvimento

7,6 7,6 8,8 8,0 4 1

Riscos

7,6 7,6 4 0

Plano de Negócios

8,0 8,0 4 0

Site

8,4 7,6 8,0 4 1

Documento de visão

8,8 8,4 8,6 4 1

82



Artefatos 07-04-08

28-04-08

20-05-08

09-06-08

31-07-08

00-00-00


ÍNDICE EFICÁCIA


0,0 0,0 1 -1


7,0 7,0 4 0

Cronograma

NC 0 -1

Métricas coletadas

8,8 2,1 10,0 7,0 4 1


NC 0 -1

Plano de Métricas

8,4 8,4 4 0

Plano de Riscos

3,6 3,6 2 0

Plano do Projeto

8,0 6,8 9,2 8,0 4 1


7,6 8,4 6,0 7,2 4 1

Riscos

NC 0 -1

Plano de Negócios

8,7 7,6 8,1 4 1

Site

9,2 NC 0 0

Documento de visão

7,6 6,8 6,0 6,8 4 1

83



Artefatos 18-09-08

15-10-08

14-11-08

18-02-09

00-00-00

00-00-00


ÍNDICE EFICÁCIA


9,2 9,2 9,2 5 1


6,8 NC 0 0

Cronograma

NC 0 -1

Métricas coletadas

6,0 6,0 4 0


NC 0 -1

Plano de Métricas

6,8 NC 0 0

Plano de Riscos

NC 0 -1

Plano do Projeto

6,8 8,8 9,2 8,3 4 2


8,4 8,8 8,6 4 0

Riscos

8,4 NC 0 0

Plano de Negócios

5,0 6,8 6,8 4 0

Site

9,2 NC 0 0

Documento de visão

8,4 9,6 8,8 9,2 5 2

84



Artefatos 18-09-08

15-10-08

14-11-08

18-02-09

00-00-00

00-00-00


ÍNDICE EFICÁCIA


6,4 5,2 5,8 3 1


10,0 NC 0 0

Cronograma

NC 0 -1

Métricas coletadas

5,2 5,2 3 0


NC 0 -1

Plano de Métricas

9,2 NC 0 0

Plano de Riscos

NC 0 0

Plano do Projeto

8,8 5,2 7,0 4 1


10,0 8,8 9,4 5 1

Riscos

7,6 NC 0 0

Plano de Negócios

8,0 5,2 5,2 3 1

Site

6,0 NC 0 0

Documento de visão

10,0 9,2 4,4 6,8 4 2

85



Artefatos 15-04-09

03-05-09

01-06-09

01-07-09

03-08-09

08-09-09


ÍNDICE EFICÁCIA


6,8 8,8 8,0 7,9 4 1


7,6 7,6 4 0

Cronograma

9,2 9,2 5 0

Métricas coletadas

10,0 10,0 5 0


NC 0 -1

Plano de Métricas

10,0 10,0 10,0 5 1

Plano de Riscos

10,0 10,0 5 0

Plano do Projeto

6,0 9,2 8,0 10,0 10,0 9,3 5 2


8,8 8,8 8,8 4 1

Riscos

6,4 10,0 7,8 9,6 8,6 8,5 4 2

Plano de Negócios

2,0 7,6 7,2 7,4 4 1

Site

NC 0 -1

Documento de visão

4,4 7,6 8,4 9,6 9,6 8,8 4 2

86



Artefatos 15-04-09

03-05-09

01-06-09

01-07-09

03-08-09

08-09-09


ÍNDICE EFICÁCIA


8,8 9,6 10,0 9,5 5 1


9,6 9,6 5 0

Cronograma

10,0 10,0 5 0

Métricas coletadas 10,0 10,0 5 0


NC 0 -1

Plano de Métricas

10,0 10,0 10,0 5 0

Plano de Riscos

8,0 8,0 4 0

Plano do Projeto

8,4 10,0 9,0 10,0 10,0 9,8 5 2


9,5 10,0 9,8 5 2

Riscos

7,1 10,0 10,0 9,3 9,6 9,2 5 2

Plano de Negócios

2,0 9,6 9,4 9,5 5 1

Site

NC 0 -1

Documento de visão

8,0 8,0 9,6 9,8 10,0 9,4 5 2

87



Artefatos 15-04-09

03-05-09

01-06-09

01-07-09

03-08-09

08-09-09


ÍNDICE EFICÁCIA


8,8 8,4 9,6 8,9 5 1


9,0 9,0 5 1

Cronograma

9,2 9,2 5 0

Métricas coletadas

8,4 8,4 4 0


NC 0 -1

Plano de Métricas

9,0 8,4 8,7 4 0

Plano de Riscos

10,0 10,0 5 0

Plano do Projeto

7,5 8,0 7,6 7,6 9,2 8,1 4 2


0,0 7,2 3,6 2 0

Riscos

8,5 8,6 7,5 5,3 7,5 4 2

Plano de Negócios

0,0 8,2 7,1 7,6 4 1

Site

NC 0 -1

Documento de visão

8,4 8,0 8,8 8,0 9,6 8,6 4 2

88

APÊNDICE B - ANÁLISE DA SATISFAÇÃO

Quadro B.1: Satisfação do Cliente com Fábrica de Software-1 FSW-1 DATAS DA

COLETA/ PONTUAÇÃO

ÍNDICE

Aspecto Avaliado 09-07-2008

Atendimento dos prazos estabelecidos 5,0 5

Atendimento dos objetivos do projeto 5,0 5

Qualidade do produto entregue 5,0 5

Comunicação e transparência 1,0 1

Agilidade da equipe de desenvolvimento durante o projeto 5,0 5

Capacidade técnica 5,0 5

Inovação 5,0 5

Desempenho comparado a outros fornecedores 5,0 5

Interação com o gerente de relacionamento. 5,0 5

Quadro B.2: Satisfação do Cliente com Fábrica de Software-2

FSW-2 DATAS DA COLETA/ PONTUAÇÃO

ÍNDICE








Inovação 5,0 5



89



ÍNDICE

Aspecto Avaliado Pontuação







Inovação 4,0 4





ÍNDICE








Inovação 3,0 3



90



ÍNDICE



Atendimento dos objetivos do projeto 0




Capacidade técnica 0

Inovação 4,0 4

Desempenho comparado a outros fornecedores 0




ÍNDICE








Inovação 4,0 4

Desempenho comparado a outros fornecedores 0


91



ÍNDICE


Atendimento dos prazos estabelecidos -1 0

Atendimento dos objetivos do projeto -1 0

Qualidade do produto entregue -1 0

Comunicação e transparência -1 0

Agilidade da equipe de desenvolvimento durante o projeto -1 0

Capacidade técnica -1 0

Inovação -1 0

Desempenho comparado a outros fornecedores -1 0

Interação com o gerente de relacionamento. -1 0

92

APÊNDICE C – PLANILHA DE VERIFICAÇÂO

< fábrica > DATAS DAS COLETAS / NOTAS Artefatos <dat> <dat> <dat> <dat> <dat> <dat> MÉDIA ÍNDICE

EFICIÊNCIA INDICE

EFICÁCIA Documento de Arquitetura

<índ> <índ>


<índ> <índ>

Cronograma

<índ> <índ>

Métricas coletadas

<índ> <índ>


<índ> <índ>

Plano de Métricas

<índ> <índ>

Plano de Riscos

<índ> <índ>

Plano do Projeto

<índ> <índ>


<índ> <índ>

Riscos

<índ> <índ>

Plano de Negócios

<índ> <índ>

Site

<índ> <índ>

Documento de visão

<índ> <índ>

93

APÊNDICE D – PLANILHA DE AVALIAÇÃO INDEPENDENTE

Essas informações devem ser retiradas quando o template for utilizado. São de caráter informativo. Cada Artefato da fábrica será avaliado com base nos seguintes critérios: 1) Data de entrega: será avaliado se o artefato foi entregue na data planejada ou a quantidade de dias de atraso. Considerando 20 dias o atraso máximo permitido, cada dia de atraso irá corresponder a menos um décimo na nota. Caso o artefato seja entregue após o limite máximo, o conceito final da entrega será 0 (zero); 2) Conceito do artefato: pode variar de 0 a 10 de acordo com os seguintes critérios definidos no checklist de cada artefato. 3) Nota final: uma média ponderada onde o conceito do artefato representa 80% da nota e a data de entrega 20%. 4) Média do Alinhamento: será composta pela média aritmética de todas as notas finais. Esta avaliação poderá acontecer a qualquer momento pelos monitores das fábricas através da validação das evidências disponíveis nos sites / repositórios de cada fábrica.

< nome da fábrica > - < data da avaliação>

Artefatos Data Planejada

Impacto Dias

Data Realizada

Conceito do Artefato

Nota Final Comentários

< nome > < data > < número > < data > < nota > < nota > < texto >

< nota > < texto >

94

APÊNDICE E – STATUS REPORT

Essas informações devem ser retiradas quando o template for utilizado São de caráter informativo. Em cada marco pré-estabelecido, as fábricas serão avaliadas de acordo com os seguintes critérios: • apresentação da fábrica; • apresentação do projeto; • acompanhamento dos marcos; • pontos fortes / melhorias; • resultados obtidos; • métricas.

< nome da fábrica > - < data >

Artefatos Nota Comentários Apresentação da Fábrica < nota > < texto >

Apresentação do Projeto < nota > < texto >

Acompanhamento dos Marcos < nota > < texto >

Pontos Fortes / Pontos de Melhoria < nota > < texto > Resultados Obtidos < nota > < texto > Métricas < nota > < texto >

Negócios < nota > < texto >

Outros < nota > < texto > < nota > Média do Status Report

C.E.S.A.R – CENTRO DE ESTUDOS E SISTEMAS...

Documents

Transcript of C.E.S.A.R – CENTRO DE ESTUDOS E SISTEMAS...