ANÁLISE DA DESISTÊNCIA DE NOVATOS EM PROJETOS DE SOFTWARE LIVRE: CASO DO PROJETO HADOOP COMMON...
Transcript of ANÁLISE DA DESISTÊNCIA DE NOVATOS EM PROJETOS DE SOFTWARE LIVRE: CASO DO PROJETO HADOOP COMMON...
ANÁLISE DA DESISTÊNCIA DE NOVATOS EM PROJETOS DE SOFTWARE LIVRE: CASO DO PROJETO HADOOP COMMON
Igor Steinmacher
Igor Scaliante Wiese
Ana Paula Chaves
Marco Aurélio Gerosa
CONTEXTO
... e precisam de ajuda para dar seus passos iniciais
2
“Um novato em projeto de software é como um explorador que precisa se orientar em um ambiente hostil...”
[Degenais et al. 2010]
B. Dagenais, H. Ossher, R.K.E Bellamy, M.P. Robillard and J.P. de Vries, Moving into a new software project landscape, in ICSE 2010.
3
PROBLEMA
Taxa de retenção de novatos em projetos de software livre é baixa
4
PROBLEMA
Fonte: Wikimedia Editor Trends Study/Results <http://strategy.wikimedia.org/?oldid=80283>
• Bongwon Suh, Gregorio Convertino, Ed H. Chi, and Peter Pirolli. 2009. The singularity is not near: slowing growth of Wikipedia. In WikiSym '09. ACM, New York, NY, USA, , Article 8 , 10 pages.
• Parul Vora, Naoko Komura. 2010. The n00b Wikipedia Editing Experience. In WikiSym '10. • Aaron Halfaker, Aniket Kittur, and John Riedl. 2011. Don't bite the newbies: how reverts affect the
quantity and quality of Wikipedia work. In WikiSym '11. • Loxley Sijia Wang, Jilin Chen, Yuqing Ren, and John Riedl. 2012. Searching for the goldilocks zone:
trade-offs in managing online volunteer groups. In CSCW '12.
5
OBJETIVO
Questão de Pesquisa:
Ausência de resposta, polidez, utilidade ou o tipo de autor das respostas influencia na permanência de novatos em um projeto
de software livre?
Objetivos Específicos:
• Durante as primeiras interações dos novatos com o projeto• OE1: Verificar se os novatos recebem respostas; • OE2: Observar quem são os autores das respostas às dúvidas
dos novatos; e • OE3: Classificar as respostas recebidas pelos novatos.
6
DADOS COLETADOS
Projeto Hadoop Common
60 meses
• Lista de e-mails• 9285 discussões• 50128 mensagens
• Discussões nas tarefas (Jira)• 7721 tarefas• 76065 comentários
Tarefas Jira
Lista e-mails
Identificação dos membros existentes
no projeto (36 meses)
Identificação dos “novatos”(6 meses)
Verificação dos novatos que
ficaram(6 meses)
Verificação dos novatos que
“continuaram”(+ 12 meses)
Verificação dos novatos
“desistentes”(6 meses)
Envio de questionário
Mineradores
7
MÉTODO
1 2
3
3
4
8
# usuários % dos existentes % dos novatos
Existentes (intervalo 1) 677
Novatos (intervalo 2) 67 9,90%
Ficaram (intervalo 3) 20 2,95% 29,85%
Continuaram (intervalo 4) 12 1,77% 17,91%
RESULTADOS (RETENÇÃO)
Novatos na Lista de e-mails
# usuários % dos existentes % dos novatos
Existentes (intervalo 1) 483
Novatos (intervalo 2) 127 26,29%
Ficaram (intervalo 3) 30 6,21% 23,62%
Continuaram (intervalo 4) 17 3,52% 13,39%
Novatos no Gerenciador de tarefas (Jira)
9
OE1:OS NOVATOS SÃO RESPONDIDOS?
# pessoas Desistiram Aparecem nos intervalos 3 e 4
Sem resposta 13 11 (84,6%) 2 (15,4%)
Com resposta 34 30 (88,2%) 4 (11,8%)
# pessoas Desistiram Aparecem nos intervalos 3 e 4
Sem comentários 7 6 (85,7%) 1 (14,3%)
Com comentários 71 55 (77,5%) 16 (22,5%)
Novatos no Gerenciador de tarefas (Jira)
Novatos na Lista de e-mails
10
20 discussões de novatos que desistiram tiveram alguma resposta de outros novatos
OE2:QUEM RESPONDE AOS NOVATOS?
Lista de e-mails
Nenhuma mensagem de novato respondida apenas por novatos. Apenas 2 discussões têm participação de outros novatos
• Indícios de que experiência dos autores de respostas influencia a permanência• Verificou-se que alguns novatos responderam questões de maneira equivocada ou
que não continham informações úteis
OE2:QUEM RESPONDE AOS NOVATOS?
11
Jira
39 relatos (45%) não contaram com membros centrais.Participação heterogênea.
11 relatos (28%) não contaram com membros centrais.Participação heterogênea
• Discussões mais extensas (# mensagens trocadas)• Maior contribuição dos membros centrais, e mais respostas de novatos• Discussões mais contextualizadas, focadas, e extensas (# mensagens)
12
OE3: QUE TIPO DE RESPOSTA OS NOVATOS RECEBEM?
Tipo da Resposta Desistiram ContinuaramAjuda / No Tópico 20 7Não Útil / Outra questão 5 0Não Útil / Fora do tópico 3 0Indiferente 1 0Outro 4 0
• respostas no tópico, contextualizadas e com informações úteis• não houve alterações ou padrões a tratar no contexto dessa questão
Lista de E-mails
Gerenciador de Tarefas
13
QUESTIONÁRIO (DESISTENTES) 1. Você se lembra de ter enviado email à lista hadoop-common-dev?
2. À época, você estava interessado em continuar contribuindo com o projeto Hadoop?
2a. Caso tenha respondido SIM à questão 2, por que desistiu?
2b. Caso tenha respondido SIM à questão 2, qual foi o objetivo ao enviar mensagens à lista de desenvolvedores?
3. Você contribuiu com algum projeto de software livre depois de Junho de 2009?
4. Você já havia contribuído com algum projeto de software livre antes de Junho de 2009?
Questão 1 Questão 2 Questão 3 Questão 4
Sim 13 11 1 7
Não 0 2 12 611
14
QUESTIONÁRIO (DESISTENTES)
Tipo da RespostaResposta à questão 2
Sim (2a) Não (2b)
i. Era usuário e só quis esclarecer dúvidas 0 2
ii. Pergunta não respondida ou resposta não agradou 2 0
iii. Falta de ajuda em escolher tarefa 3 0
iv. Diz não ter sido aceito pelo projeto 1 0
v. Mudou de foco ou empresa 4 0
vi. Voltou depois ao projeto 1 0
2a. Caso tenha respondido SIM à questão 2, por que desistiu?2b. Caso tenha respondido SIM à questão 2, qual foi o objetivo ao enviar mensagens à lista de desenvolvedores?
“... meu problema era como começar a contribuir... se eu tivesse alguém para segurar minha mão, isso poderia ter ajudado...”
“eles não responderam à minha pergunta”.
15
CONCLUSÕES
ausência de respostapolidez da resposta má recepção (questionário)utilidade da resposta direcionamento / mensagens negativastipo do autor experiência de quem responde Adicionalmente fatores externos
As interações iniciais exercem influência na decisão de permanecer colaborando no projeto
“Habilidades sociais” são requeridas
Ausência de resposta, polidez, utilidade ou o tipo de autor das respostas influencia na permanência de novatos em um projeto
de software livre?
16
OPORTUNIDADES FUTURAS
Estender a análise para outros projetos
Estabelecer uma classificação mais rigorosa
• Entrevistas com outros desistentes e conduzir estudos de caso específicos
Estudar proposta de uma abordagem para análise automatizada do conteúdo do padrão das discussões (análise de discurso)
PERGUNTAS?
Igor [email protected]
Igor Scaliante [email protected]
Ana Paula [email protected]
Marco Aurélio [email protected]