Consulta Pública no 008/2010 Contribuição da AES Brasil · 2010-08-24 · PASSO 4. DEFINIÇÃO...

35
REVISÃO DA METODOLOGIA DE ESTABELECIMENTO DOS LIMITES DOS INDICADORES COLETIVOS DE CONTINUIDADE Consulta Pública n o 008/2010 Contribuição da AES Brasil 23 de Agosto de 2010

Transcript of Consulta Pública no 008/2010 Contribuição da AES Brasil · 2010-08-24 · PASSO 4. DEFINIÇÃO...

REVISÃO DA METODOLOGIA DE ESTABELECIMENTO DOS LIMITES DOS INDICADORES COLETIVOS DE CONTINUIDADE

Consulta Pública no 008/2010 Contribuição da AES Brasil

23 de Agosto de 2010

2

ÍNDICE INTRODUÇÃO ................................................................................................................3 PASSO 1. PRÉ-CLUSTERIZAÇÃO: SELEÇÃO DE VARIÁVEIS................................5 PASSO 2. PRÉ-CLUSTERIZAÇÃO: SELEÇÃO DOS CLUSTERS...........................11 PASSO 3. CLUSTERIZAÇÃO DOS CONJUNTOS: ..................................................13 PASSO 4. DEFINIÇÃO DOS LIMITES DE CONTINUIDADE....................................17 REFERÊNCIAS.............................................................................................................22 ANEXO I – MQO dos atributos propostos confrontados com o DEC ............................23 ANEXO II - MQO dos atributos propostos confrontados com o FEC.............................24 ANEXO III - MQO sem os atributos não significativos confrontados com o DEC..........25 ANEXO IV - MQO sem os atributos não significativos confrontados com o FEC..........26 ANEXO V - Matrizes de Correlação ..............................................................................27 ANEXO VI - PROPOSTA DE METODOLOGIA .............................................................32

3

INTRODUÇÃO

Em 05 de julho de 2010, a Superintendência de Regulação de Distribuição (SRD) da ANEEL, iniciou o período de contribuições da Consulta Pública nº 008/2010 para obter subsídios e informações adicionais ao aprimoramento da metodologia de estabelecimento dos limites dos indicadores de continuidade coletivos DEC e FEC.

O anexo da Nota Técnica nº 028/2010-SRD/ANEEL detalha o assunto, bem como formula perguntas a serem respondidas pelas concessionárias de distribuição nesta Consulta Pública.

Este documento apresenta a contribuição do Grupo AES Brasil em relação aos questionamentos levantados na Nota Técnica pela ANEEL, para sua proposta de metodologia.

A base de informações utilizadas nas análises apresentadas foram as disponibilizadas no âmbito da Consulta Pública.

Ressalte-se que durante esta fase de consulta pública, o Grupo AES Brasil se reserva o direito de, sempre que julgar cabível, reavaliar conceitos e valores propostos, complementando e/ou retificando a argumentação aqui contida.

A seguir, apresentamos um sumário com as principais considerações da contribuição:

• Quanto à seleção de atributos para a pré-clusterização

Entende-se que o método de eliminação de redundância entre as variáveis, propostas pela ANEEL, através da análise fatorial é adequado. No entanto, após a sua realização, antes da pré-clusterização, é fundamental complementar o estudo com uma análise de regressão multivariada. Com base nesta análise é possível verificar a significância dos atributos que melhor explicam a qualidade de serviço.

Neste sentido, se avaliou os 12 atributos selecionados pela ANEEL para a pré-clusterização utilizando um modelo de regressão linear múltipla estimado pelos mínimos quadrados ordinários (MQO). Os resultados e os testes aplicados apontaram para uma baixa significância estatística de inúmeros atributos e existência de multicolinearidade e heterocedasticidade (indicativo de variáveis omitidas).

Ainda observa-se no estudo realizado pela ANEEL, a predominância de atributos classificados como Características do Mercado em detrimento das características do Sistema Elétrico e de Recursos Tarifários, que do ponto de vista operacional influenciam de forma determinante a qualidade de serviço. Sendo assim, sugere-se a incorporação de novos atributos e a reavaliação da pertinência de outros propostos pela ANEEL.

Ressalta-se que obtendo-se um amplo universo de atributos a nível de conjuntos, e que tais atributos sejam efetivos para o agrupamento dos mesmos, a etapa de pré-clusterização poderia ser suprimida. Porém, dada a complexidade do fenômeno que se pretende explicar, essa etapa da metodologia pode ser necessária.

4

• Quanto à pré-clusterização das distribuidoras

Para a pré-clusterização, ao se apreciar os resultados obtidos pela ANEEL, observa-se uma grande dispersão dos atributos dentro de cada pré-cluster. Esta alta dispersão resultou em uma grande quantidade de outliers dentro de cada pré-cluster. Do total de 63 distribuidoras, 37% delas têm ao menos um atributo classificado como outlier, indicando que a quantidade não foi selecionada de forma a reduzir tal dispersão.

• Quanto à clusterização dos conjuntos

Em relação à clusterização dos conjuntos, ao se aplicar a normalização para todo o universo de conjuntos, e não para aqueles constantes em cada pré-cluster, a metodologia não eliminou o efeito das diferentes escalas entre as variáveis, o que distorce o agrupamento dentro de cada pré-cluster. Destaca-se que cerca de 25% dos conjuntos têm pelo menos um atributo identificado como outlier. Diante da elevada quantidade de outliers, a eliminação imediata dos mesmos acarreta em uma grande perda de informação, o que evidencia a necessidade de aprimoramento da metodologia proposta.

• Quanto à definição dos limites dos indicadores coletivos

Para definição dos limites o estudo apresentado utilizou-se do método de Análise Envoltória de Dados (DEA). No entanto, há inúmeros aspectos que prejudicam sua utilização. Em primeiro lugar, a utilização de dados para um único ano (2008) acirra a possibilidade de efeitos aleatórios, erros de medida e valores extremos (outliers), o que afeta significativamente os resultados do DEA. Adicionalmente, o método não permite constatar a significância estatística dos insumos empregados e a existência de variáveis omitidas, o que é um aspecto crítico dado a complexidade do tema que se pretende explicar. Por fim, o método também não permite a construção de intervalos estatísticos para as metas resultantes da metodologia.

Se observa na matriz de correlação entre os insumos e produtos adotados na análise do DEA, que não há forte correlação entre eles. Esta evidência aponta a necessidade premente de se testar novas variáveis, em particular àquelas relacionadas aos recursos tarifários que estão ligadas a qualidade no contexto operacional, como por exemplo, os custos de O&M.

Neste sentido, pode-se explorar o aprimoramento da metodologia para definição dos limites, através da utilização do percentil. Neste caso, deverá ser avaliada a homogeneidade da distribuição de cada cluster, afim de estabelecer decis diferenciados na definição das metas. Adicionalmente, duas possibilidades podem ser exploradas: (i) emprego de uma fronteira estocástica, sendo que os resultados desta já seriam as metas para os indicadores de continuidade; (ii) utilização de fronteira média (MQO) para estimar um ranking de complexidade operacional dos conjuntos. A partir deste ranking, formulam-se regras de comparação entre conjuntos, como já adotado por essa Agência na definição de metas para Perdas Não Técnicas.

Com o objetivo de garantir a aplicação de uma metodologia, para a definição dos limites de qualidade para cada conjunto, é fundamental corrigir as distorções

5

encontradas nas metas vigentes, caso estas sirvam de ponto de partida para o estabelecimento da trajetória.

Além do ponto de partida, a metodologia deve definir também o período de transição até o valor alvo. Neste aspecto, não se considera apropriada a utilização dos anos contidos no ciclo tarifário, dado que este parâmetro varia entre as concessionárias. Desta forma, seria conveniente a manutenção do período de transição vigente de oito anos, havendo também a necessidade de se estabelecer um limite máximo de decréscimo anual. Este limite máximo poderia ser determinado para cada conjunto a partir da avaliação do histórico de decréscimo anual verificado no cluster.

• Quanto à definição dos limites dos indicadores individuais

Quando da redefinição dos limites dos indicadores individuais, vigentes a partir de janeiro de 2010, a AES Eletropaulo interpôs recurso administrativo, o qual foi indeferido pela ANEEL, ocasião em que defendeu que as mudanças metodológicas da regulamentação da qualidade de serviço deveriam ser realizadas simultaneamente para os indicadores individuais e coletivos.

Reiteramos nosso posicionamento, ocasião em que solicitamos que a metodologia vigente para definição dos limites dos indicadores individuais seja revista, concomitantemente com a Audiência Pública prevista para estabelecimento dos indicadores coletivos.

Ressaltamos o disposto no item 130 da Nota Técnica nº 130/2009, de forma a salientar a importância da redefinição dos índices de DIC, FIC e DMIC, caso haja impacto significativo para as distribuidoras da AES Brasil, quando da implementação dos novos limites dos indicadores coletivos.

“130. Ademais, com a reformulação dos atuais conjuntos de unidades consumidoras em 2010, haverá o estabelecimento de novos limites de DEC e FEC para esses conjuntos. Como a partir dos limites coletivos se obtêm os individuais, os eventuais impactos poderão ser tratado neste momento. De qualquer forma, devido à obrigação desta Agência de acompanhar o impacto de seus regulamentos, foi inserido no Módulo 6 do PRODIST o comando para que as distribuidoras enviem mensalmente os valores de compensação pagos aos consumidores por violação dos limites dos indicadores individuais.” (Grifou-se)

PASSO 1. PRÉ-CLUSTERIZAÇÃO: SELEÇÃO DE VARIÁVEIS

Q.2 É necessário aprimorar o método utilizado para seleção dos atributos?

Para selecionar o menor número possível de atributos que representem as características das distribuidoras em relação à qualidade de serviço, a ANEEL desenvolveu, na etapa de pré-clusterização, uma análise fatorial composta por sucessivas avaliações dos valores de medida de adequação da amostra (MSA) e das matrizes de rotações ortogonais de fatores (VARIMAX).

6

O método proposto pela ANEEL, nesta etapa, é adequado para eliminar as variáveis redundantes, no entanto ele não é suficiente para escolher os atributos que melhor explicam o fenômeno que se pretende estudar (qualidade do serviço).

Após a realização da análise fatorial e antes da pré-clusterização das empresas, faz-se necessário complementar o estudo com um analise de regressão multivariada, onde a estimação dos parâmetros é feita através do método de mínimos quadrados ordinários, entre os indicadores de qualidade (DEC e FEC) e os atributos pré-escolhidos. Para se verificar a consistência dos resultados desta regressão, deve-se aferir, através de testes estatísticos, os aspectos abaixo:

a) O grau de significância estatística dos atributos (variáveis explicativas)

Utiliza-se o “teste F” para verificar se todos os coeficientes são simultaneamente iguais a zero. Ou seja, testa-se o significado global do modelo de regressão múltipla estimado, ao nível de 10% de significância a estatística F deve ser maior que |1,831093|.

Ainda, para verificar se uma determinada variável explicativa não tem qualquer influência sobre a variável dependente, utiliza-se o “teste t”. Ao um nível de significância de 10%, rejeita-se a hipótese nula, de que não há qualquer relação entre a variável independente e a dependente, quando o valor da estatística t supera a |1,08|.

b) Ausência de alta colinearidade entre os atributos:

Utiliza-se a matriz de correlação das variáveis explicativas para verificar se estas apresentam correlação alta entre si. Espera-se que a correlação entre as variáveis explicativas sejam menores que 0,70. Ademais, uma detecção clássica de presença de multicolinearidade no modelo é este apresentar um “R2 alto, mas poucas razões t significativas” (Gujarati, 2000). Complementarmente, outra medida utilizada para verificar a existência de colinearidade é o fator de Inflação da Variância (VIF), que foi utilizada pela ANEEL na NT 0028/2010.

c) Ausência de heterocedasticidade:

Uma das premissas do modelo de regressão clássica é de que os erros aleatórios apresentem variância constante, isto é, sejam homocedásticos. Para tanto, utiliza-se o Teste de White com cross terms no qual é feito uma regressão auxiliar, onde o erro ao quadrado é utilizado como variável dependente, sendo as variáveis explicativas:

(i) aquelas do modelo original, (ii) seus quadrados; e (iii) multiplicação entre elas. Há heterocedasticidade na regressão quando P-valor do teste situa-se próximo de zero.

d) Normalidade dos resíduos:

Outra premissa a ser adotada é de que os erros aleatórios têm de ser normalmente distribuídos com valor esperado igual a zero, variância 1. Isso significa ter uma assimetria igual a zero e curtose 3. Para certificar a normalidade emprega-se o teste de normalidade de Jarque-Bera (JB) se baseia nos resíduos do método dos mínimos quadrados. Para sua realização o teste necessita dos cálculos da assimetria e da

7

curtose. Verifica-se a não normalidade dos resíduos quando o P-valor do teste situa-se próximo de zero.

Q.1 Há necessidade de se estudar mais atributos?

A fim de avaliar a necessidade de incorporar novos atributos ou retirar alguns deles na etapa de pré-clusterização, verificou-se o grau de significância estatística, dos atributos propostos pela ANEEL na explicação do fenômeno da qualidade (DEC e FEC).

Para tal fim foi analisado o modelo de regressão linear múltipla estimado pelos mínimos quadrados ordinários que surge de correlacionar os atributos propostos com os valores de DEC e FEC apurados no ano de 2008, para as 63 distribuidoras da Federação. Nos ANEXOS I e II se apresentam as saídas destes modelos.

Da análise dos resultados e dos testes aplicados verifica-se uma baixa significância estatística para inúmeros atributos, a existência de multicolinearidade, heterocedasticidade (indicativo de variáveis omitidas) e incoerência nos sinais dos coeficientes. Sendo assim, recomenda-se a incorporação de novos atributos e a reavaliação da pertinência de alguns atributos propostos pela ANEEL.

Segue abaixo análise detalhada destas questões.

a) Falta de significância estatística dos atributos propostos:

De acordo com os resultados dos ANEXOS I e II, se observa que para o DEC e o FEC, dos 12 atributos propostos, 8 deles não são estatisticamente significativos a 10%.

b) Presenças de multicolinearidade

Segundo Gujarati (2000), um indício clássico de existência de alta colinearidade entre as variáveis é a presença de um R2 global alto e teste F significativo, conjuntamente com P-valores insignificante, para o teste T individual, de muitos coeficientes. Nas saídas dos modelos reportadas nos ANEXOS I e II se evidencia este comportamento, o que aponta para a multicolinearidade dos atributos propostos pela ANEEL.

Adicionalmente, através da matriz dos coeficientes de correlação pode-se notar de maneira evidente a existência de tal colinearidade para as variáveis “Extensão de Rede Primária” e “Número de Unidades Consumidoras”, que apresentam coeficiente de correlação de 0,74.

Na NT 0028/2010, a ANEEL utilizou valores de VIF superiores a 10 para indicar a existência de colinearidade.

8

O fator de inflação da variância é calculado segundo a Equação 11:

Equação 1 – Cálculo do VIF Onde: 2

jR : coeficiente de regressão múltipla da variável explicativa Xj, com todas as outras variáveis explicativas

Recalculando os valores de VIF para os atributos proposta pela ANEEL, aplicando a formula matemática da equação 1, obtêm-se valores maiores que 10 nos atributos “Extensão de Rede Aérea Primária” e “Número de Unidades Consumidoras”, como se vê na Tabela 1, o que corrobora com o indício de colinearidade observado através do alto coeficiente de correlação.

Tabela 1 – Valores de VIF

Atributos VIFChuva_Anual 0,76 4,219Dens_Raios 0,85 6,579Dens_Estradas 0,76 4,219NUC_AREA 0,75 4,016AREA 0,79 4,854ERAP 0,92 11,91Nuc 0,93 13,33Cons_Med_R 0,71 3,472Cons_Med_I 0,69 3,247Cons_Med_Rur 0,65 2,849Perc_Cons_I 0,69 3,175Perc_Cons_Rur 0,47 1,869

21R

Assim conclui-se, em face dos testes, que existem fortes indícios de multicolinearidade nos 12 atributos propostos pela ANEEL.

c) Heterocedasticidade

Segundo Gujarati (2000), uma das hipóteses do modelo de regressão linear é que a variância de cada termo de perturbação (erro) seja constante e igual a 2σ , ou seja, o modelo seja homocedástico. Os quadros dos ANEXOS I e II mostram que a utilização dos atributos propostos pela ANEEL viola tal hipótese. Uma das causas da heterocedasticidade é exatamente a omissão de atributos significativos para explicação da variável dependente. O teste geral para verificação de homocedasticidade proposto

1 Segundo Gujarati (2000); Tamhane & Dunlop (2000); Kutner (2004); Longnecker (2004); Studenmund (2006) e Hair JF (2006)

211

jk R

VIF−

=

9

por White é de fácil aplicação e não depende da hipótese de normalidade. Nos ANEXOS I e II vê se que os modelos propostos pela ANEEL violam tal hipótese (os p valores estão muito aquém dos 10% exigidos). Mesmo quando retiradas as variáveis não significativas, o modelo continua heterocedástico como mostras os ANEXOS III e IV.

d) Conclusão

Por meio da análise realizada, entende-se que se deve aprimorar o levantamento e definição dos atributos que explicam a qualidade. Nota-se que mesmo retirando os atributos não significativos do modelo, persiste o problema da heterocedasticidade, indicando mais uma vez a possibilidade de variáveis omitidas.

Observa-se no estudo realizado pela ANEEL, a predominância de atributos classificados como “Características do Mercado” em detrimento das demais características. Os atributos que caracterizam o Sistema Elétrico ficaram reduzidas a dois atributos: o “Número de Unidades Consumidoras” (NUC) e a “Extensão de Rede Aérea Primária” (ERAP), as quais possuem uma alta correlação entre si, evidenciando redundância.

Por outro lado, observa-se que foram omitidos atributos que na prática e na lógica operacional das empresas tem alta relação com a qualidade, a saber:

• Características topológicas do Sistema Elétrico (ex. nível de automação, rede nua ou protegida, postes de madeira ou concreto, etc.).

• Recursos Tarifários: tanto de custos de O&M quanto relacionados à base de remuneração.

Cabe destacar que os atributos acima assinalados podem ser obtidos através das informações disponibilizadas na Empresa de Referência e utilizados para o cálculo do Fator Xe.

Ressalta-se que obtendo-se um amplo universo de variáveis a nível de conjuntos, e que tais variáveis sejam efetivas para o agrupamento dos mesmos, a etapa de pré-clusterização poderia ser suprimida. Porém, dada a complexidade do fenômeno que se pretende explicar, essa etapa da metodologia pode ser necessária.

Em virtude do exposto, a definição dos atributos precisa ser aprimorada, sendo esta uma tarefa exploratória, aonde se deverá buscar, através dos testes estatísticos, o grupo de atributos que garanta o melhor desempenho do método de comparação.

O ANEXO VI apresenta uma alternativa de abordagem que traz uma série de aprimoramentos e mudanças à metodologia proposta pela ANEEL.

Q.3 Das variáveis analisadas existem variáveis que deveriam ter sido selecionadas ou excluídas?

10

Como exposto na resposta à questão Q.1, através da análise do modelo de regressão linear, foi identificada a necessidade de exclusão de algumas variáveis utilizadas e consideração de outras (ANEXO VI).

Observando a análise fatorial realizada pela ANEEL, identificou-se duas oportunidades de aprimoramento relacionada a seleção das variáveis, conforme segue:

• Durante a “Etapa 1: Análise fatorial realizada separadamente para os quatro subgrupos iniciais de variáveis”, a escolha da variável “Renda per Capita” para representar as demais na análise fatorial geral, foi justificada, por “sua facilidade de compreensão e exatidão (disponível por município), além de ser representativa da capacidade de pagamento dos consumidores”. Contudo, entende-se que deveria ser escolhida a variável “Índice de Desenvolvimento Humano” por ter o maior peso no fator entre todas as variáveis analisadas – como mostra a Tabela 2 – além de apresentar todas as características positivas citadas para a variável “Renda per Capita”.

Tabela 2 – Matriz de Componentes Principais

Component1

IDH 0.958Perc_Pes_Dom_Banh_Agua 0.933Gini -0.900Renda_PC 0.860

Component Matrix(a)

Extraction Method: Principal Component Analysis.a. 1 components extracted.

• Ainda na Etapa 1, para o tema “B” (Características da Área de Concessão), não foi possível reproduzir os valores dos MSA’s do tema e de suas variáveis. Pelos valores obtidos das simulações feitas pelo Grupo AES Brasil, conforme indicado na Tabela 3 e Tabela 4, seria selecionada a variável “Densidade de Unidades Consumidoras” ao invés da variável “Área de Concessão”.

Tabela 3 – MSA Tema

0.608Approx. Chi-quare

87.358

df 10Sig. 0.000

KMO and Bartlett's TestKaiser-Meyer-Olkin Measure of Sampling Adequacy.Bartlett's Test of Sphericity

Tabela 4 – MSA das variáveis

Chuva_Anual Dens_Raios Dens_Estradas NUC_AREA AREAChuva_Anual 0.607* -0.518 -0.007 0.084 0.178Dens_Raios -0.518 0.568* 0.317 -0.293 -0.565Dens_Estradas -0.007 0.317 0.784* -0.223 0.141NUC_AREA 0.084 -0.293 -0.223 0.260* 0.248AREA 0.178 -0.565 0.141 0.248 0.631**. Measures of Sampling Adequacy(MSA)

Anti-image Matrices

11

PASSO 2. PRÉ-CLUSTERIZAÇÃO: SELEÇÃO DOS CLUSTERS.

Q.4 Há necessidade de se avaliar outros métodos de clusterização?

O método hierárquico de Ward é adequado para o problema proposto. Este método apresenta uma melhor robustez em seus resultados quando comparados a outros métodos de agrupamento.

Q.5 A quantidade de cluster selecionada é adequada? Senão qual deveria ser o critério?

Ao se avaliar os resultados obtidos pela ANEEL para a clusterização das distribuidoras observa-se, conforme indicado na Tabela 5, uma grande dispersão dos atributos dentro de cada pré-cluster obtido.

Tabela 5 – Coeficiente de Variação dos Atributos nos pré-clusters

������������������ ������ ��� ��� ���

�������������� �� ��������!� ��� ��� ���

��"��!�������"�! #!"���� �"$� ��!" ��� ��� ���

��"��!�������"� !�!"��!��� ���!�!" ��� �� �

��"��!���������"�� ��� �" ���� ���� ����

% �!��!������""&� ��� ���� ����

'� �������� �!�� �� ( �! ���� ��� ���

�)� � �����"�� ��� �" ���� ��� ����

�* ���!""����"������!� �� �� ���

�* ���!""������"� �!� ��� ��� ���

�* ���!""���� !� �� ��� ���

+ ����"�� ���!���!""������"� �!� ��� �� ���

+ ����"�� ���!���!""���� !� � � ���

� �,���"��

O CV para os atributos densidade de unidades consumidoras, área da concessão, extensão de rede aérea primária e número de unidades consumidoras, são superiores a 100% em grande parte dos pré-clusters, mostrando a existência de uma alta dispersão entre as empresas pertencentes a um mesmo pré-cluster.

Esta alta dispersão resultou em uma grande quantidade de outliers dentro de cada pré-cluster. A Tabela 6 apresenta o percentual de empresas que possuem ao menos um dos atributos classificados como outlier.

Tabela 6 – Percentual de Empresas que Possuem Atributos Outliers por Pré-Cluster

Pré-cluster (A) Pré-cluster (B) Pré-cluster (C) TOTAL

Empresas Outliers ��� �� ��� ���

Do total de 63 distribuidoras, 37% tem ao menos um atributo classificado como outliers. Através da análise de Box plot a ANEEL identifica esta problemática e lista as distribuidoras consideradas outliers de cada atributo em cada cluster. Este número alto

12

de outliers pode ser resultado de uma não acurácia na definição da quantidade de clusters.

Considerando a exclusão dos outliers para o cálculo da dispersão das variáveis dentro de cada pré-cluster, que é medida como a relação do valor entre o primeiro e terceiro quartil, observa-se que ainda existe elevada heterogeneidade dentro dos pré-clusters.

Tabela 7 – Dispersão Pré-Clusters (Sem Outliers)

���%��- .�/�! ���0�1�/�! ��� .�/�! ���0�1�/�! ��� .�/�! ���0�1�/�! ���

�������������� �� ��������!� ��� �� ���

��"��!�������"�! #!"���� �"$� ��!" ��� ��� ���

��"��!�������"� !�!"��!��� ���!�!" �� �� ���

��"��!���������"�� ��� �" �� ���� ���

% �!��!������""&� �� ��� ���

'� �������� �!�� �� ( �! ���� ��� ����

�)� � �����"�� ��� �" �� �� ���

�* ���!""����"������!� ��� ��� ���

�* ���!""������"� �!� �� �� ���

�* ���!""���� !� �� �� ��

+ ����"�� ���!���!""������"� �!� �� �� ���

+ ����"�� ���!���!""���� !� ��� ��� ��

� �,���"�� ���� � �,���"�� ���� � �,���"�� ����

Observa-se na Tabela 7, que na variável extensão de rede aérea primária, no pré-cluster (A) foram agrupadas empresas com diferença de extensão de rede da ordem de 19 vezes.

Conforme a NT 028/2010, inicialmente foram definidos 4 pré-clusters de distribuidoras. Esta quantidade, conforme indicada pela ANEEL, foi definida através da análise visual do dendograma e da adoção do critério que no mínimo 3 empresas devem pertencer a um dos pré-clusters. Porém, como um deles era composto somente, por empresas de pequeno porte, com poucos conjuntos de unidades consumidoras, a ANEEL optou por utilizar 3 pré-clusters, resultando em uma maior dispersão observada no pré-cluster (A) – Vide Tabela 7.

Cabe ressaltar que a proposta inicial de 4 pré-clusters de distribuidoras ainda apresenta elevada dispersão. Portanto, entende-se que o número de clusters a ser selecionado deve passar pelos critérios de verificação da quantidade de outliers e da análise da dispersão intra-cluster. Uma forma inicial de se reduzir a dispersão dos resultados da clusterização, seria realizar a separação prévia das empresas pelo porte, evitando o agrupamento de distribuidoras com portes muito distintos conforme ocorreu na proposta apresentada pela ANEEL.

13

PASSO 3. CLUSTERIZAÇÃO DOS CONJUNTOS:

Q.6 A padronização das variáveis deve ser aplicada no universo de todos os conjuntos ou em cada pré-cluster existente?

Na proposta apresentada na Nota Técnica nº 028/2010 – SRD/ANEEL para determinar os agrupamentos dos conjuntos de cada agrupamento de empresas (pré-cluster), aplicou-se a padronização Score-Z para todos os conjuntos reunidos em um único universo.

O objetivo da padronização das variáveis para aplicação da técnica de agrupamento é eliminar os efeitos das diferentes escalas na determinação da medida de similaridade entre os elementos. A padronização Score-Z, cumpre com este objetivo, uma vez que, sua aplicação permite garantir que todas as variáveis possuam a mesma média e desvio padrão2.

Como se aplicou a técnica de agrupamento para cada um dos universos de conjuntos obtidos da etapa de pré-clusterização, a padronização feita pela ANEEL não garantiu em nenhum dos três distintos universos de conjuntos, a eliminação do efeito de escala entre as variáveis. Na Figura 1, são apresentados para cada universo de conjuntos (reunidos nos respectivos pré-clusters) os valores de média e desvio padrão das variáveis padronizadas pela ANEEL.

Figura 1 – Média e Desvio Padrão das variáveis dos Conjuntos para cada Pré-Clusters

����

����

����

���� ����

����

��

���� ���

����

�����

���

������

* ���!����� �,���"�� ����

������� ���

����

����

���

���

��

��

���

�"�����!� &������ �,���"�� ����

2 Desvio Padrão igual a 1 e média igual a zero.

14

����

����

����

��� ���

���

���

����

����

���

����

* ���!����� �,���"�� ����

��������

���

���

����

����

���

��

��

�"�����!� &������ �,���"�� ����

����

����

���

���� ���� ���

���

���

��

���

���

��

���* ���!����� �,���"�� ����

��� ����

����

���

����

����

��

���

��

��

�"�����!� &������ �,���"�� ����

Conforme verificado nos gráficos anteriores, a média e o desvio padrão das variáveis dentro de cada pré-cluster são diferentes, indicando problema de escala para aplicação da técnica de agrupamento dentro de cada pré-cluster.

Para exemplificar o problema causado devido a diferença de escala entre as variáveis, no caso da variável extensão de rede MT rural (stdn_ermt_rur) observa-se que esta teve maior “peso” na separação dos agrupamentos no caso do pré-cluster C, devido a sua média e desvio padrão serem significativamente maiores do que das demais variáveis. Já nos pré-clusters A e B o seu “peso” na separação dos agrupamentos foi bem menor uma vez que sua média e desvio padrão em relação às demais variáveis serem menores.

Desta forma, podemos concluir que os resultados obtidos na proposta apresentada na Nota Técnica no 028/2010 – SRD/ANEEL apresentam problemas de escalas das variáveis utilizadas. Para corrigir este resultado sugere-se que a padronização das variáveis seja feita sempre para cada universo distinto de conjuntos definidos na etapa de pré-clusterização.

Q.7 Deve ser realizada a exclusão dos outliers previamente à clusterização?

Classificam-se como outliers, observações cujos valores distam muito daqueles obtidos dos demais integrantes de uma amostra. Ao inserir estes outliers no processo de clusterização, distorcem-se as medidas de distância e, por conseguinte, o grau de

15

similaridade das observações contidas dentro de cada cluster. A remoção dos valores atípicos é necessária para evitar este efeito.

Cerca de 25% dos conjuntos têm pelo menos um atributo identificado como outlier. No caso da AES Eletropaulo e AES Sul, tais percentuais representam, respectivamente, 33% e 31%. Esta elevada quantidade de valores extremos inviabiliza uma análise mais profunda, sem que haja antes algum tipo de tratamento de redução dos outliers ou a transformação dos dados.

Diante a quantidade de outliers, a eliminação imediata dos mesmos acarreta em uma grande perda de informação. Para diminuir o número de valores atípicos, sugere-se a aplicação de transformações nos dados, de maneira que a dispersão das amostras seja minimizada. Transformações como a de Box-Cox, Logit, e Log, têm a propriedade de reduzir a dispersão dos valores e tornar as amostras mais tratáveis, reduzindo o número de outliers e evitando a perda de informações.

Uma melhor pré-clusterização também pode reduzir o número de outliers por grupo. Agrupando melhor as empresas semelhantes, os conjuntos dentro de cada pré-cluster tendem a ser mais semelhantes, evitando valores atípicos.

Existem dois tipos de outliers: críticos e não críticos.

Figura 2 – Modelo teórico de um Box Plot (Diagrama do tipo Caixa)

������������ ������������������ �!"#� $

% &��������'������� ���!"#� ������ �!"#� $

������( )��� ����'������� ������ ���!"#� $

*��+������ &���������� $

( ����'����� $

,��� ������ &���������� $

������( -'�� ����'������� ������ ���!"#� $

"#�

Os outliers críticos são os valores que se encontram fora dos limites:

[1ºQ – 3*AIQ, 3ºQ + 3*AIQ]

Enquanto que outliers não críticos são considerados usualmente como os valores que se encontram fora dos limites:

[1ºQ – 1,5*AIQ, 3ºQ + 1,5*AIQ]

Onde AIQ significa a Amplitude Inter-Quartílica.

= (3ºQ – 1ºQ)

16

Pode-se considerar que os valores que se enquadram apenas na categoria de outlier, e não de outlier crítico, afetam o desempenho da clusterização, mas ainda guardam semelhanças com a população. Tal afirmação não pode ser feita com a mesma facilidade para os outliers críticos.

Para evitar a perda de informação, os outliers podem ser alocados nos clusters aos quais mais se assemelham posteriormente à clusterização. Devido à sua característica de distância extrema, os outliers críticos, sim, devem ser analisados separadamente, caso a caso, sendo evitada a sua alocação em clusters juntamente com outros valores.

Q.8 Há necessidade de avaliar outros métodos de clusterização?

O método utilizado, o k-means, separa linearmente o espaço das variáveis de maneira iterativa, e não garante a convergência. Dessa forma, ele é ideal para a clusterização de populações muito grandes que formem grupos compactos e convexos cujos membros sejam normalmente distribuídos, e onde a necessidade de resultados muito precisos seja menor. Dados os k centróides iniciais, o algoritmo encontra as amostras mais próximas a cada centróide e forma os clusters. Formados os clusters, os novos centróides são calculados como a média entre as amostras contidas em cada cluster. Então o processo se repete, até que não haja mais variação no erro ou que o número máximo de iterações seja atingido.

Usualmente, para se definir os k centróides iniciais, são usadas k amostras sorteadas da população ou usa-se uma heurística. O programa SAS utiliza uma heurística própria para definir as sementes iniciais e faz apenas uma iteração por default, por considerar sua heurística suficientemente boa para encontrar valores próximos aos centróides finais. No entanto, é reconhecido que apenas uma iteração é insuficiente para encontrar os centróides que minimizam o erro e, mesmo que sejam feitas diversas iterações, não há garantia de que o mínimo global seja atingido. O algoritmo pode convergir para um mínimo local devido às sementes iniciais, dando a falsa impressão de que o resultado ideal foi atingido.

Desta forma, podemos concluir que outros métodos de clusterização devem ser avaliados, de forma a se reproduzir resultados mais robustos, independente da forma como são inicializados os valores. Os métodos hierárquicos, como o de Ward, apresentam esta robustez necessária e permitem que o número de clusters adequado seja avaliado diretamente, e não estimado como no método k-means, evitando as distorções ocasionadas pela definição a priori da quantidade de cluster inserida na simulação.

17

PASSO 4. DEFINIÇÃO DOS LIMITES DE CONTINUIDADE.

Q.9 Qual estratégia é mais indicada para a definição dos limites de continuidade?

Nos estudos de benchmarking, os níveis de eficiência, em geral, são estimados utilizando: (i) o método de fronteiras de eficiência (FE); ou (ii) o método da Análise Envoltória de Dados (Data Envelopment Analysis - DEA).

As fronteiras de eficiência são estimadas por métodos paramétricos que refletem um nível de eficiência máxima, definida através da Fronteira Estocástica ou pela média definida pelo método dos Mínimos Quadrados Ordinários. Tal metodologia utiliza análise de regressão, o que requer um número considerável de informações.

Por outro lado, o DEA é um método de programação linear não-paramétrico de medida de eficiência, que calcula a eficiência da empresa através da divisão do somatório ponderado de seus produtos pela soma ponderada de seus insumos. Os pesos dos insumos e produtos não são determinados previamente, mas são determinados como parte da solução de um problema de otimização linear.

A metodologia das FE’s necessita da especificação prévia da forma funcional da produção (ou, se for o caso, do custo), além disso, a distribuição do termo de erro composto3 também precisa ser pré-definida.

O método DEA apresenta a vantagem de não necessitar assumir uma forma funcional prévia para a produção (ou para o custo) nem uma distribuição específica para qualquer termo do modelo.

No entanto, o método das FE’s permite a aplicação de testes de hipóteses uma vez que a construção de intervalos de confiança é passível de ser realizada. Em contraposição, o DEA, por ser um método não-paramétrico, apresenta a limitação de não permitir a avaliação estatística dos parâmetros estimados.

O método das FE’s é pouco sensível à ocorrência de informações atípicas, porém, recomenda-se para sua utilização uma amostra considerável de dados. Já o método DEA embora possa ser utilizado para uma amostra não tão extensa de dados, necessita que essa amostra seja razoavelmente homogênea, ou seja, o DEA é muito sensível à ocorrência de informações atípicas e erros de medidas.

Tanto no método das FE’s quanto no DEA é necessário delimitar, a priori, os insumos e produtos da análise. Entretanto, o uso das FE’s permite testar a significância dos insumos selecionados, a realização de testes que indiquem a existência de variáveis omitidas e a construção de intervalos estatísticos com os resultados das FE’s.

Ademais, a aplicação dos dois métodos pode ser orientada aos insumos ou orientada aos produtos. Quando orientada aos insumos, o nível de eficiência estimado corresponde ao percentual de redução dos insumos dado o nível de produtos. Se

��"�.��'����������.�+�/'+����0��+)0��+���12"$���+�� �3�������� ������������ ��&�0������04��'�.�+�/'+���������������5�����"�

�'�.�+�/'+��������0�6&�����0���7&�89������'�'+�����0�� � '��� ����'��� �� ��&'+�������+��:)�����0-�&�������5������;������0�'����

��0���7&�89��'��� ����

18

orientada aos produtos, toma-se como dado o nível dos insumos e o nível de eficiência estimado revela o percentual de aumento dos produtos.

Além da consideração de insumos e produtos, o DEA e as FE’s podem incorporar o efeito de outros determinantes do nível de eficiência tais como fatores institucionais, geográficos, climáticos, entre outros. Se no caso das FE’s, estas variáveis (chamadas usualmente de ambientais) são diretamente tratadas na análise de regressão, no método DEA, podem ser incorporadas diretamente no modelo4 ou em um segundo estágio de aplicação deste. Uma aplicação do DEA em dois estágios pode ser encontrada na Nota Técnica ANEEL no 396/2009 para o segmento da transmissão.

Como ambos os métodos de estimação são amplamente utilizados e não havendo evidências da superioridade de um método em especial, a escolha do método empregado é condicionada pelas características de cada estudo específico.

No caso de determinação dos limites de continuidade, há inúmeros aspectos que prejudicam a utilização do DEA tais como:

• a utilização de dados para um único ano, o que acirra a possibilidade de efeitos aleatórios, erros de medida e valores extremos (outliers) afetarem significativamente os resultados do DEA;

• a impossibilidade de avaliar a significância estatística dos insumos empregados e a existência de variáveis omitidas; e

• a impossibilidade de construção de intervalos estatísticos para as metas resultantes da metodologia.

Neste sentido, pode-se explorar o aprimoramento da metodologia para definição dos limites, através da utilização do percentil. Neste caso, deverá ser avaliada a homogeneidade da distribuição de cada cluster, afim de estabelecer decis diferenciados na definição das metas. Adicionalmente, duas possibilidades podem ser exploradas: (i) emprego de uma fronteira estocástica, sendo que os resultados desta já seriam as metas para os indicadores de continuidade; (ii) utilização de fronteira média (MQO) para estimar um ranking de complexidade operacional dos conjuntos. A partir deste ranking, formulam-se regras de comparação entre conjuntos, como já adotado por essa Agência na definição de metas para Perdas Não Técnicas.

Q.10 Optando-se pelo método DEA, questionam-se quais são os insumos adequados?

Como indicado na resposta à questão Q.9, a escolha do DEA para definição das metas dos indicadores encontra-se prejudicada, sendo oportuno o uso de outras abordagens, em particular as FE’s.

Optando-se pelo método DEA, recomenda-se fortemente a utilização de novos insumos. Os insumos adotados pela ANEEL foram extraídos da combinação de 4 4 Podem ser incluídas como insumo ou produto caso se conheça a relação com a qualidade ou inseridas como simples variáveis ambientais.

19

variáveis: consumo médio mensal por consumidor, potencial instalada extensão de rede e mercado por extensão de rede. Não foi incluída na análise nenhuma variável de custos ou relativa à quantidade de equipamentos. Conforme indicado na p. 63 do ANEXO à Nota Técnica no 0028/2010, a escolha das variáveis decorreu da disponibilidade de informações por conjunto de unidades consumidoras. Para a obtenção dos insumos restantes, a ANEEL indica que há necessidade de solicitar mais dados às empresas.

Na abordagem do DEA não é possível aferir a significância estatística dos insumos selecionados para explicar os indicadores de continuidade. Logo, não há, dentro do modelo utilizado, uma avaliação geral da consistência dos insumos selecionados e daqueles omitidos. Um indicativo de consistência geral do modelo pode ser derivado da correlação entre os insumos selecionados e os indicadores de continuidade.

No ANEXO V, se apresenta a matriz de correlação entre os insumos adotados pela ANEEL na análise DEA, quais sejam o consumo médio mensal por consumidor (CMM_NUC) e número de consumidor por extensão de rede MT (NUC_ERMT) e os indicadores de continuidade. Como se verificado, os coeficientes de correlação estão consideravelmente abaixo de 0,7, ou seja, não há forte relação entre insumos e produtos selecionados no DEA estimado na Nota Técnica no 0028/2010.

Esta evidência aponta a necessidade premente de se testar novas variáveis, em particular àquelas relacionadas aos recursos tarifários que estão ligadas a qualidade no contexto operacional, como por exemplo, os custos de O&M.

Outro aprimoramento recomendado, no caso de se manter a abordagem DEA, é a inclusão de um segundo estágio voltado a capturar a influência (se existir) das variáveis ambientais nos resultados de eficiência comparada. Originalmente, o método DEA determina o nível de eficiência dos custos operacionais a partir unicamente da combinação dos insumos e produtos. No entanto, é possível que a aplicação deste método seja incrementada incorporando um segundo estágio no qual o impacto das variáveis ambientais é considerado. Neste segundo estágio, se avalia a significância estatística de tais variáveis ambientais, uma vez que trata-se da aplicação de um método paramétrico (modelo estatístico de corte transversal ou painel).

Face ao exposto, e diante das imperfeições do processo de clusterização, que visa agrupar conjuntos com seus semelhantes, é recomendado executar um segundo estágio do DEA, que teria como objetivo atestar que o resultado das eficiências não é afetado sistematicamente por aspecto ambiental. Este pode ser um teste da robustez da própria clusterização e dos atributos utilizados (topologia do sistema elétrico, socioeconômicos, da área de concessão, relativos aos recursos tarifários e mercado).

Cabe assinalar que, a princípio, se poderia utilizar nesta análise de 2º estágio do DEA, variáveis que não estejam desagregadas ao nível de conjuntos, sendo que seus valores seriam repetidos nos conjuntos pertencentes a cada distribuidora. Por exemplo, pode-se considerar os custos operacionais por distribuidora, utilizados em uma pré-clusterização, no 2º estágio de modo a estimar o efeito de patamares de custos (altos e baixos) nas eficiências geradas no 1º estágio do DEA.

20

Q.11 Independentemente da estratégia a ser adotada, deve-se avaliar os indicadores DEC e FEC conjuntamente ou de forma separada?

Nosso entendimento é que a avaliação dos indicadores coletivos de forma conjunta ou separada depende da metodologia geral a ser definida. Desta forma, é necessária a avaliação de ambos os cenários durante os estudos para a definição da nova metodologia.

No entanto, observa-se da análise dos dados de DEC e FEC para o ano de 2008, uma alta correlação entre os indicadores (0,891). Esta alta correlação indica que os aspectos determinantes da qualidade são semelhantes para os dois indicadores. Isto possibilita que ambos sejam tratados de forma conjunta.

Deve-se, portanto, avaliar a utilização do produto do DEC pelo FEC para determinação das metas. Este procedimento eliminaria uma imperfeição da metodologia atual, onde as metas para os indicadores de um mesmo cluster podem ser formadas por conjuntos diferentes, que não reproduzem a realidade de um determinado conjunto.

Adotando-se como meta o produto DEC por FEC haveria sempre um único conjunto Benchmarking para cada cluster.

Q.12 Qual seria a melhor forma de definir a trajetória para os conjuntos atingirem os valores alvos?

A questão de definição da trajetória está baseada em três elementos, a saber:

• Ponto de partida (V0);

• Valor alvo (VA);

• Período de transição (T).

Para o estabelecimento adequado da trajetória devem ser levadas em consideração as premissas inerentes a cada um destes elementos.

No caso do ponto de partida, com a redefinição dos conjuntos de unidades consumidoras, segundo os novos critérios estabelecidos no Módulo 8 do Prodist. A ANEEL através do Ofício Circular no 016/2010–SRD/ANEEL, solicitou que as empresas definissem os limites dos indicadores para esta nova formação de conjuntos, considerando a preservação dos limites globais vigentes da distribuidora.

Estes limites globais vigentes foram estabelecidos através da aplicação de uma metodologia carente de aperfeiçoamentos, resultando no estabelecimento de limites, para grande parte das empresas, muito acima ou muito abaixo dos seus valores apurados.

A não correção deste alto grau de imprecisão dos limites atuais implicará em muitos casos na inviabilidade das metas e trajetórias estabelecidas na metodologia agora em discussão.

21

Desta forma, o ponto de partida a ser utilizado para definição da trajetória deve ser redefinido de forma a corrigir as imprecisões dos resultados obtidos no passado. Sabe-se que qualquer método que seja utilizado para a definição dos limites possui um certo grau de imperfeição, e por esta razão, os limites estabelecidos podem não ser totalmente exeqüíveis na prática. Assim, para minimizar tais imperfeições, a trajetória a ser definida deve considerar a taxa máxima de decréscimo exeqüível, considerando a heterogeneidade dos clusters obtidos segundo o DEC e FEC apurado e os atributos descritivos dos conjuntos.

O período de transição, que é o tempo previsto para passagem do ponto de partida até o valor alvo, também funciona como um dispositivo para reduzir os efeitos dos erros de aplicação de modelos ideais na prática.

Conforme consta na Nota Técnica nº 028/2010 – SRD/ANEEL, o período de transição entre o ponto de partida e o valor alvo poderia ser de acordo com o período tarifário de cada empresa. Esta consideração pode impor uma trajetória inexeqüível dependendo da taxa de decréscimo obtida, além de não ser isonômica, uma vez que a duração do período tarifário não é a mesma para todas as empresas. Atualmente utiliza-se o tempo médio de dois períodos tarifários, ou seja, oito anos para transição do ponto de partida até o valor alvo. Este valor é mais adequado para reduzir o risco da aplicação do método, além de ser isonômico, uma vez que os valores alvos são estabelecidos para serem atingidos dentro de um mesmo tempo para todas as empresas.

22

REFERÊNCIAS

Longnecker, M.T & Ott, R.L :A First Course in Statistical Methods, page 615. Thomson Brooks/Cole, 2004.

Studenmund, A.H: Using Econometrics: A practical guide, 5th Edition, page 258–259. Pearson International Edition, 2006.

Hair JF, Anderson R, Tatham RL, Black WC: Multivariate Data Analysis. Prentice Hall: Upper Saddle River, N.J. 2006.

Marquardt, D.W. 1970 "Generalized Inverses, Ridge Regression, Biased Linear Estimation, and Nonlinear Estimation", Technometrics 12(3), 591, 605–07

Allison, P.D. Multiple Regression: a primer, page 142. Pine Forge Press: Thousand Oaks, C.A. 1999.

Kutner, Nachtsheim, Neter, Applied Linear Regression Models, 4th edition, McGraw-Hill Irwin, 2004.

GUJARATI, D. N. Econometria básica. 3 ed. São Paulo: Makron Books, 2000.

HILL, C.; GRIFFITHS, G.; JUDGE, G. Econometria. 2ª ed. São Paulo: Saraiva, 2006.

WOOLDRIDGE, J. M. Introductory Econometrics. A Modern Approach, South-Western College Publishing, 2000.

GREENE, W. H. Econometric Analysis, 2 ed. MacMillan: 1993.

BERNDT, E. The Practice of Econometrics: classical and contemporary. Reading, MA, Addison Welsey, 1991.

CAMERON, C.; TRIVEDI, P.K. Microeconometrics: methods and applications. Cambridge: CUP, 2005.

DAVIDSON, R.; McKINNON, J. Estimation and Inference in Econometrics. New York: Oxford University Press, 1993.

23

ANEXO I – MQO dos atributos propostos confrontados com o DEC

<���'��'�������7��4�<�=>�( ��?��4�@��0��1A&���0��( � % $#'+�&�����70��;����'04��������7�� =��..�+��'� 1��������� � 1����0��+ ,��7���= ���� ���� �� ���=BC�">"D C"@ ���� ���� �� ���<�D 1>E"#% 1 ��� ���� ��� ����<�D 1>�1*E"<"1 ���� ���� ���� ����D C=>"E�" ���� ���� �� ����"E�" ���� ���� ��� �����E", ���� ���� ���� ����D C= ���� ���� ���� ����=% D 1>( �<>E ������ ���� �� ����=% D 1>( �<># ��� ��� ��� ����=% D 1>( �<>ECE ���� ���� ��� ����,�E=>=% D 1># ����� ����� �� ����,�E=>=% D 1>ECE ���� �� ���� ����E 0A&���� ���� ����( ��'�����'��'��;�� ����"�F&0����E 0A&���� ���� ����1�<������'��'��;�� ����1�����.���6��00��' ��� ����"G��G���'.��+�������' ����1&� �0A&�������0�� ����� ����1+?H ��I�+�������' ���@�6���G���?��� ��� ����2 0����0��+ �����<&�7�' J ��0�'�0��� ���� ����,��7�2 0����0��+$ ����

J ?����B�����0G���0��+��K�*�0�4

2 0����0��+ ������ ����,��7��2����$ �������

% 70!E 0A&���� ������� ����,��7��=?� 1A&�����$ ������

*�0���A&����'4

<���'��'�������7��4�E�1#<L

( ��?��4�@��0��1A&���0

<���4��M��M�����*�� �4���4��

1�� ���4�����

#'+�&�����70��;����'04���

24

ANEXO II - MQO dos atributos propostos confrontados com o FEC

<���'��'�������7��4�2�=>�( ��?��4�@��0��1A&���0#'+�&�����70��;����'04��������7�� =��..�+��'�1��������� � 1����0��+ ,��7���= ���� ��� ���� ���=BC�">"D C"@ ���� ���� ��� ����<�D 1>E"#% 1 ��� ���� ���� ����<�D 1>�1*E"<"1 ���� ���� ��� ����D C=>"E�" ���� ���� �� ���"E�" ���� ���� ��� �����E", ���� ���� ���� ����D C= ���� ���� ���� ����=% D 1>( �<>E ����� ���� ���� ���=% D 1>( �<># ���� ���� ��� ����=% D 1>( �<>ECE ��� ���� ���� ����,�E=>=% D 1># ���� ���� � ����,�E=>=% D 1>ECE ����� ���� ���� ����E 0A&���� ���� ����( ��'�����'��'��;�� �����"�F&0����E 0A&���� ��� ����1�<������'��'��;�� �����1�����.���6��00��' ���� ����"G��G���'.��+�������' ���1&� �0A&�������0�� ������ ����1+?H ��I�+�������' ���@�6���G���?��� ����� ����2 0����0��+ �����<&�7�' J ��0�'�0��� ��� ����,��7�2 0����0��+$ ����

J ?����B�����0G���0��+��K�*�0�4

2 0����0��+ ������ ����,��7��2����$ ��������

% 70!E 0A&���� ������� ����,��7��=?� 1A&�����$ ����

*�0���A&����'4

<���'��'�������7��4�E�1#<L

( ��?��4�@��0��1A&���0

<���4��M��M�����*�� �4��4��

1�� ���4�����

#'+�&�����70��;����'04���

25

ANEXO III - MQO sem os atributos não significativos confrontados com o DEC

<���'��'�������7��4�<�=>�( ��?��4�@��0��1A&���0#'+�&�����70��;����'04��������7�� =��..�+��'�1��������� � 1����0��+ ,��7���= ��� ���� ��� ����=BC�">"D C"@ ���� ���� ���� ����<�D 1>�1*E"<"1 ���� ���� ���� ����"E�" ���� ���� ���� �����E", ���� ���� �� ����=% D 1>( �<>E ������ ����� ��� ����,�E=>=% D 1># ���� ��� ��� ���,�E=>=% D 1>ECE ���� ��� ��� ���E 0A&���� ���� ����( ��'�����'��'��;�� ����"�F&0����E 0A&���� ��� ����1�< ������'��'��;�� ����1�����.���6��00��' ��� ����"G��G���'.��+�������' ����1&� �0A&�������0�� ����� ����1+?H ��I�+�������' ����@�6���G���?��� ��� ����2 0����0��+ ���<&�7�' J ��0�'�0��� ���� ����,��7�2 0����0��+$ �

J ?����B�����0G���0��+��K�*�0�42 0����0��+ ������ ����,��7��2�����$ �������% 70!E 0A&���� ������ ����,��7��=?� 1A&�����$ ��������*�0���A&����'4<���'��'�������7��4�E�1#<L( ��?��4�@��0��1A&���0

<���4��M��M�����*�� �4��4�

1�� ���4�����

#'+�&�����70��;����'04���

26

ANEXO IV - MQO sem os atributos não significativos confrontados com o FEC

<���'��'�������7��4�2�=>�( ��?��4�@��0��1A&���0#'+�&�����70��;����'04��������7�� =��..�+��'� 1��������� � 1����0��+ ,��7���=BC�">"D C"@ ����� ���� �� ����<�D 1>�1*E"<"1 ����� ��� �� ����D C=>"E�" ���� ���� ��� ����"E�" ���� ���� ���� �����E", ���� ���� ��� ����,�E=>=% D 1># ���� ���� ���� ����,�E=>=% D 1>ECE ���� ����� ��� ���E 0A&���� ���� ����( ��'�����'��'��;�� �����"�F&0����E 0A&���� ���� ����1�<������'��'��;�� �����1�����.���6��00��' ��� ����"G��G���'.��+�������' ����1&� �0A&�������0�� ������� ����1+?H ��I�+�������' ����@�6���G���?��� ����� ����<&�7�' J ��0�'�0��� ��

J ?����B�����0G���0��+��K�*�0�42 0����0��+ ������ ����,��7��2�����$ ������% 70!E 0A&���� ������� ����,��7��=?� 1A&������$ ��������*�0���A&����'4<���'��'�������7��4�E�1#<L( ��?��4�@��0��1A&���0<���4��M��M�����*�� �4��4��

1�� ���4�����

#'+�&�����70��;����'04���

27

ANEXO V - Matrizes de Correlação Matrizes de Correlação Entre Insumos e Produtos utilizados no DEA estimado na Nota Técnica no 0028/2010 (em vermelho os coeficientes de correlação menores que 0,5 em valores absolutos)

Pré-Cluster A, Cluster 1 IDEC IFEC CMM_NUC NUC_ERMT IDEC 1.0000 0.5311 0.3838 0.4561 IFEC 0.5311 1.0000 0.0911 0.3543 CMM_NU 0.3838 0.0911 1.0000 0.2187 NUC_ER 0.4561 0.3543 0.2187 1.0000 Pré-Cluster A, Cluster2 IDEC IFEC CMM_NUC NUC_ERMT IDEC 1.0000 0.8820 0.2014 0.2338 IFEC 0.8820 1.0000 0.1374 0.1764 CMM_NU 0.2014 0.1374 1.0000 -0.0277 NUC_ER 0.2338 0.1764 -0.0277 1.0000 Pré-Cluster A, Cluster 3 IDEC IFEC CMM_NUC NUC_ERMT IDEC 1.0000 0.7975 -0.2047 0.1148 IFEC 0.7975 1.0000 -0.2066 0.1501 CMM_NU -0.2047 -0.2066 1.0000 0.0617 NUC_ER 0.1148 0.1501 0.0617 1.0000 Pré-Cluster A, Cluster 4 IDEC IFEC CMM_NUC NUC_ERMT IDEC 1.0000 0.6836 0.2986 0.0201 IFEC 0.6836 1.0000 0.2414 0.1250 CMM_NU 0.2986 0.2414 1.0000 0.0497 NUC_ER 0.0201 0.1250 0.0497 1.0000 Pré-Cluster A, Cluster 5 IDEC IFEC CMM_NUC NUC_ERMT IDEC 1.0000 0.7480 0.0734 0.1423 IFEC 0.7480 1.0000 0.1657 0.1392 CMM_NU 0.0734 0.1657 1.0000 -0.0346 NUC_ER 0.1423 0.1392 -0.0346 1.0000

28

Pré-Cluster A, Cluster 6 IDEC IFEC CMM_NUC NUC_ERMT IDEC 1.0000 0.7683 -0.0137 0.4683 IFEC 0.7683 1.0000 0.0321 0.3702 CMM_NU -0.0137 0.0321 1.0000 0.1859 NUC_ER 0.4683 0.3702 0.1859 1.0000 Pré-Cluster A, Cluster 7 IDEC IFEC CMM_NUC NUC_ERMT IDEC 1.0000 0.7243 0.2567 0.1410 IFEC 0.7243 1.0000 0.0165 0.1815 CMM_NU 0.2567 0.0165 1.0000 -0.0684 NUC_ER 0.1410 0.1815 -0.0684 1.0000 Pré-Cluster B, Cluster 1 IDEC IFEC CMM_NUC NUC_ERMT IDEC 1.0000 0.5292 0.1307 0.3585 IFEC 0.5292 1.0000 -0.2859 0.1249 CMM_NU 0.1307 -0.2859 1.0000 0.1360 NUC_ER 0.3585 0.1249 0.1360 1.0000 Pré-Cluster B, Cluster2 IDEC IFEC CMM_NUC NUC_ERMT IDEC 1.0000 0.6862 0.0603 0.3201 IFEC 0.6862 1.0000 -0.2651 0.2314 CMM_NU 0.0603 -0.2651 1.0000 -0.2170 NUC_ER 0.3201 0.2314 -0.2170 1.0000 Pré-Cluster B, Cluster 3 IDEC IFEC CMM_NUC NUC_ERMT IDEC 1.0000 0.7645 0.0508 0.3003 IFEC 0.7645 1.0000 -0.0917 0.3712 CMM_NU 0.0508 -0.0917 1.0000 0.2406 NUC_ER 0.3003 0.3712 0.2406 1.0000 Pré-Cluster B, Cluster 4 IDEC IFEC CMM_NUC NUC_ERMT IDEC 1.0000 0.7082 0.4561 -0.4048 IFEC 0.7082 1.0000 0.0869 -0.2509 CMM_NU 0.4561 0.0869 1.0000 -0.4376 NUC_ER -0.4048 -0.2509 -0.4376 1.0000

29

Pré-Cluster B, Cluster 5 IDEC IFEC CMM_NUC NUC_ERMT IDEC 1.0000 0.5679 0.1522 0.1499 IFEC 0.5679 1.0000 0.2629 -0.1502 CMM_NU 0.1522 0.2629 1.0000 0.2902 NUC_ER 0.1499 -0.1502 0.2902 1.0000 Pré-Cluster B, Cluster 6 IDEC IFEC CMM_NUC NUC_ERMT IDEC 1.0000 0.7008 0.3410 0.2185 IFEC 0.7008 1.0000 0.0444 0.1183 CMM_NU 0.3410 0.0444 1.0000 0.0848 NUC_ER 0.2185 0.1183 0.0848 1.0000 Pré-Cluster B, Cluster 7 IDEC IFEC CMM_NUC NUC_ERMT IDEC 1.0000 0.7581 0.1884 0.1639 IFEC 0.7581 1.0000 0.2341 0.2679 CMM_NU 0.1884 0.2341 1.0000 0.0019 NUC_ER 0.1639 0.2679 0.0019 1.0000 Pré-Cluster B, Cluster 8 IDEC IFEC CMM_NUC NUC_ERMT IDEC 1.0000 0.6813 0.2178 0.5236 IFEC 0.6813 1.0000 -0.0111 0.2818 CMM_NU 0.2178 -0.0111 1.0000 0.0031 NUC_ER 0.5236 0.2818 0.0031 1.0000 Pré-Cluster B, Cluster 9 IDEC IFEC CMM_NUC NUC_ERMT IDEC 1.0000 0.5605 -0.0519 0.2939 IFEC 0.5605 1.0000 -0.1617 0.0930 CMM_NU -0.0519 -0.1617 1.0000 -0.1718 NUC_ER 0.2939 0.0930 -0.1718 1.0000 Pré-Cluster B, Cluster 10 IDEC IFEC CMM_NUC NUC_ERMT IDEC 1.0000 0.8471 0.3025 0.1411 IFEC 0.8471 1.0000 0.2548 0.3538 CMM_NU 0.3025 0.2548 1.0000 -0.0874 NUC_ER 0.1411 0.3538 -0.0874 1.0000

30

Pré-Cluster B, Cluster 11 IDEC IFEC CMM_NUC NUC_ERMT IDEC 1.0000 0.7119 0.1763 0.1939 IFEC 0.7119 1.0000 0.0296 0.0922 CMM_NU 0.1763 0.0296 1.0000 -0.1442 NUC_ER 0.1939 0.0922 -0.1442 1.0000 Pré-Cluster B, Cluster 12 IDEC IFEC CMM_NUC NUC_ERMT IDEC 1.0000 0.4096 -0.0227 0.3559 IFEC 0.4096 1.0000 -0.2746 0.3827 CMM_NU -0.0227 -0.2746 1.0000 0.2106 NUC_ER 0.3559 0.3827 0.2106 1.0000 Pré-Cluster B, Cluster 13 IDEC IFEC CMM_NUC NUC_ERMT IDEC 1.0000 0.7937 0.1786 -0.2436 IFEC 0.7937 1.0000 0.1222 -0.1818 CMM_NU 0.1786 0.1222 1.0000 -0.0117 NUC_ER -0.2436 -0.1818 -0.0117 1.0000 Pré-Cluster B, Cluster 14 IDEC IFEC CMM_NUC NUC_ERMT IDEC 1.0000 0.5793 -0.0393 0.1119 IFEC 0.5793 1.0000 -0.3144 -0.0353 CMM_NU -0.0393 -0.3144 1.0000 -0.0094 NUC_ER 0.1119 -0.0353 -0.0094 1.0000 Pré-Cluster B, Cluster 15 IDEC IFEC CMM_NUC NUC_ERMT IDEC 1.0000 0.6821 -0.1460 0.1960 IFEC 0.6821 1.0000 -0.3263 0.1073 CMM_NU -0.1460 -0.3263 1.0000 -0.3164 NUC_ER 0.1960 0.1073 -0.3164 1.0000 Pré-Cluster B, Cluster 16 IDEC IFEC CMM_NUC NUC_ERMT IDEC 1.0000 0.7888 -0.3350 0.3574 IFEC 0.7888 1.0000 -0.3871 0.6066 CMM_NU -0.3350 -0.3871 1.0000 -0.1262 NUC_ER 0.3574 0.6066 -0.1262 1.0000

31

Pré-Cluster B, Cluster 17 IDEC IFEC CMM_NUC NUC_ERMT IDEC 1.0000 0.7107 -0.3407 0.0758 IFEC 0.7107 1.0000 -0.4170 -0.0289 CMM_NU -0.3407 -0.4170 1.0000 -0.2210 NUC_ER 0.0758 -0.0289 -0.2210 1.0000 Pré-Cluster B, Cluster 18 IDEC IFEC CMM_NUC NUC_ERMT IDEC 1.0000 0.7145 0.3100 0.0836 IFEC 0.7145 1.0000 0.3631 0.2261 CMM_NU 0.3100 0.3631 1.0000 0.0101 NUC_ER 0.0836 0.2261 0.0101 1.0000 Pré-Cluster B, Cluster 19 IDEC IFEC CMM_NUC NUC_ERMT IDEC 1.0000 0.6765 0.2415 0.2986 IFEC 0.6765 1.0000 -0.0169 0.2583 CMM_NU 0.2415 -0.0169 1.0000 0.1729 NUC_ER 0.2986 0.2583 0.1729 1.0000 Pré-Cluster B, Cluster 20 IDEC IFEC CMM_NUC NUC_ERMT IDEC 1.0000 0.8663 -0.0745 0.0856 IFEC 0.8663 1.0000 -0.3029 0.0779 CMM_NU -0.0745 -0.3029 1.0000 -0.0032 NUC_ER 0.0856 0.0779 -0.0032 1.0000 Pré-Cluster C, Cluster 1 IDEC IFEC CMM_NUC NUC_ERMT IDEC 1.0000 0.8148 0.1647 0.4077 IFEC 0.8148 1.0000 0.0056 0.3262 CMM_NU 0.1647 0.0056 1.0000 0.3482 NUC_ER 0.4077 0.3262 0.3482 1.0000 Pré-Cluster C, Cluster2 IDEC IFEC CMM_NUC NUC_ERMT IDEC 1.0000 0.4219 -0.0830 -0.0055 IFEC 0.4219 1.0000 -0.0518 -0.0718 CMM_NU -0.0830 -0.0518 1.0000 0.0145 NUC_ER -0.0055 -0.0718 0.0145 1.0000 Pré-Cluster C, Cluster 3 IDEC IFEC CMM_NUC NUC_ERMT IDEC 1.0000 0.8136 0.4210 -0.1533 IFEC 0.8136 1.0000 0.2997 -0.1527 CMM_NU 0.4210 0.2997 1.0000 -0.2545 NUC_ER -0.1533 -0.1527 -0.2545 1.0000

32

ANEXO VI - PROPOSTA DE METODOLOGIA

Quando comparada àquela colocada em consulta pela ANEEL, a proposta de metodologia aqui formulada reúne tanto aperfeiçoamentos como também mudanças de métodos. Sua estrutura consiste de 10 passos detalhados, conforme segue.

1. Levantar um conjunto amplo de variáveis potencialmente vinculadas com a qualidade: propõe-se que a ANEEL realize um levantamento adicional de variáveis, em particular de àquelas relativas ao sistema elétrico e aos recursos tarifários.

2. Agrupamento das variáveis em cinco temas principais: propõe-se que a ANEEL agrupe as variáveis nos 5 temas identificados. Para cada tema abaixo, foram adicionadas variáveis complementares a serem coletadas e avaliadas.

• Socioeconômicas:

o Grau de informalidade (%pessoas em domicílios subnormais)

o Violência (óbitos por agressão por 100 mil habitantes)

A adição destas variáveis é importante para capturar as dificuldades de acesso das equipes às áreas remotas e caracterizadas por elevada complexidade social. São, também, boas proxies para capturar os efeitos no fornecimento de atos de vandalismo.

• Área de Concessão: dados coletados pela ANEEL são suficientes

• Topologia do Sistema Elétrico:

o Características das redes e dos sistemas de automação, tais como:

� Quantidade de chaves, religadores, transformadores MT, pára-raios, medidores de fronteira, seccionadores;

� Quantidade de postes (BT, MT e AT) e sua característica (madeira ou concreto);

� Extensão de rede em MT (área, subterrânea, nua, multiplexada, compactada);

� Número de pontos de suprimento, torres em AT e subestações em alta tensão;

� Condições de suprimento (DIT e outras distribuidoras);

� Flexibilidade operativa das subestações;

• Recursos Tarifários:

33

o Parâmetros dos custos operacionais de O&M da Empresa de Referência, tais como: funcionários de O&M, despesas de O&M, tempo médio de deslocamento (TMD) urbano e rural,

o Estado do ativo imobilizado em serviço: percentual de ativos 100% depreciados, ativo imobilizado em serviço.

• Mercado:

o Dados coletados pela ANEEL são suficientes

3. Análise Fatorial por Tema: os métodos apresentados pela ANEEL serão aplicados a seleção ampliada de variáveis.

4. Análise Fatorial Geral: os métodos apresentados pela ANEEL serão aplicados a seleção ampliada de variáveis.

5. Modelo de Regressão: concluída a seleção de variáveis através da análise fatorial propõe-se uma análise de regressão com objetivo de aferir a significância estatística das variáveis explicativas da qualidade. Nesta análise de regressão, será observada também a existência de empresas outliers que poderão receber tratamento específico. Em função da elevada correlação dos indicadores DEC e FEC, propõe-se que a variável dependente da regressão seja a multiplicação entre os indicadores.

6. Clusterização das Distribuidoras: a partir das variáveis selecionadas no passo 5 será executado agrupamento das empresas usando o método hierárquico de Ward. Dada as particularidades das concessionárias de pequeno porte (menores do que 300 mil unidades consumidoras), estas serão reunidas em cluster próprio.

Ressalta-se que obtendo-se um amplo universo de atributos a nível de conjuntos, e que tais atributos sejam efetivos para o agrupamento dos mesmos, a etapa de pré-clusterização poderia ser suprimida. Porém, dada a complexidade do fenômeno que se pretende explicar, essa etapa da metodologia pode ser necessária.

7. Levantamento das variáveis identificadas no passo 5 e que estejam disponível a nível de conjunto: as variáveis selecionadas serão coletadas para os conjuntos, sendo que podem ser feitas extrapolações de dados encontrados para os municípios para os conjuntos - pode-se, por exemplo, utilizar dados de IDH calculados por município e associá-los a todos os conjuntos daquele município.

8. Desenvolver um modelo de regressão para definir as metas de qualidade dos conjuntos de cada cluster: propõem-se três caminhos alternativos:

a. Aprimoramento da metodologia para definição dos limites, através da utilização do percentil. Neste caso, deverá ser avaliada a homogeneidade da distribuição de cada cluster, afim de estabelecer decis diferenciados na definição das metas.

34

b. Uso de Fronteira Média (MQO) com probabilidade: utiliza-se uma fronteira média (MQO) para estimar um ranking de conjuntos segundo complexidade operacional. A partir deste ranking, formulam-se regras de comparação entre conjuntos e definição de metas com base na probabilidade estimada do benchmark estar em conjunto mais complexo. Este método é o praticado na definição de metas para Perdas Não Técnicas e seu detalhamento encontra-se na Nota Técnica ANEEL no 342/2008.

c. Uso de Fronteira Estocástica (SFA): trata-se do emprego de uma fronteira estocástica sendo que os resultados desta já seriam as metas para os indicadores de continuidade.

Esta análise de regressão utilizará variáveis explicativas coletadas no nível de conjuntos e extrapoladas a partir de informações municipais. As variáveis dependentes das regressões serão o resultado da multiplicação dos indicadores DEC e FEC. Sendo que a metas poderão ser estabelecidas de forma separada para DEC e FEC. No emprego das duas alternativas, devem-se expurgar os valores extremos (por exemplo, os 10% melhores e piores).

9. Ajustar o valor inicial das metas com o valor estimado a partir da fronteira média MQO:

Ao se propor que o ponto de partida seja igual à meta vigente, não se permite corrigir erros de definição de metas baseadas em uma metodologia imperfeita. Assim, propõe-se calcular um novo ponto de partida.

10. Definir os anos de trajetória e o limite máximo de decréscimo anual: propõem-se manter os 8 anos para trajetória do ponto de partida para a meta determinada, havendo também um limite máximo de decréscimo anual. Este limite poderia ser determinado para cada de conjunto a partir da avaliação do histórico de decréscimo anual verificado no cluster. Isto pode ser feito a partir de um ranking de decréscimo anuais em conjuntos que apresentem este movimento. Estabelece-se, assim, o limite de decréscimo a partir da média histórica dos conjuntos com melhor desempenho de redução.

A Figura 3 resume a proposta de metodologia apresentada.

35

Figura 3 – Proposta de Metodologia Definição dos Atributos que representam as distribuidoras

•Levantamento de mais atributos e separação por tema

•Eliminação de redundâncias utilizando MSA, análise de componentes principais .

• Desenvolvimento de um modelo de regressão explicativo da qualidade (MQO ou SFA).

Clusterização das distribuidoras

•Identificação dos atributos não disponíveis a nível de conjunto.

•Clusterização das empresas utilizando o Método de Ward, e as variáveis disponíveis apenas a nível de distribuidora.

•Análise de Box Plot e outliers.

Definição das metas para os indicadores DEC e FEC

•Levantamento dos atributos (identificados na etapa 1) por conjunto .

•Desenvolvimento de modelos de benchmarking de eficiência :

•SFA•MQO + Benchmarking probabilístico de complexidade técnica

Adequação do ponto de partida

•Compara o valor da meta atual com os valores resultantes dos modelos de Benchmarking.

•Redefinição do ponto de partida

Definição da trajetoria

•Definição do período de ajuste e do limite máximo de decréscimo anual.