Os números da educação mentem: como Risolia manipula resultados da educação no Rio de Janeiro

Essas são as estatísticas manipuladas pra deixar o Rio "bem na fita"!

Quando os números mentem: porque não devemos ser otimistas com os "supostos avanços" da Rede Estadual do Rio

O uso de números, estatísticas, porcentagens e demais conceitos matemáticos é cada vez mais frequente entre os elaboradores e executores de políticas públicas, sobretudo no campo da educação. Cada vez mais decisões importantes, cujas consequências se estendem por toda a vida do aluno após a sua formação, são tomadas com base em cálculos e instrumentos complexos de medição. Muitos dizem que “os números não mentem”. Mas isso é verdade principalmente quando tomamos os números em si mesmos e suas relações recíprocas, como na matemática pura, um domínio abstrato no qual a verdade das proposições é determinada a priori, ou seja, sem qualquer apelo à experiência. Neste caso, apesar de não mentirem, os números não possuem significado prático em nossa vida cotidiana, sendo de interesse quase que exclusivo dos matemáticos.

Os números adquirem importância prática em nossa vida somente quando estão ligados a algum tipo de medida. Em Os números (não) mentem: como a matemática pode ser usada para enganar você, Charles Seife sustenta que “todo número com significado no mundo real está relacionado, pelo menos implicitamente, a algum tipo de medição”. Ou seja, quando abandonamos o restrito domínio dos números abstratos e passamos a utilizá-los para calcular, medir e, principalmente, atribuir valores a fenômenos sociais complexos, como no campo da educação, por exemplo, os números podem facilmente enganar e mentir. Como, de acordo com Seife, “números, cifras e gráficos têm sempre uma aura de perfeição”, qualquer coisa expressa sob forma de números adquire o caráter de fato irrefutável. Não se trata, obviamente, de colocar em questão aqui a aplicação dos números e estatísticas, ferramentas fundamentais para a compreensão da realidade. A questão é como interpretar corretamente estes números e estatísticas, como relacioná-los com a realidade que nos cerca e, principalmente, como evitar que eles nos enganem.

Curiosamente, a presença cada vez maior de números e estatísticas no discurso dos gestores educacionais não é acompanhada por um avanço no conhecimento de matemática por parte do estudante brasileiro. Com isso, coloca-se a questão: será que o público é capaz de interpretar corretamente estes números? Em outros termos, será que a suposta precisão dos números enquanto unidade de medida, superdimensionada pela falta de um razoável conhecimento matemático do estudante e, por conseguinte, do cidadão em geral, não transmite ao público leigo, aos “formadores de opinião” uma avaliação equivocada e por demais otimista da política educacional adotada no estado do Rio de Janeiro? Santo Agostinho, já no século VI, recomendava cuidado com certos matemáticos e todos os que faziam “profecias vazias”, pois era grande o risco de terem feito um pacto maléfico para “obscurecer o espírito e confinar os homens nas cadeias do inferno”.

Dentre as várias maneiras de enganar com números, duas em especial merecem destaque em nossa discussão. A primeira delas consiste em mencionar dados parciais, pesquisas isoladas ou ainda destacar apenas dados favoráveis e omitir os desfavoráveis. Seife classifica falácias deste tipo como “empacotamento de frutas”, em alusão ao modo como, dando destaque às melhores frutas, os supermercados arrumam os pacotes de modo a fazer com que até mesmo “um lote medíocre pareça delicioso”. Ou seja, trata-se de uma mentira por omissão para tornar um argumento mais convincente. A segunda falácia consiste em forçar um aumento nos números por meios que, colateralmente ou não, acabam fazendo com que os números não reflitam com precisão a realidade que pretendem medir. Em ambos os casos, os números podem não apenas mentir e serem usados para transmitir um quadro irreal à opinião pública, mas para simplificar propositalmente um fenômeno altamente complexo como a educação, difundindo, à revelia dos educadores e especialistas, a ideia de que o que acontece nas salas de aula pode ser visto como algo facilmente mensurável, objetivo, transparente e, portanto, compatível e assimilável pelas práticas de mercado.

Como exemplo do primeiro tipo de falácia matemática mencionado acima, vale a pena mencionar o modo como foi divulgado o resultado do último IDEB. Como se sabe, os resultados do ensino médio da rede pública estadual do Rio de Janeiro no IDEB 2011 foram anunciados não apenas como uma “grande vitória” dos alunos e profissionais da educação, mas como uma confirmação inequívoca do sucesso da política educacional adotada pelo estado. Afinal, a rede estadual “avançou” onde pontos no índice em apenas um ano, saindo da 26ª  para a 15ª colocação. Após ficar em penúltimo lugar na edição anterior, com nota 2,8, o estado conseguiu aumentar sua nota em 0,4, conseguindo atingir 3,2 na edição do IDEB 2011. Este crescimento superou a meta de 3,1 estabelecida pelo Inep para o estado este ano, sendo considerado o segundo maior do país. Apesar deste avanço, o estado ainda está abaixo da média nacional de 3,7 estabelecida para 2011.

Mas será que o IDEB, por si só, serve para avaliar a eficácia da política educacional adotada? Será que podemos tomar este índice como o único critério para avaliação do sucesso ou do fracasso das políticas públicas de educação? A julgar pelo material elaborado pela assessoria de imprensa da Secretaria de Educação e pelos press realeases enviados aos jornais, material este que não procura relacionar o índice com outros dados e pesquisas, o IDEB é suficiente para aferir o sucesso da gestão. Porém, grande parte do público desconhece a natureza e as características deste exame. Desconhecem, por exemplo, que se trata de um índice basicamente qualitativo, calculado a partir da taxa de aprovação e das médias de desempenho em avaliações de Língua Portuguesa e Matemática aplicadas pelo Inep.

Ora, como o IDEB é um índice qualitativo, ele não considera a oferta de vagas no ensino público, ou seja, não leva em conta a quantidade de alunos atendidos pelo estado, algo essencial para avaliar corretamente uma política pública de educação. Como sabemos, a Constituição Federal, em seu artigo 205, é clara a esse respeito. O Plano Nacional de Educação (PNE), em sua meta nº 7, ratifica a Constituição e recomenda expressamente “universalizar, até 2016, o atendimento escolar para toda a população de 15 a 17 anos e elevar, até 2020, a taxa líquida de matrículas no ensino médio para 85% nesta faixa etária”. Com isso, a partir de nossa magna carta, fica claro que uma avaliação completa da educação sob responsabilidade das unidades da federação deve também levar em conta a expansão e a retração na oferta de vagas.

Porém, quando consideramos este aspecto, qual seja, a quantidade de alunos atendidos pela  rede estadual, não há razões para otimismo ou comemorações, muito pelo contrário. Neste ponto, outros estudos devem ser considerados e contrastados com o IDEB. Deste modo, aumentando o conteúdo empírico disponível, comparando pesquisas de fontes e metodologias diversas e, literalmente, confrontando números com números, seremos capazes de evitar grande parte dos enganos e formar uma visão mais completa de nossa situação educacional. Nos termos de Seife, “a melhor maneira de descobrir onde está a verdade é analisar o conjunto de dados, identificando as vantagens e desvantagens de cada tipo de medição, de modo a chegar mais perto da realidade".

Neste sentido, a pesquisa que vem sendo realizada pelo professor Nicholas Davies, da Faculdade de Educação da Universidade Federal Fluminense (UFF), se revela extremamente valiosa, pois nos permite chegar mais perto da realidade. Ao longo dos últimos anos, mais precisamente entre 2006 e 2011, o professor Davies examinou cuidadosamente a evolução das matrículas na educação básica e no ensino médio em todo o país. As conclusões da pesquisa são preocupantes, pois revelam que a rede pública estadual do Rio de Janeiro foi a que mais diminuiu no Brasil em número de matrículas (-27%). Segundo Davies,

O descompromisso do governo estadual do Rio de Janeiro é mais uma vez demonstrado pelos números de matrículas no ensino médio e sua evolução de 2006 a 2011. A sua rede no ensino médio foi a que mais diminuiu (-20,6%) no Brasil entre 2006 e 2011, muito superior à média nacional das estaduais (-5,3%) e também à média de declínio das redes estaduais do Sudeste (-3,4%). Coincidência ou não, a rede privada, que detinha 16,3% do total das matrículas no ensino médio no RJ em 2006, passou a responder por 20% do total em 2011. É verdade que o crescimento da rede privada em termos absolutos (+2.107) e percentuais (+1,8%) no RJ não foi grande, porém muito superior à média nacional (perda de 46.705 matrículas ou -4,4%) e à média do Sudeste (perda de 11.663 matrículas ou -2,4%). A consequência da redução da rede estadual foi que ela passou a ser a segunda menor do Brasil em 2011 (perde a medalha de ouro para o Distrito Federal), ao passo que em 2006 era a quinta menor (atrás apenas do Distrito Federal, Paraíba, Pernambuco e Alagoas).

Ora, como o estudo de Davies mostra justamente uma grande diminuição de alunos matriculados na rede pública estadual, podemos concluir que, pelo menos neste aspecto, não se cumpriu o que determina a Constituição. Mas talvez neste caso a situação seja ainda mais trágica, pois, conforme acentua a pesquisa supracitada, o Rio de Janeiro, um estado privilegiado economicamente, é o único do país em que a rede privada tem praticamente o mesmo tamanho da rede pública. Se este padrão se manter, se a diminuição das matrículas da rede pública estadual continuar a ser acompanhada de um aumento da rede privada, em pouco tempo o Rio de Janeiro será conhecido como o estado que mais privatizou o Ensino Médio no país.

Por exemplo, em 2006, segundo ainda dados da pesquisa de Nicholas Davies, a rede pública estadual era a quinta menor (82,3%) do Brasil em número de matrículas no ensino médio em comparação com as demais redes estaduais. Apenas cinco anos depois, em 2011, ela se tornou a  segunda menor (79,9%). Quando se considera a totalidade da diminuição das matrículas no país entre 2006 e 2011, cerca de 400 mil matrículas, surpreende saber que o Rio de Janeiro foi responsável por nada mais nada menos que 122 mil matrículas deste total! Já a rede privada, que em 2006 detinha no estado 16,3% do total de matrículas no ensino médio, passou a abarcar em 2011 um total de 20%. Segundo Davies, “embora o crescimento percentual da rede privada (1,8%) não tenha sido significativo, ainda assim foi superior à média nacional, que diminuiu 4,4% e à média do Sudeste, que teve redução de 2,4%”.

Ora, como estes dados não foram divulgados juntos ao aumento no IDEB, temos aí um claro exemplo de como os números podem enganar. Pois, como foram destacados isoladamente apenas os supostos aspectos positivos, sem nenhuma comparação com números e dados de outras fontes, como procuramos fazer acima, não é de todo implausível que o cidadão seja levado a fazer uma avaliação exageradamente otimista da educação pública estadual. Conforme mencionamos alguns parágrafos acima, este procedimento pode ser visto como a primeira espécie de falácia matemática relevante para a presente discussão, também conhecida como “empacotamento de frutas” ou “colheita de cerejas”. A segunda espécie de engano numérico, qual seja, forçar um aumento nos números por meios que acabam fazendo com que os números não mais reflitam com exatidão a realidade mesma que pretendem medir, será abordada nas linhas que seguem.

Como vimos até aqui, não há razões para otimismo em relação à quantidade de alunos atendidos pela rede pública estadual. Mas não devemos também ser exageradamente otimistas em relação ao avanço na qualidade do ensino oferecida, ou seja, em relação ao avanço de 0.4 obtido no IDEB. Ao perseguirem mecanicamente um aumento neste índice como se fosse o fim último da educação, as medidas adotadas para isso podem também contribuir, mais uma vez, para que os números nos enganem. Como se sabe, desde o início de 2011, vigora na rede estadual do Rio de Janeiro um conjunto de medidas cujo objetivo declarado é colocar o estado entre os cinco primeiros no IDEB 2013.  As medidas, que integram o assim chamado Plano de Metas e são também denominadas pelas autoridades “choque de gestão” ou ainda “gestão por resultados” , são baseadas no que vem sendo chamado de “meritocracia”.

Apesar da etimologia sugerir apenas “poder do mérito” e uma definição propositalmente neutra de meritocracia subsumir qualquer sistema de gestão no qual o mérito pessoal determina recompensas e sanções, o modelo, quando colocado em prática na educação pública, envolve muito mais do que isso, sendo melhor caracterizado, portanto, por “responsabilização”, tradução de “accountability”, termo pelo qual este sistema de gestão é  conhecido na literatura especializada. Logo após ser lançado, o plano já recebeu críticas de especialistas em educação, sendo visto,  por exemplo, como uma “proposta que não vai ao fundamental e pega o pior atalho: premiar quem chega às metas, metas imediatistas, de lógica produtivista, que não incorporam medidas efetivas voltadas para uma educação pública de qualidade”.

Dentre as medidas adotadas, destacamos, em primeiro lugar, a aplicação em larga escala, a cada dois meses, de avaliações externas padronizadas (SAERJ e SAERJINHO) de Leitura e Matemática, cujas matrizes curriculares são correspondentes às matrizes do SAEB e da Prova Brasil. Para muitos professores, os conteúdos cobrados nestas avaliações favorecem um estreitamento do currículo, pois avaliam apenas um subconjunto dos objetivos educacionais. Deve ser destacado que estas avaliações, elaboradas e coordenadas por uma instituição externa contratada para este fim, passaram a ser ferramentas de uso obrigatório do professor, fato que muitos consideram deletério à autonomia pedagógica.

Em segundo lugar, foram estabelecidas metas a serem cumpridas por cada escola, sob forma de uma pontuação pré-determinada a ser atingida, pontuação esta aferida pelo Indicador de Desempenho (notas no SAERJ e no SAERJINHO) e pelo Indicador de Fluxo Escolar (média de aprovação), ou seja, um sistema de medição compatível com o adotado pelo IDEB.  Em terceiro lugar, foi instituído um regime de responsabilização a partir das metas, ou seja, haverá uma bonificação em dinheiro para os funcionários das escolas que atingirem as metas ou penalização, por enquanto sob forma de ausência de bônus, para os que não atingirem. Cumpre destacar que as metas não envolvem apenas aspectos propriamente pedagógicos, mas também a realização de tarefas que muitos professores consideram administrativas, como, por exemplo, a obrigatoriedade do lançamento da notas dos alunos em um sistema online, bem como a participação compulsória na aplicação e correção das avaliações externas, entre outras coisas.

Além destas medidas, passou-se a ministrar aulas de reforço de Leitura e Matemática nos contra turnos, com ênfase, obviamente, nos conteúdos cobrados nas avaliações externas, deixando de fora uma série de outras disciplinas igualmente importantes. Para que os alunos também recebessem recompensas em função de seus “méritos” e se sintam “motivados” a aprimorar os resultados, foi também instituída uma premiação para os melhores alunos de cada unidade. Esta premiação é um exemplo de como a meritocracia pode ferir em alguns casos o interesse coletivo, impedindo o livre acesso dos alunos aos benefícios oferecidos pelo estado. Por exemplo, ao cruzar os nomes dos ganhadores das edições de 2010 e 2011 na unidade escolar em que atuamos, notamos que, de um total de 25 ganhadores em 2011, pelo menos 12 já tinham recebido o prêmio em 2010. Deste modo, coloca-se a questão ética: é justo o mesmo aluno ganhar duas vezes um computador, enquanto a grande maioria, mesmo apresentando avanços, continuam até mesmo nas escolas sem acesso regular a computadores?

Como se vê, a responsabilização, sob a forma de bonificação em dinheiro (ou sua ausência) pelo cumprimento (ou não) das metas é o ponto central das medidas adotadas. Com isto, as avaliações externas, que aferem parte do cumprimento das metas, deixam de ser meramente diagnósticas, uma vez que seus resultados justificam decisões administrativas que resultam em consequências de grande impacto para a vida dos profissionais envolvidos. Por esta razão, avaliações deste tipo são também  denominadas  “testes de alto impacto” (high-stakes tests). Elas vem sendo colocadas em prática nos Estados Unidos, em âmbito federal, desde 2001, com a promulgação da lei No Child Left Behind pelo  presidente Georg W. Bush. No entanto, outros modelos semelhantes já tinham sido implementados anteriormente, no Distrito 2 da cidade de Nova Iorque (nos anos finais da década de 1980), em San Diego (1998) e na cidade de Nova Iorque como um todo (2001).

Apesar das diferenças entre estes modelos e o que foi implementado no estado do Rio de Janeiro, eles possuem em comum pelo menos duas orientações gerais, quais sejam, que (i) melhorias na educação serão obtidas por um sistema de prestação de contas/responsabilização baseado em resultados de testes padronizados e que (ii) a implantação deste sistema mesmo pode ser realizada verticalmente, de cima para baixo, a partir de um centro gestor, ignorando não apenas a gestão democrática das escolas prevista na Constituição de 1988, mas principalmente a própria complexidade das escolas e como esta complexidade determina, além dos resultados do processo educacional em geral, até mesmo a assimilação e a prática das políticas adotadas. Além disso, ambos os modelos se apoiam largamente em  números, estatísticas, fórmulas, porcentagens, gráficos e outros recursos matemáticos. Recentemente, pouco mais de uma década após serem implementados, a eficácia destes modelos vem sendo questionada cada vez mais em diversos estudos, relatórios e pesquisas independentes.

Quando levamos em conta estes estudos, notamos que aqui, mais uma vez, os números podem facilmente mentir e enganar, obscurecendo nossa compreensão do que acontece em nossas escolas. Neste caso, no que diz respeito ao “salto” de qualidade obtido no IDEB, os números podem mentir e enganar, em primeiro lugar, em virtude dos próprios limites e imprecisões dos sistemas de responsabilização adotados. Por exemplo, os economistas Thomas J. Kane e Douglas O. Staiger, ao examinarem as propriedades estatísticas de alguns sistemas de responsabilização, notaram que são “menos confiáveis do que se costuma comumente reconhecer” e que muitos “sistemas que parecem razoáveis à primeira vista funcionam de modo perverso quando a medição das notas dos testes são imprecisas”. Relatório recente, elaborado por dez pesquisadores norte-americanos, alerta que os resultados dos testes, por si sós, “não devem ser usados para tomar decisões operacionais, pois essas estimativas são muito instáveis para serem consideradas justas ou de confiança (…) ainda nos falta um conhecimento adequado da seriedade com que os diferentes problemas afetam a validade das interpretações”.

Os números podem enganar também, em segundo lugar, em virtude das próprias medidas adotadas para produzir o seu aumento, fazendo com que não mais reflitam com exatidão a realidade mesma que pretendem medir. Como vimos acima, os resultados das avaliações externas aplicadas no estado do Rio de Janeiro, assim como nos Estados Unidos, resultam em impactos significativos para a vida dos profissionais da educação. Em muitos casos, a ameaça destes impactos acaba gerando uma busca irrestrita, custe o que custar, por resultados positivos. A esse respeito, o cientista social Donald Campbell formulou uma lei, também chamada Lei de Campbell, segundo a qual “quanto mais um indicador social quantitativo é utilizado para fins de tomada de decisões, mais suscetível ele estará à pressão de corrupção e mais apto ele estará a distorcer e corromper os processos sociais que se pretende monitorar”. Em outras palavras, com tanta pressão envolvida, sobretudo quando se trata de profissionais com baixa remuneração, as medidas adotadas para o aumento no IDEB podem não apenas não refletir com exatidão a qualidade do ensino oferecido, transmitindo ao público uma avaliação equivocada e por demais otimista da política educacional adotada, mas também trazer no seu bojo as mesmas consequências negativas e efeitos colaterais perversos já observados nos Estados Unidos.

No afã de atender a cada uma das metas estabelecidas, tem sido comum, como era de se esperar, não apenas um esforço excessivamente direcionado para este fim por parte dos profissionais envolvidos, mas uma série de excessos e extrapolações de responsabilidades. Por exemplo, como o Indicador de Fluxo Escolar (que leva em conta a média de aprovação) é utilizado para calcular a nota da escola, alguns diretores orientam os professores, como “estratégia” pedagógica, a “não pesarem a mão” nas avaliações e facilitarem as coisas para os alunos, obtendo assim uma melhora em pelo menos um dos dois aspectos envolvidos na avaliação. No que tange ao outro aspecto da avaliação, concernente ao Indicador de Desempenho, os professores das disciplinas diretamente envolvidas (Matemática e Português) se vêm forçados a focar o conteúdo quase que exclusivamente no que será cobrado nas avaliações padronizadas, praticamente adestrando os alunos para os testes, deixando de lado muitos tópicos essenciais à formação. Além deste tipo de orientação pedagógica, focada no atendimento mecânico das metas, tem sido comum por parte de alguns diretores até mesmo o cumprimento de grande parte das exigências de caráter administrativo impostas aos professores, como o lançamento de notas no sistema online, por exemplo.

Como conclusão, passemos em revista o que foi colocado até aqui. Após constatar a utilização cada vez maior de números e conceitos matemáticos no discurso de nossos gestores educacionais, notamos que isso nem sempre resulta em mais clareza e precisão, mas também em enganos, meias verdades e falácias. Em primeiro lugar, vimos que, ao ser divulgado apenas o avanço do IDEB sem nenhuma referência à grande diminuição de matrículas, incorreu-se em uma falácia matemática conhecida como “empacotamento de frutas”, que consiste em destacar apenas dados favoráveis e omitir os desfavoráveis. Em segundo lugar, vimos que o sistema de responsabilização implementado para melhorar os índices pode não apenas produzir uma série de consequências indesejáveis, mas também fazer com que os próprios índices, não mais refletindo com exatidão a realidade mesma que pretendem medir, nos enganem mais uma vez.

Já mencionamos que aumentar o conteúdo empírico disponível, comparar pesquisas de fontes e metodologias diversas e confrontar números com números são as únicas maneiras de evitar os enganos e formar uma visão mais acurada de nossa educação pública. Infelizmente, por razões óbvias, esta tarefa é cada vez mais difícil de ser realizada pelos profissionais da rede pública estadual, pelos alunos e seus responsáveis, os principais interessados nesta discussão. A crítica dos especialistas em educação, quando se volta para estes aspectos, se restringe aos periódicos especializados e congressos, quase nunca resultando em ações concretas. Na grande imprensa, a maior parte dos artigos publicados sobre este assunto fica a cargo de economistas, políticos e pessoas de fora do campo da educação. Deste modo, desprovidos da condição de sujeitos de suas próprias ações, milhares de profissionais e alunos se rendem a práticas e discursos alheios ao campo da educação, práticas e discursos que, como bem advertiu Santo Agostinho, se utilizam de “profecias vazias” para obscurecer os espíritos e confinar os homens nas cadeias não exatamente do inferno, mas do mercado.

Rafael Huguenin  Estudos Hum(e)anos