Segundo um estudo..só que não!

« voltar





Fábio Adiron

Se você, como eu, já assistiu muitas aulas, palestras (atualmente em lives ou webinars) e leu muitos artigos sobre temas variados, já se deparou mais de uma vez com a expressão “segundo um estudo”.

Se, também como eu, é uma pessoa crítica e questionadora, na maioria das vezes se incomodou com o fato de que o tal “estudo” não cita sua origem, fonte, autoria e, especialmente, em que condições o estudo foi feito.

Por outro lado, sempre tem uma apresentação gráfica intuitiva é fácil de entender. Um círculo, uma matriz, um cone ou uma pirâmide. Essa última é das mais populares, imagino que seja um arquétipo do faraó que existe em cada um nós.

Vamos estudar epistemologia[1]

Não é por acaso que o estudo do conhecimento humano, sua construção, seu desenvolvimento e seu limites é um dos campos, até pela sua própria natureza extremamente abstrata, onde mais encontramos esse tipo de situação.

Não que vários estudiosos do desenvolvimento humano não tenham tentado medir, de alguma forma, os componentes desse processo. Alguns com rigor científico, outros nem tanto.

O problema é que não poucos estudos sérios sofreram distorções para deixá-los mais palatáveis e populares. Basta ler sobre os objetivos originais de Binet[2], ou as condições e limitações dos estudos de Mehrabian[3].

Por outro lado, temos uma outra questão que não pode ser ignorada: o fato de que muitos estudos nunca saíram das suas fases iniciais de proposição e do laboratório.

Condenados por falta de provas

Os estudos científicos sobre o comportamento humano, em especial aqueles que ligados ao desenvolvimento cognitivo, memória, aprendizagem existem há mais de 130 anos.

Nessas 13 décadas psicólogos, educadores, neurocientistas, entre tantos outros, fizeram milhares de experimentos, análises de correlação e estudos de campo. Uma base de conhecimento brutal.

No entanto, poucas (para não dizer nenhuma) dessas pesquisas saíram do laboratório para experiências de campo controladas (como os testes clínicos de medicamentos, por exemplo) e, mesmo assim, muitas foram implantadas nas nossas práticas.

A lista de produtos vendidos sem comprovação de fato é estarrecedora, a área de educação é particularmente suscetível à sedução de ideias plausíveis mas não testadas. Especialmente as que se tornam modas e são lucrativas para seus inventores.[4]

Mas não é só na educação que isso acontece. Gráficos elaborados sempre fizeram mais sucesso do que provas científicas complexas. Não é surpreendente que as pessoas estejam mais preocupadas com a ideologia de uma vacina do que com seus resultados.

Geralmente percebemos rapidamente que existe um viés quando ouvimos algum político falando (especialmente os que estão nos pontos extremos do espectro ideológico), mas, será que temos o discernimento de identificar os possíveis vieses lógicos ou mesmo verificar a confiabilidade das fontes citadas quando elas parecem ser “científicas”?

Apenas um, dentre muitos exemplos

Tenho certeza que você já viu a figura da “pirâmide de aprendizado” (em alguns lugares chamada de cone da aprendizagem ou cone da experiência)

Muitas vezes, ela é atribuída ao National Training Laboratory, ou ao educador Edgar Dale. Você não ficará surpreso ao saber que existem diferentes versões por aí, com diferentes percentagens e algumas pequenas variações na ordem das atividades.

Certamente, algumas atividades mentais são melhores para o aprendizado do que outras. A maioria das pessoas que ensinaram concorda que a contemplação de longo prazo de como ajudar os outros a compreender ideias complicadas é uma maneira maravilhosa de melhorar a própria compreensão dessas ideias – certamente melhor do que apenas lê-las – embora a estimativa de 10% de retenção do que se lê soe um pouco estranha.

Se você inserir “cone de experiência” no Google Scholar, a primeira página oferece alguns artigos que criticam a ideia, afinal tantas variáveis ​​afetam a recuperação da memória, que você não pode atribuir porcentagens específicas de recordação sem especificar o contexto em que elas se inserem.

Daniel Willingham[5], famoso por seu livro “Por que as crianças não gostam de ir à escola?” levanta algumas lebres:

• qual material é lembrado? (olhar pela janela de um carro é uma experiência audiovisual como assistir a um filme de ação, mas sua memória para essas duas experiências audiovisuais não será equivalente)

• qual a idade dos sujeitos?

• qual foi o atraso entre o estudo e o teste? (obviamente, a porcentagem recuperada geralmente cai com o atraso)

• o que os sujeitos foram instruídos a fazer conforme liam, demonstravam, ensinavam? (você pode aumentar consideravelmente a memória para uma tarefa de leitura, pedindo aos sujeitos para resumir enquanto leem)

• como a memória foi testada? (a porcentagem recuperada é quase sempre muito mais alta para testes de reconhecimento do que para recordação).

• o que os sujeitos sabem sobre o material a ser lembrado? (se você já sabe alguma coisa sobre o assunto, a memória será muito melhor.

James Lalley e Robert Miller[6] levantam outras questões sérias sobre a confiabilidade da pirâmide de aprendizagem como um guia para a retenção entre os alunos, especialmente pelo fato de que nenhuma pesquisa confiável específica foi realizada para apoiar a pirâmide, que está vagamente associada à teoria proposta pelo pesquisador respeitado, Edgar Dale.

Atribui-se a Dale a criação do Cone da Experiência em 1946. O Cone foi projetado para representar a importância de alterar os métodos de ensino em relação ao conhecimento prévio do aluno: ele sugere um continuum de métodos, não uma hierarquia.

O cone da experiência de Dale não descrevia a retenção de conhecimento. Suas versões de 1946, de 1954 e de 1969 não continham nenhum valor numérico.[7]

Ou seja, assim como Binet e Mehrabian, a ideia original do estudo também foi distorcida. E continua sendo distorcida à medida que quem a apresenta embute os seus próprios vieses de preferência pessoais por um modelo de estratégia ativa de aprendizagem em detrimento das metodologias passivas.

O que não desmerece as metodologias ativas mas, a pirâmide não pode ser usada seriamente para justificá-las.

Embora nenhuma pesquisa empírica tenha sido feita para apoiar a pirâmide, a conclusão de Lalley e Miller, depois de analisar pesquisas das mais variadas metodologias é que: cada um dos métodos identificados pela pirâmide resulta em retenção, mas nenhum sendo consistentemente superior aos outros e todos sendo eficazes em certos contextos.

Como diferenciar a boa da má informação?

Em um mundo atolado de informação nem sempre é fácil diferenciar o que parece ser sério com o que realmente é sério.[8] Por isso, antes de reproduzir algo que “parece, mas não é” eu sugiro

  1. Nunca reproduza algo que não cita a origem do pretenso estudo
  2. Caso cite a fonte, faça uma busca pelo original e veja se é isso mesmo que foi escrito ou falado (existem dezenas de sites que reproduzem os originais)
  3. Preste particular atenção sobre as condições em que o estudo foi feito para não generalizar algo que foi feito dentro de um contexto muito específico
  4. Leia os elogios e críticas a respeito do estudo. E chegue às suas próprias conclusões (você pode até estar errado mas, se questionado, vai saber argumentar porque concorda ou discorda)

Claro, e se se deparar com um palestrante ou autor que não cita, ou mesmo não sabe a fonte do que está apresentando, não o leve a sério, é apenas uma forma pseudo-acadêmica de “fake news”.


[1] Recomendo assistir o “Dilema do amor”, um clássico dos fabulosos Les Luthiers: https://www.youtube.com/watch?v=p9ZdeARKTzE

[2] Que foi inclusive distorcido por Henry Goddard com motivações eugênicas.

[3] Mehrabians me mordam! de Virginia Fantoni pode ser lido em https://adiron.com.br/consultoria/mehrabians-me-mordam/

[4] ROEDIGER, Henry L. Applying cognitive psychology to education: translational educational science. Association for Psychological Science. 2013

[5] https://en.wikipedia.org/wiki/Daniel_T._Willingham

[6] Lalley, James P.; Miller, Robert H. The Learning Pyramid: Does It Point Teachers in the Right Direction? Education, v128 n1 p64-79 Fall 2007

[7] Letrud, Käre. A rebuttal of NTL Institute´s learning pyramid. Education, v133 n1 p117-124 Fall 2012

[8] Willingham, Daniel T. When can you trust the experts? How to tell good science from bad science in education. Jossey-Bass. San Francisco. 2012