Em Julho deste ano, a ERC deliberou constituir uma comissão para efectuar um diagnóstico sobre a situação das sondagens e apresentar sugestões sobre medidas a adoptar. Essa comissão foi formada por José Vidal de Oliveira, da Escola Superior de Comunicação Social; Helena Nicolau, da Faculdade de Psicologia e Ciências da Educação; e Fernando Cascais, Director do CENJOR.Essa comissão produziu um relatório que foi apresentado há dias numa conferência da ERC, apresentação essa que foi coberta pela comunicação social em várias notícias. O próprio relatório irá, ao que sei, ser publicado pela ERC, mas não se encontra ainda disponível na net. Pode ser, contudo, descarregado aqui. Esta é a que julgo ser a versão definitiva, depois de uma versão preliminar ter recebido comentários das empresas e outros interessados. O relatório baseia-se principalmente numa base de dados composta por 38 sondagens realizadas sobre 8 eleições diferentes, das legislativas de 2005 até às europeias de 2009.Para quem não tiver paciência para ler, o que conclui este relatório? Vou dividir as conclusões em três partes: constatações sobre divulgação/depósito dos resultados das sondagens; constatações sobre as próprias sondagens e seus resultados; e recomendações.1. Constatações sobre divulgação/depósito das sondagens e seus resultados:- Nem sempre os universos foram correctamente definidos (faltando a algumas especificar que, em telefónicas, estamos na maioria dos casos a definir universos de residentes em lares com telefones fixos, etc.) - p.12;- Nem sempre as fichas técnicas explicam como são seleccionados os inquiridos - p.15;- Nem todos os questionários utilizados são disponibilizados - p.17;- O conceito de inspecção/supervisão das entrevistas e entrevistadores não é interpretado de maneira uniforme - p. 22;- Há fichas técnicas omissas sobre se a amostra é ou não objecto de ponderação, por que variáveis e se uma das variáveis é o último voto - p. 22;- A análise da cobertura jornalística das sondagens revela grande visibilidade dada aos resultados, interpretação editorial colada à informação quantitativa, enquadramento competitivo, erros e excessivas simplificações e tendência para transformação de observações em prognósticos - pp. 40-41;- Apresentação frequente das sondagens com resultados até às décimas - p.41.2. Constatações sobre as próprias sondagens e seus resultados:- Os procedimentos de amostragem adoptados pelas diferentes empresas, se cumpridos, não levantam objecções - p.15;- Não existe relação entre a dimensão da amostra utilizada e a média dos desvios absolutos entre as intenções de voto estimadas para os principais partidos em sondagens pré-eleitorais e os resultados reais na eleição - p. 16;- Nem todas as sondagens utilizam questionários onde se coloquem perguntas sobre a intenção de votar - pp.17-19;- Existe grande disparidade do número máximo de entrevistas por entrevistador/dia nas várias empresas e institutos - p. 21;- "Nas eleições europeias, a Marktest foi a única empresa que revelou o sentido correcto de voto entre PSD e CDS (...), o que não impediu de ser a que apresentou maior desvio médio em módulo entre o valor estimado e o valor da eleição, a nível de patidos e brancos/nulos" - p. 25;- Os maiores desvios foram encontrados para as eleições europeias de 2009; os menores para as legislativas de 2005 - p. 27;- Os desvios foram menores nas projecções para as legislativas de 2005 (8 sondagens), presidenciais de 2006 (6) e intercalares de Lisboa em 2007 (5); nas sondagens realizadas pelo Ipom (1), Universidade Católica (7) e Aximage (5); que utilizaram o procedimento de amostragem de selecção aleatória de freguesias tipo e último aniversariante(7); que recorreram à entrevista pessoal (17) - p. 4 e pp. 24-25.- Os desvios foram maiores nas projecções para as europeias de 2009 (5 sondagens), feitas pela empresa Pitagórica (1), seguida da Intercampus (7); que utilizaram o procedimento de selecção "homem mais novo" (1); e que recorreram à entrevista telefónica (21) - p.4 e pp. 24-25;- O PS e o PSD são os partidos para os quais os desvios apresentam maior variabilidade - p. 30;- Os resultados das projecções para o PSD tenderam a ser subavaliados em todas as projecções para as autárquicas de 2005 em Lisboa e ligeiramente sobreavaliados nas projecções para as legislativas de 2005 - p.30;- Em 6 das 8 eleições, os resultados as projecções para o PS tenderam a ser sobreavaliados - p. 30;- Os resultados do CDS foram subavaliados em todas as projecções para as europeias de 2009 - p. 30;- Os resultados das projecções para a CDU estão sempre muito próximos da realidade para todas as eleições em estudo - p.30;- Os resultados das projecções para o BE estão sempre muito próximos da realidade para todas as eleições em estudo - p.30.3. Recomendações:- É secundária a quantificação exacta dos membros do universo - p.14;- É desejável que as fichas técnicas indiquem de modo uniforme e mais claro o procedimento de amostragem, as variáveis de estratificação e o processo usado para selecção de unidades iniciais, intermédias e finais - p. 15;- É importante que as fichas técnicas passem conter informação sobre "abstenção estimada" - p. 19;- É importante que o questionário faça parte integrante da ficha técnica depositada - p.19;- O facto de a taxa de instalação de telefone fixo não ser de 100% e a elevada taxa de posse de telefone móvel recomenda que a amostra seja composta por entrevistados com telefone fixo no lar e entrevistados com móvel sem telefone fixo no lar - p. 20;- Sugere-se indicação na ficha técnica da percentagem de entrevistas controladas, entrevistadores inspeccionados e número de entrevistas anuladas após inspecção - p. 22;- Necessidade de indicação de variáveis utilizadas para ponderação - p. 22;- Em amostras por quotas, sugere-se reequilíbrio amostral por último voto - p.22;- Em amostras por quotas, não deve ser apresentada margem de erro máxima, mas sim referir que "o erro é desconhecido. Se fosse utilizado um procedimento aleatório, o erro máximo seria de x%" - p. 23;- Deveria ser abandonada a apresentação dos resultados até às décimas e dar mais relevo ao intervalo de confiança - p. 41;- Republicações de resultados de sondagens deveriam fazer referência à publicação inicial, responsável e fonte - p. 42;- Elaboração de um pequeno manual sobre procedimentos correctos e incorrectos no tratamento editorial das sondagens e criação de um curso-modelo de curta duração sobre sondagens para jornalistas - p. 56;- Criação de um "programa informático" que, cito, "passe a calcular os diferentes intervalos de confiança (com níveis de significância de 5% e 1%) e, analisando tendências, ponha em evidência dados que saiam fora dos limites previstos, alertando para a necessidade de uma análise das bases técnicas da sondagem em questão" - p. 57.Há outras recomendações sobre a natureza da ficha técnica a preencher pelas empresas e depositar na ERC, às quais, pela sua especificidade, vos poupo.Como imaginam, tenho opiniões sobre tudo isto. Mas o que eu gostava mesmo era de saber o que pensam as pessoas que se interessam por este assunto, visitam este blogue e costumam comentar sondagens. Não há muitas oportunidades para debater estes assuntos fora do calor eleitoral, e esta é uma delas. Aproveitem. Daqui a uns tempos direi o que penso deste relatório e das suas conclusões.
Categorias
Entidades
Em Julho deste ano, a ERC deliberou constituir uma comissão para efectuar um diagnóstico sobre a situação das sondagens e apresentar sugestões sobre medidas a adoptar. Essa comissão foi formada por José Vidal de Oliveira, da Escola Superior de Comunicação Social; Helena Nicolau, da Faculdade de Psicologia e Ciências da Educação; e Fernando Cascais, Director do CENJOR.Essa comissão produziu um relatório que foi apresentado há dias numa conferência da ERC, apresentação essa que foi coberta pela comunicação social em várias notícias. O próprio relatório irá, ao que sei, ser publicado pela ERC, mas não se encontra ainda disponível na net. Pode ser, contudo, descarregado aqui. Esta é a que julgo ser a versão definitiva, depois de uma versão preliminar ter recebido comentários das empresas e outros interessados. O relatório baseia-se principalmente numa base de dados composta por 38 sondagens realizadas sobre 8 eleições diferentes, das legislativas de 2005 até às europeias de 2009.Para quem não tiver paciência para ler, o que conclui este relatório? Vou dividir as conclusões em três partes: constatações sobre divulgação/depósito dos resultados das sondagens; constatações sobre as próprias sondagens e seus resultados; e recomendações.1. Constatações sobre divulgação/depósito das sondagens e seus resultados:- Nem sempre os universos foram correctamente definidos (faltando a algumas especificar que, em telefónicas, estamos na maioria dos casos a definir universos de residentes em lares com telefones fixos, etc.) - p.12;- Nem sempre as fichas técnicas explicam como são seleccionados os inquiridos - p.15;- Nem todos os questionários utilizados são disponibilizados - p.17;- O conceito de inspecção/supervisão das entrevistas e entrevistadores não é interpretado de maneira uniforme - p. 22;- Há fichas técnicas omissas sobre se a amostra é ou não objecto de ponderação, por que variáveis e se uma das variáveis é o último voto - p. 22;- A análise da cobertura jornalística das sondagens revela grande visibilidade dada aos resultados, interpretação editorial colada à informação quantitativa, enquadramento competitivo, erros e excessivas simplificações e tendência para transformação de observações em prognósticos - pp. 40-41;- Apresentação frequente das sondagens com resultados até às décimas - p.41.2. Constatações sobre as próprias sondagens e seus resultados:- Os procedimentos de amostragem adoptados pelas diferentes empresas, se cumpridos, não levantam objecções - p.15;- Não existe relação entre a dimensão da amostra utilizada e a média dos desvios absolutos entre as intenções de voto estimadas para os principais partidos em sondagens pré-eleitorais e os resultados reais na eleição - p. 16;- Nem todas as sondagens utilizam questionários onde se coloquem perguntas sobre a intenção de votar - pp.17-19;- Existe grande disparidade do número máximo de entrevistas por entrevistador/dia nas várias empresas e institutos - p. 21;- "Nas eleições europeias, a Marktest foi a única empresa que revelou o sentido correcto de voto entre PSD e CDS (...), o que não impediu de ser a que apresentou maior desvio médio em módulo entre o valor estimado e o valor da eleição, a nível de patidos e brancos/nulos" - p. 25;- Os maiores desvios foram encontrados para as eleições europeias de 2009; os menores para as legislativas de 2005 - p. 27;- Os desvios foram menores nas projecções para as legislativas de 2005 (8 sondagens), presidenciais de 2006 (6) e intercalares de Lisboa em 2007 (5); nas sondagens realizadas pelo Ipom (1), Universidade Católica (7) e Aximage (5); que utilizaram o procedimento de amostragem de selecção aleatória de freguesias tipo e último aniversariante(7); que recorreram à entrevista pessoal (17) - p. 4 e pp. 24-25.- Os desvios foram maiores nas projecções para as europeias de 2009 (5 sondagens), feitas pela empresa Pitagórica (1), seguida da Intercampus (7); que utilizaram o procedimento de selecção "homem mais novo" (1); e que recorreram à entrevista telefónica (21) - p.4 e pp. 24-25;- O PS e o PSD são os partidos para os quais os desvios apresentam maior variabilidade - p. 30;- Os resultados das projecções para o PSD tenderam a ser subavaliados em todas as projecções para as autárquicas de 2005 em Lisboa e ligeiramente sobreavaliados nas projecções para as legislativas de 2005 - p.30;- Em 6 das 8 eleições, os resultados as projecções para o PS tenderam a ser sobreavaliados - p. 30;- Os resultados do CDS foram subavaliados em todas as projecções para as europeias de 2009 - p. 30;- Os resultados das projecções para a CDU estão sempre muito próximos da realidade para todas as eleições em estudo - p.30;- Os resultados das projecções para o BE estão sempre muito próximos da realidade para todas as eleições em estudo - p.30.3. Recomendações:- É secundária a quantificação exacta dos membros do universo - p.14;- É desejável que as fichas técnicas indiquem de modo uniforme e mais claro o procedimento de amostragem, as variáveis de estratificação e o processo usado para selecção de unidades iniciais, intermédias e finais - p. 15;- É importante que as fichas técnicas passem conter informação sobre "abstenção estimada" - p. 19;- É importante que o questionário faça parte integrante da ficha técnica depositada - p.19;- O facto de a taxa de instalação de telefone fixo não ser de 100% e a elevada taxa de posse de telefone móvel recomenda que a amostra seja composta por entrevistados com telefone fixo no lar e entrevistados com móvel sem telefone fixo no lar - p. 20;- Sugere-se indicação na ficha técnica da percentagem de entrevistas controladas, entrevistadores inspeccionados e número de entrevistas anuladas após inspecção - p. 22;- Necessidade de indicação de variáveis utilizadas para ponderação - p. 22;- Em amostras por quotas, sugere-se reequilíbrio amostral por último voto - p.22;- Em amostras por quotas, não deve ser apresentada margem de erro máxima, mas sim referir que "o erro é desconhecido. Se fosse utilizado um procedimento aleatório, o erro máximo seria de x%" - p. 23;- Deveria ser abandonada a apresentação dos resultados até às décimas e dar mais relevo ao intervalo de confiança - p. 41;- Republicações de resultados de sondagens deveriam fazer referência à publicação inicial, responsável e fonte - p. 42;- Elaboração de um pequeno manual sobre procedimentos correctos e incorrectos no tratamento editorial das sondagens e criação de um curso-modelo de curta duração sobre sondagens para jornalistas - p. 56;- Criação de um "programa informático" que, cito, "passe a calcular os diferentes intervalos de confiança (com níveis de significância de 5% e 1%) e, analisando tendências, ponha em evidência dados que saiam fora dos limites previstos, alertando para a necessidade de uma análise das bases técnicas da sondagem em questão" - p. 57.Há outras recomendações sobre a natureza da ficha técnica a preencher pelas empresas e depositar na ERC, às quais, pela sua especificidade, vos poupo.Como imaginam, tenho opiniões sobre tudo isto. Mas o que eu gostava mesmo era de saber o que pensam as pessoas que se interessam por este assunto, visitam este blogue e costumam comentar sondagens. Não há muitas oportunidades para debater estes assuntos fora do calor eleitoral, e esta é uma delas. Aproveitem. Daqui a uns tempos direi o que penso deste relatório e das suas conclusões.