Qual a Precisão dos Prognósticos de Futebol: Uma Auditoria Prática de Qualquer Previsão de Jogo

Antes de confiar num prognóstico na preparação de um jogo, num documento para a direção ou num produto para adeptos, é preciso ter forma de responder à pergunta sobre a precisão real das previsões no futebol. Uma taxa de acerto de destaque não chega. A resposta sai de uma auditoria, e a auditoria tem cinco partes: um registo público que não possa ser editado a posteriori, calibração, intervalos de confiança, uma pontuação medida contra uma referência simples e uma amostra suficientemente grande para significar alguma coisa.

Comece pelo próprio registo. Um prognóstico só é verificável se a previsão ficou fixada antes do apito inicial e foi classificada depois, segundo uma regra declarada. Pergunte qual é a previsão mantida quando ela muda (a primeira, a melhor ou a última antes do arranque) e contra que resultado é avaliada. Os noventa minutos, ou também o prolongamento? Os penáltis como empate ou como vitória? Um fornecedor que não explica estas coisas não oferece um registo, apenas uma história. Verifique também se os falhanços estão visíveis a par dos acertos e se o registo cobre todos os jogos que o fornecedor diz cobrir, e não uma seleção.

A calibração é o segundo teste, e o que os decisores mais vezes ignoram. Uma probabilidade calibrada significa que, quando um prognóstico diz 70%, o resultado acontece cerca de sete vezes em dez ao longo de muitos jogos, e falhar três vezes em dez faz parte do acordo, não é uma falha. Uma única previsão de 70% que perde diz-lhe quase nada. O que se quer ver é se as previsões de 70%, no seu conjunto, ficam perto de 70%, e se as de 40% ficam perto de 40%. Um previsor sempre confiante e muitas vezes certo numa série curta pode ter apenas sorte, enquanto aquele cujos números declarados coincidem com a realidade dá-lhe algo em que pode basear o planeamento.

Isso leva-nos aos intervalos de confiança. A precisão global mistura jogos fáceis com jogos próximos de uma moeda ao ar, por isso leia o registo por escalão. As previsões de elevada confiança são aquelas em que poderia agir, na rotação do plantel ou na forma de apresentar um jogo à direção, pelo que as deve avaliar em separado e compará-las com o atalho óbvio. Se a equipa da casa ganha 60% das vezes nos mesmos jogos, então apostar sempre no onze da casa é a verdadeira referência, e um prognóstico tem de a superar para justificar a sua existência.

A pontuação de Brier é a quarta ferramenta. Mede a distância entre as probabilidades que publicou e o que aconteceu, penalizando fortemente os falhanços confiantes, e quanto mais baixa, melhor. Sozinho, o número é difícil de interpretar, por isso ponha-o sempre ao lado de uma referência, como atribuir a cada jogo as taxas de vitória da casa, empate e vitória fora da própria amostra. Um modelo que não bate essa referência está a acrescentar ruído. Qualquer resposta séria sobre se a IA consegue prever com precisão resultados de futebol deve ser enquadrada assim: não como um sim ou um não, mas como uma pontuação face a uma alternativa banal.

O registo do próprio Kickwise mostra como isto funciona, incluindo as partes incómodas. O seu registo público guarda a última previsão feita antes do apito inicial e avalia-a pelo resultado aos 90 minutos mais o prolongamento, se o houver, com um desempate por penáltis contado como empate. Nas previsões feitas com confiança de 65% ou mais nos últimos 90 dias, está em 43 certas em 53 (81%), em jogos nos quais apostar sempre na equipa da casa teria acertado 60% das vezes. Em todas as previsões avaliadas, a todos os níveis de confiança, nos últimos 30 dias, está em 68 certas em 111 (61%), com uma pontuação de Brier de 0,56 contra 0,654 da referência; a equipa da casa ganhou 40% desses jogos. Os últimos 7 dias dão 23 certas em 37 (62%), com 0,575 contra 0,643.

Agora os limites, que importam tanto como os números. O empate é o resultado mais difícil de prever. Os jogos particulares e os jogos com poucos dados são quase uma moeda ao ar, e um prognóstico deve dizê-lo em vez de os disfarçar. E uma previsão de 70% continua a falhar cerca de três vezes em dez. Depois há o tamanho da amostra: 37 jogos numa semana e 53 previsões de elevada confiança num trimestre chegam para ver uma direção, não para fechar um veredicto. Uma janela de 7 dias pode oscilar com meia dúzia de resultados, e é por isso que as janelas mais longas merecem mais peso e que nenhuma deve ser lida como uma promessa.

Juntando tudo, a auditoria é simples o bastante para entregar a um responsável de dados ou de tecnologia que avalie um fornecedor ou construa uma solução interna. Exija o momento da previsão e a regra de avaliação, leia a calibração por escalão, compare a pontuação de Brier com uma referência declarada e recuse conclusões tiradas de amostras pequenas. Usado assim, um prognóstico é um contributo útil para a análise de dados para futebol antes do jogo e para os relatórios de análise do adversário, uma visão calibrada das probabilidades a par da observação e da tática. Não os substitui, e não diz o que vai acontecer no sábado.