Situações:
Acerto de cada modelo por seed (%)
Os dois modelos foram treinados com as mesmas 10 seeds (mesma divisão dos dados e mesma ordem). Edite qualquer valor.
Gerar um experimento
Resultados
Seed a seed
Círculo vazado: modelo A. Círculo verde: modelo B. A linha liga os dois resultados da mesma seed.
Teste de permutação
O mesmo em Python
Por que isso importa
Treinar a mesma rede com outra seed muda o resultado (veja o simulador Treino de rede neural). Se o modelo B ganhou do A numa única rodada, pode ter sido só sorte. Com várias seeds, os testes respondem: se os dois modelos fossem igualmente bons, qual seria a chance de ver uma diferença tão grande quanto essa? Essa chance é o valor-p.
- Teste t pareado olha a diferença dentro de cada seed. Como a seed afeta os dois modelos parecido, comparar seed a seed tira esse ruído e o teste fica mais sensível.
- Teste t de Welch trata os dois grupos como independentes. Aqui ele aparece para mostrar o que se perde ao ignorar o pareamento.
- Teste de permutação não supõe distribuição normal: troca A e B dentro de cada seed de todas as 1024 formas possíveis e conta quantas vezes a diferença ficou tão grande quanto a observada.
- Valor-p pequeno não diz que a diferença é grande. Olhe também o intervalo de confiança e o tamanho de efeito.
Com diferença verdadeira zero, cerca de 5% dos experimentos dão p < 0,05 mesmo assim. São falsos positivos, e o botão "Repetir o experimento 1000 vezes" mostra isso acontecendo.