Validação — Estudo 1
Comparação entre a nota calculada por esta plataforma e a nota oficial de 2020, sobre a população elegível de cada área, excluídos os 500 participantes por área já usados no Estudo 0. Os números foram calculados a partir dos microdados oficiais do INEP de 2020.
Convenções fixadas pelo Estudo 0 (conjuntamente com a escala, não em experimentos separados): família C — transformação afim por área do EAP sob priori N(0,1), parâmetros de item exatamente como publicados pelo Inep; D = 1; resposta em branco contada como incorreta; grade de quadratura de 40 nós igualmente espaçados em [−4, +4].
Não houve empate entre as três famílias candidatas: as outras duas (priori do grupo; parâmetros numa métrica anterior à transformação de escala) ficaram entre 1,3 e 12 pontos de erro absoluto médio contra a nota oficial — a família C venceu isoladamente.
O erro absoluto médio de 0,025 ponto (o maior entre as quatro áreas) é o piso do arredondamento da nota publicada a uma casa decimal — não uma imprecisão do método. A fórmula documentada pelo Inep, 100·θ + 500, não reproduz a nota com os parâmetros publicados; as constantes reais são específicas de cada área (tabela abaixo) e idênticas nas seis edições, 2020 a 2025.
Detalhes do Estudo 0 na dissertação, Seção 4.4.3.
Métricas por área
| Área | N | Escala (θ → nota) | Correlação (r) | Viés médio | Erro absoluto médio | RMSE | Erro máximo | ≤ 2,0 pontos | Critério |
|---|---|---|---|---|---|---|---|---|---|
| CH | 2.748.573 | 112,31·θ + 501,49 | 1,000000 | -0,0004 | 0,0251 | 0,0290 | 0,0586 | 100% | ✓ atendido |
| CN | 2.596.235 | 113,10·θ + 501,14 | 1,000000 | -0,0008 | 0,0251 | 0,0289 | 0,0560 | 100% | ✓ atendido |
| LC | 2.751.291 | 108,09·θ + 499,98 | 1,000000 | 0,0023 | 0,0251 | 0,0290 | 0,0527 | 100% | ✓ atendido |
| MT | 2.596.027 | 129,65·θ + 500,02 | 1,000000 | 0,0009 | 0,0250 | 0,0289 | 0,0536 | 100% | ✓ atendido |
Critério fixado a priori: erro absoluto médio ≤ 1,0 ponto e ≥ 95% dos participantes com diferença absoluta ≤ 2,0 pontos. Observado: 0,025 ponto de erro absoluto médio (máximo entre áreas) e 100% dentro de 2,0 (mínimo entre áreas) — critério atendido nas quatro áreas.
Dispersão — nota oficial × proficiência estimada
800 de 5.000 participantes por área desenhados (amostra sistemática, só para o gráfico), de 2020. Linha tracejada: identidade (estimada = oficial). Escala compartilhada entre as quatro áreas.
Bland–Altman — diferença entre estimada e oficial
Linha tracejada: diferença zero. Note a escala do eixo y — décimos de ponto: mesmo o erro máximo observado (0,059 ponto) é menor que a resolução de uma casa decimal da nota publicada.