← Projeto LIMIAR

Métodos de análise

O que cada técnica estatística responde, como se calcula, e o exemplo com os dados do projeto.
Documento de referência para o artigo e para a defesa oral.

Sumário
  1. O princípio comum: mínimos quadrados
  2. Regressão linear e o teste t
  3. Mínimos quadrados não linear
  4. Comparação de modelos por AICc
  5. Bootstrap
  6. Perfil de verossimilhança
  7. Verificações auxiliares

1O princípio comum: mínimos quadrados

A pergunta

Dado um conjunto de pontos e uma família de curvas candidatas, qual curva descreve melhor os pontos?

A definição de "melhor"

Para cada ponto, mede-se a distância vertical até a curva — o resíduo. Elevam-se todos ao quadrado e somam-se. A melhor curva é a que minimiza essa soma.

SQE = Σ (valor observado − valor previsto)²

Duas perguntas que valem responder antes que alguém as faça. Por que distância vertical e não perpendicular? Porque o eixo horizontal — o tempo — é conhecido sem erro; a incerteza está no eixo vertical. Por que ao quadrado? Porque somando resíduos com sinal os positivos cancelariam os negativos, e porque o quadrado pune desvio grande muito mais que desvio pequeno, impedindo que a curva abandone pontos isolados.

Por que isso não é escolha arbitrária

Minimizar a soma dos quadrados é matematicamente idêntico a escolher os parâmetros que tornam os dados observados mais prováveis — o método da máxima verossimilhança — sob três condições: erros com distribuição normal, com o mesmo espalhamento ao longo de toda a faixa, e independentes entre si. É por isso que o método se generalizou.

LIMITAÇÃO NESTE PROJETO. A terceira condição é violada quando se ajusta sobre acertos acumulados: um erro cometido no meio da sessão permanece no total até o fim, de modo que resíduos vizinhos se parecem. Medindo na sessão de referência, a correlação entre resíduos consecutivos é de +0,561 e a estatística de Durbin-Watson vale 0,84, contra 2,0 que indicaria independência. A consequência é que os erros padrão saem otimistas por fator próximo de dois.

2Regressão linear e o teste t

Para que serve neste projeto

Responder se uma medida mudou ao longo da sessão: a duração por cartão, o tempo de leitura, o tempo de resposta, a velocidade de leitura, o tamanho do texto. É de onde saem todos os valores de p das tabelas de sessões.

Como se calcula a reta

              Σ (tᵢ − t̄)·(yᵢ − ȳ)
inclinação s = ─────────────────────
                  Σ (tᵢ − t̄)²

intercepto a = ȳ − s·t̄

A fórmula da inclinação mede, para cada ponto, o quanto ele está afastado da média em cada eixo, e pergunta se os afastamentos andam juntos. Pontos próximos da média quase não influenciam; quem decide a inclinação são os extremos.

Como se calcula o p

A hipótese nula é H₀: s = 0 — nada mudou ao longo da sessão. O procedimento tem quatro passos:

1) resíduos e sua soma de quadrados:   SQE = Σ (yᵢ − ŷᵢ)²

2) desvio típico dos resíduos:         σ = √( SQE / (n − 2) )

3) erro padrão da inclinação:          EP(s) = σ / √( Σ (tᵢ − t̄)² )

4) estatística e p:                    t = s / EP(s)
                                       p = área bilateral da t de Student
                                           com (n − 2) graus de liberdade além de |t|

O numerador do erro padrão é a bagunça dos dados; o denominador é o espalhamento do tempo. Por isso uma sessão longa detecta inclinações menores que uma curta com o mesmo ruído — e por isso a duração da sessão não é questão de conforto, e sim de poder de detecção.

O n − 2 são os graus de liberdade: dois pedaços de informação foram gastos para estimar inclinação e intercepto. Com apenas dois pontos a reta passa exatamente por eles e o resíduo é zero, mas não sobra nada para julgar a precisão.

Exemplo com os dados do projeto

Duração por cartão contra o tempo, sessão contínua de 11 de agosto:

n = 35 cartões
t̄ = 55,4316 min        ȳ = 199,3889 s
Σ(t−t̄)(y−ȳ) = +31 427,389
Σ(t−t̄)²     =  42 191,476

s   = 31 427,389 / 42 191,476 = +0,744875 s por minuto
SQE = 75 601,97
σ   = √(75 601,97 / 33) = 47,864 s
EP  = 47,864 / √42 191,5 = 0,233022
t   = 0,744875 / 0,233022 = 3,1966
p   = 0,003061

O que o p é, e o que não é

O p é a probabilidade de observar uma tendência ao menos tão forte quanto a medida, caso não houvesse tendência alguma. Não é a probabilidade de a fadiga não existir, não mede o tamanho do efeito, e um p alto não prova ausência de efeito — prova apenas que aquela amostra não teve poder para separá-lo do ruído. O corte convencional em 5% é arbitrário, herdado da prática de Fisher, e por isso este trabalho reporta o valor em vez de apenas classificar.

3Mínimos quadrados não linear

Para que serve

Estimar c, b e k do modelo de rendimento. Diferentemente da reta, aqui não existe fórmula fechada, porque k aparece dentro da exponencial.

A divisória: linear nos parâmetros

Tem fórmula fechada todo modelo em que cada parâmetro apenas multiplica algo conhecido — a reta, a parábola, a soma de logaritmos. Não tem fórmula fechada quando algum parâmetro está preso dentro de uma exponencial ou de um denominador. O teste é direto: se um parâmetro não pode ser isolado por álgebra, o ajuste é iterativo.

Como se calcula

Por busca iterativa: chuta-se um valor, calcula-se o erro, ajusta-se o chute na direção que o reduz, repete-se até parar de melhorar. O risco é parar num mínimo local — um fundo de poço que não é o mais fundo. A defesa é partir de várias inicializações diferentes e ficar com a melhor.

O método separável, que elimina o risco

O modelo tem uma propriedade útil: fixado k, ele fica linear em c e em b/k, porque ambos passam a multiplicar colunas conhecidas.

S(t) = c · [ t ]  +  (b/k) · [ 1 − e^(−kt) ]
        └ parâmetro × coluna conhecida ┘

Então varre-se k num intervalo, e para cada valor resolve-se c e b/k por fórmula fechada exata. O k escolhido é o de menor erro. O mínimo fica visível numa tabela, sem depender de chute inicial.

    k        c        b/k      soma dos resíduos²
  0,0040   −0,1481   135,23          6,8447     ← c negativo, impossível
  0,0120    0,1433    22,04          5,6327
  0,0200    0,2008    11,16          5,1291
  0,0240    0,2149     9,06          5,0955     ← mínimo
  0,0320    0,2323     6,78          5,3595
  0,0600    0,2556     4,26          7,9622

Além de robusto, o procedimento gera evidência apresentável: o parâmetro foi encontrado, e a coluna do erro mostra por quê.

ESCOLHA DA VARIÁVEL AJUSTADA. Ajustar sobre acertos acumulados usa uma grandeza que só assume valores inteiros; ajustar sobre a duração de cada cartão usa a cronometragem em milissegundos, contínua. A diferença não é cosmética: na sessão de referência, o piso estimado passa de 0,2120 para 0,2488 e o decaimento quase dobra. A duração por cartão é o dado primário do instrumento e deve ser a variável ajustada.

4Comparação de modelos por AICc

Para que serve

Decidir entre formas concorrentes de ganho acumulado — reta pura, saturante pura, e a combinação de reta com saturante. É o método que sustenta a afirmação central do trabalho: que o rendimento estaciona num piso em vez de cair a zero.

O problema que ele resolve

Modelo com mais parâmetros sempre ajusta melhor, porque tem mais liberdade para acompanhar os pontos. Comparar apenas pelo erro premiaria automaticamente o mais complicado. O critério de informação cobra pelo parâmetro extra: o modelo maior só vence se a melhora no erro compensar o custo.

Como se calcula

AIC  = n · ln( SQE / n )  +  2K

               2K(K + 1)
AICc = AIC  +  ──────────
               n − K − 1

onde  n = número de observações
      K = número de parâmetros + 1  (a variância também é estimada)

O primeiro termo mede o desajuste; o segundo é a multa. A correção que transforma AIC em AICc importa quando a amostra é pequena em relação ao número de parâmetros, que é exatamente o caso aqui. Vence o menor valor, e o valor absoluto não significa nada — só a diferença entre modelos aplicados aos mesmos dados.

Exemplo

Sessão contínua de 11 de agosto, três formas concorrentes:

reta pura              AICc = +30,0
saturante pura         AICc = −52,4
reta + saturante       AICc = −58,1     ← vence

E o diagnóstico que acompanha: a saturante pura só descreve os pontos projetando teto de 65 acertos, alcançado aos 755 minutos, contra os 116 minutos efetivamente medidos. Dentro da janela observada, ela é uma reta disfarçada de curva — o que explica por que perde para a forma com piso explícito.

5Bootstrap

Para que serve

Obter intervalos de confiança para c, b, k e para o próprio limiar t*, sem depender de fórmulas que só valem para modelos lineares.

A ideia

Para saber quanto uma estimativa variaria se o experimento fosse repetido, seria preciso repetir o experimento. Como isso é inviável, o bootstrap fabrica repetições a partir dos próprios dados: os resíduos do ajuste são uma amostra do ruído, e reembaralhá-los produz sessões fictícias igualmente plausíveis.

Como se calcula

1) ajusta o modelo, guarda a curva prevista e a lista de resíduos
2) sorteia n resíduos dessa lista COM REPOSIÇÃO
3) soma-os à curva prevista → nasce uma sessão fictícia
4) reajusta o modelo nela e anota o parâmetro obtido
5) repete alguns milhares de vezes
6) o intervalo de 95% são os percentis 2,5 e 97,5 dos valores obtidos

O sorteio com reposição é essencial: sem ele, cada repetição seria uma permutação dos mesmos resíduos e a dispersão sairia subestimada.

Exemplo

parâmetro c, sessão de referência, 4 000 reamostragens

  c mediano                          0,2138
  intervalo de 95%                   [0,132 ; 0,241]
  reamostragens com c abaixo de 0,05  0,3%

O intervalo é assimétrico porque c e b disputam entre si: um ajuste pode reduzir o piso e compensar aumentando o bônus. Ainda assim, forçando o piso para baixo o quanto a matemática permite, ele não se aproxima de zero.

VERIFICAÇÃO INDEPENDENTE. O piso também pode ser estimado sem modelo algum: depois de cerca de três constantes de tempo a curva de ganho acumulado já é a assíntota, e basta a inclinação da metade final da sessão. Na sessão de 12 de agosto, em que a exponencial está 99% decaída, o ajuste de três parâmetros dá 0,2313 e a régua dá 0,2331 — concordância na terceira casa decimal.

6Perfil de verossimilhança

Para que serve

Obter o intervalo do parâmetro de recuperação μ, cuja estimativa pontual cai na fronteira do domínio — situação em que o bootstrap não funciona bem, porque a distribuição fica truncada.

Como se calcula

1) fixa μ num valor
2) reajusta TODOS os demais parâmetros com μ preso ali, e anota o erro mínimo
3) repete para uma grade de valores de μ
4) o menor erro de todos define E₀
5) pertencem ao intervalo de 95% os valores de μ cujo erro satisfaz

          ⎡     F(1, n−K) a 95%  ⎤
   E ≤ E₀ ⎢ 1 + ─────────────── ⎥
          ⎣          n − K       ⎦

A lógica é a mesma de todo intervalo de confiança: pertencem a ele os valores do parâmetro que não pioram o ajuste além do que o acaso explicaria.

Exemplo

sessão de 15 de agosto, n = 33, K = 4, F(1,29) a 95% = 4,18

erro mínimo E₀ = 1,3306        limiar = 1,5226

     μ       erro     Δ
   0,000    1,3306   +0,0000   ← mínimo
   0,040    1,3596   +0,0290
   0,120    1,4552   +0,1245
   0,200    1,5283   +0,1977   ← acima do limiar

IC 95% de μ = [0,000 ; 0,190]   →   recuperação de no máximo 61% em 5 min
ESTIMATIVA DE FRONTEIRA. O ponto estimado é zero porque o otimizador encosta no limite do domínio — recuperação não pode ser negativa. Isso não significa que a recuperação seja exatamente nula: significa que a melhor explicação para estes dados é a ausência de recuperação, e que o que se pode afirmar é um teto, não um valor.

7Verificações auxiliares

As quatro técnicas seguintes não produzem resultados próprios; servem para conferir se os resultados principais dependem das suposições feitas.

técnicao que verificacomo funciona
Correlação de Spearmanse as tendências dependem de ter escolhido a reta como formasubstitui cada valor pela sua posição na ordenação e correlaciona as posições; supõe apenas monotonicidade
Teste de embaralhamentose os valores de p dependem da suposição de normalidadeembaralha os valores destruindo a relação com o tempo, reajusta milhares de vezes, e conta em que fração o acaso reproduz o efeito medido
Durbin-Watsonse os resíduos são independentes, como o método supõecompara a soma das diferenças entre resíduos consecutivos com a soma dos resíduos ao quadrado; 2,0 indica independência
Teste exato de Fisherse a acurácia caiu ao longo da sessãocalcula diretamente a probabilidade de a tabela observada surgir por acaso; apropriado para contagens pequenas, em que a aproximação do qui-quadrado falha

O teste de embaralhamento, em detalhe

É o mais instrutivo dos quatro, porque calcula o p pela definição, sem nenhuma fórmula:

1) calcula a inclinação real                         +0,7449 s/min
2) embaralha as durações, mantendo os tempos fixos
3) reajusta a reta e anota a inclinação falsa
4) repete 20 000 vezes
5) conta quantas falsas ficaram tão extremas quanto a real   70
6) p = 70 / 20 000 = 0,0035

p pelo teste t (fórmula):          0,00306
p por embaralhamento (contagem):   0,0035

A concordância entre os dois mostra que a suposição de normalidade não está distorcendo o resultado — o efeito está no dado, não na fórmula.

Projeto LIMIAR · Carlos Raymond · carlosraymond.com/limiar
Os scripts que executam cada procedimento descrito acima estão em projetos/limiar/: analise-sessoes.py reproduz os valores de p a partir dos arquivos brutos; gerar-relatorio-sessoes.py reproduz parâmetros, intervalos e comparações de modelo.