증상
배치를 돌리며 로그를 보니 실패가 8건뿐이었다. "거의 다 됐다"고 판단했다.
원인
그건 배치 앞 구간만 돈 결과였다. 구간을 건너뛰며 다시 재보니 분포가 전혀 달랐다.
| offset | 성공률 |
|---|---|
| 0~4,000 | 92~95% |
| 6,000 | 44% |
| 8,000 | 0% |
| 9,400 | 84% |
전체는 68.3%였다.
★★ 정렬 순서가 편향을 만든다. 등록순으로 정렬하면 앞 구간은 최신 데이터라 잘 정비돼 있다. 앞만 보고 전체를 추정하면 항상 낙관 쪽으로 틀린다.
해법
"실패 8건"만으로는 모수를 모른다같은 형태를 표본 크기에서도 겪었다. 같은 조사를 세 번 했는데 세 번 다 같은 방향으로 틀렸다.
| 표본 | 불량률 |
|---|---|
| 500 | 36% |
| 1,900 | 48% |
| 4,900 | 69% |
★★ 추정이 계속 한 방향으로만 갱신되면, 그건 아직 수렴하지 않았다는 뜻이다.
표본을 키울 때마다 나빠지고 한 번도 반대로 안 갔다면, 지금 값도 아직 하한이다.
작은 표본과 앞쪽 표본은 둘 다 낙관 쪽으로 틀린다.