Uncertainty — Trustworthy AI

데이터를 불러오는 중시드

01 / Aleatoric & Epistemic

Overview

Aleatoric Uncertainty(관측의 변동)는 같은 조건에서도 남는 흩어짐이다. Epistemic Uncertainty(모델 지식의 부족)는 데이터와 모델에 관한 불확실성이다. 합성 함수에서 둘의 차이를 분리해 본다.

기호: x는 무차원 입력, σ는 생성 잡음의 표준편차, f̂는 데이터로 맞춘 함수다.

Concept

합성 데이터는 sin(1.5x)에 정규 잡음을 더해 생성한다. 잡음 크기는 생성 과정에서 아는 값이다. 중앙 구간을 비우면 그 위치를 직접 지지하는 관측이 없어진다.

20개 bootstrap 표본에 각각 Gaussian kernel smoother를 맞춘다. 같은 x에서 함수들이 얼마나 다른지 표준편차를 계산한다. 이는 이 추정 방법의 표본 불안정성을 보여 주며 epistemic uncertainty 전체를 측정하지 않는다.

데이터가 비어도 모델들이 비슷하게 외삽하면 퍼짐이 작을 수 있다. 잡음과 모델 퍼짐을 단순히 더한 띠를 보장된 예측 구간으로 읽으면 안 된다. 두 종류의 원인을 구별하는 것이 먼저다.

$$y=\sin(1.5x)+\sigma Z,\quad Z\sim\mathcal N(0,1)$$

$$s_f(x)=\sqrt{\frac1B\sum_b(\hat f_b(x)-\bar f(x))^2}$$

Hands-on

잡음 σ와 빈 구간 폭을 따로 바꾼다. 같은 시드를 사용하므로 조작 전후의 변화 원인을 비교할 수 있다.

점은 실제 생성한 관측, 가는 띠는 설정한 σ, 점선은 모델 평균 ±2 표준편차다.

데이터를 불러오는 중

Summary

잡음은 생성 과정, 모델 퍼짐은 추정 방법에 의존한다.
표본이 많아도 관측 잡음은 남을 수 있다.
빈 구간에서 작은 퍼짐도 가능하다.
퍼짐과 실제 오차는 따로 확인한다.

Notation

Symbol	Meaning	Unit
σ	생성 잡음 표준편차	a.u.
B	bootstrap 모델 수	20
s_f	모델 예측 표준편차	a.u.
x	합성 입력	a.u.

References

02 / Ensembles

Overview

Ensemble(앙상블)은 여러 모델을 함께 사용한다. 서로 다른 bootstrap 표본과 초기값으로 학습한 MLP들의 평균과 퍼짐을 계산한다.

기호: f_b는 b번째 모델, B는 모델 수, f̄는 평균 예측이다.

Concept

bootstrap은 학습 집합에서 원래 크기만큼 복원 추출한다. 같은 행이 여러 번 뽑히거나 한 번도 뽑히지 않을 수 있다. 각 구성원은 별도로 표준화 통계를 맞추고 작은 신경망을 학습한다.

모델 수를 5개에서 20개로 늘리면 Monte Carlo 평균이 달라진다. 같은 계열의 모델들이 공통 편향을 갖기 때문에 구성원이 많다는 이유만으로 정답에 가까워지는 것은 아니다.

재령과 시멘트를 학습 범위 밖으로 옮겨 외삽 반응을 본다. 퍼짐이 커질 수도, 비슷하게 유지될 수도 있다. 모델 표준편차는 관측 잡음까지 담은 예측 구간과 다르다.

$$\bar f(x)=\frac1B\sum_{b=1}^Bf_b(x)$$

$$s(x)=\sqrt{\frac1B\sum_b(f_b(x)-\bar f(x))^2}$$

Hands-on

배합을 고른 뒤 재령·시멘트와 모델 수를 바꾼다. 새 구성원은 Web Worker에서 학습하며 화면은 계속 조작할 수 있다.

표는 현재 배합의 각 모델 예측, 그래프는 같은 배합에서 재령만 바꾼 곡선이다.

데이터를 불러오는 중

Summary

평균은 하나의 예측, 퍼짐은 모델 간 의견 차이다.
작은 퍼짐은 작은 오차를 보장하지 않는다.
bootstrap은 복원 추출이다.
외삽 결과는 실제 재료 검증을 대신하지 않는다.

Notation

Symbol	Meaning	Unit
B	앙상블 크기	count
f̄	평균 예측	MPa
s	모델 표준편차	MPa
t	재령	day

References

03 / Calibration

Overview

Calibration(확률 보정)은 비슷한 확률을 낸 표본들에서 실제 사건 비율이 그 값과 맞는지 묻는다. 콘크리트 강도가 기준 이상인지의 이진 예측으로 바꿔 살핀다.

기호: z는 분류 모델의 logit, T는 temperature, p는 양성 확률이다.

Concept

회귀의 MPa를 확률로 잘못 읽지 않도록 새로운 이진 MLP를 학습한다. 강도 기준을 바꾸면 라벨과 모델을 다시 만든다. 표준화와 학습에는 학습 집합만 쓴다.

Reliability diagram은 확률 구간별 평균 예측과 실제 양성 비율을 비교한다. ECE(Expected Calibration Error)는 각 구간의 절대 차이를 표본 비율로 가중한다. 빈 구간은 제외하며 구간 수에 따라 값이 달라진다.

Temperature scaling은 z를 양수 T로 나눠 확률의 극단성을 바꾼다. 0.5 판정 기준의 부호는 유지된다. 권장 T는 독립 보정 집합의 NLL(Negative Log-Likelihood)을 최소화하며 평가 데이터로 고르지 않는다.

$$p_T=\frac1{1+\exp(-z/T)}$$

$$\operatorname{ECE}=\sum_{b=1}^{10}\frac{n_b}{n}|\bar p_b-\bar y_b|$$

Hands-on

T를 1보다 작게 또는 크게 바꾸며 ECE와 Brier score를 비교한다. 권장 T는 자동 정답이 아니라 보정 집합에서 선택한 값이다.

작은 표본의 구간은 실제 비율이 크게 흔들릴 수 있다. 표의 표본 수를 함께 읽는다.

데이터를 불러오는 중

Summary

정확도와 확률 보정은 다르다.
ECE는 구간화에 의존한다.
T는 보정 집합에서 선택한다.
보정이 분포 변화까지 해결하지는 않는다.

Notation

Symbol	Meaning	Unit
T	temperature	1
z	logit	1
n_b	구간 표본 수	count
p_T	보정한 양성 확률	0–1

References

04 / Conformal Prediction

Overview

Conformal Prediction(컨포멀 예측)은 따로 남긴 보정 데이터의 오차로 예측 구간을 만든다. 분포의 구체적인 모양을 정하지 않고 포함률을 다룬다.

기호: α는 허용 미포함률, n은 보정 표본 수, q는 보정 잔차의 순서통계량이다.

Concept

먼저 학습 집합에서 모델을 고정한다. 보정 집합의 절대 잔차를 작은 순서대로 정렬하고 k = ceil((n+1)(1−α))번째 값을 고른다. 새 입력에서는 예측을 중심으로 ±q를 붙인다.

유한 표본 보정을 위한 n+1이 중요하다. k가 n을 넘으면 유한한 잔차로 그 수준을 지원할 수 없어 구간은 무한대가 된다. 체험의 보정 크기와 80–99% 범위에서는 유한 구간이 나온다.

보장은 학습 이후 보정·새 표본이 교환가능하다는 가정에서 성립한다. 특정 배합마다 같은 확률을 보장하거나 현재 평가 집합에서 목표 비율이 정확히 나오는 것은 아니다. 시계열 변화나 다른 공정에서는 가정을 다시 확인해야 한다.

$$r_i=|y_i-f(x_i)|,\quad k=\lceil(n+1)(1-\alpha)\rceil$$

$$C(x)=[f(x)-r_{(k)},f(x)+r_{(k)}]$$

Hands-on

목표 포함률을 올려 구간 폭과 평가 집합의 실제 포함률을 비교한다. 그래프는 첫 40개 표본, 지표는 평가 집합 전체를 쓴다.

구간이 넓어져도 모델의 점 예측은 바뀌지 않는다. 포함률과 실용적인 폭을 함께 읽는다.

데이터를 불러오는 중

Summary

학습·보정·평가를 분리한다.
순위를 올림하고 n+1을 사용한다.
보장은 주변 포함률이다.
높은 포함률에는 넓은 구간이 따른다.

Notation

Symbol	Meaning	Unit
α	허용 미포함률	0–1
q	절대 잔차 분위값	MPa
k	올림한 잔차 순위	index
C(x)	예측 구간	MPa