잠재 공간 임베딩 사슬(Chain-of-Embedding)로 출력 없는 LLM 자기평가 실현

원제: Latent Space Chain-of-Embedding Enables Output-Free LLM Self-Evaluation 출처: ICLR 2025 정식 게재 논문 · arXiv:2410.13640v2 [cs.CL] · 2025년 3월 13일 저자: Yiming Wang^(α,†), Pei Zhang^(β,γ), Baosong Yang^(β,*), Derek F. Wong^γ, Rui Wang^(α,*) 소속: α 상하이자오퉁대학교(Shanghai Jiao Tong University) 컴퓨터과학공학과 · β 알리바바 그룹 통이 랩(Tongyi Lab, Alibaba Group Inc.) · γ 마카오대학교(University of Macau) NLP²CT 연구실 연락 저자(*): Baosong Yang, Rui Wang · (†) Yiming Wang의 통이 랩(알리바바 그룹) 인턴십 기간 중 수행한 연구 코드: https://github.com/Alsace08/Chain-of-Embedding

초록 (ABSTRACT)

LLM 자기평가(self-evaluation)는 응답의 정오(correctness)를 LLM 자신의 능력으로 추정하는 것에 의존하며, 이는 LLM 배포의 신뢰성을 크게 향상시킬 수 있다. 본 연구 트랙에서 우리는 LLM이 출력 없는(output-free) 자기평가를 수행할 수 있도록 잠재 공간(latent space)에서의 임베딩 사슬(Chain-of-Embedding, CoE) 을 제안한다. CoE는 추론(inference) 시점에 생성되는 모든 점진적 은닉 상태(progressive hidden states)로 구성되며, 이는 LLM의 잠재적 사고 경로(latent thinking path)로 간주할 수 있다. 우리는 LLM이 정답과 오답을 응답할 때 그 CoE 특징이 서로 다르다는 것을 발견하였고, 이러한 불일치(discrepancy)는 LLM 응답의 정오를 추정하는 데 도움을 준다. 네 가지 다양한 영역(domain)과 일곱 개의 LLM에 대한 실험은 우리 방법의 효과성을 충분히 입증한다. 동시에, 학습이 전혀 없는 라벨 없는(label-free) 설계 의도와 밀리초 수준의 계산 비용은 대규모 시나리오에서 실시간 피드백을 보장한다. 더 중요한 것은, 우리가 LLM 내부의 은닉 상태 변화(hidden state changes) 관점에서 LLM 응답의 정오에 대한 흥미로운 통찰을 제공한다는 점이다. 코드는 다음에서 공개한다: https://github.com/Alsace08/Chain-of-Embedding.

1 서론 (INTRODUCTION)

그림 1

그림 1. 본 논문에서 제안하는 임베딩 사슬(Chain-of-Embedding)은 LLM의 잠재적 사고 경로를 반영하며, 이는 추론 시점의 LLM 응답 정오를 반영할 수 있다.

대형 언어 모델(Large Language Models, LLM)은 다양한 시나리오에 걸쳐 일반화하는 탁월한 능력을 지닌다 (Achiam et al., 2023; Guo et al., 2025). 그러나 그 출력은 때때로 불안정하여, 사회적 안전을 위협할 수 있는 잘못된 응답으로 이어질 수 있다. 따라서 라벨 없는(label-free) LLM 자기평가는 중요한 연구 영역으로 부상하였는데, 이는 LLM 응답의 정오를 전적으로 LLM 자신의 능력을 통해 추정한다. 이로써 대규모 배치 환경에서 실시간 응답 모니터링과 피드백을 제공하여 LLM의 신뢰성을 높일 수 있다 (Sun et al., 2024).

LLM 시대의 주류 자기평가 연구는 출력 기반(output-based) 형태에 더 초점을 맞춘다 (Zhang et al., 2023). LLM의 내부 상태를 평가하지 않는 두 가지 전형적인 패러다임은, 잘 설계된 프롬프트를 통해 LLM에게 자신의 응답에 대한 확신(confidence)을 직접 표현하도록 요청하는 것 (Lin et al., 2022a; Tian et al., 2023), 그리고 프롬프트를 교란하거나 (Gao et al., 2024) 디코딩 샘플링을 통해 (Wang et al., 2023) 다중 응답을 생성하여 응답 일관성을 계산하는 것 (Xiong et al., 2024)이다. 이 두 유형 외에, 다른 방법들은 기본적으로 심층 신경망 시대의 불확실성 추정(uncertainty estimation) 개념을 차용하여, 출력 로짓(logits)이나 확률 분포를 활용해 모델 응답의 확신을 측정한다 (Malinin & Gales, 2020; Si et al., 2022; Huang et al., 2023; Kuhn et al., 2023).

최근 일부 연구는 LLM의 잠재 공간이 아직 활용되지 않은(untapped) 상당한 양의 은닉 상태 정보를 포함하며, 이것이 응답 정오를 크게 반영할 수 있고 (Azaria & Mitchell, 2023; Liu et al., 2023; Duan et al., 2024), 대개 LLM 출력보다 더 해석 가능(interpretable)하다는 것을 밝혀냈다 (Li et al., 2024a). 그러나 이러한 출력 없는(output-free) 연구는 은닉 상태에서 특징을 추출하기 위한 프로빙 분류기(probing classifier)를 학습시키는 데 흔히 정오 라벨 0/1을 요구한다 (Burns et al., 2022; Sky et al., 2024; Su et al., 2024). 이는 “라벨 없음”이라는 우리의 목표와 모순되며, 미관측(unseen) 데이터에 대한 일반화 능력을 제한한다. 이 연구 흐름을 더욱 확장하기 위해, 우리는 도전적이지만 가치 있는 질문을 고려한다:

어떠한 라벨도 없이 오로지 은닉 상태만을 활용하여 LLM 응답의 정오를 어떻게 추정할 것인가?

이 질문에 답하기 위해, 우리는 인간 사고의 관점에서 출발한다. 인지 이론(cognitive theory)에서 인간의 사고는 직관적 사고(intuitive thinking, 시스템 1)와 숙고적 사고(deliberative thinking, 시스템 2)에 의해 협력적으로 이루어진다 (Evans, 2003). 즉, 올바른 사고는 시스템 2를 활성화하여 더 숙고적인 사고 경로를 만드는 경향이 있는 반면, 잘못된 사고는 시스템 1의 영향을 받아 더 빠르고 직접적인 사고 경로를 만드는 경향이 있다 (Kahneman, 2011). 이 인지 현상은 인간의 사고 경로가 정답을 응답할 때와 오답을 응답할 때 서로 달라질 수 있음을 뜻한다.

다음으로, 우리는 잠재적 사고 경로에 관한 인간과 LLM 사이의 유비(analogy)를 그린다. 일부 연구 (Peters et al., 2018; Tenney, 2019; Jawahar et al., 2019; Chen et al., 2020)는 트랜스포머(Transformer, Vaswani et al., 2017) 기반의 대형 언어 모델이 텍스트 표현을 생성할 때, 먼저 하위 층(lower layer)에서 형태론적·구문론적 정보를 부호화하고, 이후 상위 층(higher layer)으로 나아가면서 더 복잡한 의미론적(semantic) 정보로 진행함을 입증하였다. 이는 은닉 상태 변화가 잠재 공간에서 LLM의 해석 가능한 점진적 사고를 반영할 수 있음을 의미한다. 또한 일부 LLM 기제 연구(mechanistic studies)는 다중 은닉 상태를 활용하여 LLM의 서로 다른 단계에서의 사고 상태를 탐구한다 (Ye et al., 2024). 따라서 우리는 점진적 은닉 상태를 LLM의 잠재적 사고 경로로 간주할 수 있으며, 이를 임베딩 사슬(Chain-of-Embedding, CoE) 이라 부른다(그림 1 참조).

이러한 분석을 바탕으로, 우리는 인간의 사고 패턴을 LLM으로 대담하게 이식하여 다음과 같은 가정을 세운다: CoE 불일치는 LLM이 정답과 오답을 생성할 때 발생할 수 있다. 이 가정에서 출발하여, 본 논문의 구조와 기여는 다음과 같다. 2절에서 우리는 먼저 LLM이 정답과 오답을 응답할 때의 CoE 불일치를 그 특징을 정량화하여 탐구함으로써 이 가정을 입증한다. 3절에서 우리는 라벨 없는 LLM 자기평가를 위한 포괄적인 CoE 기반 지표를 제안한다. 4절에서 우리는 LLM 능력 시험에서 널리 쓰이는 네 가지 다양한 영역 — 수학(Mathematics), 추론(Reasoning), 지식(Knowledge), 이해(Understanding) — 에서 우리 CoE 방법의 성능을 검증하여 자기평가에 대한 CoE의 효과성을 입증한다. 5절에서 우리는 우리 방법의 효과성에 관한 더 많은 통찰을 제시하기 위해 이론적 분석을 추가로 수행한다.

문제 정의(Problem Statement). 라벨 없는 LLM 자기평가는, 어떠한 참 라벨(true label), 외부 도구, 감독 학습기(supervised trainer)에도 의존하지 않고 오로지 LLM 자신의 능력만으로, 주어진 입력 질문에 대한 LLM 응답이 정답인지 오답인지를 추정하는 것을 목표로 한다 (Chen & Mueller, 2023; Li et al., 2024c). 우리는 언어 모델을 로 표기한다. 각 표본 에 대해, 언어 모델의 출력을 로 표기한다. 그러면 이 표본은 결정 점수(decision score) 와 연관되는데, 여기서 는 오로지 질문, LLM 출력, 언어 모델 정보로부터 도출된 결정 함수로서 — 참 라벨 를 전혀 참조하지 않는다. 이 함수의 정의역은 전체 표본 공간과 모델 공간을 포괄한다. 이상적인 결정 함수는 다음 목표를 달성하는 것을 지향한다: 더 높은 점수는 정답일 가능성이 더 큼을 나타낸다. 따라서 자기평가 과제는 이진 분류(binary classification) 문제로 정식화될 수 있다. 를 결정 임계값(decision threshold)이라 하면, 한 질문에 대해 LLM 응답이 정답인지 여부는 지시 함수 로 판별할 수 있다. 핵심 목표는 분류 정확도를 향상시키는 최적 임계값을 찾는 것이다.

2 임베딩 사슬은 응답의 정오를 반영한다 (CHAIN-OF-EMBEDDING REFLECTS RESPONSE CORRECTNESS)

2.1 정의: 잠재 공간 임베딩 사슬(CoE)

정식화(Formalization). 우리는 언어 모델 하에서 CoE를 정식화하는 것으로 시작한다. 모델이 개의 은닉 층(hidden layer)을 가진다고 가정하면, 를 다음과 같이 순서 지어진 하위 모듈(sub-module)들로 분해할 수 있다:

식 1에서 는 최종 분류 층(classification layer)이고, 는 ( 로도 표기할 수 있는) 임베딩 매핑 층(0번째 층)이며, 각 는 중간 은닉 층이다. 여기서 는 임베딩 차원이고 는 모델의 어휘(vocabulary)이다. 질문 를 에 입력하면, 출력 는 개의 토큰 로 구성된다. 번째 토큰에 대해, 층 에서의 그 은닉 상태, 즉 함수 의 번째 출력 임베딩을 로 표기한다. Ren et al. (2022); Wang et al. (2024a)의 정의를 따라, 우리는 층 에서의 평균 임베딩을 로 정의하며, 이는 번째 문장 은닉 상태(sentence hidden state)를 나타낸다. 그러면 CoE는 다음과 같이 정식화되는, 모든 문장 은닉 상태의 점진적 사슬 로 표현된다:

특징 정의(Feature Definition). CoE를 정식화한 후, 우리는 1절에서 제안한 가정 — “CoE 불일치는 LLM이 정답과 오답을 생성할 때 발생할 수 있다” — 을 검증하는 데 활용할 수 있도록 그 특징을 정량화해야 한다. 우리는 CoE에 대해 조각별 선형 보간(segmented linear interpolation, 인접 상태들을 단순히 연결)을 수행하여 잠재 공간에서 연속적인 CoE 궤적(trajectory)을 만들 수 있다. 궤적 특징을 측정하기 위해서는 그 기하학적 정보가 가장 근본적인 차원이며 (Helland-Hansen & Hampson, 2009; Rintoul & Wilson, 2015), 이는 대개 궤적의 배회(wandering) 중에 생성되는 거리 및 방향 변화를 반영할 수 있는 크기(magnitude)와 각도(angle)를 포함한다. 우리는 LLM의 사고 경로를 측정하는 데 있어 이 두 특징의 실질적 의의를 간략히 살펴본다. 크기 특징은 의심할 여지 없이 사고 경로 곡률(curvature)의 직접적인 특징이다. 반면 각도 특징은 사고 경로 곡률을 명시적으로 나타내지는 않지만, 두 임베딩 사이의 코사인 값은 의미론적 유사도(semantic similarity)를 나타낸다 (Rahutomo et al., 2012). 이는 각도 특징이 의미론적 모델링 수준에서 사고 경로 특징을 간접적으로 반영할 수 있음을 시사한다.

이제 우리는 먼저 각 인접 상태 쌍 사이의 크기 변화와 각도 변화를 정의한다. 크기 변화 은 L2-노름(norm)을 사용해 정량화되고, 각도 변화 는 두 벡터 사이의 코사인 값을 간접적으로 계산한 뒤 역코사인(arc cosine) 함수로 변환하여 도출된다. 두 측도는 다음과 같이 정식화된다:

이어서, CoE 궤적 전체의 크기 특징과 각도 특징( 및 로 표기)은 각 인접 상태 쌍 사이의 크기 및 각도의 평균 변화로 정의될 수 있다. 두 특징은 다음과 같이 정식화된다:

식 3에서, 잠재적 표본 편향(sample bias)을 줄이기 위해 우리는 다음과 같은 이유로 범위 스케일링 인자(range scaling factor) 및 를 설정한다: 서로 다른 표본의 입력 공간·출력 공간에서의 위치는 다를 수 있으며, 어떤 표본의 입력과 출력이 잠재 공간에서 멀리 떨어져 있다면 그 궤적은 자연히 더 긴 배회 거리를 갖는다. 스케일링 인자를 설정함으로써, 우리는 각 인접 상태 쌍의 절대적 크기·각도 변화를 상대적 변화로 변환한다 — 구체적으로, 의 변화는 입력-출력 상태 의 변화에 대해 상대적이 되며, 이로써 표본 간 고유한 차이로 인한 측정 잡음을 회피한다.

2.2 CoE는 어떻게 응답의 정오를 반영하는가

설정(Setup). CoE와 그 특징을 정의한 후, 우리는 LLM 응답 정오에 대한 CoE의 일반화된 영향을 탐구하고자 한다. 따라서 우리는 네 가지 주류 영역 — 수학(Mathematics), 추론(Reasoning), 지식(Knowledge), 이해(Understanding) — 에 초점을 맞추며, 각 영역 데이터셋으로 각각 MATH, TheoremQA, MMLU, Belebele을 설정한다. 데이터셋 세부 사항과 인용은 4.1절에서 찾을 수 있다. 각 영역 데이터셋에서 우리는 정답 표본과 오답 표본을 두 집합으로 나누며, 각각은 특징 집합에 대응하여 및 로 표기된다. 추가로, 우리는 Qwen2-7B-Instruct (Yang et al., 2024) 모델을 백본(backbone)으로 채택한다. 이러한 설정은 본 절의 모든 실험 분석(그림 2 및 3)에 적용되며 이후 반복하지 않는다.

CoE 특징 분포 불일치. 이제 우리는 각 영역에 대해 정답 표본 집합과 오답 표본 집합 사이의 CoE 특징 불일치를 정량화한다. 각 표본이 두 개의 CoE 특징을 갖기 때문에, 우리는 2차원 커널 밀도 추정(kernel density estimation, KDE)을 사용하여 각 특징 집합 에 대한 확률 밀도 함수(PDF) 를 계산하며, 이는 의 CoE 특징 분포를 나타낸다. 우리는 PDF 추정에 가우시안 커널(Gaussian kernel)을 사용하며, 다음과 같이 표현된다:

여기서 는 대역폭(bandwidth)으로, 우리는 Python sklearn 라이브러리 (Pedregosa et al., 2011)의 기본값과 일관성을 유지하기 위해 이를 1로 설정한다. 우리는 sklearn 라이브러리를 사용해 식 4를 구현한다. 각 영역에서 우리는 식 4를 사용해 와 에 대한 PDF 와 를 독립적으로 도출하며, 이는 그림 2에 예시되어 있다. 우리는 모든 영역에서 정답 표본과 오답 표본의 분포가 겹치지 않으며 유의미한 불일치를 보임을 발견하였고, 그 결론은 아래에 기술한다:

그림 2

그림 2. 네 가지 다양한 영역에서 정답 표본 집합과 오답 표본 집합의 CoE 특징 분포. 파란색(Blue)과 빨간색(Red) 분포는 각각 정답 표본과 오답 표본을 나타낸다. 이 그림에서 사용된 데이터셋과 모델은 2.2절 “설정(Setup)”에 제시되어 있다. (가로축: 특징 I — 크기(Feature I: Magnitude), 세로축: 특징 II — 각도(Feature II: Angle); (a) 수학, (b) 추론, (c) 지식, (d) 이해)

그림 3

그림 3. 네 가지 다양한 영역에서 정답 표본 집합과 오답 표본 집합의 CoE 궤적 시각화. 파란색과 빨간색 분포는 각각 정답 표본과 오답 표본을 나타낸다. 각 궤적은 해당 데이터셋에서 모든 정답 또는 오답 표본의 평균 궤적을 나타내며, 음영(shade)은 모든 표본의 궤적 표준 분산(standard variance)을 나타낸다. 우리는 차원 축소를 위해 PCA를 사용하여 CoE를 2차원 공간으로 투영하는데, 이는 좌표계를 회전시켜 데이터의 상대적 위치 관계를 가능한 한 일정하게 유지한다 (Dunteman, 1989). 이 그림에서 사용된 데이터셋과 모델은 2.2절 “설정”에 제시되어 있다. (Origin(0,0): 원점, Input Space: 입력 공간, Output Space: 출력 공간; (a) 수학, (b) 추론, (c) 지식, (d) 이해)

정답 표본의 CoE 크기 특징 는 오답 표본의 그것보다 더 두드러진다. 이는 LLM이 정답을 제공할 때 그 잠재적 사고 경로가 더 복잡하게 얽혀 있음(convoluted)을 나타낸다.

정답 표본의 CoE 각도 특징 는 오답 표본의 그것보다 덜 두드러진다. 이는 LLM이 오답을 제공할 때 의미론적 모델링 수준에서 그 잠재적 사고 경로가 더 불안정함을 나타낸다.

CoE 시각화. 이 두 결론은 CoE 특징의 본질적 불일치를 직접적으로 드러낸다. 이를 더 직관적으로 보이기 위해, 우리는 그림 3에 예시된 대로 CoE를 시각화한다. 전반적으로, CoE 궤적은 입력 공간에서 출력 공간으로 가는 최단 경로를 선택하는 경향이 없다. 대신 입력과 출력 모두로부터 상당히 멀리 떨어진 의미론적 공간을 통과한다. 세부적으로, 정답 표본의 CoE 궤적이 보이는 우회(detour) 현상은 오답 표본의 그것보다 더 뚜렷하며, 이는 그것의 더 두드러진 CoE 크기 특징을 검증한다. 나아가, 오답 표본의 중간 상태들은 원점에 더 가까워, 상태 전이 전후에 형성되는 각도가 더 커지며, 이는 그것의 더 두드러진 CoE 각도 특징을 검증한다.

3 출력 없는 LLM 자기평가를 위한 CoE 점수 (COE SCORE FOR OUTPUT-FREE LLM SELF-EVALUATION)

2절에서 우리는 CoE 특징을 정량화하고 정답 표본과 오답 표본 사이의 불일치를 부각하였다. 다음으로 우리는 두 특징을 결합하는 자기평가 지표를 만들어, 포괄적인 CoE 특징을 사용해 LLM 응답의 정오를 탐지하고자 한다. 그러나 두 특징의 크기(magnitude)가 일관되지 않기 때문에 특징 결합은 단순하지 않다. 우리는 다음 두 가지 방법을 제안한다:

CoE-R: 실수 공간 결합(Real-Space Combination). 직관적인 방법 하나는 두 특징의 수치적 합을 계산하는 것이다. 두 실수를 더하는 것은 그 크기가 다르기 때문에 무의미해 보일 수 있으나, 우리의 초점은 지표의 상대적 추세(relative trend)에 있지 정확한 수치에 있지 않으므로, 이 방법은 특징 간 연관성(relevance)을 고려하지 않고도 지표의 사용 가능성을 보존할 수 있다.

2.2절에서 우리는 가 응답 정오에 반비례함을 발견하였으므로, 각 인접 상태 쌍에 대해 우리는 를 방향 변화 측도로 사용한 뒤, 이를 와 더한다. 관련 없는 상수들을 제거하여, 우리는 실수 공간 결합 방식으로 모든 인접 상태 쌍의 변화를 평균함으로써 CoE-R() 점수를 도출한다:

CoE-C: 복소 공간 결합(Complex-Space Combination). 그러나 두 특징의 정확한 값이 결정적이지 않을 수는 있지만, 특히 하나가 비정상적으로 크다면 두 특징은 서로 크게 간섭할 수 있다. 이 간섭은 다른 특징의 전체적 영향을 약화시켜 CoE-R 지표의 불안정성을 초래할 수 있다. 따라서 우리는 두 특징을 더 매끄럽게(seamlessly) 결합하고자 한다.

크기 특징과 각도 특징은 복소평면(complex plane)에서 복소수와의 명확한 연관을 가능하게 하며, 각 점은 그 복소 크기(complex magnitude)와 복소 편각(complex argument)에 의해 유일하게 표현된다. 따라서 각 인접 상태 쌍에 대해, 우리는 과 를 복소평면 위의 새로운 특징 점 으로 결합하는데, 여기서 은 복소 크기를, 은 복소 편각을 나타낸다. 이 특징 점 은 다음과 같이 표현될 수 있다:

여기서 는 허수 단위(imaginary unit)이다. 각 인접 상태 쌍은 하나의 특징 점에 대응하며, 우리는 이 개의 특징 점을 그 실수부와 허수부를 각각 따로 평균하여 평균한다. 이 평균 점의 크기(magnitude)가 복소 공간 결합 방식으로 최종 CoE-C() 점수를 산출한다:

이 결합 지표 역시 상대적 추세를 포착하는 경향이 있으면서도, CoE-R와 대조적으로 두 특징 사이에 더 견고한 상호 제약(mutual constraint)을 확립하는 것을 근본적으로 지향한다. 첫째, CoE-C와 CoE-R의 단조성(monotonicity)은 일관성을 유지하며 2.2절의 결론과 모순되지 않는다. 둘째, CoE-C는 이상치(outlier)에 직면했을 때 CoE-R보다 변동이 적어, 해당 클래스의 특징 분포로부터의 이탈을 더 적게 허용한다. 구체적인 증명은 5절을 참조하라.

그림 4

그림 4. CoE 점수 계산의 개요도(sketch). (CoE Trajectory: CoE 궤적, CoE Score Computation: CoE 점수 계산, Origin: 원점, Average Point: 평균 점)

그림 4는 두 CoE 점수의 계산 개요를 보여주며, 두 CoE 점수의 완전한 알고리즘 과정은 부록 B.1에 제시되어 있다. 더 높은 점수는 정답 응답을 얻을 가능성이 더 큼을 나타낸다. 계산 복잡도(Computational Complexity) 측면에서, 기저 LLM 추론과 모든 은닉 상태의 추출 이후, CoE-R와 CoE-C의 계산은 스칼라 덧셈·곱셈에 대해 연산만을, 그리고 제곱근·삼각 함수 계산에 대해 연산만을 수반한다. 이러한 계산은 CPU에 의해 병렬로 실행될 수 있으므로, 전체 계산 부담은 무시할 만하다. 4.3절에서 실제 실행 시간에 대한 상세한 효율성 분석을 제공할 것이다.

4 실험적 검증 (EXPERIMENTAL VERIFICATION)

4.1 설정 (SETUP)

데이터셋(Dataset). 우리는 자기평가 실험을 위해 네 영역에 걸쳐 여섯 개의 데이터셋을 선택한다. 이 영역들은 LLM 능력의 네 가지 핵심 차원을 반영한다 (Zheng et al., 2024; Huang et al., 2024): (1) 수학(Mathematics) 영역을 위한 GSM8K (Cobbe et al., 2021) 및 MATH (Hendrycks et al., 2021); (2) 추론(Reasoning) 영역을 위한 CommonsenseQA (Talmor et al., 2019) 및 TheoremQA (Chen et al., 2023); (3) 지식(Knowledge) 영역을 위한 MMLU (Hendrycks et al., 2020); (4) 이해(Understanding) 영역을 위한 Belebele (Bandarkar et al., 2023). 데이터셋 세부 사항은 부록 C.1에 제시되어 있다.

언어 모델(Language Model). 우리는 지시(instruction)를 따르는 능력이 다양한 사용자 요구를 효과적으로 다룰 수 있기 때문에 지시 기반(instruction-based) 모델을 사용한다. 우리는 주로 Zero-Shot-CoT 생성 패러다임 (Wei et al., 2022; Kojima et al., 2022)을 갖춘 7B+ 파라미터 모델을 채택하며, 여기에는 Llama2-7B (Touvron et al., 2023), Llama3-8B (MetaAI, 2024), Qwen1.5-7B (Qwen-Team, 2024), Qwen2-7B (Yang et al., 2024), Mistral-7B (Jiang et al., 2023a)가 포함된다. 추가로, 모델 파라미터 스케일링의 견고성을 입증하기 위해, 우리는 70B+ 파라미터를 가진 더 큰 두 모델 — Llama3-70B (MetaAI, 2024) 및 Qwen2-72B (Yang et al., 2024) — 도 시험한다. 구현 세부 사항은 부록 C.2에 제시되어 있다.

베이스라인(Baseline). 우리는 공정한 비교를 위해 열 개의 라벨 없는 자기평가 베이스라인을 선택한다. 처음 두 개는 내부 상태를 평가하지 않는 전형적 패러다임을 대표한다: (1) 언어적 확신(Verbal Confidence) — 우리는 그 범용성 때문에 P(true) (Kadavath et al., 2022)를 선택한다. (2) 프롬프트-샘플링-집계(Prompt-Sampling-Aggregation, PSA) 파이프라인 (Xiong et al., 2024) — 우리는 Gao et al. (2024)을 참조하여 입력 프롬프트를 특수 토큰으로 교란하고, Rouge-L (Lin, 2004)을 이용한 어휘 유사도(lexical similarity) (Lin et al., 2022c; Kuhn et al., 2023)에 기반해 샘플링 출력들을 집계한다. 나머지 여덟 개는 불확실성 추정 개념을 중심으로 하며 내부 상태를 평가한다: (3) 최대 소프트맥스 확률(Maximum Softmax Probability); (4) 퍼플렉시티(Perplexity, Si et al., 2022); (5) 엔트로피(Entropy, Huang et al., 2023); (6) 온도 스케일링(Temperature Scaling, Shih et al., 2023); (7) 에너지(Energy, Liu et al., 2020); (8) 몬테카를로 드롭아웃(Monte-Carlo Dropout, Gal & Ghahramani, 2016); (9) 길이 정규화 엔트로피(Length-normalized Entropy, Malinin & Gales, 2020); (10) EigenScore (Chen et al., 2024). 베이스라인 세부 사항은 부록 C.3에 제시되어 있다. 이들 중 (3)–(7)은 단일 출력 분포만을 요구하고, (2) 및 (8)–(10)은 샘플링을 위한 다중 확률적 추론(stochastic inference)을 요구하며, (10)만이 은닉 상태를 활용한다.

평가(Evaluation). 우리는 성능 평가를 위해 AUROC (Boyd et al., 2013), FPR95, AUPR (Manning, 1999) 지표를 선택한다. AUROC는 서로 다른 임계값에서 TPR과 FPR 사이의 절충(trade-off)에 초점을 맞추고, FPR95는 TPR이 95%에 도달했을 때의 표본 오분류율에 초점을 맞추며, AUPR는 정밀도(Precision)와 재현율(Recall) 사이의 절충에 초점을 맞추어 양성 사례(positive case)의 올바른 예측에 더 큰 중요성을 둔다. 이 세 지표는 서로 보완하며 서로 다른 관점에서 분류 성능을 반영할 수 있다 (Cen et al., 2021; Hendrycks et al., 2022). 추가로, 우리는 평가를 위해 LLM 응답의 정오 라벨 0/1을 얻는 데 정확 일치(exact match)를 사용한다.

4.2 주요 결과 (표 1)

표 1. 서로 다른 LLM에 대해 네 가지 다양한 영역에서 모든 방법의 AUROC, FPR95, AUPR 결과. 이탤릭체는 해당 방법이 내부 상태를 평가하지 않음을, “†”는 해당 방법이 다중 출력을 샘플링하기 위해 다중 확률적 추론을 요구함을, “*”는 해당 방법이 출력 없이 은닉 상태만을 활용함을 의미한다. 추가로, 원문에서 밑줄은 모든 베이스라인 중 SOTA 성능을, 볼드체는 모든 방법 중 SOTA 성능을 나타낸다(본 번역은 강조 표기 없이 수치만 보존). 각 셀은 AUROC ↑ / FPR95 ↓ / AUPR ↑ 형식이다.

방법 / 모델	Llama2-7B-Instruct	Llama3-8B-Instruct	Qwen1.5-7B-Instruct	Qwen2-7B-Instruct	Mistral-7B-Instruct	Llama3-70B-Instruct	Qwen2-72B-Instruct	Average
1. Verbal Conf.	41.08 / 99.82 / 12.26	44.19 / 98.94 / 43.56	56.69 / 89.73 / 67.75	56.21 / 91.42 / 68.23	43.26 / 97.16 / 27.85	61.07 / 88.80 / 77.43	63.34 / 81.37 / 70.05	52.26 / 92.46 / 52.44
2. PSA pipeline †	52.51 / 95.94 / 14.74	61.34 / 86.24 / 51.24	68.73 / 80.28 / 50.83	62.28 / 85.53 / 71.15	75.68 / 79.26 / 44.98	67.02 / 88.19 / 78.40	70.22 / 75.40 / 74.09	65.39 / 84.40 / 55.06
3. Max Prob.	54.61 / 91.99 / 19.24	58.47 / 84.60 / 54.81	71.09 / 77.60 / 55.08	68.40 / 75.67 / 73.82	65.53 / 81.09 / 37.33	66.70 / 87.25 / 79.70	70.16 / 71.68 / 74.47	64.99 / 81.41 / 56.35
4. Perplexity	54.81 / 92.49 / 18.97	58.32 / 84.71 / 54.72	71.68 / 76.20 / 55.42	68.83 / 73.09 / 74.23	66.37 / 79.40 / 37.93	66.59 / 86.30 / 79.97	70.80 / 71.47 / 74.16	65.34 / 80.52 / 56.48
5. Entropy	54.93 / 93.00 / 19.55	60.17 / 84.02 / 55.57	72.29 / 74.04 / 56.06	70.25 / 73.45 / 74.97	66.55 / 82.02 / 38.27	68.03 / 86.12 / 80.16	70.40 / 65.82 / 74.36	66.08 / 79.78 / 56.99
6. Temp. Scaling	54.36 / 92.44 / 19.43	58.72 / 84.33 / 54.77	70.95 / 80.03 / 53.24	69.11 / 76.98 / 73.12	64.98 / 82.48 / 37.03	66.24 / 87.71 / 79.30	70.23 / 76.39 / 73.82	64.94 / 82.90 / 55.81
7. Energy	48.76 / 96.88 / 11.07	53.26 / 92.64 / 50.32	54.12 / 94.71 / 42.86	56.10 / 88.52 / 70.76	49.07 / 96.57 / 26.94	51.01 / 95.73 / 69.58	57.20 / 87.42 / 66.25	52.78 / 93.21 / 48.25
8. MC Dropout †	51.35 / 96.55 / 14.28	48.75 / 96.25 / 47.18	52.68 / 92.84 / 40.71	55.64 / 90.53 / 68.58	49.09 / 94.12 / 27.26	53.67 / 92.28 / 72.41	54.80 / 90.46 / 62.25	52.28 / 93.29 / 47.52
9. LN-Entropy †	56.74 / 89.96 / 19.67	61.95 / 85.61 / 56.63	67.40 / 79.24 / 50.34	66.63 / 71.09 / 73.84	67.71 / 80.16 / 39.25	68.72 / 85.48 / 80.97	68.39 / 61.19 / 73.62	65.36 / 78.96 / 56.33
10. EigenScore † *	44.84 / 97.04 / 16.58	52.77 / 95.45 / 43.00	35.55 / 100.00 / 31.23	62.56 / 88.89 / 67.10	41.65 / 96.77 / 24.11	57.61 / 91.07 / 75.52	40.02 / 99.21 / 58.54	47.85 / 95.49 / 45.15
CoE-R (Ours) *	64.23 / 84.47 / 20.94	72.54 / 75.61 / 66.96	38.44 / 96.78 / 33.60	75.75 / 65.95 / 83.67	70.77 / 82.66 / 42.68	79.61 / 67.01 / 84.19	84.30 / 59.32 / 82.37	69.38 / 75.97 / 59.20
CoE-C (Ours) *	63.63 / 85.01 / 20.67	73.08 / 79.60 / 68.99	77.22 / 78.44 / 58.23	76.68 / 64.48 / 84.57	72.24 / 77.11 / 43.55	79.35 / 70.63 / 84.30	84.34 / 53.25 / 83.18	75.22 / 72.64 / 63.36

방법 / 모델	Llama2-7B-Instruct	Llama3-8B-Instruct	Qwen1.5-7B-Instruct	Qwen2-7B-Instruct	Mistral-7B-Instruct	Llama3-70B-Instruct	Qwen2-72B-Instruct	Average
1. Verbal Conf.	54.17 / 95.88 / 29.54	50.01 / 97.74 / 45.62	52.70 / 96.23 / 51.78	43.25 / 99.15 / 42.73	44.83 / 96.71 / 36.51	38.79 / 100.00 / 39.96	42.67 / 99.81 / 49.27	46.63 / 97.93 / 42.20
2. PSA pipeline †	52.10 / 89.25 / 28.50	51.25 / 94.76 / 47.08	62.28 / 94.96 / 61.63	48.98 / 97.59 / 49.53	46.07 / 97.30 / 38.84	51.64 / 96.55 / 52.87	48.83 / 93.49 / 60.71	51.59 / 94.84 / 48.45
3. Max Prob.	55.68 / 92.82 / 32.05	48.14 / 95.10 / 44.43	63.64 / 95.00 / 60.99	54.57 / 91.77 / 54.21	53.90 / 91.50 / 39.53	49.82 / 94.61 / 56.10	56.36 / 91.45 / 65.45	54.58 / 93.18 / 50.39
4. Perplexity	55.78 / 92.11 / 32.26	48.40 / 95.62 / 44.53	63.94 / 93.60 / 61.23	55.39 / 93.33 / 54.78	54.70 / 90.84 / 40.02	50.36 / 94.22 / 56.41	56.66 / 90.84 / 65.83	55.03 / 92.94 / 50.72
5. Entropy	55.56 / 93.03 / 31.05	48.56 / 95.55 / 44.64	63.99 / 93.74 / 60.96	55.97 / 92.69 / 54.80	54.83 / 90.04 / 40.12	50.61 / 94.04 / 56.52	56.74 / 90.99 / 65.62	55.18 / 92.87 / 50.53
6. Temp. Scaling	55.52 / 93.32 / 31.76	48.12 / 95.47 / 44.39	63.38 / 94.17 / 60.76	54.06 / 94.04 / 53.87	53.43 / 92.23 / 39.23	49.46 / 95.07 / 55.97	56.18 / 91.97 / 65.06	54.30 / 93.75 / 50.14
7. Energy	49.74 / 96.23 / 26.57	43.69 / 97.02 / 41.29	52.18 / 96.66 / 53.20	47.52 / 95.16 / 50.07	48.34 / 95.61 / 36.84	44.49 / 98.04 / 50.05	51.35 / 94.25 / 58.72	48.18 / 96.14 / 45.24
8. MC Dropout †	50.46 / 95.53 / 28.74	46.21 / 96.60 / 42.07	51.18 / 97.24 / 52.69	50.14 / 97.17 / 49.86	51.29 / 95.09 / 37.44	48.97 / 95.39 / 52.22	52.17 / 95.25 / 59.53	50.06 / 96.04 / 46.07
9. LN-Entropy †	51.26 / 97.42 / 32.87	52.88 / 95.36 / 40.92	59.42 / 94.48 / 57.14	56.07 / 94.25 / 54.26	59.74 / 92.26 / 44.77	48.26 / 97.78 / 53.08	54.44 / 95.16 / 60.20	54.58 / 95.24 / 49.03
10. EigenScore † *	47.01 / 95.46 / 26.11	53.58 / 95.94 / 45.80	47.78 / 97.96 / 45.68	53.39 / 94.11 / 53.39	60.70 / 91.12 / 48.29	43.59 / 99.86 / 45.38	57.24 / 91.20 / 65.99	51.89 / 95.09 / 47.23
CoE-R (Ours) *	55.51 / 88.40 / 32.76	63.12 / 89.83 / 54.68	58.19 / 93.28 / 57.10	66.68 / 85.84 / 64.01	72.62 / 89.01 / 56.82	63.90 / 87.11 / 65.53	62.54 / 89.77 / 68.46	63.22 / 89.03 / 57.05
CoE-C (Ours) *	59.00 / 86.69 / 34.36	55.85 / 90.14 / 50.18	67.67 / 86.44 / 63.10	62.70 / 87.42 / 62.91	70.79 / 88.97 / 55.31	66.93 / 85.53 / 68.31	61.86 / 90.99 / 68.38	63.54 / 88.02 / 57.51

방법 / 모델	Llama2-7B-Instruct	Llama3-8B-Instruct	Qwen1.5-7B-Instruct	Qwen2-7B-Instruct	Mistral-7B-Instruct	Llama3-70B-Instruct	Qwen2-72B-Instruct	Average
1. Verbal Conf.	43.36 / 99.86 / 26.41	46.37 / 99.56 / 59.34	42.49 / 99.16 / 43.82	51.25 / 96.61 / 49.62	53.52 / 92.78 / 51.75	51.16 / 97.34 / 96.93	45.20 / 98.94 / 54.41	47.62 / 97.75 / 54.61
2. PSA pipeline †	53.21 / 92.14 / 37.89	54.95 / 86.34 / 69.64	58.92 / 87.60 / 62.80	60.25 / 88.81 / 70.10	56.67 / 92.43 / 55.45	52.37 / 96.68 / 77.22	56.46 / 93.08 / 82.57	56.11 / 91.01 / 65.09
3. Max Prob.	48.75 / 96.21 / 33.64	49.92 / 93.99 / 66.13	61.33 / 87.60 / 63.50	57.09 / 95.31 / 71.76	53.15 / 96.28 / 52.42	46.39 / 92.80 / 74.83	64.81 / 88.66 / 89.18	54.49 / 92.98 / 64.49
4. Perplexity	49.70 / 95.66 / 34.19	50.50 / 92.90 / 66.59	61.04 / 88.20 / 63.71	57.26 / 94.79 / 72.04	53.41 / 95.95 / 52.95	46.65 / 93.60 / 75.20	64.80 / 89.69 / 89.31	54.76 / 92.83 / 64.85
5. Entropy	49.11 / 95.93 / 33.79	50.12 / 92.35 / 66.25	60.40 / 87.40 / 62.99	57.80 / 93.75 / 71.84	54.39 / 94.59 / 53.42	46.07 / 90.40 / 74.85	66.10 / 89.69 / 89.50	54.85 / 91.87 / 64.66
6. Temp. Scaling	48.13 / 97.02 / 33.28	49.52 / 93.99 / 65.86	61.47 / 87.60 / 63.48	56.81 / 93.75 / 71.40	53.18 / 96.96 / 52.14	47.74 / 91.33 / 76.90	66.01 / 87.42 / 89.32	54.69 / 92.58 / 64.62
7. Energy	45.40 / 98.46 / 29.57	46.90 / 95.77 / 61.74	50.08 / 96.18 / 55.87	48.73 / 97.72 / 64.79	46.58 / 99.08 / 45.73	42.54 / 95.63 / 68.62	53.92 / 96.14 / 81.69	47.73 / 97.00 / 58.28
8. MC Dropout †	46.56 / 98.68 / 31.12	49.87 / 93.16 / 65.98	56.78 / 91.24 / 59.09	55.64 / 95.88 / 68.78	50.24 / 98.43 / 50.69	44.68 / 97.59 / 70.50	53.45 / 94.32 / 82.65	51.03 / 95.61 / 61.25
9. LN-Entropy †	42.69 / 99.64 / 28.51	55.36 / 91.14 / 68.90	54.62 / 92.25 / 57.43	58.01 / 92.68 / 71.99	60.42 / 90.36 / 57.63	53.09 / 90.05 / 76.84	45.78 / 96.25 / 77.88	52.85 / 93.20 / 62.74
10. EigenScore † *	51.96 / 95.39 / 36.58	58.30 / 91.80 / 69.73	50.86 / 94.80 / 58.47	50.36 / 96.35 / 67.53	61.68 / 89.53 / 62.75	37.90 / 99.94 / 61.02	56.39 / 90.15 / 86.64	52.49 / 93.99 / 63.24
CoE-R (Ours) *	62.76 / 85.80 / 45.19	64.20 / 83.06 / 77.70	49.48 / 97.20 / 55.79	63.14 / 87.50 / 74.01	64.03 / 88.85 / 61.08	70.13 / 84.00 / 87.29	72.15 / 78.35 / 92.16	63.70 / 86.39 / 70.46
CoE-C (Ours) *	59.07 / 87.97 / 39.36	62.45 / 80.33 / 75.99	62.11 / 87.20 / 68.94	61.85 / 92.19 / 73.57	62.18 / 86.49 / 60.90	66.41 / 84.00 / 84.18	73.15 / 78.35 / 92.46	63.89 / 85.21 / 70.77

방법 / 모델	Llama2-7B-Instruct	Llama3-8B-Instruct	Qwen1.5-7B-Instruct	Qwen2-7B-Instruct	Mistral-7B-Instruct	Llama3-70B-Instruct	Qwen2-72B-Instruct	Average
1. Verbal Conf.	47.23 / 99.59 / 32.86	47.42 / 99.10 / 83.64	46.85 / 98.27 / 73.38	51.18 / 95.67 / 79.65	50.21 / 97.33 / 45.24	49.82 / 98.46 / 87.20	60.04 / 87.15 / 92.06	50.39 / 96.51 / 70.57
2. PSA pipeline †	56.35 / 91.23 / 54.54	52.07 / 89.64 / 89.37	57.11 / 90.61 / 85.04	62.07 / 93.20 / 92.15	54.19 / 94.88 / 50.82	60.65 / 88.25 / 97.13	70.49 / 86.67 / 94.43	58.99 / 90.64 / 80.49
3. Max Prob.	48.95 / 97.31 / 46.40	56.64 / 95.19 / 90.42	44.96 / 93.92 / 77.36	60.52 / 88.35 / 91.80	60.82 / 92.32 / 56.70	60.12 / 89.74 / 97.09	76.41 / 76.19 / 98.05	58.34 / 90.43 / 79.68
4. Perplexity	49.09 / 97.52 / 46.45	56.64 / 94.23 / 90.44	46.07 / 95.03 / 78.07	60.93 / 87.38 / 91.80	61.38 / 91.92 / 57.50	59.21 / 92.31 / 97.04	77.28 / 76.19 / 97.99	58.65 / 90.65 / 79.89
5. Entropy	47.81 / 98.14 / 45.55	56.78 / 92.31 / 90.43	46.09 / 92.27 / 77.22	62.65 / 86.41 / 92.13	61.87 / 91.11 / 58.11	59.97 / 92.31 / 97.08	77.56 / 71.43 / 98.28	58.96 / 89.14 / 79.82
6. Temp. Scaling	48.65 / 97.72 / 46.17	56.63 / 95.19 / 90.38	44.26 / 94.48 / 76.83	60.45 / 88.35 / 91.84	60.35 / 92.12 / 56.07	58.64 / 92.58 / 96.42	76.69 / 75.59 / 97.92	57.95 / 90.86 / 79.37
7. Energy	51.07 / 97.00 / 47.40	44.78 / 98.06 / 80.14	42.09 / 96.57 / 72.34	53.26 / 97.38 / 81.67	50.78 / 95.64 / 50.22	52.15 / 99.25 / 92.06	63.44 / 85.11 / 93.41	51.08 / 95.57 / 73.89
8. MC Dropout †	45.87 / 99.02 / 42.33	51.20 / 97.89 / 85.68	47.89 / 94.23 / 77.43	58.23 / 91.42 / 87.09	53.97 / 95.36 / 52.55	54.35 / 96.74 / 93.48	64.19 / 84.69 / 92.97	53.67 / 94.19 / 75.93
9. LN-Entropy †	50.78 / 96.68 / 49.02	55.42 / 92.68 / 88.79	45.79 / 93.04 / 75.80	59.65 / 90.50 / 88.61	58.71 / 89.13 / 49.54	52.06 / 97.12 / 94.03	75.24 / 77.74 / 97.15	56.80 / 90.98 / 83.27
10. EigenScore † *	54.05 / 95.03 / 49.80	56.32 / 91.35 / 90.19	48.71 / 95.03 / 79.66	63.59 / 90.29 / 92.79	60.32 / 90.71 / 53.58	61.17 / 90.36 / 97.25	71.04 / 80.90 / 95.48	59.31 / 90.52 / 79.82
CoE-R (Ours) *	60.74 / 90.48 / 58.64	64.81 / 88.46 / 92.85	54.69 / 95.58 / 84.00	71.92 / 74.76 / 94.55	65.71 / 91.52 / 60.40	72.35 / 71.79 / 98.01	75.54 / 76.19 / 97.72	66.54 / 84.11 / 83.74
CoE-C (Ours) *	55.49 / 92.20 / 53.15	58.47 / 89.42 / 90.70	55.11 / 91.71 / 84.43	70.87 / 80.58 / 94.32	66.70 / 87.68 / 61.45	73.32 / 69.58 / 98.43	74.88 / 76.19 / 97.59	64.98 / 83.90 / 82.87

방법 비교(Method Comparisons). 첫째, 우리 방법은 거의 모든 시나리오에서 SOTA 성능을 달성한다. 네 영역에서, 우리 CoE는 최적 베이스라인 대비 세 지표에 걸쳐 각각 평균 8.30%, 5.55%, 5.52%의 향상을 달성한다. 특히, 60 미만의 AUROC 값은 이상적 성능으로부터의 이탈을 나타낸다 (Xiong et al., 2024). 우리 CoE는 대부분의 시나리오에서 이 임계값을 초과하여 그 실질적 가치를 뒷받침한다. 반면, 대부분의 베이스라인은 이 기준에 미치지 못하며, 특히 뒤의 세 영역에서 그러하다.

거의 모든 시나리오에서 일관되게 최적인 우리 CoE 방법과 대조적으로, 우리는 다른 베이스라인들의 성능이 안정성을 결여하고 있으며 그 효과성이 서로 다른 시나리오에 걸쳐 크게 달라짐을 관찰한다. 아래에서 다른 방법들에 대한 분석을 제공한다:

첫째, 우리는 내부 상태를 평가하지 않는 두 가지 전형적 패러다임(1–2)을 살펴본다. 언어적 확신(Verbal confidence)은 흔히 낮은 성능을 보이는데, 이는 주로 확인된 과확신(overconfidence) 문제 때문이다 (Zhang et al., 2024; Xiong et al., 2024). PSA 파이프라인은 안정성을 결여하여, 최적으로 수행하기도 하고 저조하게 수행하기도 한다. 이는 효과적인 일관성 지표 (Manakul et al., 2023)와 불충분한 프롬프트 견고성에 관한 미해결 문제에서 비롯될 수 있다. 더 많은 논의는 부록 A.1.2를 참조하라.

둘째, 우리는 내부 상태를 평가하는 불확실성 추정 방법들(3–10)을 살펴본다.

단일 출력 기반 방법(3–7)은 가장 높은 안정성을 지닌다. 항상 최고 성능을 달성하지는 않지만, 어떤 시나리오에서도 좀처럼 최하위를 기록하지 않는다. 그러나 다른 한편으로, 이들의 성능 한계는 “전통적 불확실성 추정은 출력 다양성 때문에 LLM에 적용될 때 극히 도전적일 수 있다”는 Liu et al. (2024)의 주장과 부합한다. 우리가 선택한 과제에는 LLM이 수천 토큰에 이르는 풀이를 생성할 수 있는 MATH와 같은 도전적 데이터셋이 포함된다. 이러한 복잡성은 이 방법들을 크게 제한한다.
반면, 다중 출력 기반 방법(8–10)은 더 큰 불안정성을 보인다. 예를 들어, LN-엔트로피 방법은 기본 엔트로피 버전을 일관되게 능가하지 못하며 때때로 최하위 성능을 낼 수 있어, 샘플링과 결부된 고유한 불확실성을 부각한다.
우리는 EigenScore(10)의 성능에 특히 관심을 갖는데, 이 역시 은닉 상태 정보를 활용하기 때문이다. 그러나 이는 특히 수학 영역에서 이상적 성능에 미치지 못한다. EigenScore의 동기는 임베딩 공간에 내재된 풍부한 의미 정보를 활용할 수 있다는 것이다 (Chen et al., 2024). 그러나 Wang et al. (2024a)은 임베딩 모델링이 수학 과제에 대해 흔히 부정확하며, 이것이 저성능으로 이어질 수 있음을 발견하였다. 반면, 우리는 은닉 상태의 동적 변화(dynamic change)를 강조하며, 특정 상태 표현이 아니라 잠재 공간 내에서의 그 거동(behavior)에 초점을 맞춘다.

지표 일관성(Metric Consistency). 세 지표 중 AUROC는 TPR과 FPR 사이의 절충을, FPR95는 FPR을, AUPR는 양성 사례의 예측을 강조한다. 이들은 실생활 시나리오의 다양한 요구를 충분히 모사한다. 우리 실험에서, 우리는 대부분의 경우 우리 CoE 방법이 AUROC와 FPR95의 추세가 불일치하는 소수의 경우를 제외하고 세 지표 모두에서 동시에 최고 성능을 유지함을 발견한다. 이는 우리 방법이 양성 사례, 즉 올바르게 응답된 표본에 더 초점을 맞출 수 있음을 시사한다. 전반적으로, 우리 CoE 방법은 실세계 시나리오의 다양한 판별 요구에 충분히 적응할 수 있다.

영역 견고성(Domain Robustness). 네 영역 사이의 수직 비교에서, 가장 강력한 베이스라인 대비 평균 AUROC¹ 성능 향상은 영역 I부터 IV까지 각각 9.83%, 8.36%, 7.78%, 7.23%이다. 특히, 어떤 영역도 유의미하게 낮은 향상을 보이지 않아 우리의 영역 견고성을 부각한다. 더 흥미롭게도, 수학 영역에서의 향상이 눈에 띄게 더 크며, 이는 네 영역 중 정확히 가장 객관적인 영역으로, 우리 방법이 객관적 시나리오에서 더 효과적일 가능성이 높음을 시사한다. 이 현상은 인간의 직관과 부합한다. 주관적 문제를 푸는 것에 비해, 객관적 문제를 풀 때 인간의 사고 경로는 주관적 느낌과 편향에 덜 영향받는 경향이 있다. 이는 주관적 잡음을 줄이고 경로의 체계성(systematic)을 향상시켜 (Paul & Elder, 2019), 경로 특징의 정량화 정밀도를 높인다.

¹ 참고: 양성 대 음성 예제의 비율은 시나리오마다 다른데, 이는 특정 과제에 대한 모델의 정확도에 의존하기 때문이다. 따라서 동일 모델 또는 방법의 여러 영역 간 수직 비교를 수행할 때, AUROC는 다른 두 지표에 비해 양성 대 음성 예제 비율에 둔감하므로 가장 적절한 지표이다.

모델 스케일링 견고성(Model-scaling Robustness). 70B+와 7B+ 파라미터 모델 사이의 수평 비교에서, 우리는 파라미터가 열 배 증가하더라도 우리 방법이 여전히 선도적 성능을 유지하며 대부분의 경우 7B+ 모델 성능을 능가하기까지 함을 발견하고 놀랐다. 산업계에서 대규모 LLM에 대한 수요가 급증함에 따라, 향상된 모델 스케일링 견고성은 우리 방법이 실세계 시나리오에서 널리 배포될 수 있게 하여 그 광범위한 일반화 가능성을 보장한다.

4.3 확장 분석 (EXTENDED ANALYSIS)

첫째, 우리는 우리 CoE 방법의 효과성을 추가로 분석한다.

구성 요소 절제(Component Ablation). CoE 점수는 두 구성 요소, 즉 크기(magnitude)와 각도(angle)로 이루어진다. 결합 지표에 대한 이들의 영향을 평가하기 위해, 우리는 절제 연구(ablation study)를 수행한다. 표 2는 네 개의 7B+ 파라미터 모델에 대한 AUROC 결과를 제시한다. 우리는 16개 설정 중 14개에서 결합 지표가 개별 구성 요소를 능가함을 관찰하며, 이는 두 구성 요소 모두로부터의 긍정적 영향을 나타낸다. 나아가, 이상 현상이 발생할 때 — 예컨대 Qwen1.5-7B의 수학·지식 영역에서 — CoE-R가 이 이상치에 더 영향받는 반면, CoE-C는 더 큰 견고성을 보인다. 그 결과, CoE-C는 실세계 응용에 대해 더 안정적인 성능을 제공한다.

표 2. 우리 CoE 지표의 구성 요소 절제 연구. 네 개의 7B+ 모델에 대한 AUROC 결과를 보고한다. (Magnitude: 크기 사용, Angle: 각도 사용, CoE-R/CoE-C: 결합 방식; ✓ 표시는 해당 요소·방식이 사용됨을 의미. 각 모델별 네 영역은 순서대로 수학·추론·지식·이해이다.)

구성 요소 (Magnitude / Angle)	결합 (CoE-R / CoE-C)	Llama3-8B-Instruct (수학/추론/지식/이해)	Qwen2-7B-Instruct (수학/추론/지식/이해)
✓ Magnitude, ✓ Angle	✓ CoE-R	72.54 / 63.12 / 64.20 / 64.81	75.75 / 66.68 / 63.14 / 71.92
✓ Magnitude, ✓ Angle	✓ CoE-C	73.08 / 55.85 / 62.45 / 58.47	76.68 / 62.70 / 61.85 / 70.87
✓ Magnitude (단독)	—	74.50 / 55.57 / 61.79 / 56.88	75.69 / 61.95 / 61.05 / 70.98
✓ Angle (단독)	—	71.69 / 62.65 / 63.91 / 64.27	68.06 / 64.50 / 61.87 / 69.52

구성 요소 (Magnitude / Angle)	결합 (CoE-R / CoE-C)	Llama2-7B-Instruct (수학/추론/지식/이해)	Qwen1.5-7B-Instruct (수학/추론/지식/이해)
✓ Magnitude, ✓ Angle	✓ CoE-R	64.23 / 55.51 / 62.76 / 60.74	38.44 / 58.19 / 49.48 / 54.69
✓ Magnitude, ✓ Angle	✓ CoE-C	63.63 / 59.00 / 59.07 / 55.49	77.22 / 67.67 / 62.11 / 55.11
✓ Magnitude (단독)	—	50.89 / 57.86 / 53.97 / 46.55	74.85 / 67.31 / 62.05 / 54.96
✓ Angle (단독)	—	65.94 / 53.97 / 51.15 / 59.09	28.90 / 54.83 / 44.00 / 54.71

과제 난이도 탐구(Task Difficulty Exploration). 동일 영역 내의 과제도 난이도가 다를 수 있으며, 이는 지표 성능에 영향을 미칠 가능성이 높다. 우리 설정에서, 우리는 수학·추론 영역마다 서로 다른 난이도 수준의 두 데이터셋을 선택한다. 특히, GSM8K와 CommonsenseQA는 저난이도 데이터셋이고, MATH와 TheoremQA는 최소한 대학 수준 지식을 요구하므로 고난이도 데이터셋이다. 세부 사항은 부록 C.1에 제시되어 있다. 그림 5는 Qwen2-7B-Instruct 모델에 대한 AUROC 결과를 보여주며, CoE는 저난이도 과제에서 약간의 우위를 가지지만 고난이도 과제에서는 유의미한 이점을 보이며 다른 베이스라인들을 큰 폭으로 능가한다. 이는 CoE가 더 어려운 과제에서 더 판별력 있음(discriminative)을 나타내는데, 이는 어려운 과제에서 사고 경로가 더 복잡하여 CoE를 위한 잠재적 정보 특징이 증가하기 때문일 수 있다.

그림 5

그림 5. 수학·추론 영역 내 다양한 난이도 과제에 대한 모든 방법의 AUROC 결과(Qwen2-7B-Instruct 모델). 다른 모델에 대해서는 부록 D를 참조하라. (좌: 수학 영역 — MGSM(저난이도)/MATH(고난이도), 우: 추론 영역 — CommonsenseQA(저난이도)/TheoremQA(고난이도))

둘째, 우리는 실세계 시나리오에서 CoE 방법을 적용하는 것의 신뢰성과 안정성을 분석한다.

데이터 비율 견고성(Data Ratio Robustness). 자기평가는 각 시나리오에서 양성 대 음성 표본의 비율이 균형을 이루지 않고 전적으로 LLM 응답의 정확도에 의존한다는 점에서 다른 분류 과제와 다르다. 한 데이터셋의 양성 표본 수를 , 음성 표본 수를 로 표기하면, 그 비율은 로 표현될 수 있다. 서로 다른 데이터 비율 하에서 CoE의 성능 견고성을 평가하기 위해, 우리는 표 1의 모든 CoE 결과를 해당 데이터셋에 대한 해당 모델의 응답 정확도와 대응시킨 뒤, 서로 다른 데이터 비율 하의 AUROC 결과를 관찰한다. 그림 6은 그 결과를 보여주며, 특히 및 인 영역에서 어떤 특정 구간에서도 유의미한 성능 하락이 없어, 데이터 불균형이 성능에 악영향을 미치지 않음을 나타낸다. 이는 CoE가 다양한 데이터 비율에 견고함을 시사한다.

그림 6

그림 6. 서로 다른 LLM 응답 정확도(즉, 데이터 비율) 하의 AUROC 결과. (가로축: LLM 응답 정확도(%), 즉 양성:음성 비율 — 왼쪽은 음성>양성, 오른쪽은 양성>음성)

높은 배포 효율성(High Deployment Efficiency). 기존 방법들은 유의미한 효율성 병목을 지닌다. 기저 LLM 추론을 제외하고: 샘플링 기반 방법의 경우, LLM은 적어도 한 번의 추가 추론을 수행해야 하므로 추론 시간이 그 실행 비용의 하한이 된다. 샘플링 없는 출력 기반 방법의 경우, 이들은 거의 모두 출력 확률 분포를 요구하므로 소프트맥스(SoftMax) 계산이 불가피한데, 어휘 크기가 거대하므로 이는 대규모 지수 계산을 수반한다 (Mikolov, 2013). 실제로, 우리는 과제가 어렵고 LLM 응답이 길 때 이 계산 시간이 추론 시간에 필적하기까지 함을 발견한다.

표 3. GSM8K 데이터셋에 대한 실행 시간(초)(Llama3-8B-Instruct 모델).

항목	실행 시간(초)
Base LLM Inference (기저 LLM 추론)	12.59 ± 3.75
SoftMax Computation (소프트맥스 계산)	10.32 ± 3.51
CoE Computation (ours) (CoE 계산, 본 연구)	1.12e-03 ± 5.64e-05

표 3은 우리 CoE 방법의 실행 시간(필수인 첫 번째 기저 추론은 제외)을 위의 두 유형 방법과 비교한다. 우리 방법은 단순한 덧셈, 곱셈, 삼각 연산만을 요구하며, 밀리초 수준의 실행 비용을 가지고 두드러진 효율성·안정성 이점을 지닌다.

다국어 확장성(Multilingual Scalability). 우리는 다국어 시나리오에서 CoE의 확장성도 시험하는데, 이는 CoE가 영어 환경뿐 아니라 다른 환경에서도 효과적임을 보장하여 그 보편성을 높인다. 우리는 GSM8K의 11개 언어 버전 부분집합인 MGSM (Shi et al., 2022) 데이터셋을 선택한다. 그림 7은 Llama3-8B-Instruct 모델에서의 결과를 제시하며, 우리는 거의 모든 언어 시나리오에서 CoE가 베이스라인 대비 성능 이점을 보임을 발견한다. 특히, CoE는 일부 저자원(low-resource) 언어(예: bn)에서도 좋은 성능을 보여, 다양한 언어 환경에 대한 적응성을 반영한다.

그림 7

그림 7. 11개 언어 버전의 MGSM 데이터셋에 대한 AUROC 결과(Llama3-8B-Instruct 모델). 부록 D는 다른 모델에 대한 결과를 보여준다. (가로축: 언어(Language) — en, bn, de, es, fr, ja, ru, sw, te, th, zh)

5 CoE-C와 CoE-R에 대한 이론적 재고찰 (THEORETICALLY REVISIT COE-C AND COE-R)

단조성 분석(Monotonicity Analysis). 3절에서 우리는 CoE-R가 지표로서 물리적 의의를 결여함을 지적하였다. 그러나 그 선형성(linearity)은 크기 특징과 각도 특징 모두의 단조성을 효과적으로 포착한다. 반면, 이 두 특징의 단조성은 CoE-C에서는 그만큼 명백하지 않다 [역주: 원문은 “of CoE-R”라 되어 있으나, 문맥상 CoE-R의 선형성과 대비되는 CoE-C를 가리키는 것이 타당하므로 “CoE-C”로 이해함]. 우리는 개의 특징 점을 가정하며, 각각은 에 대해 크기와 각도의 쌍 로 표현되고, 및 이다. 최종 CoE 특징을 로 표기한다. 우리는 에 적용된 증분 과 에 적용된 증분 를 고려하며, CoE 특징 증분은 다음과 같다:

[역주: 식 8의 둘째 항 는 원문 오기로 보이며, 부록 식 13에서 로 올바르게 표기됨.]

CoE-R의 경우, 그 최종 특징 은 및 을 보장한다. 반면, CoE-C의 상황은 상대적으로 복잡한데, 우리는 그 최종 특징 를 정식화하고 식 8을 따라 그 특징 증분 및 를 계산한다:

식 10의 유도는 부록 B.2.1을 참조하라. 실제 추론에서, 우리는 통계적으로 98% 이상의 경우가 가 0과 사이에 있는 범위에 속함을 발견하며, 이는 그림 3에서도 직관적으로 확인할 수 있다. 그 결과, 이 거의 항상 참이다. 추가로, 정답 궤적과 오답 궤적 사이의 각도 차이는 흔히 단일 궤적 내의 각도 차이, 즉 보다 크다. 가 를 현재 클래스 특징으로부터 벗어나게 할 때, 그것은 상당히 큰 경향이 있다. 그 결과, 는 0보다 커져 으로 이어진다. 따라서 실제 시나리오에서, 크기 특징과 각도 특징 모두에 대한 CoE-C의 단조성은 CoE-R와 일관되며 2.2절에서 도출된 결론을 만족한다.

왜 CoE-C가 CoE-R보다 더 견고한가? 3절에서 우리는 CoE-C가 이상치에 더 민감할 수 있음을 [역주: 문맥상 “CoE-R가 이상치에 더 민감”의 대비로, CoE-C는 이상치에 덜 민감(더 견고)하다는 것이 논지임 — 원문 표현을 그대로 옮기되 이어지는 증명이 CoE-C의 견고성을 확립함에 유의] 지적하였다. 이 주장은 4.3절에 제시된 절제 연구에서 검증되었다. 여기서 우리는 이론적 관점에서 지표 견고성의 근본적 이유를 파고든다. 우리는 이미 정답 표본의 CoE 궤적의 크기 변화가 더 두드러짐을 알고 있는데, 이는 오답 표본의 경우 어떤 특징 점의 가 비정상적으로 크게 나타나면 그것이 정답 표본으로 쉽게 오분류될 것임을 의미한다. 따라서 어떤 CoE 특징이 이 상황에 직면했을 때 증분을 더 잘 제어할 수 있다면, 오분류의 위험을 줄일 것이다. 형식적으로, 우리는 와 를 비교하며, 더 작은 쪽의 CoE 지표가 더 강한 견고성을 지닌다. 우리는 먼저 주 원소(principal element) 를 고정하여 의 하한을 축소(deflate)한다:

그런 다음, 우리는 이 축소 경계(deflation bound)를 사용해 식 8의 를 더욱 축소한다:

우리는 식 12의 우변이 정확히 [역주: 를 가리킴] 임을 발견하며, 이는 를 함의하여 CoE-C가 CoE-R보다 더 견고함을 증명한다. 완전한 유도는 부록 B.2.2에서 찾을 수 있다.

6 관련 연구 및 논의 (RELATED WORK AND DISCUSSION)

우리 연구는 라벨 없는 자기평가에 초점을 맞추며, 여기서 심층 신경망에서의 불확실성 추정 (Gal & Ghahramani, 2016; Guo et al., 2017)과 LLM 시대의 그 변형들 (Huang et al., 2023; Kuhn et al., 2023)은 우리와 밀접하게 관련되어 있고, 우리는 이들을 화이트박스(white-box) 방법으로 분류한다. 추가로, 내부 상태에 접근하지 않는 두 전형적 패러다임은 블랙박스(black-box) 방법으로 분류된다 (Manakul et al., 2023; Li et al., 2024c). 이들 중, 화이트박스와 블랙박스 연구 트랙은 대개 서로 직교적(orthogonal)이다 (Li et al., 2024c). 이들은 모두 “라벨 없음” 조건을 강조하며, 우리는 이러한 관련 연구에 대한 상세한 논의를 부록 A.1에 제시한다.

연구 아이디어의 관점에서, 우리 연구는 은닉 상태 정보의 사용을 수반한다. 많은 기존 연구는 전형적으로 은닉 상태를 활용하여 정오 라벨 기반의 프로빙 분류기를 학습시킨다. 이들은 특정 데이터셋이나 오류 유형의 유용한 은닉 상태 특징을 학습할 수 있으나, 분포 밖(out-of-distribution, OOD) 데이터에 대한 일반화 능력은 예측 불가능하다. 연구 의도가 다름에도, 연구 아이디어의 중첩을 고려하여, 우리는 이들과의 간단한 비교도 수행한다.

우리는 두 최근 연구를 선택한다: (1) ITI (Li et al., 2024a) — TruthfulQA 데이터셋 (Lin et al., 2022b)에서 학습됨; (2) MIND (Su et al., 2024) — Wikipedia에서 출처를 얻은 환각(hallucinated) 데이터로 학습됨. 두 방법 모두 사실 오류(factual error) 탐지에 초점을 맞추므로, 수학·추론 과제는 이들에게 OOD일 가능성이 높다. 우리는 네 데이터셋을 선택한다: (1) TruthfulQA (Lin et al., 2022b) — ITI와 MIND 모두에게 분포 내(in-distribution, ID)이며 ITI에 의해 적합되기까지 함; (2–4) GSM8k, MATH, TheoremQA(우리 주요 실험에서 사용됨) — 두 방법 모두에게 OOD임.

표 4. 네 데이터셋에 대한 우리의 라벨 없는 CoE와 라벨 기반 ITI, MIND의 AUROC 결과(Llama3-8B-Instruct 모델).

방법	TruthfulQA	GSM8K	MATH	TheoremQA
ITI	83.48	47.49	46.02	48.35
MIND	74.52	51.28	50.67	43.96
CoE-R (ours)	72.21	69.84	75.23	67.94
CoE-C (ours)	74.74	71.20	74.95	60.47

표 4는 Llama3-8B-Instruct 모델에 대한 AUROC 결과를 제시한다. TruthfulQA 데이터셋에서 ITI가 CoE를 능가하는데, 이는 그것이 자신의 정오 특징에 잘 맞춰져 있음을 고려하면 예상된 것이다. 그러나 다른 세 데이터셋에서 ITI와 MIND는 학습 데이터에 대해 OOD인 탓에 MIND는 20점 이상, ITI는 30점 이상의 유의미한 하락을 보인다. 반면, 우리 CoE는 특정 데이터셋 특징에 맞춰지지 않으며 다양한 데이터셋에 걸쳐 일관된 적용성을 유지하여, 복잡한 실세계 시나리오에 견고하다. 우리는 이 연구 영역의 더 많은 관련 연구를 부록 A.2에서 논의한다.

7 결론 (CONCLUSION)

요약하면, 우리는 LLM을 위한 경량(lightweight) 자기평가 방법을 제안한다. 이는 출력 텍스트나 확률 분포에 접근하지 않고, 대신 잠재 공간에서 모든 은닉 상태의 점진적 사슬을 활용하며, 우리는 이를 임베딩 사슬(Chain-of-Embedding, CoE)이라 부른다. 우리 방법은 다양한 모델, 영역, 과제 난이도, 언어에 걸쳐 강력한 성능과 견고성을 보인다. 그 낮은 계산 비용은 실세계 시나리오에서 대규모 피드백 요구를 위한 실시간 배포도 보장한다.

한계 (LIMITATION)

우리 방법은 내부 은닉 상태에 접근할 필요가 있기 때문에 블랙박스 버전으로 확장될 수 없으며, 이는 우리 방법이 당분간 GPT-4 (Achiam et al., 2023)와 같은 폐쇄형(closed-source) 모델에 적용될 수 없음을 의미한다. 그러나 연구적 감각의 관점에서, 화이트박스 접근은 LLM 내부의 응답 기제를 해석하는 데 더 유용한 반면, 블랙박스 접근은 더 직관적이고 폐쇄형 프로토콜에 대처하는 데 더 적합하다. 따라서 우리는 두 연구 트랙의 병렬적 기여를 인정하고, 실세계 시나리오에서 사용을 위해 두 유형의 방법 사이에서 유연하게 선택할 것을 옹호한다.

윤리 진술 (ETHICS STATEMENT) [역주: 원문 제목은 “ETHNICS STATEMENT”로 오기]

본 연구에서 사용된 데이터와 모델은 원 논문의 공식 버전에서 출처를 얻었으며, 우리는 제공된 사용 프로토콜을 엄격히 준수한다. 데이터에 관해서는, 원 데이터셋에 어떠한 수정도 가하지 않았으므로 민감한 내용을 수반하지 않는다. 연구 의도의 관점에서, 우리 연구는 실세계 배포에서 LLM이 생성한 잘못된 응답을 탐지하는 것을 목표로 하며, 이는 사회적 안전에 유망한 함의를 가진다.

재현성 (REPRODUCIBILITY)

실험에 사용된 모든 모델은 공식 체크포인트이며, 모델 출처, 초매개변수(hyperparameter), 하드웨어 요구 사항, 프롬프트 지시를 포함한 모든 구현 세부 사항은 우리 방법의 재현성을 보장하기 위해 부록 C.2에 제시되어 있다.

감사의 글 (ACKNOWLEDGEMENT)

본 연구는 Alibaba Research Intern Program 및 Alibaba Innovative Research Program의 지원을 받았다. 본 연구는 중국 국가자연과학기금 일반 프로그램(General Program of National Natural Science Foundation of China, 62176153)의 지원을 받았다. 본 연구는 또한 마카오 SAR 과학기술발전기금(Science and Technology Development Fund of Macau SAR, Grant Nos. 0007/2024/AKP, FDCT/0070/2022/AMJ, FDCT/060/2022/AFJ)과 UM 및 UMDF(Grant Nos. MYRG-GRG2023-00006-FST-UMDF, MYRG-GRG2024-00165-FST-UMDF, EF2024-00185-FST, EF2023-00151-FST, EF2023-00090-FST)의 부분적 지원을 받았다.

참고문헌 (REFERENCES)

참고문헌은 번역 범위에서 제외한다(원문 11–16쪽 참조). 인용 표기는 본문 전반에서 원문 형식 (저자 et al., 연도) 그대로 보존하였다.

부록 A 추가적 관련 연구 및 논의 (ADDITIONAL RELATED WORK AND DISCUSSION)

우리의 연구 주제는 LLM 자기평가에 관한 것으로, 여기서 “자기(self)”는 두 가지 핵심 제약을 숨기고 있다: (1) 이 평가는 라벨 없음(label-free)이다 — 평가에 대한 긴급한 필요가 있고 크롤링된 다수의 질문만 있을 뿐, 고품질 정답을 라벨링할 시간과 인력이 없는 상황을 가정하라. 모델이 이 질문들에 답할 때 생성되는 온라인 피드백으로 그 답의 정오를 판정한다. (2) 이 평가는 어떠한 외부 도구의 개입도 허용하지 않는다 — 다시 말해, 외부 채점기(scorer)나 학습기(trainer)가 없다. 이는 산업계가 모델 배포 비용을 절감하고, 대규모 평가 요구에 직면했을 때 그 실시간성과 확장성을 보장하기 위한 필수 보증이다.

A.1 라벨 없는 LLM 자기평가 (LABEL-FREE LLM SELF-EVALUATION)

LLM 화이트박스 평가의 선구는 심층 신경망 시대의 불확실성 추정(Uncertainty Estimation, UE) (Lakshminarayanan et al., 2017)으로 거슬러 올라갈 수 있다. 당시 불확실성 개념은 흔히 출력 확률(output probability)로 이해되었으며 (Gal & Ghahramani, 2016; Guo et al., 2017; Desai & Durrett, 2020), 이는 해당 출력을 생성하는 것에 대한 모델의 확신을 측정하는 데 사용될 수 있었다. 이 방법들은 모두 그 모델 출력이 과확신될 수 있다는 핵심 문제에 부딪히는데, 이는 모델 학습(언어 모델 포함)이 채택하는 KL-발산(divergence) 최적화가 모델로 하여금 모든 학습 표본에 0이 아닌(흔히 상당히 높은) 확률을 할당하도록 강제하기 때문이다 (Minka et al., 2005; Malinin & Gales, 2019). 데이터 분포의 저확률 영역을 덮기 위해, LLM은 0-회피(zero-avoiding) 해법 (Deasy et al., 2020)을 채택하며, 잘못 형성된(ill-formed) 텍스트 시퀀스일지라도 거의 모든 텍스트 시퀀스의 확률을 체계적으로 과대추정한다 (Ji et al., 2023). 따라서 출력 로짓이나 확률을 참 확신 수준과 정렬시키는 것을 목표로 하는 확신 보정(confidence calibration)은 언제나 인기 있는 연구 주제이다.

LLM의 출현은 그 다양한 출력 (Liu et al., 2024)으로 인해 자연어 생성 과제에서 불확실성 추정의 새로운 도전 (Shorinwa et al., 2024)을 도입하였다. 동시에, 풍부한 평가 요구는 이 추정을 연속적 확률 목표(확신)에서 이산적 이진 목표(정오)로 변환시켜, LLM 출력의 정오를 정확히 예측하는 것의 중요성을 강조한다 (Manakul et al., 2023; Li et al., 2024c). 이 영역의 연구는 여전히 희소하며, 주로 LLM이 생성하는 출력 로짓이나 확률 분포를 활용하는 불확실성 추정의 관습적 아이디어를 따른다. 특히, Si et al. (2022)는 GPT-3와 함께 퍼플렉시티 지표의 사용을 개척하였고, Huang et al. (2023)은 엔트로피가 언어 모델의 자기평가를 어떻게 평가할 수 있는지 체계적으로 검토하였으며, (Plaut et al., 2024)는 다중 선택 질문의 정오를 예측하는 데 소프트맥스 확률을 사용하였고, Hendrycks et al. (2022)는 출력 확률에 대한 온도 스케일링을 탐구하였다. 출력 다양성이 제기하는 도전 외에, 언어 모델과 전통적 심층 네트워크 사이의 더 결정적인 차이는 LLM 출력에 내재된 풍부한 의미 정보이다 (Liu et al., 2024). 이를 다루기 위해, Kuhn et al. (2023)과 Farquhar et al. (2024)는 의미 엔트로피(semantic entropy) 개념을 탐구하였고, Duan et al. (2023) 또한 엔트로피 계산에서 의미 정보를 활용하는 방향으로의 전환을 도입하였다. 이 연구들은 주로 특정 유형의 사실 오류, 즉 환각(hallucination)에 초점을 맞춘다.

전통적 불확실성 추정 아이디어를 넘어, LLM은 자기평가를 향상시킬 수 있는 풍부한 은닉 상태 정보를 포함한다. 그러나 기존 연구는 전형적으로 외부 분류기의 학습을 수반하며(A.2절에서 논의), 은닉 상태를 활용하는 라벨 없는 자기평가 방법에 대한 탐구는 제한적이었다. 그러한 연구 하나인 (Chen et al., 2024)는 내부 일관성(internal consistency) 아이디어 (Liang et al., 2024)에 기반하여 여러 표본에 걸쳐 특정 층의 은닉 상태의 공분산(covariance)을 측정한다. 우리 연구는 샘플링 방법을 넘어서고 모델 은닉 상태의 변화 궤적이 어떻게 LLM 자기평가에 정보를 줄 수 있는지 포괄적으로 검토함으로써, 이 연구 영역의 유의미한 공백을 메운다.

LLM 블랙박스 자기평가 방법은 주로 두 패러다임에 속한다: 언어적 확신(Verbal Confidence, VC)과 프롬프트-샘플링-집계(Prompt-Sampling-Aggregation, PSA).

VC는 더 직관적인 접근으로, RLHF (Ouyang et al., 2022)로 향상된 LLM의 지시 수행 능력을 활용하여 잘 만들어진 프롬프트를 통해 확신 점수를 생성한다. 이 패러다임은 다단계 파이프라인 (Lin et al., 2022a; Manakul et al., 2023; Tian et al., 2023; Li et al., 2024b; Wang et al., 2024b; Taghanaki & Monteiro, 2025)을 사용해 LLM에게 그 확신을 직접 묻는 다양한 일반적 방법론들을, 반성 기제(reflection mechanism) (Feng et al., 2024)와 같은 일부 추가적 기술 도구와 함께 포함한다. 이 외에, 코드 생성 (Zhou et al., 2023)이나 사실 확인(fact-checking) (Lin et al., 2023)과 같은 영역에 특화된 전략도 있다. 또 다른 주목할 만한 간접적 언어 방법은 다음 토큰 출력이 True일 가능성을 평가하는 P(True) (Kadavath et al., 2022)이다. PSA 파이프라인 (Xiong et al., 2024)은 프롬프트를 교란하거나 (Jiang et al., 2023b; Gao et al., 2024; Liu et al., 2025) 확률적 디코딩 (Si et al., 2022; Wang et al., 2023)을 통해 다중 출력을 생성하여 확신을 추정한다. 그런 다음 이 출력들의 일관성을 평가한다.

이 방법들의 이점은 직관적 원리와 폐쇄형 라이선스로부터의 제약 부재이다. 그러나 이들 역시 일부 미해결 문제에 직면한다. 첫째, VC가 과확신을 겪는다는 것이 확인되었다 — LLM은 자신의 출력에 높은 점수를 할당하는 경향이 있어 (Zhang et al., 2024; Xiong et al., 2024), 이 접근의 신뢰성을 암묵적으로 떨어뜨린다. 다른 한편, PSA 파이프라인은 효과적인 일관성 측정을 찾을 수 없다고 여겨지며 (Manakul et al., 2023; Zhang et al., 2023), 이는 다양한 시나리오에 배포될 때 이 방법의 불안정성을 증가시킬 것이다.

우리 견해로는, PSA의 문제는 하위 모듈(sub-module) 선택에서의 낮은 견고성이라는 본질적 결함을 반영한다. PSA의 핵심 구성 요소는 프롬프트 샘플링과 다중 답변 집계 전략에 있다. 프롬프트 샘플링은 주로 재구성(rephrasing)을 통해 이루어지지만, 서로 다른 연구는 서로 다른 재구성 프롬프트 설계를 제시하였고, 일부 과제는 다중 선택 질문 (Jiang et al., 2023b)과 같은 특정 유형의 과제에만 초점을 맞춘다. 이는 새로운 과제에 직면했을 때 가장 적합한 재구성 프롬프트를 어떻게 설계할지 불확실하게 만든다. 다중 답변 집계 기법은 주로 다중 답변 사이의 일관성을 평가하며, 가장 단순한 방법은 정확한 답변을 매칭하고 빈도를 직접 계산하는 것이다. 그러나 이는 결정론적 답변에만 적용되며, 일부 생성 과제나 문제 풀이 과정을 수반하는 답변의 경우 답변 사이의 의미 유사도 또한 중요하다. 이는 최선의 집계 기법을 불확실하게 만든다.

그림 8

그림 8. 두 모델에 대해 네 영역에서 서로 다른 프롬프트 샘플링·일관성 집계 전략의 AUROC 순위. 어떤 하나의 결합 전략도 어떤 시나리오에서든 다른 것들을 능가하지 않음이 분명하다. (좌: Llama3-8B-Instruct, 우: Qwen2-7B-Instruct; 세로축: 영역(Domain) — Und./Kno./Rea./Mat.(이해/지식/추론/수학), 가로축: AUROC Value; 범례: Strategy A–D)

전략 결합 견고성을 시험하기 위해, 우리는 두 프롬프트 교란 전략(두 사람이 재구성)과 두 집계 전략(정확 일치와 의미 유사도)을 선택하여 네 가지(2*2) 시나리오에서 자기평가 결과의 일관성을 시험한다. 우리는 네 영역에서 시험에 Llama3-8B-Instruct와 Qwen2-7B-Instruct 모델을 사용하고 AUROC를 지표로 사용하였다. 그림 8은 순위 결과를 보여주며, 이는 동일 영역 하에서 네 전략의 AUROC 순위를 반영한다. 우리는 어떤 단일 전략도 모든 설정에서 앞서지 못함을 발견하는데, 이는 다양한 실세계 시나리오에서 PSA를 적용하는 것이 예측 불가능함을 의미한다.

A.2 라벨 기반 자기평가를 위한 은닉 상태 (HIDDEN STATES FOR LABEL-BASED SELF-EVALUATION)

“라벨 없음”이라는 의도된 제한을 제쳐두면, 은닉 상태의 풍부한 정보는 흔히 감독형 정오 추정 연구에서 활용되며, 이 연구들은 전형적으로 특히 중요한 유형의 오류 — 사실 오류, 흔히 “환각(hallucination)”이라 불리는 것 — 에 초점을 맞춘다. 이 연구들은 대개 특정 은닉 상태를 입력으로 사용하고 정오를 라벨링하여 외부 분류기를 학습시킨다. 특히, Mielke et al. (2022); Sky et al. (2024)는 환각을 예측하는 분류기를 학습시켰고, Li et al. (2024a)은 특정 TruthfulQA 데이터셋 (Lin et al., 2022b)을 사용해 환각 문제에 대한 프로빙 실험을 수행하고 학습을 위해 어텐션 모듈에서 잠재적 탐지 정보를 추출하였으며, Su et al. (2024)은 주석과 학습을 위해 Wikipedia에서 환각 코퍼스를 수집하였다. 일부 프로브 분석은 언어 모델이 정답과 오답을 생성할 때 나타내는 은닉 상태의 차이를 설명하기도 하였으나 (Azaria & Mitchell, 2023; Liu et al., 2023; Duan et al., 2024), 이들은 정오 추정에 대한 확장된 통찰을 제공하지는 않았다.

이 방법들은 은닉 상태를 활용하여 가치 있는 정오 추정 통찰을 제공한다. 그러나 공통된 한계는 이들이 모두 감독형 코퍼스에 대한 학습을 수반한다는 점이다. 이는 “라벨 없음”이라는 의도에 반한다. 더 중요한 것은, 분류기 학습이 영역 제한적(domain-restricted)이라는 점이다: 이는 흔히 과제 특화적(특정 데이터셋에서 학습)이거나 유형 특화적(사실 오류에서 학습)이어서, OOD 데이터에 직면했을 때 불안정한 성능을 초래하고 그 확장성을 저해한다. 6절에서 우리는 이 주장을 입증하였다.

부록 B CoE 점수에 대한 추가 분석 (MORE ANALYSIS ABOUT COE SCORES)

B.1 CoE 점수의 알고리즘 과정 (ALGORITHMIC PROCESS OF COE SCORES)

알고리즘 1: CoE-R 계산


입력: L: 은닉 층의 수
      d: 임베딩 차원
      h0, h1, ..., hL ∈ R^d: 모든 은닉 상태
1:  ZMag ← ||hL − h0||₂
2:  ZAng ← arccos( (h0ᵀ hL) / (||h0||₂ · ||hL||₂) )
3:  CoE-R ← 0
4:  for l ← 0 to L−1 do
5:      Mag ← ||h_{l+1} − h_l||₂
6:      Ang ← arccos( (h_{l+1}ᵀ h_l) / (||h_{l+1}||₂ · ||h_l||₂) )
7:      CoE-R ← CoE-R + Mag/ZMag − Ang/ZAng
8:  end for
9:  CoE-R ← CoE-R / L
출력: CoE-R

알고리즘 2: CoE-C 계산


입력: L: 은닉 층의 수
      d: 임베딩 차원
      h0, h1, ..., hL ∈ R^d: 모든 은닉 상태
1:  ZMag ← ||hL − h0||₂
2:  CoE-C ← 0
3:  AvgRe, AvgIm ← 0, 0
4:  for l ← 0 to L−1 do
5:      Mag ← ||h_{l+1} − h_l||₂
6:      Ang ← arccos( (h_{l+1}ᵀ h_l) / (||h_{l+1}||₂ · ||h_l||₂) )
7:      Re ← (Mag/ZMag) · cos(Ang)
8:      Im ← (Mag/ZMag) · sin(Ang)
9:      AvgRe ← AvgRe + Re
10:     AvgIm ← AvgIm + Im
11: end for
12: CoE-C ← sqrt( (AvgRe/L)² + (AvgIm/L)² )
출력: CoE-C

B.2 CoE-C와 CoE-R의 이론적 분석 (THEORETICAL ANALYSIS OF COE-C AND COE-R)

우리는 개의 특징 점을 가정하며, 각각은 에 대해 크기와 각도의 쌍 로 표현되고, 및 이다. 최종 CoE 특징을 로 표기한다. 우리는 에 적용된 증분 과 에 적용된 증분 를 고려하며, CoE 특징 증분은 다음과 같다:

CoE-R의 경우, 그 최종 특징 와 특징 증분 , 는 다음과 같다:

CoE-C의 경우, 그 최종 특징 [역주: 원문은 로 표기되어 있으나 CoE-C의 특징이므로 가 맞음] 와 특징 증분 , 는 다음과 같다:

우리는 이미 정답 표본의 CoE 궤적의 크기 변화가 더 두드러짐을 알고 있는데, 이는 오답 표본의 경우 어떤 특징 점의 가 비정상적으로 크게 나타나면 그것이 정답 표본으로 쉽게 오분류될 것임을 의미한다. 따라서 어떤 CoE 특징이 이 상황에 직면했을 때 증분을 더 잘 제어할 수 있다면, 오분류의 위험을 줄일 것이다. 형식적으로, 우리는 와 를 비교하며, 더 작은 쪽의 CoE 지표가 더 강한 견고성을 지닌다. 우리는 식 18에서 정의된 가 (식 17)를 포함함을 발견한다. 따라서 를 축소하기 전에, 우리는 먼저 를 축소하여 다음과 같이 하한을 얻을 수 있다:

모든 에 대해 일 때, 는 그 하한을 달성한다. 그런 다음 우리는 이 하한을 사용해 를 다음과 같이 축소할 수 있다:

우리는 을 도출할 수 있다. 다행히, 은 정확히 식 15에서 정의된 이다. 따라서 가 증명되며, 즉 CoE-C가 CoE-R보다 더 견고함이 증명된다.

부록 C 실험 설정 세부 사항 (EXPERIMENTAL SETUP DETAILS)

C.1 데이터셋 (DATASET)

우리는 주요 실험에서 네 영역에 걸쳐 여섯 개의 데이터셋을 선택한다. 표 5–10은 각 데이터셋의 일부 데이터셋 표본과 대응하는 LLM 출력(Llama3-8B-Instruct 모델이 생성)을 제시한다. 각 데이터셋의 정보를 다음과 같이 기술한다:

수학(Mathematics) 영역

GSM8K (Cobbe et al., 2021)은 특히 초등학생을 위해 설계되고 인간 작성자가 만든, 언어적으로 다양한 수학 서술형 문제(math word problem)로 구성된다. 이는 1318개의 테스트 문제를 포함하며, 각각은 풀이에 2–8단계를 요구한다. 그 도전은 주로 최종 답을 도출하기 위한 일련의 기본 산술 연산(덧셈, 뺄셈, 곱셈, 나눗셈)을 수반한다.
MATH (Hendrycks et al., 2021)은 도전적인 경시 수학(competition mathematics) 문제로 구성된다. 이는 대수, 기하, 조합과 확률, 정수론, 미적분학 이전(precalculus)을 포함한 다양한 영역의 5000개 테스트 문제를 포함한다.

추론(Reasoning) 영역

CommonsenseQA (Talmor et al., 2019)은 다양한 상식 질의응답 질문으로 구성된다. 이는 각각 5개의 선택지를 가진 1221개의 테스트 문제를 포함한다. 이 데이터셋은 Amazon Mechanical Turk 작업자들이 만들었다.
TheoremQA (Chen et al., 2023)은 STEM 정리(theorem)에 의해 구동되는 다양한 질의응답 질문으로 구성된다. 이는 800개의 테스트 문제를 포함하며, 수학, 전기전자·컴퓨터과학(EE&CS), 물리, 금융에 걸친 350개 이상의 정리를 다룬다. 이 데이터셋은 인간 전문가가 매우 높은 품질로 수집하였다.

지식(Knowledge) 영역

MMLU (Hendrycks et al., 2020)은 사전학습 중 습득된 지식을 측정하는 다양한 질문으로 구성된다. 이 데이터셋은 STEM, 인문학, 사회과학 등에 걸친 57개 주제를 다룬다. 초급 수준부터 고급 전문가 수준까지의 난이도에 걸쳐 있으며, 세계 지식과 문제 풀이 능력을 모두 시험할 수 있다.

이해(Understanding) 영역

Belebele (Bandarkar et al., 2023)은 다국어, 다중과제, 다분야 독해 질문으로 구성되며, 각 언어는 900개의 지문-질문 쌍을 포함한다. 우리는 이 데이터셋의 영어 버전을 사용한다.

표 5. GSM8K 데이터셋(수학 영역)의 데이터셋 사례와 LLM 출력. (질문·정답·LLM 응답은 데이터 산출물이므로 원문 그대로 보존)

Question Janet’s ducks lay 16 eggs per day. She eats three for breakfast every morning and bakes muffins for her friends every day with four. She sells the remainder at the farmers’ market daily for $2 per fresh duck egg. How much in dollars does she make every day at the farmers’ market?
True Answer: 18
LLM Response (C.2.3절 지시를 따른 후): Let’s break down the problem step by step: 1. Janet’s ducks lay 16 eggs per day. 2. She eats 3 eggs for breakfast, so she has 16 - 3 = 13 eggs left. 3. She bakes muffins with 4 eggs, leaving her with 13 - 4 = 9 eggs. 4. She sells the remaining 9 eggs at the farmers’ market for $2 per egg. 5. To find out how much she makes, multiply the number of eggs sold (9) by the price per egg ($2): 9 x $2 = $18. Answer: 18

표 6. MATH 데이터셋(수학 영역)의 데이터셋 사례와 LLM 출력.

Question The sets and are both sets of complex roots of unity. The set is also a set of complex roots of unity. How many distinct elements are in ?
True Answer: 144
LLM Response (C.2.3절 지시를 따른 후): Let’s break this down step by step! 1. The set contains all complex roots of unity that have a power of 18 equal to 1. This means that contains 18th roots of unity, which are the complex numbers that satisfy . 2. The set contains all complex roots of unity that have a power of 48 equal to 1. This means that contains 48th roots of unity, which are the complex numbers that satisfy . 3. The set contains all complex numbers that are the product of a complex number from and a complex number from . Since and are sets of complex roots of unity, the product of any two complex numbers from and will also be a complex root of unity. 4. Now, let’s think about the possible products of complex numbers from and . Since contains 18th roots of unity and contains 48th roots of unity, the product of any two complex numbers from and will be a 144th root of unity. This is because the least common multiple of 18 and 48 is 144. 5. Therefore, the set contains all 144th roots of unity, which are the complex numbers that satisfy . Since there are 144th roots of unity, the set contains 144 distinct elements. So, the final answer is: 144

표 7. CommonsenseQA 데이터셋(추론 영역)의 데이터셋 사례와 LLM 출력.

Question A revolving door is convenient for two direction travel, but it also serves as a security measure at a what? Choices: (A) bank (B) library (C) department store (D) mall (E) new york
True Answer: A
LLM Response (C.2.3절 지시를 따른 후): Let’s break down the question step by step: 1. The question states that a revolving door is convenient for two-direction travel, which means it allows people to enter and exit the building easily. 2. The question also mentions that the revolving door serves as a security measure, which implies that it provides some kind of barrier or obstacle to prevent unauthorized access. 3. Considering the options, a bank is a likely candidate for a security measure. Banks often have high-security measures in place to protect their customers’ money and assets. 4. A library might also have security measures in place, but it’s not as likely as a bank. Libraries typically have more relaxed security measures, as they are public spaces. 5. A department store or mall might have some security measures, but they are not as likely to have a revolving door as a security measure. These types of establishments often have more open layouts and may not require as much security. 6. New York is not a type of building or establishment, so it’s not a viable option. Based on the reasoning process, the most likely answer is: Answer: A

표 8. TheoremQA 데이터셋(추론 영역)의 데이터셋 사례와 LLM 출력.

Question Let a undirected graph G with edges E = {<1,2>,<2,4>,<5,4>,<5,6>}, which <A,B> represent Node A is connected to Node B. What is the shortest path from node 1 to node 6? Represent the path as a list.
True Answer: [1, 2, 4, 5, 6]
LLM Response (C.2.3절 지시를 따른 후): (너비 우선 탐색(BFS)으로 노드 1→6 최단 경로를 큐/방문 집합을 통해 단계별로 탐색하여 다음 경로를 도출) The path from node 1 to node 6 is: [1, 2, 4, 5, 6]. Therefore, the answer is [1, 2, 4, 5, 6].

표 9. MMLU 데이터셋(지식 영역)의 데이터셋 사례와 LLM 출력.

Question Paper will burn at approximately what temperature in Fahrenheit? Choices: (A) 986 degrees (B) 2125 degrees (C) 3985 degrees (D) 451 degrees
True Answer: D
LLM Response (C.2.3절 지시를 따른 후): Let’s think step by step! Paper is a common combustible material, and it’s known to burn easily. When we think about the temperatures at which materials burn, we often think of the flash point, which is the lowest temperature at which a substance can ignite and burn. Paper is a relatively low-temperature material, and it’s commonly reported to ignite and burn at around 451°F (233°C). This is often referred to as the “ignition temperature” of paper. So, considering the options, the correct answer is: Answer: D

표 10. Belebele 데이터셋(이해 영역)의 데이터셋 사례와 LLM 출력.

Question “The Irish government is stressing the urgency of parliamentary legislation to rectify the situation.”“It is now important from both a public health and criminal justice perspective that the legislation be enacted as soon as possible”“, said a government spokesperson. The Health Minister expressed concern both for the welfare of individuals taking advantage of the temporary legality of the substances involved, and for drug-related convictions handed down since the now-unconstitutional changes came into effect.” Question: What was temporarily legal in Ireland? Choices: (A) Burglary (B) Fraud (C) Assault (D) Drugs
True Answer: D
LLM Response (C.2.3절 지시를 따른 후): (지문에서 정부·보건장관 인용이 “관련 물질(substances)”의 일시적 합법성을 언급함을 근거로 추론) From these statements, we can infer that the substances involved are drugs. … Therefore, the correct answer is: Answer: D

C.2 구현 (IMPLEMENTATION)

모든 모델 체크포인트는 공식 HuggingFace 저장소에서 다운로드되었으며, 다운로드 및 라이선스 링크는 표 11에 제공되어 있다. 우리는 특히 지시 기반 모델을 활용하는데, 이는 우수한 지시 수행 능력을 보이고 제로샷 생성에서 뛰어나 실세계 시나리오의 사용자 요구에 더 부합하기 때문이다.

표 11. 본 논문에서 사용한 모든 모델 산출물의 다운로드 및 라이선스 링크.

모델명	다운로드 링크	라이선스 링크
Llama2-7B-Instruct	https://huggingface.co/meta-llama/Llama-2-7b-chat-hf	https://ai.meta.com/llama/license
Llama3-8B-Instruct	https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct	https://llama.meta.com/llama3/license
Qwen1.5-7B-Instruct	https://huggingface.co/Qwen/Qwen1.5-7B-Chat	https://huggingface.co/Qwen/Qwen1.5-7B-Chat/blob/main/LICENSE
Qwen2-7B-Instruct	https://huggingface.co/Qwen/Qwen2-7B-Instruct	https://huggingface.co/Qwen/Qwen2-7B-Instruct/blob/main/LICENSE
Mistral-7B-Instruct	https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.2	https://mistral.ai/licenses/MNPL-0.1.md
Llama3-70B-Instruct	https://huggingface.co/meta-llama/Meta-Llama-3-70B-Instruct	https://huggingface.co/meta-llama/Meta-Llama-3-70B-Instruct/blob/main/LICENSE
Qwen2-72B-Instruct	https://huggingface.co/Qwen/Qwen2-72B-Instruct	https://huggingface.co/Qwen/Qwen2-72B-Instruct/blob/main/LICENSE

서로 다른 과제의 난이도가 일관되지 않음을, 특히 일부 수학 과제가 더 긴 출력을 생성할 수 있음을 고려하여, 우리는 최대 출력 길이를 2048 토큰으로 설정하고 절단(truncation)에 <eos_token> 을 사용하였다. 추론 과정은 무작위 샘플링 없이 그리디 디코딩(greedy decoding)을 채택한다. 우리는 모든 데이터셋에 걸쳐 모든 모델의 답변 완성률(answer completion rate)(즉, 2048 출력 토큰 한도 내에서 응답을 완성하는 비율)을 표 12에 나타낸 대로 기록한다. 모델들이 일반적으로 이 지정된 길이 내에서 모든 응답을 완성할 수 있음을 관찰할 수 있다.

추가로, 7B+ 모델의 경우 우리는 두 개의 32G V100 GPU를 사용해 배포하고, 70B+ 모델의 경우 네 개의 80G A100 GPU를 사용해 배포한다.

표 12. 2048 제한 출력 토큰 길이 이전의 답변 완성률.

모델	MGSM	MATH	CommonsenseQA	TheoremQA	MMLU	Belebele
Llama2-7B-Instruct	100.00%	97.98%	100.00%	99.25%	100.00%	100.00%
Llama3-8B-Instruct	100.00%	93.48%	100.00%	97.75%	99.82%	100.00%
Qwen1.5-7B-Instruct	100.00%	99.70%	100.00%	99.88%	100.00%	100.00%
Qwen2-7B-Instruct	100.00%	96.70%	100.00%	99.50%	100.00%	100.00%
Mistral-7B-Instruct	100.00%	94.86%	100.00%	98.75%	99.65%	100.00%
Llama3-70B-Instruct	100.00%	97.96%	100.00%	99.88%	99.82%	100.00%
Qwen2-72B-Instruct	100.00%	99.26%	99.84%	98.88%	99.82%	100.00%

우리는 두 오픈소스 프로젝트 OPENCOMPASS 및 SIMPLE-EVALS에서 LLM이 따르는 지시를 선택한다. 이들은 지시의 전문성을 보장할 수 있다. 구체적으로, 각 데이터셋에 사용된 모든 지시(프롬프트)는 다음과 같다(원문 프롬프트 보존):

MGSM


Solve this math problem. Give the reasoning steps before giving the final answer on the last line by itself in the format of "Answer:". Do not add anything other than the integer answer after "Answer:".
Question:
{input_data}

MATH


Question: {input_data}
Please reason step by step, and put your final answer within \boxed{}

CommonsenseQA


Answer the following multiple choice common-sense reasoning question. The last line of your response should be of the following format: "Answer: $LETTER" (without quotes) where LETTER is one of ABCDE. Think step by step and output the reasoning process before answering.
{input_data}

MMLU


Answer the following multiple choice question. The last line of your response should be of the following format: "Answer: $LETTER" (without quotes) where LETTER is one of ABCD. Think step by step before answering.
Question:
{input_data}

Belebele


Answer the following multiple choice reading-comprehension question. The last line of your response should be of the following format: "Answer: $LETTER" (without quotes) where LETTER is one of ABCD. Please fully understand the passage and give explanations step by step before answering.
{input_data}

TheoremQA


Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.
### Instruction:
Please read a math problem, and then think step by step to derive the answer. The answer is decided by Answer Type.
If the Answer type in [bool], the answer needs to be True or False.
Else if the Answer type in [integer, float] , The answer needs to be in numerical form.
Else if the Answer type in [list of integer, list of float] , the answer needs to be a list of number like [2, 3, 4].
Else if the Answer type in [option], the answer needs to be an option like (a), (b), (c), (d).
You need to output the answer in your final sentence like 'Therefore, the answer is ...'.
### Question:
{input_data}
### Answer_type:
{answer_type}
### Response:

C.3 베이스라인 (BASELINE)

우리는 모든 토큰을 포함하는 출력 확률 분포를 로 표기하며, 각 토큰에 대응하는 출력 로짓을 로 표기한다. 모델 어휘는 이므로 각 와 는 차원 벡터이고, 다음이 성립한다:

4.1절의 베이스라인들은 다음과 같이 정식화되거나 기술된다:

1. 언어적 확신(Verbal Confidence) — p(True) (Kadavath et al., 2022)

p(True)는 모델의 생성이 정답인지 모델에게 “물어봄”으로써 그것이 정답일 확률을 추정한다. 이는 새로운 자연어 질문을 구성하고 다음 토큰이 True일 가능도(likelihood)를 불확실성 측도로 취한다. 우리는 Kadavath et al. (2022)의 프롬프트 템플릿을 따른다(원문 보존):


Question:
[...]
Proposed Answer:
[...]
Is the proposed answer:
(A) True
(B) False
The proposed answer is:

2. 프롬프트-샘플링-집계(PSA) 파이프라인 (Xiong et al., 2024)

PSA 파이프라인은 두 개의 점진적 단계를 수반한다: - 프롬프트 샘플링(Prompt-Sampling): 이 단계는 출력 샘플링을 위해 (원 질문의 의미를 바꾸지 않고) 여러 프롬프트 또는 질문 표현을 생성할 것을 요구한다. 외부 도구(외부 LLM 재구성, 수작업 라벨링 등)를 사용하지 않음을 최대한 보장하기 위해, 우리는 Gao et al. (2024)을 참조하여 질문의 무작위 위치에 무작위 교란 문자(공백, 탭 등)를 도입하는 토큰 수준 교란을 사용한다. 이는 LLM을 위한 개의 서로 다른 질문 입력을 생성하여 개의 출력 텍스트 를 산출한다. - 집계(Aggregation): 다중 출력을 얻은 후, 그 일관성을 측정할 필요가 있다. 흔히 사용되는 측정 방법은 어휘 유사도(lexical similarity) (Lin et al., 2022c; Kuhn et al., 2023; Chen et al., 2024)로, 이는 ROUGE-L (Lin, 2004)을 사용해 이 개 출력의 쌍별 유사도를 평가한 뒤 다음과 같이 평균을 계산하는 것을 수반한다:

우리는 로 설정한다.

3. 최대 소프트맥스 확률(Maximum Softmax Probability) (Si et al., 2022)

최대 소프트맥스 확률은 출력 토큰 확률 분포의 최대 확률을 반영한다:

퍼플렉시티(Perplexity) (Si et al., 2022)

퍼플렉시티는 언어의 가중 평균 분기 계수(weighted average branching factor)를 반영한다:

엔트로피(Entropy) (Huang et al., 2023)

엔트로피는 분포 불확실성을 반영한다:

온도 스케일링(Temperature Scaling) (Shih et al., 2023)

각 확률 분포 를 얻기 전 소프트맥스 연산에서, 지수 위의 로짓 를 온도 매개변수 로 나누어 최종 확률을 보정한다. 우리는 로 설정하며, 이후 계산은 최대 소프트맥스 확률과 일관된다:

에너지(Energy) (Liu et al., 2020)

에너지는 소프트맥스의 대체물로 로짓을 에너지 방정식으로 매핑한다:

우리는 로 설정한다.

몬테카를로 드롭아웃(Monte-Carlo Dropout) (Gal & Ghahramani, 2016)

몬테카를로 드롭아웃은 추론 단계에서 서로 다른 무작위성으로 드롭아웃을 여러 번 활성화하여 다중 출력 분포를 얻음으로써 불확실성을 추정한다. 이 출력 분포들의 분산이 불확실성을 평가하는 데 사용된다. 개의 무작위 표본이 개의 출력 를 산출한다고 가정하면, 우리는 불확실성을 다음과 같이 추정한다:

우리는 로 설정한다.

길이 정규화 엔트로피(Length-normalized Entropy) (Malinin & Gales, 2020)

길이 정규화 엔트로피는 top- 샘플링을 활용하여 개의 출력 를 생성한다. 그런 다음 이 출력들의 평균 엔트로피를 다음과 같이 계산한다:

우리는 로 설정한다.

EigenScore (Chen et al., 2024)

EigenScore는 먼저 회의 디코딩 샘플링을 수행하여 층에서 개의 임베딩과 이 개 임베딩의 공분산 행렬 를 얻는다. EigenScore는 작은 값을 더해 교란한 공분산 의 행렬식(determinant)을 계산하여 불확실성을 측정한다:

우리는 (Chen et al., 2024)를 따라 및 로 설정한다.

부록 D 추가 실험 결과 (ADDITIONAL EXPERIMENTAL RESULTS)

D.1 과제 난이도 탐구 (TASK DIFFICULTY EXPLORATION)

표 9부터 14 [역주: 원문 표기이나, 실제로는 그림 9–14의 AUROC 막대그래프 결과를 가리킨다]는 수학·추론 영역 내 다양한 난이도 과제에 대한 일곱 개 언어 모델 전체의 AUROC 결과를 제시한다.

그림 9

그림 9. 수학·추론 영역 내 다양한 난이도 과제에 대한 모든 방법의 AUROC 결과(Llama2-7B-Instruct 모델). (좌: 수학 영역 — MGSM(저난이도)/MATH(고난이도), 우: 추론 영역 — CommonsenseQA(저난이도)/TheoremQA(고난이도))

그림 10

그림 10. 수학·추론 영역 내 다양한 난이도 과제에 대한 모든 방법의 AUROC 결과(Llama3-8B-Instruct 모델).

그림 11

그림 11. 수학·추론 영역 내 다양한 난이도 과제에 대한 모든 방법의 AUROC 결과(Qwen1.5-7B-Instruct 모델).

그림 12

그림 12. 수학·추론 영역 내 다양한 난이도 과제에 대한 모든 방법의 AUROC 결과(Mistral-7B-Instruct 모델).

그림 13

그림 13. 수학·추론 영역 내 다양한 난이도 과제에 대한 모든 방법의 AUROC 결과(Llama3-70B-Instruct 모델).

그림 14

그림 14. 수학·추론 영역 내 다양한 난이도 과제에 대한 모든 방법의 AUROC 결과(Qwen2-72B-Instruct 모델).

D.2 다국어 확장성 (MULTILINGUAL SCALABILITY)

표 15–18 [역주: 원문 표기이나, 실제로는 그림 15–18을 가리킨다]은 11개 언어 버전으로 구성된 수학 과제인 MGSM 데이터셋에 대해 네 개의 7B+ 언어 모델의 AUROC 결과를 제시한다. 언어 약어는 다음과 같다: 벵골어(bn), 중국어(zh), 영어(en), 프랑스어(fr), 독일어(de), 일본어(ja), 러시아어(ru), 스페인어(es), 스와힐리어(sw), 텔루구어(te), 태국어(th).

그림 15

그림 15. 11개 언어의 MGSM 데이터셋에 대한 AUROC 결과(Llama2-7B-Instruct 모델). (가로축: 언어(Language) — en, bn, de, es, fr, ja, ru, sw, te, th, zh; 범례: Perplexity, Entropy, CoE-R, CoE-C)

그림 16

그림 16. 11개 언어의 MGSM 데이터셋에 대한 AUROC 결과(Llama3-8B-Instruct 모델).

그림 17

그림 17. 11개 언어의 MGSM 데이터셋에 대한 AUROC 결과(Qwen1.5-7B-Instruct 모델).

그림 18

그림 18. 11개 언어의 MGSM 데이터셋에 대한 AUROC 결과(Qwen2-7B-Instruct 모델).

부록 Z. ARS-0703 반영 분석

이 절은 논문 본문이 아니라, 본 논문(CoE, arXiv:2410.13640, ICLR 2025)을 우리 프로젝트 ARS-0703(D:\code\KHU_GRADUATE_llm-PROJECT\ARS_0703)에 어떻게 반영할지를 재귀적·다각도로 해부한 작업 노트다. 수치·판정은 전부 프로젝트 실측 파일에서 가져왔다: docs/ARS_FULL_ANALSYS/SUITE_ADOPTION_VERDICT_0703l.md, docs/ARS_FULL_ANALSYS/novelty_scout_0703n.md, docs/DTR_TO_ARS_MASTER_0708.md, docs/PREREGISTRATION_ARS.md, 그리고 메모리 인덱스. 판정 어휘는 우리 정본을 따른다: ADOPT(정본 채택) · ADOPT-C(도메인·보드 한정 조건부) · HOLD(보류, 반증 아님) · RETIRE(제외 대장).

Z.0 한 문단 지도 — 이 논문이 우리에게 무엇인가

비유부터 세우자. 우리 ARS는 “학생이 문제를 풀 때 눈이 어디를 훑는가(어텐션 라우팅)”를 본다. CoE는 같은 학생의 “머릿속 생각이 층을 지나며 어떻게 굽이치는가(은닉 상태 궤적의 기하)”를 본다. 둘 다 라벨 없이·학습 없이·내부 신호로 정오를 맞히려는 같은 목표 아래 있지만, 재는 기질(substrate) 이 다르다 — 우리는 attention, 그들은 residual-stream 임베딩. 그래서 CoE는 우리에게 세 얼굴을 동시에 가진다: ① 우리 3보드에 새로 세울 베이스라인, ② 우리가 실패한 “두 특징 결합”을 되살릴 기법 도넛(복소평면 결합·자기참조 정규화), ③ 우리 감사 프레임(축1)의 완벽한 표적(pooled AUROC로 거대한 일반화 주장을 편 대표 사례). 아래에서 이 셋을 거시→미시로 좁혀가며 못 박는다.

핵심 한 줄: CoE의 정오 판별은 근본적으로 “문항 사이(between-question)” 비교다. 그리디 디코딩으로 문항당 응답이 하나뿐이므로, 그들의 정답 집합 와 오답 집합 는 서로 다른 문항들이다. 그림 2·3의 “정답은 Mag 크고 오답은 Ang 크다”는 결론은 정오의 신호일 수도 있지만, 쉬운 문항 대 어려운 문항의 궤적 차이(조성/난이도 교란)일 수도 있다. 이 구분을 CoE는 하지 않는다 — 그리고 그 구분을 하는 것이 우리 축1(within-question paired)의 존재 이유다. 이 한 문장이 아래 네 각도를 관통한다.

Z.1 각도 1 — 레퍼런스/베이스라인: 우리 3보드 어디에 세우나

Z.1.1 우리 3보드의 좌표계 복습(거시)

우리는 정오 예측 지표를 세 판(board)에서 잰다.

within-question paired(문항내 페어드): 한 문항의 정답 표본 vs 오답 표본을 문항 내부에서 짝지어 Mann-Whitney AUROC를 낸 뒤, 문항 간 sign test + cluster bootstrap CI(그룹 = problem_uid)로 종합. 길이·난이도 같은 문항 수준 교란을 구조적으로 제거한다.

selective prediction: 신뢰도 순으로 버리며 남긴 답의 오류를 재는 E-AURC·acc@10%(커버리지 10%에서 정확도). 배포용 “언제 답을 믿을까”.

selection: n개 표본 중 지표 상위 절반만 다수결(η=0.5) → Rand·Cons(자기일관성) 대비 정확도. “싸게 더 맞히기”.

지표 스택은 DTR bit(g0.5, ρ0.9) · Bucket-ADTR JSD(max-pool) · W1-pos/span · RouteSettle(RS-TD/Prob/Self) · SIG-W1 · HOT-AR/WBλ · Area-DTR(A1/A3). 평가 모델은 Qwen3-4B-Thinking-2507, 관측창 p100, budget forcing on(s1 계보).

Z.1.2 CoE는 어느 판에 올라가나(미시)

CoE는 문항당 응답 1개에서 층별 문장 은닉 상태의 기하만으로 점수를 낸다. 그래서:

selective 보드에는 그대로 올라간다. CoE-R/CoE-C를 신뢰도 점수 로 쓰고 E-AURC·acc@10%를 재면, DTR bit·Length·RS와 같은 표에 나란히 놓인다. 이것이 가장 손쉬운 반영이다.

within-question paired 보드에는 “그대로”는 못 올라간다. CoE 원 논문은 문항당 표본이 1개라 문항 내부 페어링 자체가 성립하지 않는다. 그러나 우리 replay는 문항당 n=20 표본이 있으므로, 각 표본마다 CoE-C를 계산해 같은 문항의 정답 표본 vs 오답 표본을 짝지으면 CoE를 문항내 페어드 지표로 승격할 수 있다. 이 승격판이야말로 CoE의 “정오 신호”가 난이도 교란을 걷어낸 뒤에도 살아남는지 보는 결정적 실험이다(→ Z.3에서 방어 논리로 재등장).

selection 보드: CoE-C를 랭커로 써서 η=0.5 다수결 → Cons/Rand 대비. 우리 2-Stage가 RETIRE된 그 자리(경계문항 19/190뿐이라 다수결이 안 뒤집힘)에 CoE도 같은 벽을 만날 가능성이 높다 — 하지만 실측 전엔 단정 금지.

Z.1.3 그들의 수치를 우리 표에 나란히 놓는 법 + 프로토콜 차이

CoE가 보고한 대표 수치(표 1, AUROC):

지표	대표 도메인·모델	CoE 보고 AUROC	우리 보드로의 번역
CoE-C (math)	Qwen2-7B-Instruct	76.68	selective/paired로 재측정 대상(그들은 pooled AUROC)
CoE-C (math)	평균(7모델)	75.22	“모델 스케일 견고” 주장의 근거 — 우리 축1 재감사 표적
CoE-C vs Length	(표 1엔 Length 없음)	—	⚠ 그들은 length를 베이스라인에 넣지 않았다
CoE-C vs DTR	(그들 표엔 DTR 없음)	—	우리가 처음으로 CoE↔︎DTR head-to-head를 그린다

프로토콜 차이 표(재현 가능성 판정):

축	CoE(본 논문)	ARS-0703	정렬 가능성
평가 모델	Llama2/3·Qwen1.5/2·Mistral(7B~72B, non-thinking)	Qwen3-4B-Thinking-2507	⚠ 모델군 불일치 — CoE를 우리 모델에서 재실행해야 공정
디코딩	greedy, BF 없음, max 2048 tok	BF on(30k thinking 캡), p100 관측창	⚠ CoE는 전체 응답 평균, 우리는 창 통제
페어링	없음(문항간 pooled)	within-question paired	★ 핵심 차이 — CoE는 조성 교란 무통제
length 통제	없음	paired가 구조적 통제 + Length 베이스라인 상설	★ CoE 미보유
평가 지표	pooled AUROC/FPR95/AUPR	+E-AURC·acc@10%·selection·단일 전역 flip	CoE엔 selective/ selection 없음
재현 난이도	매우 낮음 — O(Ld) 몇 줄(Alg 1/2), 코드 공개	—	✅ 즉시 이식 가능(단 은닉 상태 저장 전제, Z.4 함정)

정리: CoE는 재현이 거의 공짜(알고리즘 1·2가 몇 줄)이고 코드도 공개돼 있어, “우리 3보드에 세울 새 베이스라인”으로 당장 편입할 값어치가 있다. 다만 그들의 pooled AUROC를 그대로 우리 표에 옮기면 사과-오렌지 비교가 되므로, 우리 모델·창·페어링으로 재측정해야 한다. 이 재측정 자체가 Z.3의 novelty 논거가 된다.

Z.2 각도 2 — 아이데이션/기법 이식: 어떤 수식을, 어느 모듈에, 어떻게

여기서 “무엇을 훔쳐 오나”를 세 갈래로 못 박는다. 각 갈래는 비유→개념→수식→반영 위치 순.

Z.2.1 이식후보 A — 복소평면 결합(CoE-C)으로 “죽은 두-특징 결합”을 되살린다 ★최우선

비유. 우리는 크기(magnitude)와 시계(timing)라는 두 재료를 섞으려다 여러 번 실패했다(Fusion-z·로지스틱은 0702-h에서 폐기, 2-Stage는 0703-m에서 RETIRE: 튜닝 +1.35pp가 검증 −1.16pp[−3.28,+0.95]로 소멸). 문제는 두 재료의 눈금이 달라서 하나가 크면 다른 하나를 압살한다는 것. CoE-C는 이 문제를 정확히 지적하고(§3 “one is abnormally large … can weaken the overall impact of another”) 복소평면이라는 우아한 우회로를 제시한다: 한 특징을 반지름(크기), 다른 특징을 각도(방향)로 놓고 평균 점의 모듈러스를 취한다.

개념. 두 특징 를 복소수 로 올리고, 개 점의 실수부·허수부를 각각 평균한 뒤 그 크기를 최종 점수로 삼는다:

핵심은 §5의 견고성 정리다. 논문은 이상치 증분에 대해 을 증명한다(식 11·12·20). 즉 복소 결합은 실수 합보다 이상치에 덜 흔들린다 — 우리가 두-특징 결합에서 번번이 당한 바로 그 취약점의 수학적 처방이다.

우리 어디에·어떻게. - 위치: 결합 모듈(과거 Fusion 계열이 있던 자리). - 재료 매핑 후보: 크기 = settle-gap(SIG-W1의 원료), 각도 = W1-timing(RS의 정착 시점) 또는 크기 = HOT-AR 이동비용, 각도 = 라우팅 방향 변화. - 액션: analysis에 coe_complex_combine(mag_feat, ang_feat) 프로토타입 추가 → selective 보드에서 exploratory로만 측정(사전등록 밖). - 판정 예상: 우리 2-Stage가 죽은 이유는 결합 방식이 아니라 경계문항 희소(19/190) 라는 구조였다. 그래서 CoE-C 결합이 selection을 살릴 확률은 낮다(정직하게 약함). 그러나 selective에서는 이상치-강건 결합이 E-AURC를 낮출 여지가 있으므로 시도 가치는 있다. 채택 시 반드시 ADOPT-C(도메인 한정)로, 확증 게이트 통과 전엔 exploratory.

Z.2.2 이식후보 B — 자기참조 정규화(range scaling )로 length 교란을 우회한다

비유. 이사비(거리)는 도시가 크면 무조건 비싸다. 우리 W1-pos는 그래서 “문맥 길이 미터기”(pooled Spearman +0.95)로 판명됐고, 이를 길이로 나눈 rW1은 RETIRE됐다 — 이유는 ctx(참조공간 크기)가 문항내 상수(190문항 중 188 완전 상수)라 문항내 보드에선 랭킹이 정의상 안 바뀌고, fresh p100에선 rW1↔︎ctx Spearman −0.993 = 사실상 1/프롬프트길이 프록시로 과교정됐기 때문.

개념. CoE의 정규화는 다르다. 각 인접 변화 를 그 표본 자신의 입력-출력 span 로 나눈다(식 3). 이건 프롬프트 길이가 아니라 궤적 자신의 기하로 정규화한다는 뜻 — “이 표본의 전체 배회량 대비, 이 구간의 배회량 비율”. 즉 자기참조(self-referential) 정규화다.

우리 어디에·어떻게. - 위치: PREREGISTRATION_ARS.md의 정규화 원칙 각주. - 액션(한 줄 diff 제안): “정규화는 표본 내부의 자기참조 기하로 한다(cf. CoE의 ). 프롬프트 길이 기반 정규화(cf. rW1=W1/ctx)는 문항내 상수화·1/ctx 프록시화로 RETIRE됐으므로 금지.” - 효과: rW1의 실패를 “정규화 자체가 나쁘다”가 아니라 “정규화의 분모 선택이 나빴다(외부 길이 vs 내부 기하)”로 정밀화. 이는 우리 W1 계열을 되살릴 실낱 — 만약 W1-span을 표본 자신의 입력-출력 거리로 나누면 문항내에서도 랭킹이 살아날 수 있다(exploratory 검증 대상).

Z.2.3 이식후보 C — 각도(angle) 특징 = 임베딩 공간의 “왕복” 정량

비유. 0702-b 케이스스터디에서 우리는 “정답=소스 고정, 오답=왕복(oscillation)”을 어텐션 라우팅에서 정성적으로 봤다(2/3 케이스). CoE의 각도 특징은 같은 “왕복”을 임베딩 궤적에서 정량적으로 잡는다: 인접 층 문장상태 사이의 코사인을 arccos한 값 . 논문 결론(그림 3)은 “오답 궤적의 중간상태가 원점에 더 가까워 상태 전이 각도가 커진다” — 방향이 더 심하게 꺾인다 = 우리의 왕복.

개념·수식. . 층 방향 변화의 평균이 클수록 오답 경향(그들 주장).

우리 어디에·어떻게. - 위치: adtr/metrics.py의 특징 계산부(settling·W1 옆에 embedding-angle 특징 추가). - 액션: replay가 residual-stream 층별 은닉 상태를 저장한다면, 표본마다 embedding-angle 곡선을 만들어 selective 보드에 exploratory 특징으로 등재. 어텐션 왕복(우리 것)과 임베딩 왕복(CoE)의 상관·직교성을 재는 것 자체가 흥미로운 결과 — 두 기질이 같은 현상을 보는지, 다른 정보를 주는지. - 함정: 우리 엔진은 어텐션 라우팅을 저장하지, residual-stream 은닉 상태를 저장하는지 확인 필요(SGR/ATTRACTORS 라운드에서 “히든스테이트 미저장” 함정이 실제로 발목을 잡았다). 미저장이면 replay 재실행 또는 단일 forward 캡처가 선행돼야 한다.

Z.2.4 이식 우선순위(정직한 등급)

후보	이식 난이도	기대 효과	판정
A 복소 결합(CoE-C)	낮음(수식 몇 줄)	selective 개선 여지 有, selection은 약함	시도(exploratory)
B 자기참조 정규화	낮음(분모 교체)	rW1 부활 실낱 + 사전등록 원칙 강화	반영(원칙 문서화)
C 임베딩 각도 특징	중간(은닉 상태 저장 의존)	두 기질 직교성 신규 관찰	시도(엔진 확인 선행)

Z.3 각도 3 — Novelty/차별화(방어): 우리 3축의 어디를 건드리나

우리 주장 3축은 ① 감사 프레임(within-question paired = pooled Simpson/조성 아티팩트 적발 + 사전등록 0/5 게이트), ② RS 조건부 채택(수학 selective E-AURC 0.168 vs DTR 0.236, −29%, ADOPT-C), ③ 프로토콜 민감도(관측창 50/100/150·BF 유무가 지표 물리량을 바꿈 + 검정력 조건). CoE가 각 축에 주는 위협을 H/M/L로 판정하고 최강 방어를 단다.

Z.3.1 축1(감사 프레임) — 위협도 L, 오히려 연료

위협 서술. “CoE는 이미 ICLR 2025에서 hidden-state로 정오를 잘 맞혔다(평균 AUROC 75). 너희 감사 프레임이 없어도 hidden-state 신호는 작동하지 않나?”

최강 방어. CoE는 우리 감사 프레임의 표적이지 경쟁자가 아니다. 근거 3중: 1. CoE의 핵심 결론은 문항간 비교다. 정답 집합 와 오답 집합 는 서로 다른 문항(그리디 1응답)이다. 그림 2·3의 “정답 Mag↑, 오답 Ang↑”는 정오의 신호일 수도, 쉬운 문항 대 어려운 문항의 궤적 차이일 수도 있다 — CoE는 이 둘을 분리하지 않는다. 이것이 정확히 우리가 3중 적발(15/18, 28/36)한 조성(Simpson) 아티팩트의 구조다. 2. CoE는 length를 베이스라인에 넣지 않았다(표 1에 Length 부재). 우리는 무-length 전제 붕괴(Length AUROC 0.745)를 스스로 보고했다. CoE의 Mag가 궤적 길이(≈응답 길이)의 프록시가 아님을 CoE는 증명하지 않았다. 3. 교정 장치의 재사용성. 우리 within-question paired 게이트는 CoE에도 그대로 적용 가능하다. “CoE-C를 문항내 페어드로 재측정했더니 pooled AUROC 75가 문항내에서 얼마로 남는가”는 논문 한 편짜리 감사 실험이며, 우리 게이트가 특정 지표(우리 것)만 죽이는 게 아니라 누구에게나 적용되는 심판임을 보이는 증거. CoE는 이 심판을 아직 통과한 적이 없다.

즉 CoE는 “pooled AUROC로 거대한 일반화(모델 스케일·도메인·다국어 견고성)를 주장한 대표 사례”로서 우리 축1의 related work 연료가 된다. 위협 L.

Z.3.2 축2(RS 조건부 채택) — 위협도 M

위협 서술. “training-free hidden-state 정오 신호는 CoE가 2024년에 이미 했다. RS는 n번째 신호일 뿐.”

최강 방어(우리 정본 프레이밍 그대로). “우리는 신호를 파는 게 아니라 게이트의 생존자를 판다.” CoE는 (i) pooled AUROC(우리=E-AURC selective·within-Q paired), (ii) length 무통제, (iii) 사전등록 없음, (iv) DTR과의 head-to-head 없음. RS는 paired+length-통제+사전등록 게이트를 통과한 수학-selective 조건부 생존자(E-AURC 0.168 vs DTR 0.236)이고, ADOPT-C(GPQA null 명시)로 과잉일반화 표면을 스스로 제거했다. 결정적 실험 제안: CoE-R/CoE-C를 우리 selective 보드에 올려 DTR·RS와 삼자 비교. 만약 CoE의 E-AURC가 RS 0.168보다 낮으면 정직하게 CoE를 ADOPT-C 후보로 승격하고 RS를 강등하면 된다. 어느 쪽이든 우리 게이트의 시장을 넓힌다. 다만 CoE는 기질(임베딩)이 달라 RS(어텐션)와 직접 대체재가 아니라 상보재일 가능성이 높다 — 두 기질의 결합(Z.2.1의 복소 결합)이 오히려 새 후보다. 위협 M(직접 경쟁이 아니라 인접).

Z.3.3 축3(프로토콜 민감도) — 위협도 L

위협 서술. “CoE는 관측창 같은 것 신경 안 쓰고 전체 응답을 평균해서 잘 됐다. 너희 창 민감도는 사족 아닌가?”

최강 방어. CoE가 전체 응답을 평균한다는 사실 자체가 우리 축3의 반례가 아니라 미탐 지대다. CoE는 창을 하나(전체)로 고정해 창 효과를 볼 수 없다. 우리는 prefix-50→100에서 정오 혼합 클론 10.6%→0.6%(p150에서 0)라는, “지표가 재는 대상 자체가 바뀐다”는 측정론적 사실을 정량화했다. CoE의 전체-응답 평균은 오히려 우리가 감사할 대상: “CoE-C가 사실은 응답 길이/BF 형태를 재는 것 아닌가”를 창·BF 사다리로 검증하면 CoE의 견고성 주장을 우리 프레임이 되짚는다. 위협 L.

Z.3.4 인용 시 문장 수준 가르기(초안)

“임베딩 궤적의 기하로 정오를 추정하는 흐름(CoE; Wang et al., 2024a/2025)은 우리와 목표(라벨 없는 내부신호 정오 예측)를 공유하나, (i) 문항간 pooled AUROC로 평가하여 난이도-조성 교란을 통제하지 않고, (ii) 관측창·budget forcing 같은 프로토콜 변수를 단일값으로 고정하며, (iii) selective/selection 배포 지표와 DTR head-to-head가 부재하다. 본 연구는 (i) 문항내 페어드 감사, (ii) 관측창/BF 민감도, (iii) 계층적 최적수송(HOT-AR)과 selective E-AURC로 이 세 공백을 메운다. 특히 CoE의 정답-오답 궤적 차이(그들 그림 2·3)는 문항간 비교이므로, 우리 문항내 페어드 프레임으로 재측정하면 그 신호가 정오의 인과인지 난이도의 상관인지 판별할 수 있다.”

Z.4 각도 4 — 구체 반영 목록(체크리스트): 출처 → 반영 위치 → 액션

#	항목	출처(논문)	반영 위치(우리)	액션	우선/판정
1	CoE-R/CoE-C를 selective 보드 베이스라인으로 편입	§3 식 5·7, Alg 1·2	우리 baseline suite(DTR bit·Length·Head Entropy 옆)	replay 은닉상태로 CoE 계산 → E-AURC·acc@10% 산출, DTR·RS와 삼자표	★최우선(exploratory)
2	CoE를 within-Q paired로 승격 재측정	§2.2 그림 2·3(문항간 결론)	within-question paired 보드	표본별 CoE-C → 같은 문항 정/오답 페어 → Mann-Whitney AUROC → sign test/cluster bootstrap	★최우선(축1 핵심 실험)
3	복소평면 결합(CoE-C) 으로 두-특징 결합 재시도	§3 식 6·7 + §5 견고성 정리(식 11·12·20)	`analysis` 결합 모듈(폐기된 Fusion 자리)	크기=settle-gap, 각도=W1-timing → 모듈러스; selective exploratory	시도(selection은 약함 예상)
4	자기참조 정규화 원칙 명문화	§2.1 식 3()	`PREREGISTRATION_ARS.md` 정규화 각주	한 줄 diff: “정규화 분모는 표본 내부 기하(cf. CoE Z), 프롬프트 길이 금지(cf. rW1 RETIRE)”	반영(원칙)
5	임베딩 각도 특징 등재	§2.1 식 2()	`adtr/metrics.py` 특징부	embedding-angle 곡선 → 어텐션 왕복과 직교성 측정	시도(엔진 은닉상태 저장 확인 선행)
6	CoE를 경쟁작/related-work 표에 추가	본 분석	`novelty_scout_0703n.md` §2.1, master 관련연구	한 줄: “CoE-C 2410.13640(ICLR’25) — 임베딩 기하, pooled AUROC, 위협 L(축1 연료)/M(축2 상보 baseline)”	반영
7	“pooled 일반화 주장은 취약” 서사 사례 보강	§4.2 모델-스케일 견고성(7B→72B AUROC 유지)	축1 감사 서사(FULL_REPORT)	CoE의 스케일 견고성 주장을 within-Q 재감사 후보로 명기	반영(서사)
8	W1-span 자기참조 정규화 부활 실험	§2.1 식 3 아이디어 전용	W1 계열(RETIRE된 rW1 대체)	W1-span ÷ (표본 입력-출력 거리) → 문항내 랭킹 생존 여부	시도(exploratory)

Z.4.1 사전등록·마스터 한 줄 diff 제안 모음

PREREGISTRATION_ARS.md(정규화 각주): “모든 스케일 정규화는 표본 내부의 자기참조 기하(입력–출력 span, cf. CoE ; Wang et al., 2024a)를 분모로 한다. 프롬프트 길이 기반 정규화(rW1=W1/ctx)는 문항내 상수화·1/ctx 프록시화로 RETIRE되었으므로 사전등록 지표에서 금지한다.”

novelty_scout_0703n.md(§2.1 경쟁작 표에 행 추가): “| 2410.13640 CoE (ICLR’25) | 2024-10 | 은닉상태 층별 궤적의 크기·각도 기하로 라벨-free 정오 예측(CoE-R/CoE-C) | L(축1 연료)/M(축2 상보) | 문항간 pooled AUROC·length 무통제·selective/selection·DTR head-to-head 부재; 우리 within-Q paired 게이트 미통과 |”

DTR_TO_ARS_MASTER_0708.md(관련연구/진화 계보): “임베딩-기하 계보(CoE)를 어텐션-라우팅 계보(ARS)의 자매 기질로 명기 — 두 기질의 복소 결합(CoE-C 방식)이 exploratory 결합 후보.”

Z.4.2 정직성 각주(지어내지 않기)

CoE의 E-AURC·selection·within-Q 성능은 아직 우리가 측정하지 않았다. Z.1의 표에 있는 75.22 등은 CoE 원 논문의 pooled AUROC이지 우리 보드 수치가 아니다. 반영 항목 1·2·3·5·8은 전부 exploratory 가설이며, 확증 게이트(사전등록 1-shot) 통과 전엔 어떤 채택 주장도 금지한다.

복소 결합이 selection을 살릴 것이라는 기대는 약하다 — 우리 selection의 벽은 결합 방식이 아니라 경계문항 희소(19/190)라는 구조였기 때문(2-Stage RETIRE의 교훈). selective에서의 이득만 조심스럽게 기대한다.

임베딩 각도 특징(항목 5)은 엔진이 residual-stream 은닉 상태를 저장하는지에 전적으로 의존한다. 우리 replay는 어텐션 라우팅 중심이라 미저장일 수 있고(과거 SGR/ATTRACTORS에서 동일 함정 실측), 그 경우 단일 forward 캡처나 replay 재실행이 선행 비용으로 붙는다.

Z.5 재귀 요약 — 거시에서 미시로, 한 번 더

거시: CoE와 ARS는 “라벨 없이 내부신호로 정오 맞히기”라는 같은 산을 오르되, 임베딩 기하 vs 어텐션 라우팅이라는 다른 능선을 탄다. → CoE는 경쟁자라기보다 자매 기질.

중간: 그래서 CoE는 우리에게 baseline(3보드 편입) · 기법(복소 결합·자기참조 정규화·각도 특징) · 감사 표적(pooled 일반화 주장)의 세 역할을 한다. 우리 3축 위협은 L/M/L — 축2만 M, 나머지는 오히려 우리 논거를 강화.

미시: 가장 값진 한 수는 “CoE를 문항내 페어드로 재측정”(항목 2)이다. CoE의 그림 2·3이 정오의 인과인지 난이도의 상관인지를 우리 프레임이 판별하면, 그 결과가 참이든 거짓이든 우리 축1의 재사용 가능성(누구에게나 적용되는 심판)을 논문 한 편으로 실증한다. 이것이 이 논문을 우리 프로젝트에 반영하는 최우선 액션이다.