출처: arXiv:2601.08427v2 [cs.CL], 2026년 3월 1일 저자: Nonghai Zhang¹²*†, Weitao Ma¹³*†, Zhanyu Ma¹, Jun Xu¹‡, Jiuchong Gao¹‡, Jinghua Hao¹, Renqing He¹, Jingwen Xu¹ 소속: ¹Meituan(메이투안), ²Peking University(베이징대학), ³Harbin Institute of Technology(하얼빈공업대학) *Meituan 인턴십 기간 수행한 연구. †동등 기여. ‡교신저자.
초록 (Abstract)
그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)는 대규모 언어 모델(LLM)의 추론 성능을 크게 향상시킨다. 그러나 이 성공은 값비싼 외부 검증기(external verifier)나 사람이 만든 규칙에 크게 의존한다. 이러한 의존성은 막대한 계산 비용과 학습 지연(training latency)을 초래할 뿐 아니라, 최적화 효율을 저해하는 희소한 보상(sparse reward)을 낳는다. 이러한 문제를 해결하기 위해, 우리는 잠재 공간(latent space)의 기하학으로부터 내재적 보상(intrinsic reward)을 직접 도출하는 프레임워크인 Latent-GRPO를 제안한다. 결정적으로, 우리의 실증 분석은 다음과 같은 설득력 있는 기하학적 성질을 드러낸다. 즉, 올바른 추론 궤적(correct reasoning trajectory)의 종단 토큰(terminal token) 표현은 높은 클래스 내 유사도(intra-class similarity)를 지닌 조밀한 군집(dense cluster)을 형성하는 반면, 틀린 궤적은 이상치(outlier)처럼 흩어진 채 남는다. 이 발견에 착안하여, 우리는 반복 강건 중심 추정(Iterative Robust Centroid Estimation, IRCE) 알고리즘을 도입한다. 이 알고리즘은 구면 투영(spherical projection)으로 크기(magnitude) 변동을 누그러뜨리고 반복적 집계(iterative aggregation)로 강건한 “진리 중심(truth centroid)”을 추정하여, 조밀하고 연속적인 보상을 만들어 낸다. 여러 데이터셋에 대한 실험 결과, 우리의 방법은 모델 성능을 유지하면서도 기준선(baseline) 대비 2× 이상의 학습 속도 향상을 달성한다. 광범위한 실험 결과는 강한 일반화 능력과 강건성(robustness)까지 입증한다.
1 서론 (Introduction)
대규모 언어 모델(LLM)(Zhao et al., 2023)은 복잡한 추론 과제(Hendrycks et al., 2021a; Cobbe et al., 2021; Chen, 2021)를 다루는 데 있어 놀라운 성공을 거두었다. 이러한 능력을 한층 더 끌어올리기 위해, 인간 피드백 기반 강화학습(Reinforcement Learning from Human Feedback, RLHF)(Ouyang et al., 2022)이 모델 정렬(alignment)의 표준 패러다임으로 자리 잡았다. 구체적으로, 이 과정은 정책 성능을 정련하기 위해 관례적으로 근접 정책 최적화(Proximal Policy Optimization, PPO)(Rafailov et al., 2023)를 활용해 왔다. 나아가, 그룹 상대 정책 최적화(GRPO)(Shao et al., 2024)는 가치 모델(value model)을 그룹 기반 이점(group-based advantage)으로 대체함으로써 과정을 단순화하여 계산 비용을 절감한다.
그러나 GRPO의 실제 효능은 흔히 외부 검증기(Wen et al., 2025; Zheng et al., 2023; Zhou et al., 2025)에 대한 과도한 의존으로 인해 제약을 받으며, 이는 학습 결과를 검증기의 품질에 매우 민감하게 만든다. 한편으로, 규칙 기반 검증기(rule-based verifier)는 보통 수학과 같은 결정론적(deterministic) 과제에 국한된다. 게다가 복잡한 추론에 대해 명확하고 오류 없는 규칙을 설계하는 일은 극도로 어려우며, 불완전한 규칙은 학습 성능을 심각하게 떨어뜨릴 수 있다. 다른 한편으로, 외부 LLM을 사용하거나 추가적인 보상 모델(reward model)을 학습시키는 것은 상당한 비용을 초래한다(Lightman et al., 2023). 이런 방식은 상당한 계산 오버헤드와 추론 지연을 낳으며, 결국 전체 학습 과정을 느리게 만든다. 더욱이 이러한 외부 심판(external judge)은 편향이나 부정확한 채점에 취약하여, 학습 안정성과 최종 모델 품질을 훼손한다(Xu et al., 2025; Cai et al., 2025).
이러한 우려를 넘어, 기존의 대다수 보상 신호는 여전히 희소하고 이산적(sparse and discrete)이다(Tao et al., 2025). 이 이진 피드백(binary feedback)은 추론 과정의 연속적인 의미적 뉘앙스를 포착하지 못하며, 종종 모델을 보상 해킹(reward hacking)으로 이끈다(Cui et al., 2025; Gao et al., 2023). 이 문제를 풀기 위해, 우리는 이상적인 보상 메커니즘이라면 내재적이고(intrinsic), 조밀하며(dense), 학습이 필요 없어야(training-free) 한다고 주장한다.
표현 공학(representation engineering)(Zou et al., 2023; Bartoszcze et al., 2025)에 기반하여 — 이 분야는 LLM이 고수준 의미 개념을 내부적으로 인코딩함을 밝혀냈다(Marks and Tegmark, 2023) — 우리는 다음과 같은 인상적인 기하학적 성질을 발견한다. 즉, 올바른 추론 궤적에서 종단 토큰의 마지막 은닉 상태(last hidden state)는 조밀한 군집을 형성하는 반면, 틀린 경로는 흩어진 채 남는다. 이론적으로 이는 트랜스포머(Transformer)의 어텐션 메커니즘에서 비롯되는데, 어텐션은 추론 문맥을 점진적으로 최종 표현으로 집계한다. 또한 이 기하학적 일관성(geometric consistency)은 대규모 사전학습(pre-training) 동안 획득된 모델의 고유한 판별 능력(discriminative capability)을 반영한다(Radford et al., 2018). 본질적으로, 잠재 공간은 논리적 일관성이 의미적 수렴(semantic convergence)으로 발현되는 암묵적 검증기(implicit verifier)로 작동하며, 이는 내재적 보상 모델링을 위한 강건한 토대를 제공한다.
우리는 잠재 공간의 기하학적 성질로부터 강건한 내재적 보상을 활용하는 프레임워크인 Latent-GRPO를 도입한다(그림 1 참조). 그 핵심에서, 반복 강건 중심 추정(IRCE) 알고리즘은 종단 토큰의 마지막 은닉 상태로부터 “진리 중심(truth centroid)”을 식별하고, 그 기하학적 관계를 연속적 보상으로 사용한다. 규칙 기반 검증기와 달리, 우리의 접근은 조밀한 보상 신호를 산출하며, 이는 명확한 규칙을 사용할 수 없는 더 넓은 범위의 추론 상황에서 한층 더 세밀한 최적화를 가능하게 한다. LLM-as-judge(심판으로서의 LLM)와 비교하여, Latent-GRPO는 외부 모델 의존성을 제거하며, 이는 학습 지연을 크게 줄이고 일관성 없거나 잡음이 섞인 채점으로 인한 모델 붕괴(model collapse)를 방지한다. 더 중요하게, 이 접근은 모델이 대규모 사전학습 단계에서 획득한 풍부한 추론 지식을 효과적으로 활성화한다. GSM8K, MATH, Open-Platypus에 대한 상세 실험은 모두 Latent-GRPO가 세 가지 모델 규모(0.6B, 1.7B, 4B)에 걸쳐 LLM-as-Judge 대비 2× 학습 속도 향상을 달성함을 보여준다. 동시에 이는 LLM-as-Judge와 규칙 기반 방법 양쪽의 정확도를 능가한다. 추가 분석 역시 다양한 상황에 걸쳐 우리 접근의 강건성과 일반화 능력을 뒷받침한다.
2 관련 연구 (Related Work)
정책 최적화와 그룹 기반 변형(Policy Optimization and Group-based Variants). LLM을 위한 강화학습의 최근 진전은 학습 효율과 안정성 향상에 초점을 맞추어 왔다. PPO(Schulman et al., 2017)는 RLHF(Ouyang et al., 2022; Ziegler et al., 2019; Stiennon et al., 2020)의 기초 알고리즘이었으나, 상당한 메모리 오버헤드를 지닌 크리틱 모델(critic model)을 유지해야 한다. DPO(Rafailov et al., 2023)는 크리틱을 제거했지만 탐색 능력을 제한한다. GRPO(Shao et al., 2024)는 온라인 탐색과 계산 효율의 균형을 맞추기 위해 그룹 기반 이점 추정(group-based advantage estimation)을 도입했다. 최근의 변형들(Yu et al., 2025; Zheng et al., 2025; Liu et al., 2025; Zhao et al., 2025)은 최적화기(optimizer) 수준에서 특정 문제들을 다룬다.
학습이 필요 없는 평가 방법(Training-free evaluation Methods). 값비싼 외부 감독(external supervision)에 대한 의존을 줄이기 위해, 연구자들은 학습이 필요 없는 평가 접근을 탐구해 왔다. 자기 일관성(Self-Consistency)(Wang et al., 2022), 자기 정련(Self-Refine)(Madaan et al., 2023), 사고의 나무(Tree-of-Thoughts)(Yao et al., 2023), Best-of-N(Stiennon et al., 2020), 사고의 숲(Forest-of-Thoughts)(Bi et al., 2024)과 같은 방법은 합의 메커니즘(consensus mechanism)을 활용하여 고품질 출력을 식별한다.
잠재 공간과 잠재 사고(Latent Space and Latent Thinking). LLM의 잠재 공간은 풍부한 의미 정보를 인코딩하는 것으로 알려져 있다(Zhang et al., 2023; Goyal et al., 2023; Hao et al., 2024; Geiping et al., 2025). 최근 연구는 은닉 상태를 자기 평가(self-evaluation)와 보상 예측(reward prediction)에 사용하는 잠재 사고를 탐구해 왔다. CoE(Wang et al., 2024), LTO(Du et al., 2025), LaTRO(Chen et al., 2024), EndoRM(Li et al., 2025)과 같은 방법은 RL 지도를 위해 잠재 표현을 활용한다. 관련 연구에 대한 포괄적 논의는 부록 B를 참조하라.
3 잠재 공간의 기하학적 성질 (Geometric Properties of Latent Space)
이 절은 일련의 실증 분석을 통해 LLM 잠재 공간이 본질적으로 추론 품질을 포착함을 보인다. 구체적으로, 우리는 올바른 추론 궤적이 그 종단 은닉 상태에서 높은 기하학적 군집화를 보이는 반면, 틀린 경로는 흩어진 채 남는다는 것을 관찰한다. 이에 기반하여, 우리는 이러한 기하학적 특징을 활용하여 추론 품질을 점수화하는 방안을 탐구하며, 궁극적으로 외부 모델 기반 검증기의 평가와 높은 수준의 일관성을 지님을 발견한다. 이 정렬(alignment)은 잠재 공간이 강건하고 자율적인 보상 신호의 원천임을 확인해 준다.
3.1 이론적 동기 (Theoretical Motivation)
우리의 분석은 트랜스포머 아키텍처의 두 가지 근본적 성질에 의해 인도된다. 첫째, 종단 토큰의 마지막 은닉 상태 는 전체 추론 사슬(reasoning chain)의 의미적 요약(semantic summary)으로 작동한다(Afzal et al., 2025; Wang et al., 2024). 구체적으로, 언어 모델 헤드(head) 직전의 최종 표현으로서 는 모델의 수렴된 추론 정보를 효과적으로 집계한다(Shai et al., 2024). 둘째, 성공적인 추론은 흔히 의미적 붕괴(semantic collapse)로 이어진다(Papyan et al., 2020; Wang et al., 2022). 이는 중간 단계는 서로 다를 수 있으나 모든 올바른 궤적이 통합된 의미적 종착점(unified semantic endpoint)으로 수렴하는 경향이 있음을 의미한다. 대조적으로, 틀린 경로는 그 다양한 실패 양상(failure mode)으로 인해 전형적으로 흩어진다(Marks and Tegmark, 2023; Zou et al., 2023).
3.2 분석 설계 (Analysis Design)
우리의 발견을 검증하기 위해, 우리는 GSM8K 데이터셋에서 두 가지 분석을 수행한다. 첫째, 전역 군집화 패턴(global clustering pattern)을 살펴보기 위해 각 프롬프트마다 1,000개의 독립적 궤적을 생성한다. 둘째, 기하학적 보상 할당(geometric reward assignment)의 효과를 평가하기 위해 GRPO 그룹()을 구성한다. 두 경우 모두에서, 우리는 종단 토큰의 마지막 은닉 상태 를 추출하고, 전체 의미 정보를 보존하기 위해 원래의 고차원 공간에서 거리를 직접 계산한다. 이러한 기하학적 보상을 검증하기 위해, 우리는 GPT-4o를 사용하여 정답 레이블(ground-truth label)을 얻는다. 결정적으로, 이 레이블은 이 절에서 검증 목적으로만 사용되며 우리의 학습 프레임워크에서는 요구되지 않는다.
3.3 대규모 군집화 분석 (Large-Scale Clustering Analysis)
그림 2
그림 2는 종단 토큰의 마지막 은닉 상태를 PCA로 시각화하며, 명확한 “코어-주변(core-periphery)” 구조를 드러낸다. GSM8K로부터 1,000개 궤적을 분석하여, 우리는 두 가지 핵심 패턴을 관찰한다. (1) 고밀도 합의 코어(High-Density Consensus Core), 여기서 913개의 올바른 궤적이 중심 주위로 조밀하게 군집한다(). 그리고 (2) 분산된 이상치 영역(Dispersed Outlier Region), 여기서 34개의 틀린 궤적이 흩어진 채 남는다(). 그 결과로 나타나는 4.13×의 거리 비율은 이러한 마지막 은닉 상태에 기반한 추론 품질의 유의미한 기하학적 분리 가능성(geometric separability)을 확인해 준다. 이러한 패턴의 보편성을 입증하기 위해, 우리는 부록 I.1에서 모델 규모(0.6B~4B)와 다양한 데이터셋(예: ScienceQA와 ARB)에 걸친 추가 관찰을 제공한다.
3.4 GRPO 그룹 시뮬레이션을 통한 검증 (Validation via GRPO Group Simulation)
각 GRPO 그룹 내에서, 우리는 종단 토큰의 마지막 은닉 상태를 가중 집계(weighted aggregation)하여 강건 중심 를 계산한다. 잠재 기하 점수(latent geometric score)는 다음과 같이 정의된다: . 그림 4는 이 접근을 검증한다. (a)는 서로 다른 품질 수준에 걸친 보상 분포의 상자 그림(box plot)을 제시한다. 이는 틀린 궤적이 높은 분산과 더 낮은 중앙값을 보이는 반면, 올바른 궤적은 훨씬 더 높은 보상 값과 함께 유의미하게 더 집중되어 있음을 드러낸다. (b–d)는 대표적인 그룹들에서 높은 순위 일관성(ranking consistency)을 보여준다. 특히, 우리의 방법은 최대 스피어만 상관(Spearman correlation) 과, 외부 검증기와 최대 85%에 이르는 Top-1 선택 일치도(Top-1 selection agreement)를 달성한다. 이 발견은 잠재 기하학적 성질이 외부 심판에 대한 강건하고 학습이 필요 없는 대안으로 기능할 수 있음을 확인해 주며, Latent-GRPO를 위한 견고한 토대를 제공한다. 더 상세한 분석은 부록 C를 참조하라.
그림 4
종합하면, 이러한 분석은 종단 토큰의 마지막 은닉 상태가 그 기하학적 구조를 통해 본질적으로 추론 품질을 포착함을 입증한다. 이 잠재 일관성(latent consistency)은 외부 감독과 독립적인 효율적 보상 메커니즘을 설계하기 위한 강력한 토대를 제공한다. 이러한 통찰에 기반하여, 우리는 이러한 기하학적 성질을 정책 최적화를 위한 조밀하고 연속적인 보상 신호로 변환하는 Latent-GRPO 프레임워크를 도입한다.
4 방법론: Latent-GRPO (Methodology: Latent-GRPO)
4.1 GRPO 간략 개관 (GRPO Short Review)
그룹 상대 정책 최적화(GRPO)(Shao et al., 2024)는 동일한 프롬프트 로부터 표집된 개 궤적의 그룹 에 걸쳐 상대적 이점(relative advantage)을 계산함으로써 정책 성능을 최적화한다:
여기서 는 번째 궤적에 대한 보상을 나타낸다. 아키텍처 측면에서 효율적이기는 하나, 표준 GRPO는 두 가지 주요 문제에 직면한다. 즉, 높은 비용과 지연을 초래하는 외부 검증기에 대한 과도한 의존, 그리고 복잡한 추론 과제에 제한적인 지도만을 제공하는 보상 희소성(reward sparsity)이다. 이를 해결하기 위해, 우리는 두 가지 핵심 성질을 특징으로 하는 보상 메커니즘을 제안한다. (1) 내재적(intrinsic), 즉 모델 자체의 종단 토큰 마지막 은닉 상태를 활용하며, (2) 조밀함(dense), 즉 최적화 그래디언트를 강화하는 연속적 품질 점수를 제공한다.
4.2 핵심 알고리즘: 반복 강건 중심 추정 (Core Algorithm: Iterative Robust Centroid Estimation)
3절의 기하학적 발견에 기반하여, 우리는 고충실도(high-fidelity) 보상 신호를 추출하기 위해 반복 강건 중심 추정(IRCE) 알고리즘을 도입한다. 각 프롬프트에 대해, 정책 모델은 개 궤적의 그룹을 생성한다. 우리는 먼저 종단 토큰의 마지막 은닉 상태 ()를 추출하고 구면 정규화(spherical normalization)를 수행한다:
이 연산은 모든 궤적을 단위 초구(unit hypersphere)에 투영하여 크기 변동을 효과적으로 제거하는 동시에, 이후의 분석이 오직 의미적 방향성(semantic directionality)에만 초점을 맞추도록 보장한다.
IRCE의 핵심은 그룹 내 추론의 “진리 방향(truth direction)”을 대표하는 합의 중심(consensus centroid) 를 동적으로 추정하는 것이다. 오류를 지닌 이상치의 영향을 억제하기 위해, 우리는 반복적 소프트 가중(iterative soft-weighting) 메커니즘을 채택한다. 각 반복 에서, 우리는 현재 중심에 대한 표본의 거리에 기반하여 가우시안 커널(Gaussian kernel)을 사용해 소프트 가중치 를 계산한다:
여기서 는 그룹의 거리 분포로부터 도출된 적응적 스케일 파라미터(adaptive scale parameter)이다. 이어서 중심은 가중 집계를 통해 갱신된다: . 번의 반복 후 수렴하면, 내재적 보상 는 최종 중심까지의 음의 유클리드 거리(negative Euclidean distance)로 정의된다:
이 메커니즘은 조밀하고, 연속적이며, 자연스럽게 유계(bounded)인 내재적 보상을 산출한다. Min-Max 정규화를 적용함으로써, 우리는 거리를 보정된 범위 로 사상(map)하며, 이는 그래디언트 폭발(gradient explosion)을 방지하고 서로 다른 추론 과제에 걸쳐 최적화 안정성을 보장한다. 적응적 스케일링과 정규화를 포함한 전체 절차는 알고리즘 1에 요약되어 있다. 표집 잡음(sampling noise)에 대한 강건성은 이 반복적 가중 방식의 엄밀한 수학적 유도를 통해 부록 D에서 별도로 입증한다.
알고리즘 1 반복 강건 중심 추정 (Iterative Robust Centroid Estimation)입력: 은닉 상태 , 최대 반복 횟수 출력: 보상// 단계 1: 구면 투영(Spherical Projection) for i = 1 to G do h̃ᵢ ⇐ hᵢ / ‖hᵢ‖₂ end for // 단계 2: 중심 초기화(Initialize Centroid) μ ⇐ (1/G) Σᵢ₌₁ᴳ h̃ᵢ μ ⇐ μ / ‖μ‖₂ // 단계 3: 반복적 소프트 가중 갱신(Iterative Soft-Weighted Update) for s = 0 to T − 1 do for i = 1 to G do dᵢ ⇐ ‖h̃ᵢ − μ‖₂ end for σ ⇐ std({d₁, …, d_G}) + ε for i = 1 to G do wᵢ ⇐ exp(−(dᵢ)² / (2σ²)) end for w ⇐ w / Σⱼ wⱼ ▷ 가중치 정규화(Normalize weights) μ ⇐ Σᵢ wᵢ h̃ᵢ μ ⇐ μ / ‖μ‖₂ ▷ 중심 정규화(Normalize centroid) end for // 단계 4: 보상 계산(Compute Rewards) for i = 1 to G do dᵢ ⇐ ‖h̃ᵢ − μ‖₂ Rᵢ ⇐ −dᵢ end for R ⇐ MinMaxNormalize(R) return R
4.3 Latent-GRPO 프레임워크 (Latent-GRPO Framework)
그림 3에 나타난 바와 같이, Latent-GRPO는 IRCE 알고리즘을 GRPO 파이프라인에 통합한다. 정적인 외부 검증기에 의존하는 전통적 강화학습과 달리, Latent-GRPO는 외부 감독 없이 작동하는 동적이고 내재적인 보상 메커니즘을 채택한다.
그림 3
동적 적응성(Dynamic Adaptability). 정책 모델이 학습 동안 진화함에 따라, 그 잠재 표현 공간은 자연스럽게 이동(shift)한다. 정적인 외부 검증기와 달리, IRCE는 각 학습 배치(batch)마다 합의 중심을 동적으로 추정하여, 보상 신호가 모델의 현재 상태에 실시간으로 적응할 수 있게 한다. 이러한 온라인 적응(online adaptation)은 보상 신호가 진화하는 모델 표현과 어긋나게 될 때 흔히 발생하는 문제인 분포 이동(distribution shift)을 효과적으로 완화한다. 또한, 반복적 소프트 가중 메커니즘은 초기 표본 품질이 최적이 아닐 때에도 안정적이고 강건한 그래디언트 신호를 보장한다.
계산 효율성(Computational Efficiency). Latent-GRPO는 롤아웃 동안 이미 계산된 은닉 상태를 활용함으로써 외부 검증의 계산 오버헤드를 제거한다. 기존 검증기는 (여기서 는 그룹 크기, 은 시퀀스 길이)로 확장되는 추가 순전파(forward pass)를 요구하는 반면, IRCE는 (여기서 는 반복 횟수, 는 잠재 차원)의 복잡도로 종단 토큰의 마지막 은닉 상태에 대해 작동한다. 는 모델 아키텍처에 의해 고정되고 이므로, 오버헤드는 무시할 만하다. 별도의 보상 모델이나 가치 함수(value function)의 필요성을 제거함으로써, Latent-GRPO는 메모리 사용량을 줄이는 동시에 보상 계산을 외부 병목(external bottleneck)에서 효율적인 내재적 과정으로 변환한다.
5 실험 설정 (Experimental Setup)
이 절은 데이터셋 선택, 평가 지표, 하드웨어 구성, 그리고 주 실험 및 절제 연구(ablation study)의 설계를 포함한 우리의 실험 구성을 기술한다.
5.1 데이터셋과 평가 지표 (Datasets and Evaluation Metrics)
데이터셋(Datasets). 우리는 서로 다른 추론 복잡도 수준과 영역에 걸친 세 가지 상호 보완적 데이터셋에서 우리의 접근을 평가한다. GSM8K(Cobbe et al., 2021)는 초등 수준의 수학 서술형 문제(word problem)를 담고 있어, 기초 산술 추론의 토대를 세운다. MATH(Hendrycks et al., 2021a)는 고등학교 및 경시대회 수준의 문제로 구성되어, 더 정교한 수학적 추론을 시험한다. Open-Platypus(Lee et al., 2023a)는 물리, 논리, 수학에 걸친 다양한 추론 과제를 포괄하여, 여러 영역에 걸친 검증을 가능하게 한다. 이 데이터셋들은 함께 서로 다른 추론 복잡도에 걸쳐 정확도 향상과 계산 효율 양쪽을 평가하기 위한 포괄적 커버리지를 제공한다. 학습/테스트 데이터셋의 분할[역주: 원문 “spilt”은 “split(분할)”의 오기]과 상세 데이터셋 통계는 부록 E에 제공된다.
평가 지표(Evaluation Metrics). 우리는 두 가지 주요 성능 차원을 측정한다. (1) 추론 능력을 평가하기 위한 각 테스트 데이터셋에서의 과제 정확도(Task Accuracy), 그리고 (2) 동일한 실험 설정 하에서 서로 다른 보상 방법에 걸쳐 에폭당 시간(time per epoch)으로 측정된 학습 효율성(Training Efficiency)이다.
5.2 실험 설정 (Experimental Setup)
모델과 하드웨어(Models and Hardware). 우리는 크기가 다른 세 가지 Qwen 모델(Qwen3-0.6B, Qwen3-1.7B, Qwen3-4B)에 걸쳐 우리의 방법을 검증한다. 이 범위는 서로 다른 모델 규모에 걸친 우리 방법의 효과 평가를 가능하게 한다. 모든 실험은 단일 GPU에서 수행된다. GRPO 학습 구성, IRCE 알고리즘 파라미터, 하드웨어 사양을 포함한 상세 하이퍼파라미터 설정은 부록 F를 참조하라.
주 실험(Main Experiment). 우리는 세 가지 데이터셋(GSM8K, MATH, Open-Platypus)과 세 가지 모델 크기(Qwen3-0.6B, Qwen3-1.7B, Qwen3-4B)에 걸쳐 세 가지 보상 패러다임을 비교한다. (1) 외부 검증(GPT-4o)을 사용하는 LLM-as-Judge, (2) 정답 레이블을 사용하는 규칙 기반(Rule-based) 검증, 그리고 (3) 내재적 잠재 공간 기하학을 활용하는 우리의 제안 방법 Latent-GRPO이다. 이 비교는 내재적 기하 신호가 정확도와 학습 효율 양쪽에서 외부 검증에 필적하거나 이를 능가할 수 있는지를 평가한다. 상세 기준선 설명은 부록 G.1에 제공된다.
표 1. 데이터셋과 모델 규모에 걸친 보상 방법의 종합 비교. 그 결과는 Latent-GRPO가 LLM-as-Judge 및 규칙 기반 기준선 대비 일관되게 우수한 정확도와 학습 효율(에폭당 시간)을 달성함을 입증한다. (LLM-as-Judge의 모의 QPS는 2이다.)
데이터셋 | 방법 | Qwen3-0.6B Acc ↑ | Qwen3-0.6B Time ↓ | Qwen3-1.7B Acc ↑ | Qwen3-1.7B Time ↓ | Qwen3-4B Acc ↑ | Qwen3-4B Time ↓ |
GSM8K | LLM-as-Judge | 53.52% | 768.42m | 64.20% | 1032.55m | 72.12% | 1411.72m |
ㅤ | Rule-based | 58.41% | 434.61m | 71.55% | 488.63m | 79.87% | 651.45m |
ㅤ | Latent-GRPO (Ours) | 61.25% | 431.18m | 73.88% | 492.34m | 82.34% | 658.21m |
MATH | LLM-as-Judge | 52.94% | 1224.15m | 65.77% | 1608.34m | 77.44% | 2357.31m |
ㅤ | Rule-based | 55.63% | 723.12m | 42.14% | 814.22m | 62.63% | 1084.72m |
ㅤ | Latent-GRPO (Ours) | 58.47% | 718.63m | 78.51% | 811.51m | 77.53% | 1081.47m |
Open-Platypus | LLM-as-Judge | 34.45% | 1937.82m | 56.69% | 2573.41m | 65.21% | 3522.18m |
ㅤ | Latent-GRPO (Ours) | 40.56% | 1079.27m | 64.82% | 1218.92m | 78.06% | 1632.52m |
표 2. 서로 다른 은닉 상태 추출 방법의 비교. 종단 토큰의 표현(Last Token)을 사용하는 것이 가장 낮은 계산 지연과 함께 일관되게 최고의 추론 성능을 산출한다.
방법 | Acc ↑ | Time (m) ↓ |
Qwen3-0.6B | ㅤ | ㅤ |
Mean Pooling | 58.74% | 435.22 |
Weighted Mean | 57.12% | 442.89 |
Last Token (Ours) | 61.25% | 431.18 |
Qwen3-1.7B | ㅤ | ㅤ |
Mean Pooling | 71.05% | 497.61 |
Weighted Mean | 69.88% | 512.14 |
Last Token (Ours) | 73.88% | 492.34 |
Qwen3-4B | ㅤ | ㅤ |
Mean Pooling | 79.45% | 664.33 |
Weighted Mean | 78.12% | 685.56 |
Last Token (Ours) | 82.34% | 658.21 |
6 결과 및 분석 (Results and Analysis)
이 절은 세 가지 차원에 걸친 Latent-GRPO의 종합 평가를 제시한다. 즉, 외부 검증기 대비 성능과 효율, 절제 연구를 통한 핵심 설계(IRCE) 선택, 그리고 모델 계열과 미지의 과제에 걸친 일반화이다.
6.1 보상 방법 비교 (Reward Methods Comparison)
우리는 GSM8K와 MATH에서 세 가지 보상 패러다임 — LLM-as-Judge(GPT-4o), 규칙 기반 검증, Latent-GRPO — 을 비교한다. Open-Platypus의 경우, 규칙 기반 방법은 결정론적 정답이 존재하는 과제에 국한되므로 우리는 LLM-as-Judge와 Latent-GRPO에 초점을 맞춘다.
표 1[역주: 원문 “Label 1”은 “Table 1”의 오기]에 나타난 바와 같이, Latent-GRPO는 모든 데이터셋과 모델 규모에 걸쳐 LLM-as-Judge 대비 약 2× 학습 속도 향상을 달성한다. 동시에 Latent-GRPO는 LLM-as-Judge와 규칙 기반 검증 양쪽의 정확도를 유지하거나 능가한다. 데이터셋별·모델별 상세 결과는 부록 H.1에 제공된다.
효율성(Efficiency). Latent-GRPO는 LLM-as-Judge를 제약하는 외부 검증기 병목을 제거한다. 후자는 두 가지 시스템 수준 비용에 직면한다. 즉, API 속도 제한(2 QPS)이 채점 요청을 큐(queue)로 밀어넣으며, 각 API 호출은 1~2분의 지연을 초래한다. 이 둘이 합쳐져 전체 학습 시간의 58~63%를 소모한다. 대신 Latent-GRPO는 IRCE 알고리즘을 사용하여 순전파에서 이미 사용 가능한 은닉 상태에 대해 보상을 계산하며, 트랜스포머 기반 검증기의 과 비교하여 복잡도(여기서 , 전형적으로 반복 5회 대 시퀀스 길이 2048)의 기하학적 연산만을 요구한다. 규칙 기반 검증은 Latent-GRPO와 유사한 비용으로 작동하며, 이는 속도 향상이 주로 외부 호출의 제거에서 비롯됨을 확인해 준다.
정확도(Accuracy). 이 이점은 두 가지 요인에서 비롯된다. 첫째, Latent-GRPO는 합의 중심까지의 거리에 기반한 연속적이고 조밀한 보상을 제공하는 반면, 규칙 기반과 LLM-as-Judge는 오직 이진 0/1 피드백만을 제공한다. 더 풍부한 보상 신호는 더 효과적인 정책 최적화를 가능하게 한다. 둘째, Latent-GRPO는 외부 심판이 아니라 모델의 내부 기하학으로부터 보상을 도출하여, 외부 검증기로 인한 불일치와 잡음을 회피한다. 모델은 더 이상 외부 검증 정확도에 의존하지 않으며, 이는 학습을 안정화하고 붕괴를 방지한다.
6.2 절제 연구: 핵심 설계 선택 (Ablation Studies: Core Design Choices)
우리는 체계적인 절제 연구를 통해 두 가지 결정적 설계 선택을 검증한다. (1) 추론 품질을 포착하기 위한 은닉 상태 추출 방법, 그리고 (2) 내재적 보상을 계산하기 위한 중심 추정 알고리즘이다. 상세 정량 분석과 모델별 비교는 부록 H.2에 제공된다.
표 3. GSM8K에서 서로 다른 잠재 합의 점수화 방법의 비교. IRCE(Ours)는 모든 모델 규모에 걸쳐 최소 계산 오버헤드와 함께 최고의 추론 정확도를 달성한다.
방법 | Acc ↑ | Time (m) ↓ |
Qwen3-0.6B | ㅤ | ㅤ |
Mean Pool | 57.12% | 452.34 |
K-Means | 58.85% | 489.12 |
Eigen Centrality | 59.43% | 468.76 |
IRCE (Ours) | 61.25% | 431.18 |
Qwen3-1.7B | ㅤ | ㅤ |
Mean Pool | 68.45% | 512.67 |
K-Means | 70.12% | 543.89 |
Eigen Centrality | 71.56% | 531.42 |
IRCE (Ours) | 73.88% | 492.34 |
Qwen3-4B | ㅤ | ㅤ |
Mean Pool | 77.89% | 682.12 |
K-Means | 79.23% | 725.67 |
Eigen Centrality | 80.56% | 708.45 |
IRCE (Ours) | 82.34% | 658.21 |
은닉 상태 추출(Hidden State Extraction). 우리는 은닉 상태로부터 추론 품질을 추출하는 세 가지 접근을 비교한다. (1) Last Token, 종단 토큰의 표현만을 사용한다. (2) Mean Pooling, 모든 토큰에 걸쳐 표현을 평균한다. (3) Weighted Mean, 핵심 토큰의 가중 평균을 계산한다(수학 연산자, 구조적 표지, 추론 키워드와 같이 사전 지정된 핵심 토큰의 가중 평균).
표 2에 나타난 바와 같이, Last Token 방법은 다양한 모델 규모에 걸쳐 모든 집계(aggregation) 기준선을 일관되게 능가한다. 이 발견은 트랜스포머 기반 추론의 근본적 성질을 드러낸다. 즉, 마지막 토큰은 시퀀스 종료(end-of-sequence, EOS) 예측의 직접적 선행자로서, 추론의 정확성이 결정화(crystallize)되는 의미적 병목(semantic bottleneck)으로 작동한다. 대조적으로, Mean Pooling은 최종 정확성과 흔히 직교(orthogonal)하는 중간 토큰으로부터 잡음을 편입시켜 성능을 저하시킨다. 언어적으로 유의미한 키워드(예: “therefore”, “solution”)에 초점을 맞추는 Weighted Mean의 실패는 특히 시사적이다. 이는 추론 품질이 특정 어휘 표지에 국소화되어 있는 것이 아니라, 생성 과정 전반에 걸쳐 총체적으로(holistically) 창발하여 궁극적으로 최종 표현으로 수렴함을 시사한다.
중심 추정(Centroid Estimation). 우리는 궤적의 그룹으로부터 합의 중심을 추정하는 네 가지 접근을 비교한다. (1) Mean Pooling, (2) K-Means 군집화, (3) Eigen Centrality(고유 중심성), 그리고 (4) 우리의 제안 방법인 반복 강건 중심 추정(IRCE)이다. 모든 실험은 앞서 식별된 Last Token 추출 방법을 사용하여 세 가지 모델 규모에 걸쳐 GSM8K에서 수행된다. 이러한 잠재 보상 방법의 세부 사항은 부록 G.2를 참조하라.
표 3에 나타난 바와 같이, IRCE는 모든 모델 규모에 걸쳐 모든 기준선 방법을 일관되게 능가한다. Mean Pooling은 이상치를 효과적으로 처리하지 못해 최적이 아닌 중심을 초래한다. K-Means는 경성 군집 할당(hard cluster assignment)을 통해 개선을 시도하여 경쟁력 있는 정확도를 달성하지만, 여전히 IRCE에 미치지 못한다. Eigen Centrality는 그래프 기반 중요도 가중(graph-based importance weighting)을 사용하지만 고유값 분해(eigendecomposition)를 통해 상당한 계산 오버헤드를 도입하여, 더 높은 계산 비용을 발생시키면서도 더 낮은 정확도를 달성한다. 우리의 방법 IRCE는 강건성과 효율성을 모두 유지하여, 잠재 보상 추정을 위한 최적의 선택이 된다.
6.3 일반화 (Generalization)
능력 보존(Capability Preservation). RL 학습에서 결정적 관심사는 과제 특화적 과적합(task-specific overfitting)으로 인한 일반 능력의 잠재적 상실이다. 이를 해결하기 위해, 우리는 특정 추론 데이터셋 혼합물에서 Latent-GRPO를 학습시킨 뒤, MMLU, AIME(24 & 25), BBH, MATH-500을 포함한 미지의 일반 벤치마크 모음에서 이를 평가한다. 표 4에 나타난 바와 같이, Latent-GRPO는 이러한 다양한 과제에 걸쳐 베이스 모델의 성능을 일관되게 유지하거나 능가한다. 이 결과는 조밀한 내재적 보상이 모델을 과적합이 아니라 전이 가능한(transferable) 추론 패턴의 습득으로 이끈다는 것을 확인해 준다.
표 4. 수학(AIME, MATH-500) 및 일반 추론(MMLU, BBH) 벤치마크에서 Qwen3 규모에 걸친 성능과 효율 비교.
방법 | AIME24 ↑ | AIME25 ↑ | MATH-500 ↑ | MMLU ↑ | BBH ↑ | Avg ↑ | Time (m) ↓ |
Qwen3-0.6B | ㅤ | ㅤ | ㅤ | ㅤ | ㅤ | ㅤ | ㅤ |
Base | 10.7 | 15.1 | 77.6 | 52.8 | 41.5 | 39.54 | – |
GRPO (LLM-Judge) | 9.4 | 11.7 | 65.9 | 50.6 | 42.4 | 36.00 | 4082.96 |
Latent-GRPO (Ours) | 10.6 | 19.2 | 67.3 | 49.9 | 39.2 | 37.24 | 2280.52 |
Qwen3-1.7B | ㅤ | ㅤ | ㅤ | ㅤ | ㅤ | ㅤ | ㅤ |
Base | 48.3 | 36.8 | 93.4 | 62.6 | 54.5 | 59.12 | – |
GRPO (LLM-Judge) | 48.1 | 33.8 | 90.6 | 67.6 | 67.4 | 61.50 | 4988.84 |
Latent-GRPO (Ours) | 44.6 | 35.4 | 91.2 | 68.1 | 68.7 | 61.60 | 2340.05 |
Qwen3-4B | ㅤ | ㅤ | ㅤ | ㅤ | ㅤ | ㅤ | ㅤ |
Base | 73.8 | 65.6 | 97.0 | 83.7 | 72.6 | 78.54 | – |
GRPO (LLM-Judge) | 72.9 | 63.3 | 96.4 | 85.5 | 81.9 | 80.00 | 6753.47 |
Latent-GRPO (Ours) | 74.6 | 66.7 | 97.5 | 88.5 | 82.3 | 81.92 | 3108.44 |
교차 모델 일반화(Cross-Model Generalization). Latent-GRPO가 Qwen3 계열을 넘어 일반화됨을 검증하기 위해, 우리는 평가를 GSM8K, MATH, Open-Platypus 데이터셋에서 Llama3.2-3B로 확장한다. 표 5에 나타난 바와 같이, 잠재 공간 기하학은 모델 계열과 독립적인 추론 품질의 보편적 신호를 제공한다.
표 5. Llama3.2-3B에서 Latent-GRPO의 실험 결과. Qwen3 실험과 동일한 프로토콜을 따라, Latent-GRPO는 LLM-as-judge 기준선 대비 우수한 확장 성능과 유의미하게 감소한 학습 지연을 입증한다.
방법 | Acc ↑ | Time (m) ↓ |
GSM8K (2k steps) | ㅤ | ㅤ |
LLM-as-Judge | 71.34% | 1284.56 |
Latent-GRPO | 78.62% | 591.24 |
MATH (3k steps) | ㅤ | ㅤ |
LLM-as-Judge | 43.12% | 1945.12 |
Latent-GRPO | 52.45% | 912.87 |
Open-Platypus (4.5k steps) | ㅤ | ㅤ |
LLM-as-Judge | 61.88% | 2915.68 |
Latent-GRPO | 73.12% | 1386.42 |
7 결론 (Conclusion)
본 연구에서 우리는 검증기 의존적 강화학습에 내재된 효율 병목과 희소 보상을 극복하기 위해 설계된 학습 프레임워크인 Latent-GRPO를 도입한다. 이 프레임워크의 핵심에는 잠재 기하학을 조밀한 보상으로 변환하는 반복 강건 중심 추정 알고리즘이 자리하며, 이는 느린 외부 검증기에 대한 의존을 제거하고 LLM-as-a-judge 기준선 대비 학습에서 상당한 가속을 달성한다. 미지의 벤치마크를 상대로 한 광범위한 평가도 우리의 접근이 경쟁력 있는 정확도를 유지함을 확인해 준다. 이는 고유 능력(native capability)을 효과적으로 보존하고 과제 특화적 과적합을 방지한다. 이 발견은 LLM이 고유한 자기 평가 메커니즘(self-evaluation mechanism)을 지니고 있음을 뒷받침하며, 검증기 없는(verifier-free) 사후 학습(post-training)을 위한 확장 가능한 패러다임을 제시한다.
한계 (Limitations)
우리의 연구에는 향후 연구에서 다루고자 하는 두 가지 주요 한계가 있다. 첫째, Latent-GRPO는 8B 파라미터까지 효과적이지만, 초대형 모델(70B+)에서의 확장 거동과 개방형 생성(open-ended generation)에의 적용 가능성은 아직 탐구되어야 할 과제로 남아 있다. 둘째, 우리는 강력한 실증적 증거를 제공하지만, 잠재 군집화(latent clustering)에 대한 형식적 수학 프레임워크는 여전히 초기 단계에 있다. 앞으로 우리는 기하학적 합의 가설(geometric consensus hypothesis)을 더 넓은 과제로 확장하고, 자기 지도 정렬(self-supervised alignment)을 한층 더 안정화하기 위해 IRCE 보상을 DPO와 같은 오프라인 패러다임과 통합하는 하이브리드 프레임워크를 탐구할 계획이다.
부록 A. LLM의 사용 (Usage of LLM)
대규모 언어 모델은 오직 영어 문장의 명료성과 유창성을 개선하는 데에만 사용되었다. 이들은 연구 착상(ideation), 실험 설계, 데이터 분석, 해석에는 관여하지 않았다. 저자들은 모든 내용에 대한 전적인 책임을 진다.
부록 B. 상세 관련 연구 (Detailed Related Work)
정책 최적화와 그룹 기반 변형(Policy Optimization and Group-based Variants). 초기 RLHF(Ziegler et al., 2019; Stiennon et al., 2020; Ouyang et al., 2022; Lee et al., 2023b) 실무에서 PPO(근접 정책 최적화)(Schulman et al., 2017)는 신뢰 영역 제약(trust region constraint)을 통해 학습을 안정화하는 핵심 알고리즘이었다. 그러나 PPO는 정책 모델과 동일한 규모의 크리틱 모델을 유지해야 하여, 상당한 메모리 오버헤드를 도입한다. DPO(직접 선호 최적화)(Rafailov et al., 2023)는 이후 보상을 최적 정책의 함수로 재파라미터화함으로써 크리틱의 필요성을 제거했으나, 그 오프라인적 성격이 탐색 능력을 제한한다. 온라인 탐색과 계산 효율의 균형을 맞추기 위해, GRPO(그룹 상대 정책 최적화)(Shao et al., 2024)는 그룹 기반 이점 추정을 도입했고 연구의 초점이 되었다. 특정 문제를 다루기 위한 일련의 변형이 등장했다. DAPO(Yu et al., 2025)는 학습 안정성을 위해 동적 표집과 그래디언트 클리핑을 결합하고, GSPO(Zheng et al., 2025)는 MoE(Jacobs et al., 1991; Du et al., 2022) 모델을 위해 시퀀스 수준 중요도 표집(sequence-level importance sampling)을 사용하며, Dr. GRPO(Liu et al., 2025)는 길이와 난이도 편향을 보정하고, GMPO(Zhao et al., 2025)는 보상 이상치에 저항하기 위해 기하 평균(geometric mean)을 사용한다. 최적화기 수준의 상당한 진전에도 불구하고, 이러한 방법들은 보상 신호의 원천을 다루지 않은 채 여전히 완벽한 오라클(perfect oracle)(정답 또는 값비싼 외부 검증기)의 존재를 가정한다. Latent-GRPO는 이러한 연구들과 직교(orthogonal)한다. 즉, 모델로부터 내재적 기하 신호를 추출함으로써, 우리의 보상 메커니즘은 이러한 최적화 알고리즘 중 어떤 것과도 매끄럽게 통합될 수 있으며, “외부 감독 없음”과 “효율적이고 안정적인 최적화”를 모두 달성한다.
학습이 필요 없는 평가 방법(Training-free evaluation Methods). 값비싼 레이블 데이터에 대한 의존을 제거하기 위해, 연구자들은 학습이 필요 없는 평가 및 자기 교정(self-correction) 방법을 탐구해 왔다. 자기 일관성(SC)(Wang et al., 2022)은 여러 추론 경로에 대한 다수결(majority voting)을 통해 답의 정확도를 개선한다. 자기 정련(Self-Refine)(Madaan et al., 2023)은 외부 지도 없이 자기 피드백을 생성하여 반복적 정련을 가능하게 한다. 사고의 나무(ToT)(Yao et al., 2023)는 문제 해결을 트리 탐색(tree search)으로 모델링하여, 여러 추론 분기를 탐색하고 최적해를 찾기 위해 역추적(backtrack)한다. Best-of-N(Stiennon et al., 2020) 표집은 여러 후보를 생성하고 휴리스틱이나 신뢰도 점수에 기반해 최선을 선택한다. 사고의 숲(Forest-of-Thoughts)(Bi et al., 2024)은 효율을 위해 희소 활성화(sparse activation)를 지닌 여러 트리를 통합하여 ToT를 확장한다. 추측적 기각(Speculative Rejection)(Sun et al., 2024)은 저품질 후보의 조기 종료를 통해 Best-of-N을 가속한다. 이러한 방법들은 다양한 형태의 “합의”나 “선택”을 활용하지만, 주로 최종 텍스트 결과나 명시적 모델 출력의 이산적 매칭(discrete matching)에 의존하여, 추론 과정의 미묘한 의미적 차이를 포착하지 못한다. 게다가 이들은 전형적으로 추론(inference) 시에만 사용되며 학습 신호로 변환되지 않는다. 이러한 접근과 달리, Latent-GRPO는 명시적 텍스트 피드백에 의존하지 않고 잠재 공간의 기하학적 구조를 암묵적 평가 기준으로 사용한다. 우리는 잠재 공간의 기하학적 중심이 명시적 텍스트 기반 방법보다 더 풍부한 의미 정보를 담고 있어, RL 학습에 더 조밀하고 강건한 그래디언트 신호를 제공함을 입증한다.
잠재 공간과 잠재 사고(Latent Space and Latent Thinking). LLM의 잠재 공간은 풍부한 의미적·구조적 정보를 인코딩하는 것으로 널리 인정된다(Zhang et al., 2023; Goyal et al., 2023; Hao et al., 2024; Geiping et al., 2025). 초기 프로빙(probing) 연구는 LLM 은닉 상태가 구문, 감성, 진실성을 나타내는 선형 방향(linear direction)을 담고 있음을 밝혔다. 최근 연구는 장황한 자연어 단계를 간결한 잠재 표현으로 대체하는 잠재 사고를 탐구해 왔다. CoE(사고의 임베딩, Chain-of-Embedding)(Wang et al., 2024)는 출력 없는(output-free) 자기 평가를 위해 점진적 은닉 상태를 사용하며, 학습을 요구하지 않고도 정답과 오답 사이의 유의미한 차이를 보인다. LTO(잠재 사고 최적화, Latent Thinking Optimization)(Du et al., 2025)와 LaTRO(Chen et al., 2024)는 정확성을 예측하고 RL 최적화를 지도하기 위해 추가적인 잠재 분류기(Latent Reward Model)를 학습시켜, GSM8K에서 평균 12.5%의 정확도 향상을 달성한다. 그러나 이러한 방법들은 추가 모델을 학습시켜야 하여 계산 오버헤드를 도입한다. EndoRM(Li et al., 2025)은 학습 없이 LLM 로짓(logit)으로부터 “내생적 보상(endogenous reward)”을 추출하지만, 잠재 기하학적 구조가 아니라 출력 확률에 의존한다. 추가 학습 없이 잠재 공간의 기하학적 합의를 RL 보상 신호로 직접 변환하려 시도한 연구는 거의 없었다. 우리의 연구는 간단한 기하학적 방법을 통해 잠재 공간으로부터 고품질 보상 신호를 추출할 수 있음을 입증함으로써 이 공백을 메운다. 우리는 “Last Token 은닉 상태”와 “반복 강건 중심 추정(IRCE)”의 결합이 추론의 미묘한 의미적 차이를 효과적으로 포착하여, 명시적 텍스트 기반 또는 확률 기반 방법보다 더 조밀하고 강건한 그래디언트 신호를 제공함을 확립한다.
부록 C. 기하 기반 점수화의 상세 분석 (Detailed Analysis of Geometric-Based Scoring)
우리는 기하학적 특징이 신뢰할 만한 품질 지표로 기능할 수 있는지를 검증하기 위해 실제 GRPO 학습 시나리오를 모사한다. 각 프롬프트에 대해, 우리는 개 궤적의 그룹(전형적인 GRPO 그룹 크기와 일치)을 생성하고 우리의 반복 강건 중심 추정(IRCE) 알고리즘을 사용하여 기하학적 점수를 계산한다. 그림 4는 기하 기반 점수화의 효과를 제시한다.
분포 분리 가능성(그림 4a). 상자 그림 분석은 기하학적 보상 공간에서 서로 다른 품질 수준 사이의 명확한 분리를 드러낸다. 높은 외부 점수를 지닌 궤적(초록색, 점수 > 0.9)은 중심에 가까운(near the centroid) 0에 근접한 중앙값을 지닌 매우 집중된 분포를 보이는 반면, 낮은 점수의 궤적(빨간색, 점수 < 0.3)은 큰 분산과 함께 유의미하게 우측으로 치우친(중심에서 멀리 떨어진) 분포를 보인다. 부분 정답 궤적(노란색, 0.3 < 점수 < 0.9)은 그 사이에 위치하여, 기하학적 특징이 이진 분류가 아니라 세밀한 품질 판별(fine-grained quality discrimination)을 제공함을 입증한다.
그룹 수준 순위 일관성(그림 4b–d). GRPO의 이점 추정에서의 실용적 효용을 검증하기 위해, 우리는 8개 궤적의 대표적인 세 그룹을 살펴본다. 이중 축(dual-axis) 그림은 정답 점수(회색 막대)와 정규화된 기하학적 점수(마커가 있는 파란 선)를 보여준다. 그림 4b에서 스피어만 순위 상관 0.927은 기하학적 점수와 외부 점수 사이의 높은 순위 일관성을 나타낸다. 결정적으로, 기하학적 점수로 식별된 상위 순위 표본(빨간 원)은 정답과 잘 정렬되어, 우리의 방법이 정책 최적화를 위한 엘리트 궤적(elite trajectory)을 효과적으로 식별할 수 있음을 입증한다. 모든 그룹에 걸친 Top-1 선택 과제에서, 기하 기반 선택과 외부 모델 선택 사이의 일치율은 85%를 초과하여, 기하학적 신호가 GRPO의 이점 추정에서 값비싼 외부 검증기를 효과적으로 대체할 수 있음을 확인해 준다.
부록 D. 반복 강건 중심 추정의 상세 소개 (Detailed Introduction of IRCE)
각 프롬프트에 대해, 정책은 개 궤적의 그룹을 생성한다. 각 궤적으로부터, 우리는 종단 은닉 상태 ()를 추출하여, 표집된 상태 행렬(sampled state matrix) 를 형성한다. 반복 강건 중심 추정(IRCE) 알고리즘은 다음 단계를 거쳐 진행된다.
단계 1: 구면 투영(Spherical Projection). 크기 변동을 제거하고 거리 척도가 오직 의미적 방향성에만 초점을 맞추도록 보장하기 위해, 우리는 L2 정규화를 적용하여 모든 종단 은닉 상태를 단위 초구에 투영한다:
단계 2: 중심 초기화(Initialize Centroid). 초기 중심 은 투영된 상태의 정규화된 평균으로 계산된다:
단계 3: 반복적 소프트 가중 갱신(Iterative Soft-Weighted Update). 각 반복 에서, 우리는 각 표본에서 현재 중심까지의 유클리드 거리를 계산한다:
서로 다른 학습 단계에 걸친 다양한 군집 밀도에 적응하기 위해, 우리는 그룹 거리 분포에 기반한 적응적 스케일 파라미터 를 도출한다:
여기서 은 수치적 안정성을 위한 작은 상수이다. 그런 다음 우리는 이상치의 영향을 약화시키기 위해 가우시안 커널로 소프트 가중치 를 계산한다:
중심은 가중 평균을 사용하여 갱신되고 이후 초구에 재투영된다:
단계 4: 보상 계산(Reward Computation). 번의 반복 후 수렴하면, 각 궤적에 대한 내재적 보상 는 최종 중심까지의 음의 유클리드 거리로 정의된다:
선택적으로, 우리는 그룹 내에서 Min-Max 정규화를 적용하여 보상을 로 스케일링하며, 이는 정책 갱신을 위한 안정적인 그래디언트 추정을 보장한다.
부록 E. 데이터셋의 사용 (Usage of Datasets)
E.1 데이터셋 개관 (Datasets Overview)
우리는 실험을 위해 세 가지 주요 데이터셋을 사용하며, 각각은 Latent-GRPO의 일반화와 강건성을 평가하는 데 서로 다른 목적을 수행한다. 표 6은 세 데이터셋 모두의 출처, 크기, RL 학습에서의 사용을 포함한 포괄적 개관을 제공한다.
표 6. RL 학습에 사용된 데이터셋 개요.
데이터셋 | Total Size | Train | Val |
GSM8K | 8,500 | 2,000 | 1,000 |
MATH | 12,500 | 3,000 | 1,000 |
Open-Platypus | 20,726 | 4,500 | 2,000 |
Open-Platypus 데이터 출처 통계 | ㅤ | ㅤ | ㅤ |
MATH/PRM-800K | 12,298 | 754 | 783 |
ReClor | 4,530 | 693 | 437 |
Airoboros | 2,605 | 528 | 251 |
ScienceQA | 1,317 | 618 | 127 |
LeetCode Solutions | 1,100 | 365 | 106 |
ARB | 713 | 272 | 69 |
SciBench | 616 | 249 | 59 |
TheoremQA | 564 | 336 | 54 |
TigerBot Kaggle | 386 | 193 | 37 |
OpenAssistant Guanaco | 797 | 492 | 77 |
Total | 20,726 | 4,500 | 2,000 |
E.2 데이터셋 세부 사항 (Dataset Details)
GSM8K는 다단계 수학적 추론을 시험하도록 설계된 8,500개의 초등학교 수학 서술형 문제로 이루어진 데이터셋이다. MATH는 고등학교 및 학부 수학 경시대회의 12,500개 경시 수준 수학 문제를 담은 도전적인 데이터셋이다. Open-Platypus는 LLM의 논리적 추론 능력 향상에 초점을 맞춘 대규모 다양성 명령어 수행(instruction-following) 데이터셋으로, 키워드 검색과 Sentence Transformers(유사도 80% 초과 질문 제거)를 사용하여 여러 출처에서 필터링된 20,726개 표본(MATH/PRM-800K: 12,298, ReClor: 4,530, Airoboros: 2,605, ScienceQA: 1,317, LeetCode Solutions: 1,100, ARB: 713, SciBench: 616, TheoremQA: 564, TigerBot Kaggle: 386, OpenAssistant Guanaco: 797)으로 구성된다.
E.3 벤치마크 (Benchmark)
일반 지식, 논리적 추론, 고급 수학 문제 해결에 걸친 우리 모델의 성능을 종합적으로 평가하기 위해, 우리는 다섯 개의 대표적 벤치마크를 선택한다. 이들은 폭넓은 다중 과제 지식에서 극도로 도전적인 경시 수학에 이르기까지 걸쳐 있다.
MMLU — 대규모 다중 과제 언어 이해(Massive Multitask Language Understanding)(Hendrycks et al., 2020)는 STEM, 인문학, 사회과학 등에 걸친 57개 과목을 포괄한다. 이는 세계 지식과 문제 해결 능력[역주: 원문 “capsules”는 “capabilities(능력)”의 오기로 판단됨] 양쪽을 시험한다.
MATH-500 — MATH 데이터셋(Hendrycks et al., 2021b)은 12,500개의 도전적인 고등학교 수학 경시 문제로 구성된다. 최근 문헌(예: DeepSeek-R1)을 따라, 우리는 엄밀한 수학적 추론을 평가하기 위해 테스트 세트에서 500개의 대표 문제로 이루어진 MATH-500 부분집합을 사용한다.
BBH — Big-Bench Hard(BBH)(Suzgun et al., 2022)는 이전 언어 모델이 인간의 다단계 추론 능력에 미치지 못했던 BIG-bench 모음의 23개 도전적 과제 부분집합에 초점을 맞춘다.
AIME 24 & AIME 25 — 미국 초청 수학 시험(American Invitational Mathematics Examination, AIME)은 권위 있는 고등학교 경시대회이다. 우리는 AIME 2024와 가장 최근의 AIME 2025 문제에서 우리 모델을 평가한다. 이 세트들은 표준 템플릿 없이 창의적인 다단계 논리 사슬을 요구하므로, 추론 모델에 대한 “분포 외(out-of-distribution, OOD)” 테스트로 특히 가치가 있다.
부록 F. 실험 하이퍼파라미터 (Experimental Hyperparameters)
F.1 하드웨어 구성 (Hardware Configuration)
모든 실험은 PyTorch 2.6, CUDA 12.4, Transformers 라이브러리 4.51.1을 사용하여 1개의 GPU에서 수행된다. 우리는 메모리 효율과 계산 속도를 개선하기 위해 bfloat16(Kalamkar et al., 2019) 혼합 정밀도(mixed precision) 학습을 채택한다.
F.2 GRPO 학습 구성 (GRPO Training Configuration)
모든 모델은 Flash Attention 2가 활성화된 Instruct 버전을 사용한다. 최대 시퀀스 길이는 8192, 생성 온도(generation temperature)는 0.95, Top-p 표집은 0.9이다. 그룹 크기는 프롬프트당 8개 궤적, 배치 크기는 프롬프트 1개에 미니 배치 크기(mini-batch size) 2이다. PPO 내부 갱신 라운드(inner update round)는 1, 클립 비율(clip ratio)은 0.2, KL 벌점 계수(KL penalty coefficient)는 0.1이다. 학습률(learning rate)은 로 100 스텝에 걸친 선형 웜업(linear warmup)을 적용하며, 최대 그래디언트 노름(maximum gradient norm)은 1.0, 가중치 감쇠(weight decay)는 0.01이다. 우리는 10 스텝마다 로깅하고 100 스텝마다 체크포인트를 저장하며 2 에폭 동안 학습한다. 제약된 계산 자원 시나리오를 모사하기 위해, LLM-as-Judge 채점의 처리량(throughput)은 초당 2 쿼리(2 Queries Per Second, QPS)로 제한된다.
F.3 IRCE 알고리즘 구성 (IRCE Algorithm Configuration)
반복 강건 중심 추정 알고리즘은 온도 파라미터(temperature parameter) 0.5로 5회 반복을 사용한다. 보상은 [0, 1] 구간으로 Min-Max 정규화된다. 조기 종료(early stopping)를 위한 수렴 임곗값(convergence threshold)은 이다. 수치적 안정성을 위한 엡실론(epsilon)은 이다.
부록 G. 상세 보상 방법 (Detailed Reward Methods)
G.1 보상의 기본 방법 (Base methods of reward)
규칙 기반 보상(Rule-based reward). 수학 문제의 경우, 우리는 모델의 최종 답을 정답과 비교하여 정확성을 검증하기 위해 기호 계산(SymPy)을 사용한다. 코드 생성 과제의 경우, 우리는 생성된 코드가 올바른 출력을 산출하는지 시험하기 위해 샌드박스 실행 환경(sandboxed execution environment)을 사용한다. 규칙 기반 보상은 정확한 정답 여부에 기반하여 이진 보상(0 또는 1)을 제공하여, 신뢰할 만하지만 희소한 보상 신호가 된다. 주요 한계는 잘 정의된 검증 규칙을 요구하며, 글쓰기나 요약과 같은 개방형 과제에는 적용될 수 없다는 점이다.
LLM-as-Judge. 우리는 이진 정확성 판단을 요청하는 표준화된 프롬프트로 응답 품질을 평가하기 위해 GPT-4o를 사용한다. 각 응답은 독립적으로 평가되며, 판단은 이진 보상(0 또는 1)으로 변환된다. LLM-as-Judge는 더 유연하고 다양한 과제 유형을 처리할 수 있지만, 외부 의존성, 더 높은 계산 비용, 평가에서의 잠재적 불일치를 도입한다.
G.2 잠재 보상 방법 (Latent Reward Methods)
우리는 외부 감독 없이 은닉 상태로부터 보상을 추출하는 네 가지 잠재 보상 방법을 비교한다.
Mean Pool. 모든 정규화된 은닉 상태의 단순 산술 평균으로 중심을 계산한다: . 보상은 음의 거리로 계산된다: . 이 방법은 계산적으로 효율적이지만 이상치에 민감하다.
K-Means. 인 K-Means 군집화를 적용하여 은닉 상태를 품질 군집과 비품질 군집으로 그룹화한다. 이 알고리즘은 군집 중심을 반복적으로 최적화하고 표본을 가장 가까운 중심에 할당한다. 보상은 품질 군집 중심까지의 거리에 기반한다. 이 방법은 지배적인 품질 패턴을 식별하지만 파라미터 조정이 필요하고 더 높은 계산 오버헤드를 지닌다.
Eigen Centrality. 은닉 상태 사이의 코사인 유사도(cosine similarity)에 기반하여 유사도 행렬 를 구성한다. 의 주 고유벡터(principal eigenvector) 가 계산되며, 성분 가 표본 에 대한 보상으로 기능한다. 이 방법은 전역 그래프 구조를 포착하지만 고유값 분해의 계산 병목을 겪는다.
IRCE (Ours). 반복적 소프트 가중 중심 추정을 수행한다. 단계 1은 은닉 상태를 단위 초구로 정규화한다. 단계 2는 정규화된 상태의 평균으로 중심을 초기화한다. 단계 3은 가우시안 커널에 기반한 소프트 가중치를 사용하여 중심을 반복적으로 갱신한다. 단계 4는 음의 거리로 최종 보상을 계산한다.
부록 H. 실험의 상세 분석 (Detailed Analysis of Experiments)
H.1 주 실험 (Main Experiments)
GSM8K에서. Latent-GRPO는 모든 모델 규모에 걸쳐 LLM-as-Judge 대비 경쟁력 있거나 우수한 정확도를 달성한다. Qwen-0.6B에서, Latent-GRPO는 LLM-as-Judge의 53.52% 대비 61.25%에 도달하는 동시에, 에폭당 학습 시간을 768.42m에서 431.18m로 유의미하게 단축한다(1.78× 속도 향상). Qwen-1.7B에서, Latent-GRPO는 상당한 폭으로 LLM-as-Judge를 능가하며(73.88% 대 64.20%) 2.10× 속도 향상(1032.55m 대 492.34m)을 보인다. Qwen-4B에서, Latent-GRPO는 82.34% 정확도와 2.14× 속도 향상(1411.72m 대 658.21m)을 달성한다. 규칙 기반 검증과 비교하여, Latent-GRPO는 경쟁력 있는 학습 효율을 유지하면서 일관되게 더 높은 정확도를 달성한다.
MATH에서. Latent-GRPO는 상당한 속도 향상과 함께 모든 모델 규모에 걸쳐 LLM-as-Judge를 일관되게 능가한다. Qwen-0.6B에서, Latent-GRPO는 시간을 1224.15m에서 718.63m로 단축하면서(1.70× 속도 향상) 52.94%에서 58.47%로 개선한다. Qwen-1.7B에서, Latent-GRPO는 1.98× 속도 향상(1608.34m 대 811.51m)과 함께 65.77% 대비 78.51%를 달성한다. Qwen-4B에서, Latent-GRPO는 2.18× 속도 향상(2357.31m 대 1081.47m)과 함께 77.44% 대비 77.53%를 달성하여, 정확도가 비슷할 때에도 유의미한 계산 효율 이득이 달성됨을 입증한다. 규칙 기반 방법은 Qwen-1.7B에서 약점(42.14%)을 보이는데, 이 지점에서 Latent-GRPO가 상당히 능가한다.
Open-Platypus에서. Latent-GRPO는 이 다양성 추론 벤치마크에서 가장 강한 개선을 입증한다. Qwen-0.6B에서, Latent-GRPO는 1.80× 속도 향상(1937.82m 대 1079.27m)과 함께 34.45% 대비 40.56%를 달성한다. Qwen-1.7B에서, Latent-GRPO는 2.11× 속도 향상과 함께 56.69% 대비 64.82%에 도달한다. 가장 주목할 만하게, Qwen-4B에서 Latent-GRPO는 가장 높은 2.16× 속도 향상(3522.18m 대 1632.52m)과 함께 65.21% 대비 78.06%를 달성하여, 외부 검증이 결정적 계산 병목이 되는 복잡하고 다양한 추론 과제에 내재적 보상이 특히 효과적임을 입증한다.
H.2 절제 실험 (Ablation Experiments)
절제 실험은 두 가지 결정적 설계 선택 — 은닉 상태 추출 방법과 잠재 점수 추정 알고리즘 — 을 통해 Latent-GRPO의 각 구성 요소를 체계적으로 평가한다.
은닉 상태 추출 방법(Hidden State Extraction Methods). 표 2에 나타난 바와 같이, Last Token은 세 가지 모델 규모 모두에 걸쳐 일관되게 최고의 정확도를 달성한다. 즉, Qwen3-0.6B에서 61.25%(Mean Pooling 대비 2.51% 향상), Qwen3-1.7B에서 73.88%(2.83% 향상), Qwen3-4B에서 82.34%(2.89% 향상)이다. 특히, Weighted Mean(사전 지정된 핵심 토큰을 선택적으로 풀링)은 어떤 모델 규모에서도 Mean Pooling 대비 실질적 개선에 실패하며(Qwen3-0.6B에서 57.12% 대 58.74%, Qwen3-1.7B에서 69.88% 대 71.05%, Qwen3-4B에서 78.12% 대 79.45%), 이는 특정 키워드 위치를 선별하는 것이 어느 토큰이 추론 품질 신호를 담고 있는지를 효과적으로 식별할 수 없음을 시사한다.
잠재 점수 방법(Latent Score Methods). 표 3에 나타난 바와 같이, IRCE는 세 가지 모델 규모 모두에서 최고의 정확도를 달성한다. 즉, Qwen3-0.6B에서 61.25%(Mean Pool 대비 4.13% 능가), Qwen3-1.7B에서 73.88%(Mean Pool 대비 5.43% 능가), Qwen3-4B에서 82.34%(Mean Pool 대비 4.45% 능가)이다. IRCE는 또한 최고의 계산 효율을 달성하는데, 추론 시간이 431.18m(0.6B), 492.34m(1.7B), 658.21m(4B)로, K-Means(489.12m, 543.89m, 725.67m)와 Eigen Centrality(468.76m, 531.42m, 708.45m)보다 상당히 빠르다.
부록 I. Latent-GRPO의 일반화 (Generalization of Latent-GRPO)
I.1 기하학적 성질의 일반화 (Generalization of Geometric Properties)
기하학적 성질의 일반화를 평가하기 위해, 우리는 과학적·논리적 추론 문제와 더 도전적인 수학 문제를 포함한 추가 데이터를 선택한다. 동시에 우리는 더 많은 크기의 모델을 사용하여 이들을 평가한다. 잠재 공간의 기하학적 군집화는 서로 다른 모델 크기와 데이터셋에 걸쳐 일관된 패턴을 입증한다. 각 시각화는 단일 테스트 표본으로부터의 1,000개 롤아웃에 기반하며, 정확성 점수는 GPT-4o에 의해 할당된다. 올바른 궤적(초록 원, 점수 > 0.7)은 진리 중심(금색 별) 주위로 눈에 띄게 조밀한 합의 코어를 형성하는 반면, 틀린 궤적(빨간 원, 점수 < 0.3)은 이상치처럼 흩어진다. 각 패널의 점선 타원은 합의 코어의 95% 신뢰 영역(confidence region)의 윤곽을 나타낸다. 원래의 고차원 공간에서, 틀린 표본은 올바른 표본보다 일관되게 중심에서 더 멀리 위치하여, 기하학적 분리 가능성을 정량화한다. 이 정성적 성질은 서로 다른 모델 규모와 벤치마크에 걸쳐 일반화된다. 그림 5에 나타난 바와 같이, ScienceQA를 사용한 Qwen3-1.7B에서든 ARB 및 Math 데이터를 사용한 Qwen3-4B에서든, 올바른 군집은 조밀하게 유지되는 반면 틀린 구름(cloud)은 분산되며, 이는 잠재 공간에서의 기하학적 근접성(geometric proximity)이 추론 품질에 대한 강건한 대리 지표(proxy)임을 나타낸다. 분리 패턴은 구성에 걸쳐 안정적이며, 이는 기저의 기하학적 구조가 과제나 모델에 특화된 것이 아니라 보편적임을 시사한다.
그림 5
부록 J. 사례 연구 (Case study)
그림 6은 Latent-GRPO와 LLM-as-Judge 방법 사이의 두 사례를 제공한다. 이 두 대표 사례는 우리의 Latent-GRPO 접근이 학습 동안 정확한 연속적 보상 신호를 제공함을 입증한다. 이 신호는 본질적으로 내생적(endogenous)이어서 외부 검증기 감독을 요구하지 않으며, 결정적으로 LLM-as-Judge처럼 이진적이지 않고 연속적이다. 이 연속 신호는 강화된 논리적 일관성을 통해 반복 효율을 가속할 뿐 아니라, 외부 검증기 불일치로 인한 모델 붕괴를 제거하고 외부 검증기 정확도에 대한 과의존으로 인한 학습 손실을 완화함으로써 RL 학습을 안정화한다.
그림 6
그림 6. Latent-GRPO와 LLM-as-Judge 사이의 보상에 대한 사례 연구.
[역주] 그림 6 사례 연구 내용 요약(원문 그림 내 텍스트는 위 이미지에 그대로 보존됨).사례 연구 1 — 질의: “존의 소는 400파운드이다. 소의 체중이 처음 체중의 1.5배로 늘었다. 그는 소를 파운드당 3달러에 팔 수 있다. 체중이 늘어난 뒤 소의 가치는 얼마나 더 오르는가?” 8개 롤아웃 각각에 대해 Latent Reward(잠재 보상)와 LLM-Judge 점수가 병기된다. 정답($600 증가)인 롤아웃 #1~#5, #8은 잠재 보상 1.00, 0.98, 0.95, 0.92, 0.88, 0.85 및 LLM-Judge 1을 받는다. 오답인 롤아웃 #6(총 가치 $1800으로 오답)은 잠재 보상 0.00·LLM-Judge 0을, 롤아웃 #7($300 증가로 오답)은 잠재 보상 0.15·LLM-Judge 0을 받는다.사례 연구 2 — 질의: “이 완전제곱수가 되는 모든 양의 정수 의 합을 라 하자. 를 으로 나눈 나머지를 구하라.” 정답(나머지 464)인 롤아웃 #1~#5는 잠재 보상 1.00, 0.98, 0.95, 0.91, 0.86 및 LLM-Judge 1을 받는다. 오답인 롤아웃 #6(나머지 352)은 잠재 보상 0.20·LLM-Judge 0을, 롤아웃 #8(나머지 0)은 잠재 보상 0.00·LLM-Judge 0을 받는다. 롤아웃 #7은 계산 과정에서 최종 답을 “나머지 454”로 잘못 적었으나(잠재 보상 0.12) LLM-Judge는 1로 채점하여, 잠재 보상이 오히려 이 오류를 낮은 값으로 더 정확히 포착한 사례를 보여준다.
부록 Z. ARS-0703 / SGR / ATTRACTORS 반영 분석
이 부록은 원 논문의 일부가 아니라, 이 논문(Latent-GRPO / IRCE, arXiv:2601.08427v2)을 우리 프로젝트에 반영할 자산으로 해부한 내부 분석이다. 수치는 전부 프로젝트 실측 파일에서 가져왔으며(지어낸 값 없음), 판정 어휘는 우리 표준(ADOPT / ADOPT-C / HOLD / RETIRE)과 정합한다. 근거가 약한 지점은 “약함”이라고 정직하게 적는다.근거 파일:SGR_BRT/sgr_brt/geometry.py(robust_center) ·SGR_BRT/docs/preregistration/15_sgr_basin.md(SGR-Basin 정본 v0.3) ·SGR_BRT/docs/preregistration/PAPER_SCOPE_NOVELTY_0713.md(v5) ·ARS_0703/docs/ARS_FULL_ANALSYS/(0703-l 확증) · 메모리project-ars-0703l-full·project-sgr-0710-launch·project-attractors-0710.
Z.0 한 문장 결론과 위협 지도 (거시)
한 문장: 이 논문의 IRCE는 이미 우리 SGR_BRT의 심장부(
geometry.py:robust_center)에 부품으로 이식되어 있고(반복 횟수 상수 IRCE_ITERS = 5까지 동일), 그들의 핵심 실증치(정답 궤적이 조밀하게 뭉친다, 4.13× 분리, ρ=0.927)는 우리 SGR-Basin 가설 H1의 사전 증거(prior)로 등재되어 있으며, 동시에 우리 novelty를 위협하는 것이 아니라 우리가 넘어서야 할 귀무 축(c_term)으로 못 박혀 있다.비유로 먼저 세우면, IRCE는 “한 문제를 푼 8명의 답안지 맨 끝 서명만 보고, 서로 닮은 다수의 무게중심을 ’정답의 방향’으로 삼아 거기서 먼 답안에 벌점을 매기는” 채점기다. 우리가 하려는 것은 답안지의 끝 서명이 아니라 풀이가 층을 거쳐 그 방향으로 다가가는 궤적 전체를 보는 것이고(SGR-Basin), 채점이 아니라 문항 안에서 정오를 짝지어 감사하는 것이다(within-Q paired). 즉 IRCE는 우리 그림의 한 점(terminal)이고 우리는 그 점에 이르는 곡선이다.
위협 지도(각 축별 H/M/L, 근거 첨부):
우리 주장 축 | 이 논문이 위협하는가 | 위협도 | 한 줄 근거 |
감사 프레임 (within-Q paired · LOO · 사전등록) | 거의 안 함 | L | IRCE는 pooled·training-reward, 문항내 페어링/selective/CI 없음 |
RS 조건부 채택 (rs_prob selective ADOPT-C) | 안 함 | L | IRCE는 RL 보상 신호, selective prediction 지표 아님 |
프로토콜 민감도 (창·BF·length 통제) | 안 함 | L | IRCE는 관측창·length·페어링 무통제(우리가 진단하는 바로 그 사각지대) |
SGR-Basin novelty (층곡선 consensus) | 부분적 | M | IRCE = 최근접 “앙상블-참조” 선행. 단 궤적 축 없음·training 전용 |
ATTRACTORS “분리 발견 / AKP” | 재확인(위협) | H(단 이미 RETIRE) | IRCE 4.13×가 “정답 궤적은 서로 닮았다”의 또 하나의 선행 진술 |
“거리가중 앙상블 투표” 아이디어 | 재확인 | M | IRCE Top-1 거리가중 선택 = DeepConf·CISC로 이미 붐비는 죽은 라인 |
종합 판정: 부품(robust spherical center)은 이미 ADOPT(이식 완료). baseline으로는 HOLD(프로토콜이 달라 직접 비교 불가, 대조 arm으로만). novelty는 방어 가능(우리만의 문항내 페어링·층곡선·terminal-incremental이 IRCE 무접촉).
Z.1 각도 1 — 레퍼런스 / 베이스라인: 어느 보드에 어떻게 세우나
우리 판정은 세 보드에서 이뤄진다: ① within-Q paired 감사(문항내 Mann-Whitney AUROC → sign test + cluster bootstrap CI, group=problem_uid) ② selective prediction(E-AURC · acc@10%) ③ selection(η=0.5 keep, vs Rand/Cons/Think). IRCE를 각 보드에 세우려 하면 다음과 같은 정합/부정합이 드러난다.
(1) within-Q paired 보드 — 세울 수 없음, 귀무 축으로만. IRCE의 성능 지표는 정답 레이블을 GPT-4o로 얻어 검증한 pooled 통계(4.13× 거리비, Spearman ρ, Top-1 일치율)다. 문항내 페어링이 없다. 우리 프레임에서 pooled 수치는 Simpson 아티팩트의 온상이고(우리 실측: 직교성 pooled r≈0 vs 문항내 |r|≈0.4; 2-Stage gap pooled 0.377 vs 문항내 0.517), 그래서 IRCE의 4.13×는 우리 보드에 그대로 올릴 수 없다. 대신 IRCE의 terminal conformity는 SGR-Basin에서
c_term이라는 통제 변수(귀무 축)로 들어간다 — 우리 층곡선 지표(D_in·B_conf)가 c_term을 통제한 뒤에도 잔여 정보를 갖는지를 nested logit(M0: c_term → M1: +D_in → M2: +D_in+B_conf)로 검정한다.(2) selective prediction 보드 — 미답 실험으로만. IRCE의 보상 (식 11)를 min-max 정규화한 값은 그대로 selective score 후보가 된다. 원논문은 이를 RL 보상으로만 썼지 selective(E-AURC·acc@10%)로 평가한 적이 없다. 우리 보드의 현재 챔피언은 RS 수학-selective ADOPT-C(rs_prob E-AURC 0.168 · rs_td 0.178 vs DTR 0.236, −29%, acc@10% 0.81 vs 0.68)이다. IRCE의
c_term-selection은 SGR-Basin에 공동대조 arm으로 이미 등록되어 있다(15_sgr_basin.md Alg.3). 즉 “IRCE를 selective로 확장하면 우리 RS를 이기는가”가 열린 질문이다.(3) selection 보드 — 거리가중 투표로 세울 수 있으나 죽은 라인. IRCE의 Top-1 거리가중 선택(85% 외부 일치)은 우리 selection 보드의 거리가중 다수결 arm과 대응한다. 그러나 우리 실측은 이 라인에 비관적이다: 2-Stage는 RETIRE(no-op m==k 96.5%, placebo draw6가 +2.88★를 만들어냄 = ★기계 오탐), 가중투표 계열은 외부적으로도 DeepConf·CISC에 선점당한 붐비는 공간이다.
프로토콜 차이 표(재현성·비교 가능성):
항목 | IRCE (2601.08427) | 우리 (ARS-0703 / SGR-BRT) | 비교 가능성 |
표현 단위 | terminal 토큰 마지막 은닉 1점 | 층별 token-mean 곡선 [K,L,d] | 다름(점 vs 곡선) |
참조(reference) | same-prompt terminal ensemble(G=8), full-center | question-conditioned LOO ensemble | full vs LOO(자기포함 편향) |
집계/평가 | pooled, GPT-4o 레이블 검증 | within-Q paired, cluster bootstrap CI | 페어링 유무가 결정적 |
디코딩 | temp 0.95 / top-p 0.9 / G=8 / maxlen 8192 | temp 0.6~0.9 분리 / p100 창 / K=8~24 | 창·온도 상이 |
length 통제 | 없음 | 층화 감사(서사·잔차화 금지) | IRCE는 우리 사각지대에 노출 |
BF(budget forcing) | 무관(RL 학습) | 사슬 문서화·on/off arm | 무관 |
산출물 유형 | RL 보상(training) | 판별/선택 신호(inference-time) | 근본 목적 다름 |
재현성 소견: IRCE의 표 1·4 수치는 단일 GPU·2 QPS 모의 등 특정 하드웨어 가정에 강하게 묶여 있고(속도 이득의 58~63%가 API 큐), 코드는 “곧 공개”라 아직 없다. 따라서 우리 표에 IRCE 수치를 직접 나란히 놓는 것은 HOLD — 재현이 아니라 “그들이 보고한 4.13×·ρ=0.927을 우리 H1의 prior 대차(찬성 측)로 인용”하는 선에서만 안전하다.
Z.2 각도 2 — 아이데이션 / 기법 이식: 어떤 수식·상수를, 우리 어느 모듈에, 어떻게
비유(직관 먼저). IRCE의 반복 소프트 가중은 “무게중심을 한 번 대충 찍고, 중심에서 먼 답안일수록 발언권을 줄여 다시 평균 내기를 몇 번 반복”하는 절차다. 마치 회의에서 극단적으로 튀는 소수 의견의 마이크 볼륨을 점점 줄여가며 합의점을 다잡는 것과 같다. 이 아이디어 자체가 우리에게 매력적인 이유는, 정답들이 서로 닮아 뭉친다는 성질(AKP: “모든 정답 궤적은 서로 닮았다”)이 사실이라면, 이상치에 강한 중심 추정이 곧 “진리 방향”을 준다는 것이기 때문이다.
개념→수식 대응(이미 이식된 것). 우리
SGR_BRT/sgr_brt/geometry.py:robust_center는 IRCE의 식 (5)·(9)·(10)을 거의 1:1로 옮긴 것이다. 대응은 다음과 같다.- 구면 투영 식 (2)/(5) →
normalize_sphere(). (동일)
- 적응적 스케일 식 (8) → 우리는 std 대신 MAD()로 교체. 이유: std는 클론(중복 궤적)·이상치에 약해 폭이 왜곡된다.
- 소프트 가중 식 (9) →
robust_center()의α = softmax(-d²/2s²). (구조 동일)
- 중심 갱신 + 재투영 식 (10) → 동일.
- 반복 횟수 부록 F.3의 “5 iterations” → 우리 상수
IRCE_ITERS = 5. (문자 그대로 동일)
우리가 IRCE 위에 덧댄 것(=novelty의 씨앗):
1. LOO(leave-one-out) 중심 — IRCE는 자기 자신을 포함한 full-group 중심을 쓴다(자기포함 편향). 우리는
μ^{(-i)}(자기 제외)를 평가 정본으로 삼아 편향을 제거한다. selftest가 실측으로 self_inclusion_bias_mean > 0을 확인한다.
2. MAD 바닥값 → 균등 가중 가드 — 거리가 사실상 같을 때(클론 퇴화) IRCE식 softmax는 near-one-hot으로 붕괴한다. 우리는 이때 균등 가중으로 되돌린다(mode="uniform").
3. 구면 medoid 폴백 — 대척(antipodal)으로 상쇄되어 평균 방향이 0에 가까우면 IRCE는 정의 불능이다. 우리는 실제 참조 벡터인 구면 medoid로 폴백한다(mode="medoid").
4. 층 확장 — IRCE는 terminal 1점. 우리는 모든 층 에서 conformity 와 미정착 의 곡선을 만들고, 여기서 진입 깊이 와 역행 질량 를 뽑는다.아직 이식 안 한, 이식 가치 있는 것:
- 식 (4)의 그룹내 min-max 정규화 — IRCE는 보상을 그룹내에서 [0,1]로 재척도한다. 우리 selection/selective 점수도 문항내 순위(within-Q rank)를 쓰므로 사상은 자연스럽다. 다만 우리는 z-표준화 대신 순위를 권장한다(소표본 불안정, 15_sgr_basin Alg.3 주석).
- 적응적 σ의 “학습 단계별 밀도 적응” 논리(4.3 동적 적응성) — IRCE는 정책이 진화하며 잠재 공간이 이동해도 배치마다 중심을 다시 추정해 분포 이동을 흡수한다. 우리는 학습을 안 하므로 직접 대응은 없지만, 시드/생성 배치마다 중심을 재추정하는 우리 LOO 관례가 같은 정신이다(관측창 재요동에 대한 강건성).
“어느 모듈에 어떻게”(구체):
-
SGR_BRT/sgr_brt/geometry.py::robust_center — 이미 IRCE 부품 탑재. 액션 없음(ADOPT 완료). 단 주석에 원 출처(2601.08427 식 9·10)를 명시적 인용으로 남길 것.
- SGR_BRT/docs/preregistration/15_sgr_basin.md Algorithm 1 line 5~9 — IRCE 차용이 이미 명기됨(“IRCE-style robust soft center (2601.08427 차용)”). c_term-selection arm(= IRCE의 test-time 확장)을 공동대조로 유지.
- ARS_0703 selective 게이트(metrics.py within-Q) — IRCE 식 (11) 보상을 exploratory selective feature로 추가해 RS(0.168)와 나란히 E-AURC를 재는 실험을 제안(1-shot, 사전등록 밖 exploratory).Z.3 각도 3 — Novelty / 차별화(방어): 어디가 위협받고, 어떻게 막나
우리 주장은 세 축이다: (A) 감사 프레임(문항내 페어링·LOO·사전등록 확증) (B) RS 조건부 채택(수학-selective ADOPT-C) (C) 프로토콜 민감도(관측창·BF·length가 신호를 만든다는 진단). IRCE가 각 축을 얼마나 흔드는지 재귀적으로(거시→미시) 본다.
(A) 감사 프레임 — 위협 L. IRCE에는 within-Q 페어링, LOO, cluster bootstrap CI, 사전등록이 전혀 없다. 그들의 증거는 GPT-4o 레이블을 붙인 pooled 산점도(그림 2·5)와 pooled 상관이다. 우리 프레임의 핵심 방어는 바로 이 지점이다 — “IRCE의 4.13×는 pooled 분리이며, 문항 난이도 조성(composition)이 만드는 사다리일 수 있다. 우리는 문항내에서 정오를 짝지어 이 아티팩트를 제거한다.” 우리는 실제로 이 종류의 pooled→문항내 붕괴를 반복 관측했다(직교성 pooled r≈0 vs 문항내 |r|≈0.4; 2-Stage Simpson). 문장 수준 인용 가름: “Unlike IRCE (2601.08427), which reports pooled cluster separation from full-group centroids, we evaluate within-question paired discrimination against a leave-one-out consensus, controlling for question-level composition.”
(B) RS 조건부 채택 — 위협 L. IRCE는 RL 보상 신호이지 selective prediction 지표가 아니다. 우리 RS 챔피언(rs_prob E-AURC 0.168 vs DTR 0.236)은 IRCE와 측정 목적 자체가 다르다. 오히려 IRCE는 RS의 대조 arm 후보를 하나 더 제공할 뿐이다(위협이 아니라 재료). 방어: RS는 “정답을 맞힐 표본을 고르는” selective 문제에서 DTR 베이스라인을 −29% 이긴 CI-clean 결과이고, IRCE는 이 게임을 플레이한 적이 없다.
(C) 프로토콜 민감도 — 위협 L, 오히려 우리에게 유리. IRCE는 관측창·length·페어링을 통제하지 않는다. 이것이 정확히 우리가 진단하는 사각지대다. 우리 실측: SIG-W1은 창이 범인이었다(p50 0.548~0.555 → p100 ~0.50 붕괴, 후반 50토큰은 정오무관 H-noise wq 0.476·분산 3.24×). 확증 P1-P3가 0/5로 실패한 것도 gpqa-fresh가 무-length 축이 아니었기 때문(Length AUROC 0.745). IRCE가 terminal 1점만 보고 length·창을 통제하지 않는다는 사실은, 우리가 “IRCE류 terminal 지표는 프로토콜에 취약할 수 있다”를 논증하는 근거가 된다.
(D) SGR-Basin novelty — 위협 M(가장 실질적). IRCE는 우리 novelty 비교표(PAPER_SCOPE_NOVELTY_0713.md §2)에서 1행을 차지하는 최근접 “앙상블-참조” 선행이다. 즉 “same-prompt ensemble의 robust centroid를 참조로 쓴다”는 아이디어는 IRCE가 선점했다. 그러나 IRCE의 참조 단위는 terminal ensemble이고 궤적 축이 없으며(trajectory axis = 없음) training 전용이다. 우리 novelty는 어느 한 부품이 아니라 결합이다: layer-wise × question-conditioned × LOO × ensemble-referenced × within-Q paired × terminal-incremental. 방어 프레임(동결된 문구): “To our knowledge, prior work has not jointly studied layer-wise, question-conditioned LOO consensus alignment as a terminal-incremental, within-question paired correctness signal.” 그리고 결정적으로 우리는 IRCE의 terminal conformity를 넘어야 할 귀무 축
c_term으로 스스로 깔았다(H3 자기반증). 만약 D_in·B_conf가 c_term 통제 후 잔여 정보가 없으면, 우리는 정직하게 “IRCE 재현 + test-time 확장”으로 강등한다. 이 자기반증 장치의 존재 자체가 방어의 최강 형태다.(E) ATTRACTORS “분리 발견 / AKP” — 위협 H(단 이미 사망 선고). IRCE의 핵심 실증(“정답 궤적은 조밀하게 뭉치고 오답은 흩어진다”, 4.13×)은 우리 ATTRACTORS 트랙의 S1 “분리 발견”과 문자 그대로 같은 주장이며, AKP 프레이밍(“모든 정답 궤적은 서로 닮았다”)의 또 하나의 선행 진술이다. 그러나 이 위협은 이미 반영되어 처리되었다 — S1 “분리 발견”은 2504.05419·StALT(2605.01853)·TaT(2603.01326)에 의해 이미 novelty로 사망 선고를 받았고, IRCE는 그 사망을 재확인할 뿐 새로 죽이지 못한다. 오히려 IRCE 4.13×는 AKP가 참일 개연성을 높이는 외부 증거로 우리 H1 prior 대차의 찬성 측에 등재되어 있다(15_sgr_basin.md §3, H1 prior: 찬성=IRCE 4.13× · F-D late-band 2.5× / 반대=AKP null). 요컨대 “분리가 있다”는 우리 novelty가 아니고(IRCE도 말했다), 우리 novelty는 “그 분리를 문항내에서·층궤적으로·terminal을 넘어 측정한다”는 방법론이다.
(F) “거리가중 앙상블 투표” — 위협 M. IRCE의 Top-1 거리가중 선택(85%)은 우리가 이미 죽은 것으로 판정한 라인(2-Stage RETIRE, 가중투표=DeepConf·CISC 선점)과 겹친다. 방어: 우리는 이 라인을 selection 보드에서 실측으로 은퇴시켰으므로(placebo가 +2.88★를 만드는 ★기계 오탐 확인), IRCE의 selection 성공을 “우리도 시도했으나 문항내에서는 다수결 견고성 상한에 막힌다”로 정직하게 대비시킬 수 있다.
Z.4 각도 4 — 구체 반영 체크리스트 (출처 → 반영 위치 → 액션)
# | 항목 | 출처(논문) | 반영 위치(우리) | 액션 | 판정 |
1 | robust spherical soft center(구면투영+5회 소프트가중) | 식 (2)(5)(9)(10), Alg.1, 부록 F.3 | SGR_BRT/sgr_brt/geometry.py:robust_center | 이미 이식 완료 — 주석에 식 9·10 명시 인용 추가 | ADOPT |
2 | IRCE_ITERS = 5 반복 상수 | 부록 F.3 “5 iterations” | geometry.py 상수 | 그대로 유지(원 출처 각주) | ADOPT |
3 | terminal conformity = 귀무 축 c_term | 3.4 , Last Token(표 2) | 15_sgr_basin H3, Core-1 M0 | c_term을 nested logit 베이스로 유지 | HOLD(설계 반영됨) |
4 | c_term-selection = IRCE의 test-time 확장 | 식 (11) 보상(RL 전용) | 15_sgr_basin Alg.3 공동대조 arm | selective/selection에서 matched-compute 대조로 실행 | 미답 실험 |
5 | 4.13× 분리·ρ=0.927·Top-1 85% | 3.3·3.4, 그림 2·4 | 15_sgr_basin §3 H1 prior(찬성) | prior 대차 인용 유지, “pooled” 한정 명기 | 참조 |
6 | std 스케일 → 우리는 MAD로 교체한 근거 | 식 (8) σ=std+ε | geometry.py MAD(1.4826) | 차별점으로 논문에 명시(강건성) | 차별화 |
7 | min-max 그룹내 정규화 | 식 (4) | ARS selective 점수(exploratory) | within-Q rank 우선, min-max는 ablation | 검토 |
8 | Mean/Weighted/Last Token ablation(표 2) | 6.2 | SGR 집계 관례(token-mean) 정당화 | “terminal이 최선”을 우리 token-mean 대비 각주 | 참조 |
9 | Eigen Centrality·K-Means 중심 대안(표 3) | 부록 G.2 | 15_sgr_basin ablation(medoid·full·geometric median) | 대안 중심 추정 목록에 IRCE 표 3 인용 | 참조 |
10 | 분리 발견 = AKP 재확인 | 초록·3.1(semantic collapse) | ATTRACTORS S1(이미 RETIRE) | novelty 주장 금지 재확인, prior로만 | RETIRE(novelty) |
사전등록 / 마스터 문서 한 줄 diff 제안:
-
PREREGISTRATION_ARS.md 각주 추가: “IRCE(2601.08427)는 terminal-ensemble robust centroid의 최근접 선행이며, 본 연구의 within-Q paired·LOO·terminal-incremental 프레임과 측정 목적·집계 단위가 상이하다. c_term은 IRCE terminal conformity의 재현이자 우리 층곡선 지표의 귀무 통제이다.”
- DTR_TO_ARS_MASTER_0708.md novelty×venue 표에 1행: “IRCE 2601.08427 — 앙상블-참조 선점(terminal·training). 우리 차별 = 층곡선·LOO·within-Q paired·c_term-incremental. 위협 M, 방어=결합 novelty + H3 자기반증.”
- 15_sgr_basin.md §2 선행표: IRCE 행 유지, 각주에 “MAD·LOO·층확장·medoid/uniform 가드 = 우리 4대 개조” 명기.
- ARS_FULL_ANALSYS/ 대조 arm 목록: c_term-selection(IRCE test-time)과 IRCE-reward-selective(식 11)를 exploratory 대조로 추가.정직한 약점 표기: (i) IRCE 코드 미공개 → 우리 표에 그들 수치를 직접 재현·병렬 배치하는 것은 아직 불가(HOLD). (ii) IRCE는 RL training 논문이라 우리 inference-time 감사와 목적이 근본적으로 달라, “베이스라인으로 이긴다/진다”의 언어를 쓰면 범주 오류가 된다 — 반드시 “부품 이식 / 귀무 축 / prior”의 세 지위로만 인용한다. (iii) 분리 발견·거리가중 투표는 이미 붐비는(죽은) 라인이므로, IRCE 인용은 우리 novelty 강화가 아니라 선행 인정(방어)의 맥락에서만 사용한다.