추론

대규모 언어 모델(LLM)은 단순히 인간과 유사한 텍스트를 생성하는 것뿐만 아니라 복잡한 문제를 “추론"하는 것처럼 보이기 때문에 세상을 놀라게 하고 있습니다. 하지만 토큰 예측에 기반한 통계 모델이 실제로 어떻게 논리적인 작업을 수행할 수 있을까요? 이 포스트에서는 단순한 패턴 매칭부터 Chain of Thought(CoT: 사고의 연쇄)와 같은 고급 전략에 이르기까지 LLM 추론의 메커니즘을 살펴봅니다. 1. 진정한 추론인가, 아니면 단순한 예측인가? 본질적으로 LLM은 시퀀스의 다음 토큰을 예측하도록 훈련되었습니다. 그러나 이러한 모델의 규모(파라미터 수)가 커지면서 “발현적 속성(Emergent Properties)“이 나타나기 시작했습니다. 연구자들은 모델이 수학 문제를 풀고, 코드를 작성하며, 복잡한 지시를 따를 수 있다는 사실을 발견했습니다. 이는 단순한 암기 이상의 능력을 요구하는 작업들입니다.