HITL과 RLHF의 미래: AI가 '이해'해야 할 것을 정의하는 방법

생성형 AI가 인상적인 결과물을 만들어내는 시대입니다. 그러나 실제 배포 환경에서 AI는 여전히 놀라운 방식으로 실패하곤 합니다. 문화적 맥락을 놓치거나, 편향을 증폭시키고, 그럴듯하지만 완전히 잘못된 정보를 생성하기도 하죠.

우리는 이러한 실패가 모델 아키텍처의 문제라고 생각하지 않습니다. 이는 근본적으로 '데이터 설계'의 문제입니다. AI가 무엇을 이해해야 하는지, 어떤 판단 기준을 적용해야 하는지를 가르치는 교과서가 불완전하기 때문입니다.

바로 여기서 Human-in-the-Loop(HITL)와 RLHF(Reinforcement Learning from Human Feedback)가 핵심적인 역할을 합니다. 이들은 단순히 AI의 출력을 교정하는 작업을 넘어, AI가 세상을 바라보는 관점 자체를 설계하는 과정입니다. mediaCORPUS가 지난 12년 동안 현장에서 확인한 것은 분명합니다. 데이터는 AI를 위한 단순한 연료가 아니라, AI의 행동을 결정하는 지침서(Instruction Manual)입니다.

Challenge: 왜 모델만으로는 부족한가

1. AI는 '좋음'의 기준을 스스로 정의할 수 없습니다

AI 시스템이 직면하는 가장 근본적인 문제는 무엇이 '좋은' 응답인지 스스로 판단할 수 없다는 점입니다. 기술적으로는 정확하지만 문화적으로 무례할 수 있고, 문법적으로는 완벽하지만 맥락상 동문서답일 수 있습니다.

특히 한국어의 경우 존댓말의 미묘한 뉘앙스나 상황에 맞는 표현 선택은 단순한 패턴 학습으로는 해결하기 어렵습니다. RLHF는 모델을 미세 조정하는 기술이 아니라, '인간의 판단 기준'을 AI에게 이식하는 데이터 설계 방법론으로 접근해야 합니다.

2. 합성 데이터 시대, '검증'이 곧 품질입니다

2025년, 합성 데이터(Synthetic Data)의 활용은 필수가 되었습니다. 하지만 합성 데이터는 본질적으로 '모델의 모델'입니다. 이미 학습한 패턴을 복제하기 때문에 실세계의 예측 불가능한 변수를 놓치기 쉽습니다.

"최근 연구들은 인간의 개입 없는 합성 데이터 재학습이 '모델 붕괴(Model Collapse)'를 초래할 수 있음을 경고합니다. 문법적으로는 맞지만 상식에 어긋나는 이상치를 잡아내는 것은 결국 인간의 몫입니다."

3. 규제는 '인간의 감독'을 요구합니다

EU AI Act를 비롯한 글로벌 규제의 핵심은 명확합니다. 고위험 AI 시스템은 반드시 인간의 감독(Human Oversight) 하에 있어야 한다는 것입니다. 이제 HITL은 선택 가능한 옵션이 아니라, 비즈니스의 지속 가능성을 위한 필수 조건(Compliance)이 되었습니다.

Approach: 품질을 결정하는 데이터 설계 전략

많은 기업이 데이터의 '양(Volume)'에 집중하지만, mediaCORPUS는 데이터의 '설계(Design)'에 집중합니다. Apple의 연구 결과가 보여주듯, 잘 설계된 소량의 데이터가 막대한 양의 일반 데이터보다 훨씬 높은 성능을 발휘하기 때문입니다.

전략 1: 평가 기준의 명확한 정의 (Criteria Definition)

RLHF 데이터 설계의 핵심은 "왜 이 응답이 더 나은가?"를 AI에게 설명하는 것입니다.

• 명확한 가이드라인: 단순히 '도움이 됨(Helpful)'을 넘어, 한국어 맥락에서의 '적절성'을 구체적으로 정의해야 합니다.
• 일관성 관리: 작업자 간의 불일치는 노이즈가 아닙니다. 인간 선호도의 복잡성을 반영하는 신호입니다. 이를 조율하여 진정한 Ground Truth를 만드는 것이 노하우입니다.
• Edge Case 포착: AI의 신뢰성은 평균적인 대화가 아니라, 예외적인 상황에서 결정됩니다.

전략 2: HITL을 품질 보증 프레임워크로 활용

HITL을 단순히 '사람이 검수한다'는 개념으로 좁게 해석해서는 안 됩니다. 이는 AI 개발의 전 생애주기에 걸친 품질 보증(QA) 프로세스입니다.

Insights: 12년의 현장 경험에서 배운 것들

RLHF와 HITL의 성패는 결국 데이터를 설계하고 검증하는 '사람의 전문성'에 달려 있습니다. mediaCORPUS가 삼성의 Galaxy AI 및 Bixby 프로젝트와 정부의 AI 윤리 데이터 구축 사업을 수행하며 얻은 교훈은 명확합니다.

• 음성 비서 프로젝트의 교훈:
  사용자가 '말하는 것'과 '의도하는 것' 사이의 간극을 메우는 것은 모델의 파라미터가 아니라, 그 간극을 설명해 주는 데이터였습니다.
• AI 윤리 평가의 교훈:
  '윤리적이다'라는 판단은 고정된 정답이 아닙니다. 한국의 사회적 규범과 맥락 안에서 끊임없이 변화하는 기준을 데이터에 반영해야 합니다.

결론: 신뢰할 수 있는 AI를 위한 협업

AI 기술이 발전할수록 질문은 "AI가 이것을 할 수 있는가?"에서 "우리가 AI에게 이것을 잘하도록 가르치는 데이터를 어떻게 설계할 것인가?"로 바뀌고 있습니다.

성공적인 AI 트랜스포메이션은 기술 도입만으로 완성되지 않습니다. AI가 이해해야 할 세상을 정의하고, 그 이해를 데이터로 설계하며, 올바르게 작동하는지 검증할 수 있는 '인간의 전문성'이 결합될 때 비로소 완성됩니다. mediaCORPUS는 지난 12년처럼, 앞으로도 그 데이터를 설계하는 베이스캠프가 되겠습니다.