이제 AI에게 EQ도 가르쳐야 할 때:
AI에게 협업을 가르치는 데이터의 조건
GPT-4o는 수학 문제의 71%를 혼자서 정확하게 풀어냅니다. 반면 Llama-3.1-8B의 정확도는 39%에 불과합니다. 수치상으로는 비교가 안 되는 차이입니다.
하지만 인간과 협업할 때는 이야기가 달라집니다. 놀랍게도 두 모델 간의 성과 차이는 극적으로 줄어듭니다. 성능 차이 32%포인트가 협업을 하면 6%로 줄어든다는 것입니다. 단순한 통계적 오차가 아닙니다.
Northeastern 대학 Christoph Riedl 교수팀이 2025년 발표한 논문 Quantifying Human-AI Synergy는 이 현상을 통해 중요한 질문을 던집니다. "AI의 진짜 능력은 혼자 문제를 푸는 지능(IQ)이 아니라, 인간과 소통하는 협업 지능(EQ)에 있다"는 것입니다.
1. 발견: 협업 능력은 별개의 능력이다
연구팀은 참가자들이 수학, 물리학 문제를 푸는 과정을 관찰했습니다. 기존 벤치마크와 달리, 이 실험은 'AI 혼자', '인간 혼자', 그리고 '인간-AI 팀'의 성과를 각각 측정했습니다.
연구팀은 베이지안 모델(IRT)을 통해 두 가지 능력을 분리해 냈습니다.
| 측정 항목 | 의미 |
|---|
| θ (theta) | 개인 능력
혼자 문제를 풀 때의 해결 능력 |
| κ (kappa) | 협업 능력
파트너와 함께 일할 때 발휘되는 시너지 |
핵심 발견은 θ(개인 능력)와 κ(협업 능력)가 독립적이라는 사실입니다. 혼자 공부를 잘하는 학생이 반드시 팀 프로젝트에서 최고의 성과를 내지 않는 것과 같습니다. 이것은 우리가 AI를 평가할 때, 모델 자체의 스펙보다 '협업 능력'을 더 중요하게 봐야 함을 시사합니다.
2. 핵심: 마음 이론(Theory of Mind)이 협업을 만든다
그렇다면 무엇이 협업 능력을 결정할까요? 연구팀은 Theory of Mind(ToM)에 주목했습니다.
💡 Theory of Mind (마음 이론)란? 타인의 의도, 신념, 지식 상태를 추론하는 인지 능력입니다. "상대가 무엇을 모르고 있는지", "왜 저런 질문을 했는지"를 파악하는 능력으로, 인간 사회적 상호작용의 핵심 기제입니다.
연구 결과, ToM이 높은 사용자일수록 AI와의 협업 성과가 월등히 높았습니다. 그들의 프롬프트는 단순한 '지시'가 아니라 '맥락 공유'에 가까웠습니다.
ToM이 높은 프롬프트의 특징:- 관점 취하기: "저는 이 분야 초보자입니다" (자신의 상태 명시)
- 지식 격차 감지: "이전 대화 내용을 모르실 테니 설명하자면..." (AI의 한계 인식)
- 확인 추구: "제 이해가 맞나요?" (상호 검증)
3. 전환점: AI도 협업 능력을 학습해야 한다
중요한 것은 이 역학이 쌍방향이라는 점입니다. 인간이 AI의 상태를 파악하며 협업하듯, AI도 인간의 의도와 맥락을 파악해야(ToM-like capability) 진정한 시너지가 발생합니다.
Llama와 같은 상대적으로 작은 모델도 협업 시너지(κ_AI)를 통해 GPT급의 성과를 낼 수 있다는 것은, 협업 능력이 모델의 크기가 아니라 '학습된 데이터의 패턴'에 달려있음을 의미합니다. 즉, 데이터로 AI에게 '눈치'와 '센스'를 가르칠 수 있다는 것입니다.
4. AI에게 협업을 가르치는 데이터의 3가지 조건
그렇다면 어떤 데이터가 AI의 EQ를 높일 수 있을까요? 연구 결과를 바탕으로 도출한 3가지 데이터 설계 조건은 다음과 같습니다.
조건 1: Theory of Mind 신호 포착
단순한 Q&A 쌍이 아니라, "저는 초보자입니다"와 같은 맥락 설정에 AI가 적절한 톤으로 반응하는 패턴을 학습시켜야 합니다. 상대의 지식 수준에 맞춰 설명의 깊이를 조절하는 데이터가 필요합니다.
조건 2: 멀티턴(Multi-turn) 협업 프로세스
협업은 한 번의 대화로 끝나지 않습니다. [질문 → 불완전한 답변 → 수정 요청 → 개선된 답변]으로 이어지는 '오류 수정과 합의의 과정' 전체를 데이터셋으로 구축해야 합니다. 정답 그 자체보다 '정답에 도달하는 대화의 흐름'이 협업 능력의 핵심입니다.
조건 3: 실패와 난이도의 다양성
AI가 이미 잘하는 쉬운 문제의 데이터는 효용이 낮습니다. 연구에 따르면 난이도가 높고 실패하기 쉬운 영역일수록 인간-AI 협업의 가치가 극대화(&rho=0.67)됩니다. 실패 상황에서 어떻게 방향을 수정하는지를 담은 '실패 극복 데이터'가 필수적입니다.
맺음말: 데이터는 협업의 교과서입니다
지금까지 우리는 AI에게 '정답'을 가르치는 데 집중했습니다. 하지만 이제는 '함께 답을 찾아가는 법'을 가르쳐야 할 때입니다.
데이터는 더 이상 단순한 정보의 집합이 아닙니다. AI가 사용자의 의도를 읽고, 지식의 빈틈을 메우며, 건설적으로 소통하도록 만드는 '협업의 교과서'입니다. 이 교과서를 얼마나 정교하게 설계하느냐가 AI 서비스의 수준을 결정할 것입니다.
참고 문헌 (References)- Riedl, C., & Weidmann, B. (2025). Quantifying Human-AI Synergy. arXiv preprint.
- Chang, S., Anderson, A., & Hofman, J. M. (2025). ChatBench: From Static Benchmarks to Human-AI Evaluation. ACL 2025.
- Zhang, S., et al. (2024). Mutual Theory of Mind in Human-AI Collaboration. arXiv preprint.
AI의 '협업 지능', 데이터가 결정합니다.
단순 학습을 넘어, 사용자의 의도와 맥락을 이해하는 데이터 설계.
12년의 노하우를 가진 mediaCORPUS와 상의하세요.
설계 컨설팅 문의하기 
이제 AI에게 EQ도 가르쳐야 할 때:
AI에게 협업을 가르치는 데이터의 조건
GPT-4o는 수학 문제의 71%를 혼자서 정확하게 풀어냅니다. 반면 Llama-3.1-8B의 정확도는 39%에 불과합니다. 수치상으로는 비교가 안 되는 차이입니다.
하지만 인간과 협업할 때는 이야기가 달라집니다. 놀랍게도 두 모델 간의 성과 차이는 극적으로 줄어듭니다. 성능 차이 32%포인트가 협업을 하면 6%로 줄어든다는 것입니다. 단순한 통계적 오차가 아닙니다.
Northeastern 대학 Christoph Riedl 교수팀이 2025년 발표한 논문 Quantifying Human-AI Synergy는 이 현상을 통해 중요한 질문을 던집니다. "AI의 진짜 능력은 혼자 문제를 푸는 지능(IQ)이 아니라, 인간과 소통하는 협업 지능(EQ)에 있다"는 것입니다.
1. 발견: 협업 능력은 별개의 능력이다
연구팀은 참가자들이 수학, 물리학 문제를 푸는 과정을 관찰했습니다. 기존 벤치마크와 달리, 이 실험은 'AI 혼자', '인간 혼자', 그리고 '인간-AI 팀'의 성과를 각각 측정했습니다.
연구팀은 베이지안 모델(IRT)을 통해 두 가지 능력을 분리해 냈습니다.
혼자 문제를 풀 때의 해결 능력
파트너와 함께 일할 때 발휘되는 시너지
핵심 발견은 θ(개인 능력)와 κ(협업 능력)가 독립적이라는 사실입니다. 혼자 공부를 잘하는 학생이 반드시 팀 프로젝트에서 최고의 성과를 내지 않는 것과 같습니다. 이것은 우리가 AI를 평가할 때, 모델 자체의 스펙보다 '협업 능력'을 더 중요하게 봐야 함을 시사합니다.
2. 핵심: 마음 이론(Theory of Mind)이 협업을 만든다
그렇다면 무엇이 협업 능력을 결정할까요? 연구팀은 Theory of Mind(ToM)에 주목했습니다.
연구 결과, ToM이 높은 사용자일수록 AI와의 협업 성과가 월등히 높았습니다. 그들의 프롬프트는 단순한 '지시'가 아니라 '맥락 공유'에 가까웠습니다.
3. 전환점: AI도 협업 능력을 학습해야 한다
중요한 것은 이 역학이 쌍방향이라는 점입니다. 인간이 AI의 상태를 파악하며 협업하듯, AI도 인간의 의도와 맥락을 파악해야(ToM-like capability) 진정한 시너지가 발생합니다.
Llama와 같은 상대적으로 작은 모델도 협업 시너지(κ_AI)를 통해 GPT급의 성과를 낼 수 있다는 것은, 협업 능력이 모델의 크기가 아니라 '학습된 데이터의 패턴'에 달려있음을 의미합니다. 즉, 데이터로 AI에게 '눈치'와 '센스'를 가르칠 수 있다는 것입니다.
4. AI에게 협업을 가르치는 데이터의 3가지 조건
그렇다면 어떤 데이터가 AI의 EQ를 높일 수 있을까요? 연구 결과를 바탕으로 도출한 3가지 데이터 설계 조건은 다음과 같습니다.
조건 1: Theory of Mind 신호 포착
단순한 Q&A 쌍이 아니라, "저는 초보자입니다"와 같은 맥락 설정에 AI가 적절한 톤으로 반응하는 패턴을 학습시켜야 합니다. 상대의 지식 수준에 맞춰 설명의 깊이를 조절하는 데이터가 필요합니다.
조건 2: 멀티턴(Multi-turn) 협업 프로세스
협업은 한 번의 대화로 끝나지 않습니다. [질문 → 불완전한 답변 → 수정 요청 → 개선된 답변]으로 이어지는 '오류 수정과 합의의 과정' 전체를 데이터셋으로 구축해야 합니다. 정답 그 자체보다 '정답에 도달하는 대화의 흐름'이 협업 능력의 핵심입니다.
조건 3: 실패와 난이도의 다양성
AI가 이미 잘하는 쉬운 문제의 데이터는 효용이 낮습니다. 연구에 따르면 난이도가 높고 실패하기 쉬운 영역일수록 인간-AI 협업의 가치가 극대화(&rho=0.67)됩니다. 실패 상황에서 어떻게 방향을 수정하는지를 담은 '실패 극복 데이터'가 필수적입니다.
맺음말: 데이터는 협업의 교과서입니다
지금까지 우리는 AI에게 '정답'을 가르치는 데 집중했습니다. 하지만 이제는 '함께 답을 찾아가는 법'을 가르쳐야 할 때입니다.
데이터는 더 이상 단순한 정보의 집합이 아닙니다. AI가 사용자의 의도를 읽고, 지식의 빈틈을 메우며, 건설적으로 소통하도록 만드는 '협업의 교과서'입니다. 이 교과서를 얼마나 정교하게 설계하느냐가 AI 서비스의 수준을 결정할 것입니다.
AI의 '협업 지능', 데이터가 결정합니다.
단순 학습을 넘어, 사용자의 의도와 맥락을 이해하는 데이터 설계.
설계 컨설팅 문의하기12년의 노하우를 가진 mediaCORPUS와 상의하세요.