중소기업 AI 전환은 ‘사람 70%’가 좌우합니다 — BCG AI Value Gap 리포트 해설
“AI 전환의 승패는 기술이 아니라, 사람과 조직 70%가 가릅니다.”
이 글의 핵심 3줄 요약
✔ 성과를 가르는 건 AI 기술 10%, 사람·조직 70%입니다
✔ 실질 성과를 내는 기업은 전 세계 상위 5%뿐입니다
✔ 격차를 벌리는 건 예산이 아니라 경영진의 직접 관여입니다
최근 상담에서 한 대표님이 이렇게 말씀하셨습니다. “챗GPT 유료 결제하고 좋다는 AI 툴을 몇 개 더 넣었는데, 왜 크게 달라지는 게 없을까요?” 정말 자주 받는 질문입니다. 그런데 BCG(보스턴컨설팅그룹)가 2025년 9월 30일 발표한 리포트The Widening AI Value Gap은 이 고민에 꽤 냉정한 답을 내놓습니다. 전 세계 1,250개 기업을 조사한 이 리포트를, 중소기업·소상공인 대표님 눈높이로 처음부터 끝까지 풀어드리겠습니다.
01 중소기업 AI 전환, 도구를 넣었는데 왜 성과가 없을까요?
AI 모델 자체가 성공에 기여하는 비중은 10%에 불과하고, 나머지 70%는 사람·조직·프로세스가 좌우하기 때문입니다. BCG는 이를 10-20-70 법칙이라고 부릅니다. AI 전환에 필요한 자원과 노력을 100으로 봤을 때 알고리즘(AI 모델)이 10%, 기술 스택이 20%, 사람·조직·프로세스가 70%를 차지한다는 뜻입니다.
아무리 좋은 셰프(AI 모델)를 데려오고 좋은 주방 장비(기술 스택)를 들여놔도, 주방 직원들이 레시피를 따르지 않거나 손발이 안 맞으면 좋은 음식은 나오지 않습니다. 요리의 완성도는 결국 ‘주방이 어떻게 돌아가느냐’에 달려 있는 셈이죠.
실제로 이 리포트에서 기업들이 꼽은 가장 큰 걸림돌 상위 항목은 대부분 기술 문제가 아니었습니다.
비정형 데이터를 다룰 전문성 부족 — 79%
직원들이 AI를 매일 쓰도록 적응시키는 문제 — 77%
AI 인재 부족 — 74%
부서 간 협업을 막는 사일로 — 69%
명확한 AI 지표·ROI 측정 부재 — 68%
전사 전략과의 정합성 부족 — 63%
여섯 개 중 다섯 개가 사람과 조직에 관한 이야기입니다. 흥미로운 건 초점의 이동입니다. 2024년 조사에서는 “AI를 전략에 맞추는 것”이 가장 큰 난제였는데, 2025년에는 “AI 도구를 실제로 매일 쓰게 만드는 것”으로 옮겨갔습니다. 도구를 들여놓는 단계는 이미 지나갔고, 이제는 쓰게 만드는 단계에서 다들 막혀 있다는 뜻입니다.
02 성과를 내는 기업은 정말 상위 5%뿐인가요?
네. 41개 세부 역량을 기준으로 1,250개 기업을 나눈 결과, 전 기능에 걸쳐 꾸준히 실질 가치를 만드는 ‘퓨처빌트(Future-built)’ 기업은 5%였습니다. 나머지 분포는 아래와 같습니다.
그룹
2025년
2024년
특징
Stagnating(정체)
14%
25%
AI 조치를 거의 하지 않고 가치도 만들지 못함
Emerging(초기)
46%
49%
기초 역량은 갖췄지만 확장·성과 창출에 어려움
Scaling(확장)
35%
22%
전략과 역량을 갖추고 효과적으로 확장 중
Future-built(퓨처빌트)
5%
4%
전 기능에 걸쳐 꾸준히 실질적 가치를 창출
정체(14%)와 초기(46%)를 합친 60%를 BCG는 후발 기업군(laggards)으로 부릅니다. 이 중 3분의 1은 스스로 “전혀 진전이 없었다”고 답했습니다. 열 개 회사 중 여섯 개는 아직 AI로 눈에 띄는 성과를 못 냈다는 이야기입니다.
반면 상위 5%는 후발 기업군 대비 매출 성장률 1.7배, 영업이익률(EBIT 마진) 1.6배를 기록했습니다. 3년 총주주수익률(TSR)은 3.6배, 투하자본이익률(ROIC)은 2.7배, 특허 수는 3.5배입니다. 도구의 차이가 아니라 실행력의 차이가 이 정도 격차로 벌어지고 있습니다.
“우리 회사는 저 넷 중 어디쯤일까” 궁금하실 겁니다. AI를 실험 삼아 몇 번 써본 정도라면 초기(Emerging), 특정 업무에서 실제 효율을 체감하고 있다면 확장(Scaling) 단계에 들어섰다고 보셔도 될 가능성이 높습니다.
03 그 격차는 왜 갈수록 더 벌어지나요?
먼저 성과를 낸 기업이 그 성과를 다시 AI에 재투자하는 복리 구조 때문입니다. BCG가 2024년 실현 가치와 2028년 기대 가치를 비교했더니, 퓨처빌트 기업은 후발 기업군 대비 매출 증가 기대치가 2.1배, 비용 절감 기대치가 1.4배 높았습니다. IT 예산 중 AI 배정 비중도 26% 더 높고, 항목에 따라서는 최대 64%까지 더 크게 배정하고 있습니다.
이자에 다시 이자가 붙듯, 앞서가는 5%는 벌어들인 만큼 재투자하며 스스로 격차를 벌리고 있습니다. 반대로 후발 기업군은 아직 첫 삽도 제대로 못 뜬 채 제자리걸음입니다.
이 차이를 만드는 출발점은 결국 경영진입니다. 퓨처빌트 기업은 거의 100%가 “C레벨 경영진이 깊이 관여하고 있다”고 답한 반면, 후발 기업군은 단 8%만 그렇다고 답했습니다. 후발 기업에서 흔한 패턴은 이렇습니다. 경영진은 “우리도 AI 하고 있다”고 말하지만 명확한 목표 없이 중간관리자에게 맡겨두고, 중간관리자는 뭘 해야 할지 모르거나 변화 자체를 부담스러워하고, 결국 자원은 조율되지 않은 수십 개의 파편화된 실험에 흩어져 사라집니다.
격차를 벌리는 건 예산 규모가 아니라, 경영진이 직접 얼마나 오래 챙기느냐입니다.
04 앞서가는 5% 기업은 무엇을 다르게 하나요?
BCG는 규모·업종과 무관하게 통하는 5가지 전략을 꼽습니다. 공통점은 모두 ‘돈’이 아니라 ‘사람과 절차’에 관한 항목이라는 점입니다.
전략
후발 기업군 대비 격차
① 다년간의 공격적인 전사 AI 전략 추진
C레벨 관여도 12배, CAIO 임명 3배
② 임팩트 중심으로 업무를 재설계
배포된 AI 워크플로 5배, 가치 측정 거버넌스 2.5배
③ AI-퍼스트 운영모델로 전환
전략적 인력계획 5배, 책임있는 AI 가드레일 5배
④ 필요 인재 확보·육성
AI 학습 프로그램 4배, 재교육 예정 인원 3배
⑤ 목적에 맞는 기술·데이터 기반 구축
표준 데이터모델 3배, 중앙 AI 플랫폼 운영 3배
특히 눈에 띄는 대목은 속도입니다. 퓨처빌트 기업은 AI 이니셔티브의 62%가 이미 현장에 배포돼 있는 반면, 후발 기업군은 12%에 그칩니다. 가치를 체감하기까지 걸리는 기간도 퓨처빌트는 평균 9~12개월, 후발 기업군은 12~18개월로 최대 2배 차이가 납니다.
“우리는 규모가 작으니 저 정도 체계는 무리”라고 생각하실 수 있습니다. 그런데 순서가 반대입니다. 다섯 가지 모두 예산 크기보다 경영진이 얼마나 직접 챙기느냐, 직원이 얼마나 참여하느냐에 달린 문제입니다. 실제로 퓨처빌트 기업은 워크플로 재설계에 직원을 참여시키는 비율이 다른 기업의 2배였습니다. 조직이 작을수록 오히려 더 빠르게 실행할 수 있는 영역입니다.
05 그렇다면 중소기업 AI 전환, 어디서부터 시작해야 할까요?
새 도구를 늘리기 전에, 지금 있는 도구부터 제대로 쓰게 만드는 것이 먼저입니다. 이 리포트에 한국 중소기업만 콕 집은 통계는 없지만, 회사 규모와 무관하게 적용되는 원칙은 비교적 뚜렷합니다. 도구 수를 늘리는 건 10-20-70 중 앞의 30에 해당하고, 성과를 가르는 70은 그 도구를 매일 쓰는 사람과 절차에 있기 때문입니다.
