옌의 저널에는 AI를 업무에 도입하는 이야기를 두 번 썼습니다. 도구를 바꾸는 게 아니라 워크플로우를 다시 짜는 일이라는 것, 그리고 쓰기 전에 먼저 조심할 것들. 이번 글은 방향이 반대입니다. 내부 업무가 아니라, 고객이 직접 쓰는 서비스에 AI를 도입하는 경우입니다.
같은 모델을 도입해도 서비스마다 성과가 크게 갈립니다. 어떤 곳은 기능이 하나 늘어나는 데 그치고, 어떤 곳은 콘텐츠 생산과 추천과 응대가 한꺼번에 달라집니다. 그 차이를 만드는 건 모델이 아닙니다. 모델은 누구나 같은 것을 씁니다. 갈리는 건 그 회사가 그동안 쌓아둔 데이터입니다.
문서든 문항이든 상품이든 거래 기록이든, 수년치가 쌓여 있는 서비스라면 AI 도입에서 얻을 것이 큽니다. 얼마나 큰지는 데이터 없이 같은 AI를 도입했을 때와 나란히 놓고 보면 선명해집니다. 아래 다섯 가지가 그 차이입니다.
우리만 낼 수 있는 답이 나옵니다
데이터 없이 AI를 붙이면 결국 범용 모델을 그대로 호출하는 구조가 됩니다. 그 모델은 경쟁사도 고객도 똑같이 쓸 수 있습니다. 우리 서비스 안에서 부르든 고객이 챗봇 창을 직접 열든 답이 다르지 않습니다.
쌓아둔 데이터가 있으면 여기서 갈라집니다. 모델은 같아도 근거가 다르기 때문에 답이 달라집니다. 우리 상품, 우리 커리큘럼, 우리 정책, 우리 고객이 실제로 물어봤던 것들 위에서 답이 나옵니다. 경쟁사가 같은 모델을 가져와도 이 부분은 복제하지 못합니다. AI 기능이 남과 구별되는 지점이 여기 하나뿐이라고 해도 과하지 않습니다.
구조로는 RAG를 씁니다. Retrieval-Augmented Generation — 모델이 스스로 답을 지어내게 두지 않고, 우리 데이터에서 근거를 먼저 찾은 다음 그 근거 안에서만 답하게 하는 방식입니다. 모델을 새로 학습시키는 것보다 싸고, 원본이 바뀌면 즉시 반영되고, 답의 출처를 화면에 함께 보여줄 수 있습니다.
근거를 붙이는 것만으로 결과가 얼마나 달라지는지는 측정된 바 있습니다. 공개 벤치마크에서 기본 모델의 정확도가 5~13%에 머물던 과제가, 검색을 붙이자 19~45%까지 올라갔습니다 (IEEE 2025). 모델을 바꾼 게 아니라 데이터를 붙였을 뿐인데 답의 질이 몇 배가 됩니다. 데이터가 성과를 정한다는 말이 은유가 아닌 이유입니다.
기술적으로는 데이터를 벡터로 옮기는 작업이 핵심입니다. 문장의 의미를 숫자 배열로 바꿔서, 단어가 하나도 겹치지 않아도 뜻이 가까우면 찾아지게 만드는 일입니다. 고객이 "환불 얼마나 걸려요" 라고 물었을 때 "반품 처리 기간" 문서가 걸려 나오는 게 이 구조입니다. 여기에 상품 코드처럼 정확히 일치해야 하는 것을 놓치지 않도록 키워드 검색을 함께 쓰는 하이브리드 방식이 빠르게 표준이 되고 있습니다. 2026년 1분기, 기업의 도입 의향은 한 분기 만에 10.3%에서 33.3%로 세 배가 됐습니다 (VentureBeat 2026).
만들수록 싸집니다
데이터가 없으면 AI로 무언가를 만들 때마다 백지에서 시작합니다. 열 번째로 만드는 것도 첫 번째와 비용이 같습니다.
자산이 쌓인 서비스는 다릅니다. 이미 가진 것이 재료가 됩니다. 영어교육 서비스라면 문제은행과 지문과 해설과 어휘 목록이 이미 있습니다. 새 문항을 백지에서 짜는 게 아니라, 기존 문항의 난이도와 유형과 출제 의도를 근거로 확장합니다. 교재 이미지와 텍스트가 함께 쌓여 있으면 그 조합에서 나올 수 있는 것도 함께 늘어납니다.
여기서 생기는 이점은 한 번의 절감이 아니라 곡선입니다. 만든 것이 다시 재료가 되기 때문에, 자산이 두꺼운 서비스일수록 다음 결과물의 생산 단가가 계속 내려갑니다. 처음엔 비슷해 보이던 두 서비스가 1년 뒤에는 콘텐츠 생산 속도에서 크게 벌어집니다.
고객마다 다른 결과가 나옵니다
개인화는 이력이 없으면 흉내조차 나지 않는 영역입니다. 데이터가 없으면 모든 고객에게 같은 답을 줄 수밖에 없고, 추천이라고 붙여도 인기순 정렬에서 크게 벗어나지 못합니다.
행동 데이터가 쌓인 서비스는 여기서 얻는 것이 큽니다. 쇼핑몰이라면 주문과 조회와 장바구니와 재구매 주기와 반품 사유와 시즌별 판매 곡선이 이미 있습니다. 이만큼 있으면 계절과 상품군과 개인 이력을 함께 읽는 제안이 가능해집니다. 같은 추천 기능이라도 결과물의 수준이 다른 물건이 됩니다.
개인화는 AI 활용 가운데 효과가 가장 오래 검증된 축이기도 합니다. 맥킨지는 개인화가 통상 매출을 10~15% 끌어올리고, 잘 하는 경우 25%까지, 고객 획득 비용은 최대 50%까지 낮춘다고 봅니다 (McKinsey). 이 수치를 실제로 가져가려면 읽을 이력이 있어야 합니다.
결과를 판정할 사람이 이미 안에 있습니다
의외로 크게 작용하는 이점입니다. 데이터가 없는 조직은 AI가 내놓은 결과가 좋은지 나쁜지 판정할 내부 기준 자체가 없습니다. 검수를 붙이려면 사람과 기준을 새로 만들어야 하고, 그 비용이 도입 비용보다 큰 경우도 흔합니다.
데이터를 만들어 온 조직에는 그것을 판단하던 기준과 사람이 이미 있습니다. 문항을 검토하던 사람이 그대로 AI가 만든 문항을 검토합니다. 상품 상세를 쓰던 사람이 AI가 쓴 초안을 봅니다. 새 역량을 뽑지 않아도 되고, 도입 첫날부터 결과물의 수준을 지킬 수 있습니다. 데이터가 쌓였다는 건 그것을 다루던 역량도 함께 쌓였다는 뜻입니다.
시간이 지날수록 효과가 커집니다
모델은 누구나 바꿀 수 있습니다. 더 좋은 것이 나오면 API 하나 바꾸면 됩니다. 그래서 모델을 앞서 도입한 것은 오래 가는 우위가 되지 못합니다.
데이터는 다릅니다. 사올 수도 없고 단기간에 만들 수도 없습니다. 3년치 상담 기록이나 10년치 문제은행은 3년, 10년을 들여야 생깁니다. 그동안 쌓아둔 것이 있다면 이미 확보해 둔 우위이고, AI 도입은 그 우위를 실제 기능으로 바꾸는 작업에 가깝습니다.
그리고 도입한 뒤에도 데이터는 계속 쌓입니다. 도입 시점의 효과보다 1년 뒤의 효과가 더 큽니다. 이 곡선은 데이터를 가진 쪽에만 생깁니다.
마무리
정리하면 이렇습니다. 쌓아둔 데이터가 있으면 우리만 낼 수 있는 답이 나오고, 만들수록 생산 단가가 내려가고, 고객마다 다른 결과를 줄 수 있고, 그걸 판정할 사람도 이미 안에 있고, 시간이 갈수록 효과가 커집니다. 다섯 가지 모두 데이터에서 나옵니다.
그러니 판단의 출발점은 하나입니다. 우리 서비스에 우리만 가진 데이터가 얼마나 쌓여 있는가. 문서든 문항이든 상품이든 거래 기록이든 수년치가 쌓여 있다면, AI 도입을 진지하게 고민해 볼 때입니다. 지금 그 데이터는 아무 일도 하지 않고 있을 가능성이 큽니다.
무엇부터 봐야 할지 감이 오지 않으면 문의해 주세요. 데이터를 함께 열어 보고 어디까지 되는지 가늠합니다. 옌은 바이브코딩으로 이 판단부터 구현까지를 한 흐름으로 다룹니다.