요즘 영업 현장을 다니다 보면 종종 듣게 되는 말이 있습니다. 특히 오랜 동안 거래해온 대학 담당자들에게 많이 듣는 말입니다.
"챗봇 잘 쓰고 있기는 한데... 그런데 학생들이 자꾸 이런 걸 물어봐요.
'저 지금 휴학 되나요?', '저 졸업 가능한가요?'
이건 왜 챗봇이 대답을 못하죠?"
그 질문을 듣는 순간, 저는 바로 알았습니다. 드디어 RAG의 벽에 부딪힌 겁니다.
RAG 챗봇을 도입하고도 담당자가 여전히 바쁜 이유, 그리고 그 다음 단계로 무엇이 필요한지. 현장에서 직접 겪은 이야기를 솔직하게 풀어보겠습니다.
RAG 챗봇이 잘 하는 것과 못 하는 것
많은 대학이 이미 RAG 기반 챗봇을 도입해 운영하고 있습니다.
RAG(Retrieval-Augmented Generation)는 학교의 학칙, 규정, 공지사항 같은 문서를 AI에게 먼저 학습시킨 뒤, 학생이 질문하면 그 문서를 기반으로 답변을 생성하는 방식입니다. "휴학 신청 기간이 언제예요?", "졸업 요건이 어떻게 되나요?" 같은 일반 규정 질문에는 꽤 잘 답합니다.
덕분에 담당자에게 쏟아지던 단순 반복 문의가 줄었습니다. 초기 도입 효과는 분명했습니다.
그런데 한 단계 더 들어가면 막힙니다.
"저는 지금 휴학이 가능한가요?"
이 질문은 결이 다릅니다. 일반 학칙을 조회하는 것을 넘어, 이 학생의 현재 이수 학점, 재학 상태, 미납 등록금 여부 같은 개인 학사정보와 학칙 규정을 동시에 연결해야만 답할 수 있기 때문입니다.
RAG는 문서를 검색하는 데는 강하지만, 분절된 개인 데이터와 규정을 연결해서 추론하는 건 못 합니다.
결국 학생은 다시 담당자를 찾아갑니다. 비싼 챗봇을 두고도 말이죠.
15년 차 IT 영업인이 현장에서 생성형 AI를 쓰는 법
저는 요즘 수십 페이지에 달하는 제안요청서(RFP)를 서너 개씩 검토할 때 생성형 AI를 직접 씁니다. RFP 문서를 통째로 올린 뒤, 우리 회사 제품 소개서도 함께 업로드합니다. 그리고 이렇게 묻습니다.
"우리 회사 관점에서 이 RFP의 핵심 요구사항을 분석하고, 우리 솔루션의 강점과 약점을 짚어줘."
사람이 처음부터 끝까지 읽으면 반나절입니다. AI는 5분 안에 핵심을 뽑아줍니다.
이걸 매일 직접 쓰면서 하나를 깨달았습니다. AI는 맥락과 관계가 잘 연결된 정보일수록 정확하게 답한다는 것. 반대로 정보가 서로 떨어져 연결되어 있지 않으면, 아무리 좋은 AI도 엉뚱한 답을 냅니다.
대학 챗봇의 문제가 바로 그겁니다. 학칙 문서와 개인 학사정보 DB가 연결되어 있지 않았던 것입니다.
RAG의 한계를 넘는 대안 — KAG
요즘 저는 RAG 챗봇을 이미 운영 중인 대학 고객들에게 KAG를 이야기합니다.
KAG. 현장에서 설명하기 편하게 저희가 쓰는 표현입니다. Knowledge-Augmented Generation, 지식 그래프 기반 생성형 AI입니다.
RAG가 문서를 검색해서 답한다면, KAG는 개념들 사이의 관계를 그래프로 연결해서 추론합니다. AI가 이런 논리 구조를 거치는 겁니다.
KAG 추론 예시
"이 학생은 현재 3학년 2학기이고, 이수 학점은 OO점이며,
필수 전공 중 미이수 과목이 존재한다.
학칙 제O조에 따르면 이 조건에서는 졸업이 불가능하다.
따라서 이 학생은 내년 봄 졸업이 불가하다."
담당자가 내부 시스템을 열고 학번을 조회해 20분 넘게 확인해줄 것을, AI가 즉시 판단해주는 시스템입니다.
RAG vs KAG 핵심 차이점 한눈에 보기
| 구분 | RAG | KAG |
|---|---|---|
| 방식 | 문서 텍스트 기반 검색 후 답변 생 성 |
지식 그래프로 개념 간 관계를 연결해 추론 |
| 답변 가능 | "휴학 신청 기간과 서류는?" (일반 규정) | "내 학점으로 지금 휴학 가능?" (개인 맞춤) |
| 한계 | 개인 데이터 기반 맞춤 추론 불가 | 고성능 GPU 필요, 도입 비용 높음 |
| 적합 대상 | AI 챗봇 초기 도입 단계 | RAG 한계를 경험한 기관의 고도화 단계 |
솔직한 현실 — 기술이 좋다고 무조건 도입해선 안 됩니다
KAG는 강력하지만, 하드웨어 비용이 만만치 않습니다.
제대로 된 성능을 내려면 GPU H200이 최소 두 장 필요합니다. 한 장에 수천만 원 수준입니다. 시스템 구축 전체 비용으로 보면 대학이나 기관 입장에서 묵직한 투자입니다.
그래서 저는 고객에게 항상 세 가지를 먼저 확인합니다.
학생들이 담당자에게 직접 찾아오는 문의가 하루 몇 건입니까?
챗봇 도입 전후로 담당자에게 직접 오는 학생 문의 건수를 비교해보세요. 줄었다면 RAG로 충분합니다. 여전히 많다면, 그 문의의 유형이 무엇인지가 다음 단계의 판단 근거가 됩니다.
내부 인프라가 연동 가능한 수준입니까?
학사 정보 DB 연동과 보안 처리가 기술적으로 안전하게 가능한지 먼저 진단합니다. 인프라가 받쳐주지 않으면 아무리 좋은 AI도 제 성능을 낼 수 없습니다.
작은 범위로 먼저 파일럿 테스트가 가능합니까?
전면 도입 전에 특정 학과나 단과대학 단위로 먼저 테스트해보는 것(POC)을 권합니다. 규모를 줄여 시작하면 리스크는 낮추고, 실제 효과를 체감한 뒤 전체 확대 여부를 결정할 수 있습니다.
결국 AI 도입의 본질은 기술이 아니라 진단입니다
RAG를 이미 경험한 여러 대학들이 이제 이 질문을 하기 시작했습니다.
"돈을 들여 AI를 도입했는데, 왜 우리 담당자는 여전히 바쁠까?"
역설적이게도 이 고민이 신호탄입니다. 현재 시스템의 한계를 정확히 인지하고 다음 단계로 넘어갈 준비가 됐다는 뜻입니다.
지금 AI 챗봇을 운영 중이시라면 오늘 딱 하나만 확인해보세요.
오늘 하루 담당자를 직접 찾아온 학생 문의 중, "내 상황에서 가능한가요?"라는 개인 맞춤 질문이 몇 건인지 세어보세요.
그 숫자가 다음 기술 투자의 가장 확실한 근거가 됩니다.