[한스경제=조나리 기자] SK텔레콤이 개발 중인 통신 특화 ‘텔코LLM(거대언어모델)’이 오는 6월 선보인다. SKT 텔코LLM은 5G 요급제와 T멤버십, 공시지원금 등 통신 용어는 물론 AI 윤리가치와 같은 내부 지침을 학습했다. SKT는 텔코LLM을 앞에서 AI 애플리케이션 구축을 추진 중인 글로벌 통신사들 공략한다.

텔코LLM은 SKT의 에이닷엑스(A.X), 오픈AI의 GPT, 앤트로픽의 클로드 등 여러 범용모델을 기반으로 튜닝됐다.

에릭 데이비스 SKT AI Tech Collaboration담당은 “1개의 범용 LLM으로 통신사의 모든 서비스와 문제를 해결하는 것은 어렵다”며 “통신 데이터와 도메인에 맞춰 조정하는 파인튜닝(미세조정)을 거쳐 AI컨택센터(AICC), 유통, 네트워크, 사내 업무 등 상황에 따라 골라 쓰도록 하는 것이 SKT의 전략”이라고 말했다.

정민영 SKT AI플랫폼 담당도 “익히 알고 있는 유명한 LLM들도 모순된 서술이나 같은 질문도 할때 마다 다른 답을 하는 등의 문제가 있었다”라며 “또한 비용면에서 비효율적인 부분도 있었고, 속도가 느린 문제가 있어서 이번 개발을 기획하게 됐다”고 설명했다.

이에 SKT는 오픈AI, 앤트로픽과의 협업을 통해 통신사의 서비스나 상품, 멤버십, 고객 상담 데이터를 수집해 에이닷엑스, GPT, 클로드에 적용, 통신 특화 LLM을 만들고 있다. 다양한 라인업을 갖춰 성능과 비용면에서 효율화를 꾀했다.

이어 정 담당은 “실제로 통신사 같은 경우 업무가 비슷하다보니 모든 언어를 위한 데이터가 필요하지 않다”면서 “출시를 앞둔 텔코LLM도 몇몇 테스트는 통과 기준을 넘겼고, 나머지 테스트도 6월경에는 기준을 달성할 것으로 본다. 특히 AI 모델은 완성이라는 표현이 맞지 않다. 고객의 요청이나 사업 내용이 계속 바뀌기 때문에 지속적으로 고도화 작업을 요한다”고 덧붙였다.

SKT는 텔코LLM을 구축하기 위해 텔코 데이터를 수집하고 비정형·정형 데이터를 선별하는 작업을 하고 있다. 이를 기반으로 범용 LLM을 통신 특화 LLM으로 파인튜닝하고, 휴먼 피드백 기반의 강화 학습(RLHF)을 거쳐 최종적으로 벤치마킹(평가)하는 사이클이다.

이 과정은 계속 주기적으로 반복하면서 텔코LLM을 더 똑똑하게 만든다는 설명이다. 예를 들어 고객이 요금제를 문의하거나 서비스 변경을 요청할 시 만족스러운 해결책을 내놓지 못하면 관련 데이터를 더 구축하는 방식이다.

◆ ‘상담사 지원 AI 에이전트‘…업무 소요 시간 단축

SKT는 텔코LLM 대표 적용 사례로 전화 상담 업무를 들었다. 현재 고객센터에서 상담 전화 한 건을 처리하는데 드는 시간은 평균 3분이다. 상담 후 업무 처리하는데도 30초 이상이 소요된다. 텔코LLM을 도입하면 상담사가 고객과 전화하는 동안 LLM이 해결책을 상담사에게 제공하고 상담 내용을 요약해줘 상담 후 업무까지 소요되는 시간을 크게 단축시킬 것으로 기대된다.

 또한 텔코LLM 중 클로드 버전의 경우 윤리원칙을 학습하고 있어, 상담 중 욕설이나 폭언의 뉘앙스를 파악할 수 있는 장점이 있다.

SKT는 네트워크 인프라 운용에도 텔코LLM을 적용할 방침이다. 네트워크 모니터링 중 문제가 발생하면 실시간으로 텔코LLM에 질문을 입력해 해결책을 즉시 받아볼 수 있다.

SKT는 또 이날 타 통신사도 텔코LLM을 통해 생성형 AI 애플리케이션을 구축·개발할 수 있는 ‘인텔리전스 플랫폼’도 공개했다. 이는 멀티 LLM부터 멀티모달, 오케스트레이션, 검색증강생성(RAG; Retrieval Augmented Generation)까지 아우르는 ‘기업용 AI 개발·운용 패키지’다.

인텔리전스 플랫폼 또한 단일 LLM에 의존하지 않는다. 범용 LLM은 성능에 비례해 비용이 높고 특정 영역에 대한 이해도는 낮을 수 있다. 이를 통신사 서비스에 적용하면 비효율적이란 지적이다. 이에 통신업에 특화된 멀티 LLM을 내세워 글로벌 통신 시장을 공략한다는 방침이다.

SKT는 인텔리전스 플랫폼을 현재A.(에이닷) 서비스에 적용 중이며, 적용 사례를 확대할 예정이다. 정민영 담당은 “통신사가 하려는 고객센터의 콜봇과 챗봇, 유통 채널 어이스턴트, 인프라 운영 등 활용할 수 있는 범위는 무궁무진하다”면서 “통신사는 물론 유사한 업무특성을 가진 기업들이 텔코LLM 인텔리전스 플랫폼을 통해 시스템 개발에 드는 비용과 시간을 절감할 것으로 기대한다”고 덧붙였다.

조나리 기자 hansjo@sporbiz.co.kr