KT가 국내외 인공지능(AI) 모델 500여 종을 한 플랫폼에서 활용하고 사용량과 비용까지 관리할 수 있는 ‘토큰팩토리’를 공개했다. 오픈라우터와의 국내 첫 공식 협력을 바탕으로 다양한 AI 모델을 제공하며, 자체 기술을 통해 토큰 사용량을 최대 25% 줄이고 국내 데이터센터에서 추론 서비스를 지원한다.
KT는 27일 서울 종로구 광화문 웨스트빌딩에서 AI 모델 선정부터 이용 현황 확인, 비용 관리와 보안 기능을 아우르는 토큰팩토리를 소개했다. 이 플랫폼은 모델마다 다른 성능과 가격을 비교해 업무 목적에 적합한 AI를 선택할 수 있도록 설계됐다. 기업 고객은 여러 서비스를 따로 계약하거나 관리하지 않고도 하나의 환경에서 모델 이용과 모니터링, 결제까지 처리할 수 있다.
비용 효율을 높이기 위해 KT가 자체 개발한 ‘오토 모델 라우터’도 적용됐다. 사용자의 질문 유형과 난이도, 요구되는 답변 품질, 비용 등을 종합적으로 판단해 가장 적합한 AI 모델을 자동으로 지정하는 기술이다. KT는 해당 라우터가 AI 모델 선택 역량을 평가하는 글로벌 벤치마크 ‘라우터아레나’에서 종합 1위를 차지했다고 설명했다.
한국어에 맞춘 프롬프트 압축 기술도 탑재했다. 질문 속에서 반복되거나 불필요한 표현을 덜어내면서도 원래 의도와 답변 품질은 최대한 유지해 입력 토큰을 줄이는 방식이다. KT는 이를 포함한 자체 기술을 통해 AI 서비스 이용에 필요한 토큰을 최대 25% 절감할 수 있다고 밝혔다.
데이터 주권과 보안 강화를 위한 기능도 마련했다. 해외 AI 서비스 이용 과정에서 발생할 수 있는 데이터 유출 우려를 낮추기 위해 KT 국내 데이터센터에서 AI 추론 서비스를 제공한다. KT 자체 모델을 비롯해 국내외 오픈웨이트 모델과 독자 AI 파운데이션 모델도 국내 인프라에서 사용할 수 있도록 지원한다.
사용자가 입력한 개인정보와 민감정보, 유해 표현을 확인하고 AI가 생성한 답변의 안전성을 검증하는 자체 가드레일 기술도 적용했다.
KT는 글로벌 AI 모델 마켓플레이스 운영사 오픈라우터와 국내 최초로 공식 파트너십을 맺었다. 이에 따라 500개 이상의 글로벌 AI 모델을 확보하고 KT 자체 추론 모델과 함께 제공할 계획이다. 앞으로는 KT가 국내에서 서비스하는 AI 모델을 해외 시장에 유통하는 방안도 추진한다.
토큰팩토리는 오는 30일 정식 서비스를 시작한다. 초기에는 여러 AI 모델을 활용하면서 지출을 효율적으로 관리하려는 기업 고객을 중심으로 제공하고, 이후 개인 사용자까지 대상 범위를 넓힐 예정이다.
KT는 유라클, CAST AI, 타임리 등 AI 전문기업과 협업을 확대하고 업스테이지와 다음 등 ‘모두의 AI’ 컨소시엄 참여 기업들과의 연계도 강화할 방침이다.
KT AX사업부문장은 AI 시장의 경쟁 중심이 우수한 모델 개발에서 누구나 AI를 쉽고 효율적으로 활용하도록 돕는 역량으로 옮겨가고 있다며, 토큰팩토리를 국내 AI 생태계 발전을 이끄는 핵심 플랫폼으로 키우겠다고 밝혔다.
댓글
0