헤드라인 (요약과 압축)
"작은 AI가 맵다" …가성비 앞세운 `프라이빗 AI`의 부상
본문 (본문 내용 복사)
"작은 AI가 맵다" …가성비 앞세운 `프라이빗 AI`의 부상
입력2023.09.30. 오후 2:34
수정2023.09.30. 오후 2:36
LLM(거대언어모델)의 종류
챗GPT의 등장으로 촉발된 생성형 AI 열풍이 한창이다. 글로벌 시장조사기관 포춘 비즈니스 인사이트(Fortune Business Insights)에 따르면 글로벌 AI 시장 규모는 2022년 4280억 달러(약 573조)에서 2030년에는 2조251억 달러(약 2,713조) 규모로 연평균 21.6% 기하급수적으로 성장할 것으로 전망된다.
이런 추세에 글로벌 빅테크 기업에서 신흥 스타트업까지 생성형 AI의 엔진이자 핵심인 '거대언어모델(LLM)' 개발에 앞다투어 뛰어들고 있다. 이처럼 고성능 LLM에 대한 기업의 니즈가 급증하면서, B2B 생성형 AI 시장은 크게 '퍼블릭 LLM'과 '프라이빗 LLM' 진영으로 양분되고 있다.
◇생성형 AI, 퍼블릭과 프라이빗 진영으로 양분
오픈AI, 구글 등 빅테크가 주도하는 퍼블릭 LLM은 생성형 AI 대중화를 이끌며 초기 시장을 선점했다. 하지만 외부 클라우드 사용으로 데이터 유출 리스크와, 잘못된 정보를 생성하는 환각 현상(할루시네이션) 등의 문제점이 불거졌다. 실제로 애플, 아마존, 삼성전자 등에서 내부 임직원들에게 '챗GPT 경계령'을 내리는 등 보안 이슈로 도입을 꺼리는 기업들이 생겨났다.
이에 대항마로 프라이빗 LLM이 등장하면서 기업용 시장을 파고드는 모양새다. 표현 그대로 기업의 내부 데이터만 활용해 보안성을 높이고 거짓 정보를 생성하는 환각 현상(할루시네이션) 방지에 최적화된 모델이다. 여기에 상대적으로 작은 모델 사이즈로 비용 측면에서도 각광받으며 차세대 생성형 AI 시장 대세론을 타고 있다.
기업이 LLM을 구축하는 방식. 자료=NIA
◇프라이빗 AI, 보안과 데이터 신뢰성 강점
프라이빗 LLM의 핵심은 보안성이다. 기업 서버에 설치하는 구축형 '온프레미스' 방식이나 전용 프라이빗 클라우드로 도입, 기업의 민감 데이터가 유출될 가능성을 전면 차단한다. 이를 통해 기업들은 LLM 도입의 최대 허들인 데이터 및 민감 정보 유출을 방지할 수 있다.
다음으로, 프라이빗 LLM은 생성형 AI의 고질적인 문제이자 현재 LLM의 최대 한계점으로 꼽히는 할루시네이션 방지에 특화된 모델이다. 프라이빗 LLM은 범용 모델과 달리 기업 내부 데이터로 학습 대상을 제한한다. 그만큼 거짓 정보를 생성할 가능성이 낮아져 사용성을 향상시킨다.
또한, 작은 사이즈로도 비용 대비 효과를 극대화한다. 프라이빗 LLM은 보통 100B(1조) 사이즈 이하의 경량 모델로, 흔히 'ss(소규모) LLM'으로 불린다. 이에 비해 오픈AI의 GPT-4 매개변수(파라미터)는 5000억 개로 추산되고, 구글의 '제미니'는 조 단위에 이르는 등 모델 사이즈가 상당하다. 매개변수가 큰 만큼 모델 서빙 비용이 상당할 수 밖에 없는 구조다.
◇작은 AI가 맵다
프라이빗 LLM은 훨씬 작은 모델 사이즈로도 성능은 빅테크에 필적한다. 예를 들어, 업스테이지는 지난 8월 700억 매개변수 모델로 글로벌 머신러닝 플랫폼 '허깅페이스'에서 운영하는 '오픈 LLM 리더보드' 평가 순위에서 챗GPT의 기반인 GPT-3.5 성능을 뛰어넘고 세계 1위를 차지하기도 했다. 추론과 상식 능력, 언어 이해 종합능력 및 할루시네이션 방지 등 4가지 지표 평균에서 빅테크의 거대 모델을 능가한 것이다. 특히, 업스테이지는 자사의 LLM 활용 시 GPT-3.5 대비 비용은 40% 감축하고, 처리 속도는 30% 빠른 것으로 추산했다.
이에 많은 기업들은 프라이빗 LLM의 강점을 내세운 다양한 어플리케이션으로 영토를 확장하고 있다. 일례로 세일즈포스는 최근 대화형 AI 어시스턴트 '아인슈타인 코파일럿'을 선보였다. 세일즈포스 데이터 클라우드에 저장된 각종 정형·비정형 데이터를 토대로 콘텐츠와 코드를 생성해 준다. 기업이 보유한 정확한 고객 데이터에 기반해 할루시네이션(환각) 현상이 적고, 데이터는 세일즈포스의 고객관계관리(CRM) 데이터 클라우드에 보관함으로써 안전성도 담보했다.
◇국내 스타트업에도 기회 있다
국내에서는 업스테이지가 눈에 띈다. 업스테이지는 최근 챗GPT를 뛰어넘은 자사의 허깅페이스 1위 모델을 기반으로 자체 LLM 'SOLAR (Specialized and Optimized Llm and Applications with Reliability)'를 발표했다. 솔라는 이름처럼 도메인 특화와 최적화에 촛점을 맞추고 기업 데이터를 학습, 정보 유출과 환각 현상을 방지할 수 있는 프라이빗 LLM을 지향한다.
국내 플랫폼 업계에서는 커넥트웨이브와 롯데쇼핑이 생성형 AI 도입에 적극적으로 나서고 있다. 특히 두 기업은 세계 최고 오픈 LLM 모델을 만든 업스테이지와의 협력을 통해 플랫폼 특화 생성 AI를 구축할 계획이다.
커넥트웨이브는 일찍이 업스테이지와 손잡고 국내 이커머스 업계 최초로 프라이빗 LLM 구축을 알렸다. 자사 데이터 커머스 플랫폼인 다나와와 에누리를 방문하는 소비자가 프라이빗 LLM을 통해 주관적이거나 추상적인 속성을 입력해도 원하는 상품을 손쉽게 찾고 추천받을 수 있게 해 쇼핑 만족도를 극대화할 전망이다. 또한, 프라이빗 LLM에 자사의 쇼핑몰 제작 솔루션인 메이크샵의 데이터를 학습시켜 배송조회부터 문의 사항, 반품 상담, 리뷰 요약, 상품 카피(copy) 개발까지 자동으로 가능하게 할 예정이다.
◇개인화된 상품 추천도 맞춤 구현
롯데쇼핑은 업스테이지와의 생성형 AI 활용 업무협약 체결을 통해 서비스 운영 비용 절감은 물론 생산성 향상과 추가 수익 창출, 신규 사업 추진의 기반으로 활용할 청사진을 세웠다. 양사는 이미 지난 2년 간의 협업을 통해 개발한 개인화된 AI 상품 추천 서비스를 올 6월 롯데온에 도입하여 1월에 실시한 테스트 대비 구매전환율 30% 증가의 효과를 입증한 바 있다. 앞으로도 적극적으로 AI를 도입하여 차별화된 초개인화 트렌드를 선도해 디지털 혁신을 이뤄간다는 계획이다.
생성형 AI 도입을 통한 디지털 체질 개선은 이제 대세를 넘어 필수로 자리 잡는 추세다. 하지만 이를 자체 개발하기 위해서는 전문 인력 확보를 포함한 막대한 투자 비용이 필요하고, 외부의 AI 기술 도입을 고려할 때에도 데이터 보안 문제와 할루시네이션 등을 염두에 둬야 하는 것이 큰 허들이다. 자연스레 그 기반인 LLM을 구축하는 데 신중을 기할 수밖에 없다. 도메인에 특화된 프라이빗 LLM에 대한 관심이 커지는 이유다.
본문의 근거 (객관적인 수치)
•
프라이빗 LLM은 보통 100B(1조) 사이즈 이하의 경량 모델로, 흔히 'ss(소규모) LLM'으로 불린다. 이에 비해 오픈AI의 GPT-4 매개변수(파라미터)는 5000억 개로 추산되고, 구글의 '제미니'는 조 단위에 이르는 등 모델 사이즈가 상당
•
업스테이지는 지난 8월 700억 매개변수 모델로 글로벌 머신러닝 플랫폼 '허깅페이스'에서 운영하는 '오픈 LLM 리더보드' 평가 순위에서 챗GPT의 기반인 GPT-3.5 성능을 뛰어넘고 세계 1위를 차지하기도 했다
•
업스테이지는 자사의 LLM 활용 시 GPT-3.5 대비 비용은 40% 감축하고, 처리 속도는 30% 빠른 것으로 추산
•
업스테이지는 최근 챗GPT를 뛰어넘은 자사의 허깅페이스 1위 모델을 기반으로 자체 LLM 'SOLAR (Specialized and Optimized Llm and Applications with Reliability)'를 발표
•
국내 플랫폼 업계에서는 커넥트웨이브와 롯데쇼핑이 생성형 AI 도입에 적극적으로 나서고 있다
•
양사는 이미 지난 2년 간의 협업을 통해 개발한 개인화된 AI 상품 추천 서비스를 올 6월 롯데온에 도입하여 1월에 실시한 테스트 대비 구매전환율 30% 증가의 효과를 입증
추가조사할 내용 또는 결과
•
생성형 AI
◦
기계가 콘텐츠, 예술, 음악 등을 만들고 생성할 수 있도록 하는 인공지능의 하위집합으로 여러 산업을 변화시킬 수 있는 잠재력을 지닌 빠르게 진화하는 기술
◦
기존 데이터를 단순히 가공하거나 분석하는 것이 아니라, 새롭고 독창적인 콘텐츠를 생성하는 AI 접근 방식
•
업스테이지
◦
업스테이지는 올해의 AI 기술상(과학기술정보통신부장관상) 수상
◦
AI OCR 세계 최고 권위 대회 ‘ICDAR 로버스트 리딩 컴페티션’에서 업스테이지가 4개 부문을 휩쓸며 글로벌 톱 AI기술력
◦
업스테이지 LLM의 성능은 지난 8월, 세계 최대 머신러닝 플랫폼 허깅페이스에서 운영하는 ‘오픈 LLM(Large Language Model: 거대 언어 모델) 리더보드’ 평가 점수에서 72.3점을 기록하며 챗GPT의 기반인 GPT-3.5 성능을 뛰어넘고 1위를 차지한 것이 알려져 주목
적용할점 (현직자에게 할 질문)
•
롯데온에서 앞으로 어떤 분야에까지 적용할 생각인지
연관기사 링크
Table
Search
