서울--(뉴스와이어)--글로벌 데이터 클라우드 기업 스노우플레이크(Snowflake)가 업계 최고 수준의 개방성과 성능을 갖춘 엔터프라이즈급 대규모언어모델(Large Language Model, 이하 LLM) ‘스노우플레이크 아크틱(Snowflake Arctic)’을 출시했다.

스노우플레이크 고유의 전문가혼합(MoE·Mixture-of-Experts) 방식으로 설계된 아크틱은 동급 최고 성능과 생산성을 지원한다. 기업의 복잡한 요구사항 처리에도 최적화돼 SQL 코드 생성, 명령 이행 등 다양한 기준에서 최고 조건을 충족한다.

특히 아크틱은 무료로 상업적 이용까지 가능한 아파치 2.0 라이선스로, 스노우플레이크는 AI 학습 방법에 대한 연구의 자세한 사항을 공개하며 엔터프라이즈급 AI 기술에 대한 새로운 개방 표준을 수립했다. 또한 아크틱 LLM은 스노우플레이크 아크틱 모델군(Snowflake Arctic model family)의 일부로, 검색 사용을 위한 텍스트 임베딩 모델도 포함됐다.

슈리다 라마스워미(Sridhar Ramaswamy) 스노우플레이크 CEO는 “스노우플레이크 AI 연구팀은 AI 분야 최전방에서 혁신을 이끌며 자사에 중요한 전환점을 마련했다”며 “스노우플레이크는 오픈소스로 업계 최고 성능과 효율을 AI 커뮤니티에 공개하면서 오픈소스 AI가 지닌 가능성의 영역을 넓혀가고 있다. 고객에게 유능하면서도 믿을 수 있는 AI 모델을 제공할 수 있는 스노우플레이크의 AI 역량도 높아지고 있다”고 말했다.

◇ 아크틱, 광범위한 협업을 지원하는 오픈소스 LLM

시장조사기관 포레스터(Forrester)가 발표한 최근 보고서에 따르면 글로벌 기업의 AI 의사 결정권자 중 약 46%가 ‘AI 전략의 일환으로 자신이 속한 기업에 생성형 AI를 도입하기 위해 기존의 오픈소스 LLM을 활용한다’고 답했다. 스노우플레이크 데이터 클라우드 플랫폼은 현재 전 세계 9400여 기업 및 기관의 데이터 기반으로 활용되고 있다. 이들은 업계 최고 수준의 개방성을 제공하는 LLM을 통해 데이터를 활용할 수 있게 된다.

아파치 2.0 라이선스를 적용한 오픈소스 모델인 아크틱은 코드 템플릿과 함께 추론과 학습방식을 선택할 수 있는 유연성도 제공한다. 사용자는 엔비디아(NVIDIA) NIM, 엔비디아 텐서RT-LLM(TensorRT-LLM), vLLM, 허깅페이스(Hugging Face) 등 기업이 선호하는 프레임워크로 아크틱을 사용하고 커스터마이징할 수 있다. 스노우플레이크 코텍스(Snowflake Cortex)에서는 서버리스 추론을 통해 아크틱을 즉시 사용할 수도 있다. 스노우플레이크 코텍스는 완전 관리형 서비스로, 허깅페이스(Hugging Face), 라미니(Lamini), 마이크로소프트 애저, 엔비디아 API 카탈로그, 퍼플렉시티(Perplexity), 투게더 AI(Together AI) 등 다양한 모델 목록과 함께 데이터 클라우드에서 머신러닝 및 AI 솔루션을 제공한다. 아마존웹서비스(AWS)에서도 아크틱 사용이 가능해질 예정이다.

◇ 우수한 자원 효율성과 최고 수준의 성능

스노우플레이크 AI 연구팀은 업계 최고의 연구원과 시스템 엔지니어들로 구성돼 있다. 아크틱 구축에는 3개월 미만이 소요됐다. 모델 학습에는 아마존 일래스틱 컴퓨트 클라우드(Amazon Elastic Compute Cloud, Amazon EC2) P5 인스턴스가 활용됐으며, 학습 비용은 유사 모델 대비 8분의 1에 그쳤다. 스노우플레이크는 최첨단 개방형 엔터프라이즈급 모델의 학습 속도에 새로운 기준을 제시하며, 궁극적으로는 사용자가 비용 효율적이고 맞춤화된 모델을 최적의 규모로 생성할 수 있도록 지원한다.

아크틱의 차별화된 MoE 설계는 기업의 요구사항에 따라 세밀하게 설계된 데이터 조립을 통해 학습 시스템과 모델 성능 모두를 향상한다. 또한 4800억 개의 매개 변수를 한 번에 17개씩 활성화함으로써 뛰어난 토큰 효율과 업계 최고의 품질을 구현하며 최상의 결과를 제공한다. 아크틱은 획기적인 효율 개선을 위해 추론이나 학습 중 DBRX보다 약 50%, Llama 3 70B보다 약 75% 적은 매개 변수를 활성화한다. 코딩(HumanEval+, MBPP+)과 SQL 생성(Spider) 면에서도 DBRX, Mixtral-8x7B 등 대표적인 기존 오픈소스 모델의 성능을 능가함과 동시에 일반 언어 이해(MMLU, 대규모 다중 작업 언어 이해)에서 최상급 성능을 보인다.

◇ 스노우플레이크가 이끄는 모두를 위한 AI 혁신

스노우플레이크는 기업이 각자의 데이터를 활용해 실용적인 AI/머신러닝 앱 제작에 필요한 데이터 기반과 최첨단 AI 빌딩 블록을 제공한다. 고객이 스노우플레이크 코텍스를 통해 아크틱을 사용할 경우 데이터 클라우드의 보안 및 거버넌스 범위 내에서 프로덕션급 AI 앱을 적정 규모로 구축하는 것은 더욱 쉬워진다.

아크틱 LLM이 포함된 스노우플레이크 아크틱 모델군에는 스노우플레이크가 최근 출시한 최첨단 텍스트 임베딩 모델 중 하나인 아크틱 임베드(Arctic embed)도 포함된다. 이 제품은 아파치 2.0 라이선스로 오픈소스 커뮤니티에서 무료로 사용할 수 있다. 5가지 모델로 구성된 이 제품군은 허깅페이스에서 바로 사용할 수 있으며 스노우플레이크 코텍스에 내장돼 프라이빗 프리뷰 형태로 공개될 예정이다. 유사 모델의 약 3분의 1 크기인 이 임베딩 모델은 최상의 검색 성능을 발휘하도록 최적화돼, 기업들이 검색증강생성(RAG) 또는 시맨틱 검색 서비스의 일부로 고유의 데이터 세트를 LLM과 결합할 때 효과적이고 경제적인 솔루션을 제공한다.

최근 스노우플레이크는 레카(Reka)와 미스트랄 AI(Mistral AI)의 모델도 추가하는 등 고객이 데이터 클라우드에서 가장 높은 성능의 최신 LLM을 접할 수 있도록 지원하고 있다. 또, 최근 엔비디아와의 확장된 파트너십을 발표하며 AI 혁신을 지속해 나가고 있다. 스노우플레이크의 데이터 클라우드는 풀스택 엔비디아 가속 플랫폼과 결합해 산업 전반에 걸쳐 AI의 생산성을 적극 활용하는 안전하고 강력한 인프라 및 컴퓨팅 역량을 제공하고 있다. 스노우플레이크 벤처스(Snowflake Ventures)는 고객이 각자의 기업 데이터에서 LLM과 AI를 통한 가치 창출을 지원하기 위해 최근 랜딩 AI(Landing AI), 미스트랄 AI, 레카 등에도 투자했다.

◇ 스노우플레이크 아크틱 출시 소식에 따른 AI 전문가 논평

요아브 쇼함(Yoav Shoham) AI21랩스(AI21 Labs) 공동 창업자 겸 공동 CEO는 “아크틱은 ‘모두를 위한 AI’를 달성하기 위한 접근성, 민주화 및 혁신을 이끌고 스노우플레이크와의 전략적 파트너십을 확대하는 중요한 성과를 낼 것”이라며 “AI21랩스가 최근 출시한 프로덕션급 맘바(Mamba) 기반 트랜스포머-SSM(Transformer-SSM) 첫 번째 모델인 잠바(Jamba)와 마찬가지로, 스노우플레이크가 기업의 오픈소스 모델 활용을 지원하게 돼 기쁘다. AI 분야에 대한 스노우플레이크의 지속적인 투자는 AI21랩스가 스노우플레이크 데이터 클라우드를 선택한 주된 이유로, 양사 고객을 위해 앞으로도 계속 노력할 것”이라고 말했다.

데이비드 브라운(David Brown) 아마존웹서비스 컴퓨팅 및 네트워킹 부문 부사장은 “스노우플레이크와 AWS는 생성형 AI로 거의 모든 고객 경험이 변화할 것이라고 믿는다”며 “AWS를 통해 스노우플레이크 아크틱이 인프라를 커스터마이징하고 학습하는 시간을 줄여 제때 출시될 수 있었다. 아마존 EC2 P5 인스턴스와 스노우플레이크의 효율적인 학습 시스템과 모델 아키텍처 통합 설계가 만나 새로운 엔터프라이즈급 모델을 신속하게 구축하고 고객에게 제공할 수 있었다. 스노우플레이크 아크틱은 AWS에서 사용할 수 있을 예정으로, 고성능의 AI 기술을 활용할 수 있는 고객 옵션은 다양해지고 고객 경험의 변화 또한 앞당겨질 것”이라고 말했다.

시시르 메로트라(Shishir Mehrotra) 코다(Coda) 공동 설립자 겸 CEO는 “AI의 발전 속도가 계속 빨라지는 가운데 스노우플레이크는 아크틱 출시로 AI 혁신기업으로서의 입지를 공고히 했다”며 “코다의 혁신과 설계 원칙은 AI를 대하는 스노우플레이크의 진취적인 자세와 일치하며, AI를 통해 통상적인 앱과 업무 방식의 변화를 이끄는 여정을 함께 하게 돼 매우 기쁘다”고 말했다.

클레망 드랑주(Clement Delangue) 허깅페이스 CEO 겸 공동창업자는 “지난 몇 달간 오픈소스 AI는 격변의 시기를 거쳤다. 스노우플레이크가 아파치 2.0 라이선스 모델과 더불어 학습 방식에 대한 연구 결과까지 공개하며 오픈소스 AI 분야에 크게 기여한 점을 높게 평가한다”며 “이를 통해 스노우플레이크는 기업이 AI를 구축하고 업계 전체가 새로운 기반을 다지는 데 큰 역할을 할 것”이라고 밝혔다.

샤론 주(Sharon Zhou) 라미니 공동 창업자 겸 CEO는 “라미니의 비전은 AI를 민주화해 누구나 각자만의 슈퍼 인공지능을 구축할 수 있는 역량을 제공하는 것이다. 라미니는 기업용 AI의 미래가 고성능 개방형 모델과 열린 협업에 기초해 나아가야 한다고 생각한다. 스노우플레이크 아크틱은 이러한 AI의 미래를 지원하는 데 중요한 역할을 한다. 아크틱을 활용해 역동적인 AI 생태계에 제어와 보안, 유연을 최적화한 보다 정교한 LLM을 만들어내길 기대한다”고 말했다.

앤드류 응(Andrew Ng) 랜딩 AI CEO는 “오픈소스로 개발자 커뮤니티를 지원하는 것은 AI 혁신을 실현하고 모두를 위한 가치를 창출할 수 있는 확실한 방법”이라며 “스노우플레이크의 오픈소스 아크틱 출시는 모두가 최첨단 모델에 접근해 세부 조율 및 평가하고, 이를 혁신의 발판으로 삼을 수 있게 하는 또 하나의 도약이다”라고 밝혔다.

에릭 보이드(Eric Boyd) 마이크로소프트 애저 AI 플랫폼 부문 기업 부사장은 “스노우플레이크의 신규 LLM 모델 아크틱의 높은 성능을 마이크로소프트 애저 AI 모델 카탈로그에 도입함으로써 빠르게 진화하는 AI 환경에서 기업 고객을 위한 선택의 폭을 넓힐 수 있게 돼 기쁘다”며 “스노우플레이크와의 협업은 오픈 이노베이션을 주도하고 AI의 영역을 확장하겠다는 마이크로소프트의 의지를 잘 보여준다”고 말했다.

아라빈드 스리니바스(Aravind Srinivas) 퍼플렉시티 공동 창업자 겸 CEO는 “오픈소스 AI 모델의 지속적인 발전과 건전한 경쟁은 퍼플렉시티의 성공은 물론 모두가 생성형 AI를 자유롭게 이용하는 것에 있어 매우 중요하다”며 “스노우플레이크 아크틱을 활용해 퍼플렉시티 제품을 맞춤화함으로써 궁극적으로 고객을 위한 더 큰 가치를 창출하게 될 것”이라고 밝혔다.

대니 요가타마(Dani Yogatama) 레카 공동 창업자 겸 CEO는 “스노우플레이크와 레카는 전문적 기술 지식이 없는 어떤 사용자라도 AI를 이용해 비즈니스 성과를 빠르게 도출할 수 있도록 최선을 다하고 있다”며 “스노우플레이크는 아크틱을 통해 사용자들이 최상급 개방형 LLM을 바로 이용할 수 있도록 하며 이 비전을 더욱 발전시키고 있다”고 말했다.

비풀 베드 프라카시(Vipul Ved Prakash) 투게더 AI 공동 창업자 겸 CEO는 “투게더 AI는 오픈소스 AI 연구와 모델, 데이터세트 분야의 선두 기업으로서 스노우플레이크 아크틱이 출시돼 매우 기쁘다”며 “오픈소스 AI 분야의 발전은 생태계 전반의 성장을 이끌 것이며 전 세계 개발자와 연구진의 역량을 높여 생성형 AI 모델을 더욱 효과적으로 활용하게 할 것”이라고 밝혔다.

◇ 더 알아보기

·2024년 6월 3일부터 6일까지 샌프란시스코에서 개최되는 스노우플레이크 데이터 클라우드 써밋 2024(Snowflake Data Cloud Summit 2024)에서 스노우플레이크가 공개하는 최신 AI 기술에 대한 자세한 정보를 얻을 수 있다.

· 2024년 6월 6일 열리는 스노우플레이크 데브 데이(Snowflake Dev Day)에서 혁신의 현장을 경험할 수 있다.

· 스노우플레이크 아크틱은 허깅페이스에서 직접 다운로드할 수 있으며, 스노우플레이크의 깃허브 리포지토리에서 추론과 세부 조율을 위한 매뉴얼을 확인할 수 있다.

· 스노우플레이크 아크틱(Snowflake Arctic)에 대한 자세한 정보는 여기에서 확인할 수 있다.

· 스노우플레이크 AI 연구팀이 전하는 스노우플레이크 아크틱 개발에 관한 자세한 이야기는 블로그에서 확인할 수 있다.

· 이 영상을 통해 기업이 고유 데이터에 생성형 AI 및 LLM을 도입하는 방법을 확인할 수 있다.

· 스노우플레이크 공식 링크드인과 X에서 최신 뉴스와 공지사항을 확인할 수 있다.