엔비디아는 20일 수십 개의 엔터프라이즈용 생성형 AI 마이크로서비스를 출시했다고 발표했다. 기업은 이를 통해 지적 재산에 대한 완전한 소유권과 통제권을 유지하는 한편, 자체 플랫폼에서 맞춤형 애플리케이션을 생성 및 배포할 수 있다.
 

엄선된 마이크로서비스는 엔비디아의 풀스택 컴퓨팅 플랫폼에 새로운 계층을 추가한다. 해당 계층은 모델 개발자, 플랫폼 제공업체, 기업 AI 생태계를 맞춤형 AI 모델을 실행하는 표준화된 경로로 연결한다. 맞춤형 AI 모델은 클라우드, 데이터센터, 워크스테이션, PC에 탑재된 수억 개의 GPU로 구성된 엔비디아 CUDA 설치 기반에 최적화된 모델이다.
엔비디아의 창립자 겸 CEO인 젠슨 황(Jensen Huang)은 “기존 엔터프라이즈 플랫폼은 생성형 AI 코파일럿으로 전환할 수 있는 풍부한 데이터를 가지고 있다”머 “파트너 에코시스템과 함께 구축된 이러한 컨테이너화된 AI 마이크로서비스는 모든 산업 분야의 기업이 AI 기업으로 거듭나기 위한 기본 요소이다”라고 전했다.

NIM 마이크로서비스는 트리톤 추론 서버(Triton Inference ServerTM)와 텐서RT-LLM(TensorRTTM-LLM)을 비롯한 엔비디아 추론 소프트웨어로 구동되는 사전 구축된 컨테이너를 제공한다. 이를 통해 개발자는 배포 시간을 몇 주에서 몇 분으로 단축할 수 있다.
해당 서비스는 언어, 음성, 신약 개발과 같은 도메인을 위한 업계 표준 API를 제공한다. 개발자는 이를 바탕으로 자체 인프라에서 안전하게 호스팅되는 독점 데이터를 사용해 AI 애플리케이션을 빠르게 구축할 수 있다. 또한, 애플리케이션을 필요에 따라 확장 가능한 유연상과 성능도 갖췄다. 엔비디아 가속 컴퓨팅 플랫폼 상에서 프로덕션 환경 내 생성형 AI를 실행할 수 있다.