ScaleOps의 새로운 AI 인프라 제품은 얼리 어답터를 위해 자체 호스팅 엔터프라이즈 LLM의 GPU 비용을 50% 절감합니다.

ScaleOps는 자체 호스팅 LLM(대형 언어 모델) 및 GPU 기반 AI 애플리케이션을 운영하는 기업을 겨냥한 신제품으로 클라우드 리소스 관리 플랫폼을 확장했습니다. 오늘 발표된 AI 인프라 제품은 회사의 기존 자동화 기능을 확장하여 대규모 AI 배포에서 효율적인 GPU 활용, 예측 가능한 성능 및 운영 부담 감소에 대한 증가하는 요구를 해결합니다. 회사에 따르면 이 시스템은 이미 기업 생산 환경에서 실행되고 있으며 얼리 어답터에게 큰 효율성 향상을 제공하여 GPU 비용을 50%~70% 절감한다고 밝혔습니다. 회사는 이 솔루션에 대한 기업 가격을 공개적으로 표시하지 않고 대신 관심 있는 고객이 작업 규모와 요구 사항에 따라 맞춤형 견적을 받도록 초대합니다. ScaleOps의 CEO이자 공동 창립자인 Yodar Shafrir는 시스템이 과부하 상태에서 어떻게 작동하는지 설명하면서 VentureBeat에 보낸 이메일에서 플랫폼이 “사전 및 반응형 mec”을 사용한다고 말했습니다.