빠른 배송, 나중에 최적화: 최고의 AI 엔지니어는 비용에 신경 쓰지 않고 배포를 우선시합니다

빠른 배송, 나중에 최적화: 최고의 AI 엔지니어는 비용에 신경 쓰지 않고 배포를 우선시합니다

IT/기술 전문 정보

빠른 배송, 나중에 최적화: 최고의 AI 엔지니어는 비용에 신경 쓰지 않고 배포를 우선시합니다

업계 전반에 걸쳐 컴퓨팅 비용 증가가 AI 채택의 장벽으로 자주 언급되지만, 선두 기업에서는 비용이 더 이상 실질적인 제약이 아니라는 사실을 깨닫고 있습니다. 더 어려운 과제(그리고 많은 기술 리더들이 가장 먼저 생각하는 과제)는 무엇입니까? 대기 시간, 유연성 및 용량. 예를 들어 Wonder에서는 AI가 주문당 단 몇 센트만 추가합니다. 음식 배달 및 테이크아웃 회사는 수요가 급증함에 따라 클라우드 용량에 훨씬 더 관심을 갖고 있습니다. Recursion은 온프레미스 클러스터와 클라우드를 통해 소규모 및 대규모 교육과 배포의 균

핵심 특징

고품질

검증된 정보만 제공

빠른 업데이트

실시간 최신 정보

상세 분석

전문가 수준 리뷰

상세 정보

핵심 내용

업계 전반에 걸쳐 컴퓨팅 비용 증가가 AI 채택의 장벽으로 자주 언급되지만, 선두 기업에서는 비용이 더 이상 실질적인 제약이 아니라는 사실을 깨닫고 있습니다. 더 어려운 과제(그리고 많은 기술 리더들이 가장 먼저 생각하는 과제)는 무엇입니까? 대기 시간, 유연성 및 용량. 예를 들어 Wonder에서는 AI가 주문당 단 몇 센트만 추가합니다. 음식 배달 및 테이크아웃 회사는 수요가 급증함에 따라 클라우드 용량에 훨씬 더 관심을 갖고 있습니다. Recursion은 온프레미스 클러스터와 클라우드를 통해 소규모 및 대규모 교육과 배포의 균형을 맞추는 데 중점을 두었습니다. 이는 생명공학 회사에 신속한 실험을 위한 유연성을 제공했습니다. 기업의 실제 현장 경험은 더 광범위한 업계 동향을 강조합니다. AI를 대규모로 운영하는 기업의 경우 경제성은 핵심 결정 요소가 아닙니다

상세 분석

. 대화는 AI 비용을 지불하는 방법에서 AI를 얼마나 빨리 배포하고 유지할 수 있는지로 옮겨졌습니다. 두 회사의 AI 리더들은 최근 VB의 순회 AI 임팩트 시리즈의 일환으로 Venturebeat의 CEO이자 편집장인 Matt Marshall과 함께 자리를 잡았습니다. 그들이 공유한 내용은 다음과 같습니다. Wonder: 용량에 대해 가정한 것을 다시 생각해보세요. Wonder는 AI를 사용하여 추천부터 물류까지 모든 것을 지원합니다. 그러나 현재 CTO인 James Chen은 AI가 주문당 몇 센트만 추가한다고 보고했습니다. Chen은 식사 주문의 기술 요소 비용이 14센트이고 AI가 2~3센트를 추가하지만 이는 5~8센트로 “매우 빠르게 올라가고 있습니다”라고 설명했습니다. 하지만 이는 총 운영 비용에 비하면 거의 중요하지 않은 것 같습니다.

정리

대신 100% 클라우드 기반 AI 회사의 주요 관심사는 수요 증가에 따른 용량이었습니다. Wonder는 “무제한의 용량”이 있어 “초고속”으로 이동할 수 있고 인프라 관리에 대해 걱정할 필요가 없다는 “가정”(잘못된 것으로 판명됨)을 바탕으로 구축되었다고 Chen은 말했습니다. 그러나 회사는 지난 몇 년 동안 상당히 성장했다고 그는 말했습니다. 그 결과, 약 6개월 전부터 “클라우드 제공업체로부터 ‘지역 2로 이동하는 것을 고려해야 할 수도 있습니다.”라는 신호가 거의 들어오지 않았습니다. 수요가 증가함에 따라 해당 시설의 CPU 또는 데이터 스토리지 용량이 부족해졌기 때문입니다. 예상보다 일찍 플랜B로 옮겨가야 했던 것은 “매우 충격적”이었다. Chen은 “분명히 다중 지역으로 운영하는 것이 좋은 관행이지만 우리는 앞으로 2년 정도 더 연장할 수도 있다고 생각하고 있었습니다.”라고 말했습니다. 경제적으로 실현 가능하지 않은 것(아직)Wonder는 전환율을 극대화하기 위해 자체 모델을 구축했다고 Chen은 지적했습니다. 목표는 가능한 한 관련 고객에게 새로운 레스토랑을 노출시키는 것입니다

자주 묻는 질문

Q. 어떤 정보를 제공하나요?

A. IT/기술 관련 최신 정보를 제공합니다.

Q. 신뢰할 수 있나요?

A. 검증된 출처만 선별합니다.

Q. 더 궁금한 점은?

A. 댓글로 문의하세요.

원문 출처

이 글은 원본 기사를 참고하여 작성되었습니다.

댓글

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다