주의가 필요한 전부가 아닌가요?! 새로운 Qwen3 변형 Brumby-14B-Base는 전력 유지 기술을 활용합니다

게시일: 게시자: 카테고리:wellness

주의가 필요한 전부가 아닌가요?! 새로운 Qwen3 변형 Brumby-14B-Base는 전력 유지 기술을 활용합니다 완벽가이드

  1. 소개
  2. 핵심 특징
  3. 상세 정보
  4. 자주 묻는 질문

주의가 필요한 전부가 아닌가요?! 새로운 Qwen3 변형 Brumby-14B-Base는 전력 유지 기술을 활용합니다

IT/기술 전문 정보

주의가 필요한 전부가 아닌가요?! 새로운 Qwen3 변형 Brumby-14B-Base는 전력 유지 기술을 활용합니다

트랜스포머 아키텍처는 2017년 현재 중요한 Google 논문인 “Attention Is All You Need”에 소개되었을 때 현대 인공 지능의 즉각적인 초석이 되었습니다. OpenAI의 GPT 시리즈부터 Anthropic의 Claude, Google의 Gemini, Meta의 Llama에 이르기까지 모든 주요 LLM(대형 언어 모델)은 중심 메커니즘의 일부 변형을 기반으로 구축되었습니다. 즉, 모델이 전체 입력을 되돌아보고 어떤 정보가 가장 중요한지 결정할 수 있는 수학적 연산인 Attention을 기반으로 구축되었습니다. 8

핵심 특징

고품질

검증된 정보만 제공

빠른 업데이트

실시간 최신 정보

상세 분석

전문가 수준 리뷰

상세 정보

핵심 내용

트랜스포머 아키텍처는 2017년 현재 중요한 Google 논문인 “Attention Is All You Need”에 소개되었을 때 현대 인공 지능의 즉각적인 초석이 되었습니다. OpenAI의 GPT 시리즈부터 Anthropic의 Claude, Google의 Gemini, Meta의 Llama에 이르기까지 모든 주요 LLM(대형 언어 모델)은 중심 메커니즘의 일부 변형을 기반으로 구축되었습니다. 즉, 모델이 전체 입력을 되돌아보고 어떤 정보가 가장 중요한지 결정할 수 있는 수학적 연산인 Attention을 기반으로 구축되었습니다. 8년 후, AI의 황금기를 정의했던 동일한 메커니즘이 이제 한계를 보이고 있습니다. 주의력은 강력하지만 비용도 많이 듭니다. 계산 및 메모리 비용은 컨텍스트 길이에 따라 2차적으로 증가하여 연구와 산업 모두에 점점 더 지속 불가능한 병목 현상을 만듭니다. 모델이 몇 시간 또는 며칠 동안 지속되는 문서, 코드베이스 또는 비디오 스트림 전반에 걸쳐 추론하는 것을 목표로 하기 때문에 관심은 아키텍처의 아킬레스건이 됩니다

상세 분석

. 2025년 10월 28일, 잘 알려지지 않은 AI 스타트업 Manifest AI는 급진적인 대안을 도입했습니다. 새로운 모델인 Brumby-14B-Base는 선도적인 오픈 소스 변압기 모델 중 하나인 Qwen3-14B-Base의 재훈련된 변형입니다. 그러나 Qwen의 많은 변형이 이미 훈련되었지만 Brumby-14B-Base는 관심을 완전히 버린다는 점에서 참신합니다. 대신 Brumby는 이러한 레이어를 Power Retention이라는 새로운 메커니즘으로 대체합니다. 이 아키텍처는 기하급수적인 메모리 증가 없이 임의로 긴 컨텍스트에 걸쳐 정보를 저장하고 업데이트하는 반복적이고 하드웨어 효율적인 아키텍처입니다. 단 $4,000의 명시된 비용으로 훈련된 140억 매개변수의 Brumby 모델은 Qwen3-14B 및 GLM-4.5-Air와 같은 확립된 변환기 모델과 동등한 성능을 발휘하며 다양한 추론 및 이해 벤치마크.

정리

주의에서 유지까지: 아키텍처 변화 Manifest AI 혁신의 핵심은 Power Retention 계층이라고 부르는 것에 있습니다. 기존 변환기에서 모든 토큰은 일련의 쿼리(Q), 키(K) 및 값(V)을 계산한 다음 모든 토큰과 다른 모든 토큰 간의 유사성을 측정하는 행렬 작업을 수행합니다. 기본적으로 시퀀스 전체에 걸친 전체 쌍별 비교입니다. 이것이 주의의 유연성을 제공하는 동시에 비용이 많이 드는 이유이기도 합니다. 두 배의 시간이 걸리는 시퀀스를 처리하는 데는 대략 4배의 컴퓨팅 및 메모리가 소요됩니다. 전력 유지는 동일한 입력(Q, K, V)을 유지하지만 전역 유사성 작업을 반복적인 상태 업데이트로 대체합니다. 각 계층은 들어오는 키, 값 및 학습된 게이팅 신호에 따라 각 시간 단계에서 업데이트되는 메모리 행렬 S를 유지합니다

자주 묻는 질문

Q. 어떤 정보를 제공하나요?

A. IT/기술 관련 최신 정보를 제공합니다.

Q. 신뢰할 수 있나요?

A. 검증된 출처만 선별합니다.

Q. 더 궁금한 점은?

A. 댓글로 문의하세요.

원문 출처

이 글은 원본 기사를 참고하여 작성되었습니다.

댓글

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다