연구에 따르면 AI 모델은 다양한 신경 영역에 기억과 논리를 저장합니다

게시일: 게시자: 카테고리:wellness

연구에 따르면 AI 모델은 다양한 신경 영역에 기억과 논리를 저장합니다 완벽가이드

  1. 소개
  2. 핵심 특징
  3. 상세 정보
  4. 자주 묻는 질문

연구에 따르면 AI 모델은 다양한 신경 영역에 기억과 논리를 저장합니다

IT/기술 전문 정보

연구에 따르면 AI 모델은 다양한 신경 영역에 기억과 논리를 저장합니다

엔지니어가 훈련 데이터에서 GPT-5와 같은 AI 언어 모델을 구축하면 암기(책의 유명한 인용문이나 구절과 같이 이전에 본 정확한 텍스트를 암송하는 것)와 추론(일반 원리를 사용하여 새로운 문제를 해결하는 것)이라는 두 가지 주요 처리 기능이 나타납니다. AI 스타트업 Goodfire.ai의 새로운 연구는 이러한 다양한 기능이 모델 아키텍처에서 완전히 분리된 신경 경로를 통해 실제로 작동한다는 최초의 잠재적으로 명확한 증거를 제공합니다. 연구자들은 이러한 분리가 놀라울 정도로 깨끗하다는 것을 발견했습니다. 10월 말에 발표된 사전

핵심 특징

고품질

검증된 정보만 제공

빠른 업데이트

실시간 최신 정보

상세 분석

전문가 수준 리뷰

상세 정보

핵심 내용

엔지니어가 훈련 데이터에서 GPT-5와 같은 AI 언어 모델을 구축하면 암기(책의 유명한 인용문이나 구절과 같이 이전에 본 정확한 텍스트를 암송하는 것)와 추론(일반 원리를 사용하여 새로운 문제를 해결하는 것)이라는 두 가지 주요 처리 기능이 나타납니다. AI 스타트업 Goodfire.ai의 새로운 연구는 이러한 다양한 기능이 모델 아키텍처에서 완전히 분리된 신경 경로를 통해 실제로 작동한다는 최초의 잠재적으로 명확한 증거를 제공합니다.

상세 분석

연구자들은 이러한 분리가 놀라울 정도로 깨끗하다는 것을 발견했습니다. 10월 말에 발표된 사전 인쇄 논문에서 그들은 암기 경로를 제거했을 때 모델이 훈련 데이터를 그대로 암송하는 능력의 97%를 잃었지만 거의 모든 “논리적 추론” 능력은 그대로 유지했다고 설명했습니다.

정리

예를 들어 Allen Institute for AI의 OLMo-7B 언어 모델의 레이어 22에서 가중치 구성 요소의 하위 50%는 기억된 데이터에서 23% 더 높은 활성화를 보인 반면, 상위 10%는 기억되지 않은 일반 텍스트에서 26% 더 높은 활성화를 보여주었습니다. 이러한 기계적 분할을 통해 연구원들은 다른 기능을 유지하면서 외과적으로 기억을 제거할 수 있었습니다.

자주 묻는 질문

Q. 어떤 정보를 제공하나요?

A. IT/기술 관련 최신 정보를 제공합니다.

Q. 신뢰할 수 있나요?

A. 검증된 출처만 선별합니다.

Q. 더 궁금한 점은?

A. 댓글로 문의하세요.

원문 출처

이 글은 원본 기사를 참고하여 작성되었습니다.

댓글

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다