newsare.net
한국 AI 스타트업 비드래프트(대표 김민식)가 자체 개발한 오픈소스 파운데이션 모델 ‘Aether-7B-5Attn’을 글로벌 AI 플랫폼 허깅페이스에 Apache-2.0 라이선스로 공개했다고 밝혔다. 이 모델은 가중치AI 스타트업 비드래프트, 오픈소스 모델 ‘Aether-7B-5Attn’ 허깅페이스 공개
한국 AI 스타트업 비드래프트(대표 김민식)가 자체 개발한 오픈소스 파운데이션 모델 ‘Aether-7B-5Attn’을 글로벌 AI 플랫폼 허깅페이스에 Apache-2.0 라이선스로 공개했다고 밝혔다. 이 모델은 가중치뿐만 아니라 학습 데이터 구성 방식, 학습 코드, 하이퍼파라미터, 로그, 평가 코드 등 개발 과정의 주요 데이터를 함께 포함한 오픈소스 모델을 지향한다. 모델의 개발 공정을 투명하게 파악할 수 있도록 설계되어, 외부 연구자와 기업이 기술적 구조를 검증하고 이를 활용한 연구를 재현할 수 있도록 돕는다. Aether-7B-5Attn은 총 65.9억 파라미터 규모의 전문가 혼합(MoE) 구조로, 추론 시 토큰당 약 29.8억 파라미터가 활성화되도록 설계되어 연산 효율성을 높였다. Full, Differential, Sliding Window, NSA 계열 희소, Hybrid 등 5가지 어텐션 메커니즘을 결합했으며, 49개 층을 7×7 라틴 스퀘어 구조로 배치해 다양한 Read more











