Repolode
제출하기
EvolvingLMMs-Lab

EvolvingLMMs-Lab/NEO

픽셀과 텍스트를 하나의 인코더 없는 dense 아키텍처로 처리하는 오픈소스 네이티브 VLM(NEO 시리즈)

GitHub에서 보기
스타
903
포크
33
열린 이슈
5
마지막 커밋
3개월 전

어떤 프로젝트인가요?

NEO는 대부분의 멀티모달 시스템이 사용하는 별도의 사전 학습 비전 인코더를 없앤 네이티브 비전-언어 모델(VLM) 제품군입니다. 대신 하나의 dense 모델이 픽셀과 텍스트를 인코딩하고, 둘 사이의 정렬을 처리하며, 단일 아키텍처 안에서 추론을 수행합니다.

이 프로젝트는 여러 학습 단계에 걸친 2B 및 9B 모델과 VLMEvalKit 기반 평가 코드, NEO 모델 학습 코드를 공개합니다. 논문에서는 단일 이미지, 다중 이미지, 비디오, 공간 이해 벤치마크의 결과를 보고하며, 저자들은 비슷한 모듈형 모델에 사용된 이미지-텍스트 데이터의 10% 미만으로 학습했다고 밝힙니다.

저자들이 통합 멀티모달 이해 및 생성을 위한 경로라고 설명하는 NEO-ov 변형과 NEO-unify 아키텍처도 다룹니다.

핵심 기능

  • 01픽셀과 텍스트 인코딩을 하나의 모델로 통합하는 인코더 없는 dense 아키텍처.
  • 02여러 학습 단계에 걸쳐 공개된 2B 및 9B 모델 가중치.
  • 03VLMEvalKit 기반 평가 가이드 및 코드.
  • 04별도의 가이드에서 제공하는 NEO 모델 학습 코드.
  • 05단일 이미지, 다중 이미지, 비디오 및 공간 이해 작업 지원.

활용 사례

  • 네이티브 또는 인코더 없는 멀티모달 모델 설계 연구.
  • 이미지, 비디오 및 공간 이해 작업에서 비전-언어 모델 벤치마킹.
  • 맞춤형 이미지-텍스트 데이터로 소형 2B 또는 9B VLM 파인튜닝.

토픽

#multimodal#vision-language-model#vlm#encoder-free#large-language-models#deep-learning#agi#encoder-free-vlm#mllm#multimodal-large-language-models

자주 묻는 질문

NEO은(는) 무엇인가요?
픽셀과 텍스트를 하나의 인코더 없는 dense 아키텍처로 처리하는 오픈소스 네이티브 VLM(NEO 시리즈) NEO는 대부분의 멀티모달 시스템이 사용하는 별도의 사전 학습 비전 인코더를 없앤 네이티브 비전-언어 모델(VLM) 제품군입니다. 대신 하나의 dense 모델이 픽셀과 텍스트를 인코딩하고, 둘 사이의 정렬을 처리하며, 단일 아키텍처 안에서 추론을 수행합니다.
NEO은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
NEO은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
NEO은(는) 아직 유지보수되고 있나요?
6개월 이내 업데이트. NEO의 마지막 커밋은 2026년 7월 27일입니다.
NEO은(는) 어디에 사용할 수 있나요?
네이티브 또는 인코더 없는 멀티모달 모델 설계 연구. 이미지, 비디오 및 공간 이해 작업에서 비전-언어 모델 벤치마킹. 맞춤형 이미지-텍스트 데이터로 소형 2B 또는 9B VLM 파인튜닝.
NEO은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/EvolvingLMMs-Lab/NEO

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트