Repolode
提交项目
EvolvingLMMs-Lab

EvolvingLMMs-Lab/NEO

NEO 是一系列原生视觉-语言模型，采用无编码器的统一稠密架构直接处理像素与文字。

在 GitHub 查看
Star
904
Fork
33
未关闭 Issue
5
最近提交
3个月前

这是什么？

NEO 是一系列原生视觉-语言模型（VLM），不再像多数模块化多模态系统那样使用独立的视觉编码器，而是由单个稠密模型同时完成像素与文字编码、对齐和推理。项目发布了 2B 和 9B 两种规模、不同训练阶段的模型，并提供论文和 Hugging Face 权重。

项目强调数据效率：据其介绍，在图文数据量不足同类系统 10% 的情况下，模型也能从零学到较强的视觉感知能力。评测覆盖单图理解、多图与视频理解以及空间智能任务。

仓库包含评测工具包（VLMEvalKit 与 VLMEvalKit_ov）和训练工具包（VLMTrainKit），各自附有使用说明。此外还收录了 NEO-ov 与 NEO-unify 架构的后续工作。

核心功能

  • 01无编码器的稠密架构，在单一模型中统一处理像素与文字。
  • 02提供 2B 和 9B 规模、多个训练阶段的模型权重，托管于 Hugging Face。
  • 03评测工具包覆盖单图、多图与视频基准测试。
  • 04提供训练代码与指南，便于复现 NEO 模型。
  • 05附带 NEO、NEO-ov 与 NEO-unify 相关论文与引用信息。

适用场景

  • 研究原生或无编码器的多模态模型架构。
  • 在自有图文数据上微调视觉-语言模型。
  • 在图像、视频和空间理解任务上对 VLM 进行基准评测。

快速上手

  1. 1

    在 Hugging Face 上浏览模型权重

  2. 2

    按照 NEO-ov 评估指南操作

  3. 3

    按照训练指南操作

使用前须知

  • README 未提供安装或推理命令，因此需要阅读链接的子指南才能完成配置。
  • 模型权重仅提供 2B 和 9B 两种规模。

标签

#vision-language-model#multimodal#encoder-free#llm#pytorch#computer-vision#agi#encoder-free-vlm#large-language-models#mllm

常见问题

NEO 是什么？
NEO 是一系列原生视觉-语言模型，采用无编码器的统一稠密架构直接处理像素与文字。 NEO 是一系列原生视觉-语言模型（VLM），不再像多数模块化多模态系统那样使用独立的视觉编码器，而是由单个稠密模型同时完成像素与文字编码、对齐和推理。项目发布了 2B 和 9B 两种规模、不同训练阶段的模型，并提供论文和 Hugging Face 权重。
NEO 可以免费使用吗？用的什么许可证？
NEO 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
NEO 还在维护吗？
半年内有更新。NEO 最近一次提交是在 2026年7月27日。
NEO 适合用来做什么？
研究原生或无编码器的多模态模型架构。 在自有图文数据上微调视觉-语言模型。 在图像、视频和空间理解任务上对 VLM 进行基准评测。
NEO 怎么安装和运行？
在 Hugging Face 上浏览模型权重 按照 NEO-ov 评估指南操作 按照训练指南操作
在哪里获取 NEO？
源代码和安装说明在 GitHub 上：https://github.com/EvolvingLMMs-Lab/NEO

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目