Engine unificado de treinamento para modelos multimodais, com suporte a treinamento de VLMs, modelos de difusão e LLMs usando FSDP2, Muon e kernels Liger.
83238PythonSem licençaAtualizado anteontem
EvolvingLMMs-Lab/NEO
NEO é uma família de modelos nativos de visão e linguagem que processam pixels e palavras em uma única arquitetura densa sem encoder, com código de treinamento e avaliação.
- Estrelas
- 904
- Forks
- 33
- Issues abertas
- 5
- Último commit
- há 3 meses
O que é?
NEO é uma série de modelos nativos de visão e linguagem (VLMs) que dispensam o encoder de visão separado usado pela maioria dos sistemas multimodais modulares. Em vez disso, um único modelo denso realiza conjuntamente a codificação de pixels e palavras, o alinhamento e o raciocínio. O projeto disponibiliza modelos 2B e 9B em várias etapas de treinamento, além do artigo e dos pesos no Hugging Face.
O foco declarado do projeto é a eficiência de dados: segundo os resultados apresentados, é possível desenvolver do zero uma percepção visual robusta usando menos de 10% dos dados de imagem e texto usados por sistemas comparáveis. Também são apresentados resultados de avaliação para tarefas de compreensão de uma ou várias imagens, vídeos e inteligência espacial.
O repositório inclui um toolkit de avaliação (VLMEvalKit e VLMEvalKit_ov) e um toolkit de treinamento (VLMTrainKit), cada um com guias próprios. O trabalho subsequente sobre as arquiteturas NEO-ov e NEO-unify também está documentado.
Recursos principais
- 01Arquitetura densa sem encoder que unifica o processamento de pixels e palavras em um único modelo.
- 02Pesos dos modelos 2B e 9B em várias etapas de treinamento, hospedados no Hugging Face.
- 03Toolkit de avaliação com benchmarks de imagens únicas, múltiplas imagens e vídeos.
- 04Código de treinamento e guia para reproduzir os modelos NEO.
- 05Artigos e citações publicados sobre os trabalhos NEO, NEO-ov e NEO-unify.
Casos de uso
- Pesquisar arquiteturas multimodais nativas ou sem encoder.
- Ajustar um modelo de visão e linguagem com dados próprios de imagem e texto.
- Avaliar VLMs em tarefas de compreensão de imagens, vídeos e inteligência espacial.
Início rápido
- 1
Explore os pesos do modelo no Hugging Face
- 2
Siga o guia de avaliação do NEO-ov
- 3
Siga o guia de treinamento
Antes de usar
- O README não inclui comandos de instalação nem de inferência, então é necessário consultar os guias vinculados para configurar o projeto.
- Os pesos do modelo estão disponíveis apenas nos tamanhos 2B e 9B.
Tópicos
Perguntas frequentes
- O que é NEO?
- NEO é uma família de modelos nativos de visão e linguagem que processam pixels e palavras em uma única arquitetura densa sem encoder, com código de treinamento e avaliação. NEO é uma série de modelos nativos de visão e linguagem (VLMs) que dispensam o encoder de visão separado usado pela maioria dos sistemas multimodais modulares. Em vez disso, um único modelo denso realiza conjuntamente a codificação de pixels e palavras, o alinhamento e o raciocínio. O projeto disponibiliza modelos 2B e 9B em várias etapas de treinamento, além do artigo e dos pesos no Hugging Face.
- NEO é gratuito? Qual é a licença?
- NEO é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- NEO ainda é mantido?
- Atualizado nos últimos 6 meses. O último commit de NEO foi em 27 de jul. de 2026.
- Para que posso usar NEO?
- Pesquisar arquiteturas multimodais nativas ou sem encoder. Ajustar um modelo de visão e linguagem com dados próprios de imagem e texto. Avaliar VLMs em tarefas de compreensão de imagens, vídeos e inteligência espacial.
- Como instalar NEO?
- Explore os pesos do modelo no Hugging Face Siga o guia de avaliação do NEO-ov Siga o guia de treinamento
- Onde consigo NEO?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/EvolvingLMMs-Lab/NEO
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Um modelo multimodal unificado que realiza tarefas de visão computacional, como detecção, OCR, segmentação, estimativa de profundidade e geometria multivista, por meio da geração de texto e imagens.
IA e Machine Learning#multimodal#computer-vision#vision-language-model#segmentation#depth-estimation
71742PythonApache-2.0Atualizado há 2 meses
Um modelo multimodal de pesos abertos com 9 bilhões de parâmetros para compreensão visual, raciocínio espacial, uso de ferramentas por agentes e pesquisa em IA incorporada, baseado em Qwen3.5 e C-RADIOv4-H.
3,1 mil540PythonApache-2.0Atualizado mês passado
Um LLM de vídeo treinado com transcrição de fala em streaming que gera comentários em tempo real sobre vídeos ao vivo, apresentado no artigo LiveCC da CVPR 2025.
48059PythonSem licençaAtualizado há 12 meses
Um guia prático e codebase em PyTorch para treinar um LLM do zero, cobrindo pré-treinamento, SFT, modelagem de recompensas, DPO/PPO/GRPO e geração.
12,3 mil1,8 milPythonMITAtualizado há 17 dias
Um mecanismo de IA auto-hospedado e compatível com OpenAI, que executa LLMs e modelos de visão, voz, imagem e vídeo em qualquer hardware, inclusive em máquinas só com CPU.
49,6 mil4,5 milGoMITAtualizado há 10 horas