EvolvingLMMs-Lab/NEO

これは何？

主な機能

• 01ピクセルと単語の処理を単一モデルに統合する、エンコーダーフリーの高密度アーキテクチャ。
• 02複数の学習段階にわたる2Bおよび9Bモデルの重みをHugging Faceで公開。
• 03単一画像・複数画像・動画のベンチマークに対応する評価ツールキット。
• 04NEOモデルの再現に使える学習コードとガイド。
• 05NEO、NEO-ov、NEO-unifyの論文と引用情報を公開。

ユースケース

• ネイティブまたはエンコーダーフリーのマルチモーダルアーキテクチャの研究。
• 独自の画像・テキストデータを使った視覚言語モデルのファインチューニング。
• 画像・動画・空間理解タスクにおけるVLMのベンチマーク。

クイックスタート

1. 1

   Hugging Faceでモデルの重みを確認する

2. 2

   NEO-ovの評価ガイドに従う

3. 3

   トレーニングガイドに従う

使う前に知っておきたいこと

• !READMEにはインストールや推論のコマンドが記載されていないため、セットアップにはリンク先のガイドを読む必要があります。
• !モデルの重みは2Bと9Bのサイズのみ提供されています。

トピック

よくある質問

NEO とは？

NEOは、ピクセルと単語を単一のエンコーダーフリーな高密度アーキテクチャで処理する視覚言語モデル群で、学習・評価コードも公開しています。 NEOは、ほとんどのモジュール型マルチモーダルシステムで使われる独立したビジョンエンコーダーを省いた、ネイティブな視覚言語モデル（VLM）のシリーズです。代わりに、単一の高密度モデルがピクセルと単語のエンコード、アライメント、推論をまとめて処理します。プロジェクトでは、複数の学習段階にわたる2Bおよび9Bモデルに加え、論文とHugging Faceの重みを公開しています。

NEO は無料で使えますか？ライセンスは？

NEO は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

NEO は今もメンテナンスされていますか？

半年以内に更新あり。NEO の最終コミットは 2026年7月27日 です。

NEO は何に使えますか？

ネイティブまたはエンコーダーフリーのマルチモーダルアーキテクチャの研究。 独自の画像・テキストデータを使った視覚言語モデルのファインチューニング。 画像・動画・空間理解タスクにおけるVLMのベンチマーク。

NEO のインストール方法は？

Hugging Faceでモデルの重みを確認する NEO-ovの評価ガイドに従う トレーニングガイドに従う

NEO はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/EvolvingLMMs-Lab/NEO