「multimodal」に関するオープンソースプロジェクト

ピクセルと単語を単一のエンコーダーフリーな高密度アーキテクチャで処理する、オープンソースのネイティブ視覚言語モデル（NEOシリーズ）。2Bと9Bを公開。

Webサイト、PDF、画像、YouTube動画、トピックから多言語の音声ポッドキャストを生成する、オープンソースのPythonパッケージ。

FSDP2、Muon、Liger kernelsに対応し、vision-language・diffusion・MoEアーキテクチャを扱えるマルチモーダルモデル向けの統合学習エンジン。

ストリーミング音声文字起こしで学習し、動画にリアルタイムで解説を付ける動画LLM。GradioとCLIのデモを提供。

FastAPI、Playwright、OpenAI互換の画像認識モデルを使った、セルフホスト可能なcaptcha solver。YesCaptcha形式のAPIを提供。

使っていないAndroidスマートフォンをLANカメラとして活用し、PCダッシュボードでライブMJPEG映像の確認、録画、AIによるイベント分析ができます。

PDF、Officeファイル、スキャン、スクリーンショット、図を、独自のOpenAI互換ビジョンモデルでMarkdownに変換します。

画像理解、画像生成、画像編集を単一のアーキテクチャで実現するオープンソースのネイティブマルチモーダルモデル。

WebページやPDFをスクリーンショット化して画像を検索する、表やグラフも保持できるビジュアルRAGツールキット。

Apple Silicon上でMLXを使い、1枚の画像に対する回答候補をスコアリングする小規模な学習用プロジェクト。

Qwen3.5とC-RADIOv4-Hを基盤とする、視覚理解・空間推論・ツール利用・身体性AI研究向けの9Bオープンウェイトマルチモーダルモデル。

自然言語の指示に応じてテキスト、画像、またはその両方を生成し、多様なコンピュータビジョンタスクを処理する統合マルチモーダルモデル。

EmbeddingGemma 2を使い、写真やPDF、文書、音声、動画、コードを意味で検索できるオンデバイスのデスクトップアプリ。