「vllm」に関するオープンソースプロジェクト

TensorFoldとvLLMを使い、4台のNVIDIA DGX SparkでDeepSeek-V4.1-Flash（552B MoE）を動かして測定した記録。

LLMのデコード破損を検知し、ユーザーに異常なトークンが届く前に生成を止める、NumPyのみで動作するPython製ガード。

Qwen3.5とC-RADIOv4-Hを基盤とする、視覚理解・空間推論・ツール利用・身体性AI研究向けの90億パラメータのオープンウェイトマルチモーダルモデル。

XHTokenのオープンウェイト汎用言語モデル。4Bと1.7Bの2サイズで、オンデバイス利用やエージェントのツール呼び出しに対応。