コンシューマー向けのMetal、CUDA、ROCm対応ハードウェアでDeepSeek V4 Flashなど一部の大規模モデルを動かす、軽量なネイティブ推論エンジン。
2.4万2313CMIT更新 13 時間前
#inference-engine
「inference-engine」に関するオープンソースプロジェクト
inference-engine に関連する厳選 GitHub リポジトリ。AI による概要と主要な指標を掲載しています。
2 件のリポジトリ絞り込みを解除
ApxInf Rust推論エンジン向けのPythonバインディングとロボットポリシー層。Jetson Thor/OrinやRTX GPUでVLAモデルを実行
22728PythonApache-2.0更新 21 日前