b4rtaz / distributed-llamaGitHub複数の家庭用デバイスにLLM推論を分散し、Ethernet経由で生成を高速化するC++ツール。AI・機械学習#llm-inference#distributed-computing#tensor-parallelism#llama#cpp3115258C++MIT更新 11 日前