「speculative-decoding」に関するオープンソースプロジェクト

12 GBおよび8 GBのNVIDIA GPUで、262kコンテキストの1.58-bit Ternary Bonsai 2 27Bを実行するランチャーとパッチ適用済みllama.cpp環境。

iPhoneをUSB-CでMacに接続し、GPUを活用してQwen 27Bをローカル実行。プロンプト処理を高速化し、コンテキストを拡張します。

Apple Silicon、NVIDIA、AMD、CPU向けにカーネルを調整し、オープンモデルを高速実行するオープンソース推論エンジン。