「avx2」に関するオープンソースプロジェクト

量子化と最適化カーネルにより、Whisper、Llama、NLLBなどのTransformerモデルを高速かつ省メモリで実行するC++・Pythonライブラリ。

完全な検証を行いながら、SIMD命令で毎秒数GBのJSONを解析するC++パーサー。