lyogavin / airllmGitHub量子化なしで、レイヤー単位に大規模言語モデルを実行し、70Bクラスのモデルを4GB GPU 1枚で推論できるPythonライブラリ。AI・機械学習#llm#inference#gpu#low-vram#pytorch3.9万4026Jupyter NotebookApache-2.0更新 15 時間前