OpenAI互換APIを備え、GPU、ブラウザー、モバイル端末で大規模言語モデルをネイティブに実行する機械学習コンパイラー兼デプロイエンジン。 MLC LLMは、大規模言語モデル向けの機械学習コンパイラー兼高性能推論エンジンです。単一ベンダーのスタックに依存せず、幅広いハードウェア上でモデルをネイティブに構築、最適化、デプロイできるようにすることを目指しています。

mlc-llm は無料で使えますか？ライセンスは？

mlc-llm は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

mlc-llm は今もメンテナンスされていますか？

活発にメンテナンス中。mlc-llm の最終コミットは 2026年10月6日です。

mlc-llm は何に使えますか？

GPUベンダーを問わず、ノートPCやワークステーションにローカルLLMをデプロイする。バックエンドサーバーを使わず、Webページ上で言語モデルを直接実行する。 iOSまたはAndroidアプリに、端末上で動作するLLM機能を組み込む。 OpenAI APIへの呼び出しを、セルフホスト型のOpenAI互換エンドポイントに置き換える。

mlc-llm のインストール方法は？

公式のクイックスタートとインストールガイドを読むドキュメントに従ってMLC LLMを使い始める

mlc-llm はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/mlc-ai/mlc-llm

mlc-ai/mlc-llm

Q: mlc-llm は今もメンテナンスされていますか？

活発にメンテナンス中。mlc-llm の最終コミットは 2026年10月6日 です。

Q: mlc-llm のインストール方法は？

公式のクイックスタートとインストールガイドを読む ドキュメントに従ってMLC LLMを使い始める

OpenAI互換APIを備え、GPU、ブラウザー、モバイル端末で大規模言語モデルをネイティブに実行する機械学習コンパイラー兼デプロイエンジン。

代替できる製品:OpenAI API

GitHub で見る公式サイト

スター: 23,261
フォーク: 2,162
未解決の Issue: 359
最終コミット: 15 日前

これは何？

MLC LLMは、大規模言語モデル向けの機械学習コンパイラー兼高性能推論エンジンです。単一ベンダーのスタックに依存せず、幅広いハードウェア上でモデルをネイティブに構築、最適化、デプロイできるようにすることを目指しています。

Vulkan、ROCm、CUDA、Metalなどのバックエンドを通じて、Linux、Windows、macOS上のAMD、NVIDIA、Apple、Intel製GPUを対象としています。また、WebGPUとWASMを使ってWebブラウザーで実行できるほか、iOSとiPadOSではMetal、AndroidではAdrenoおよびMali GPU上のOpenCLを通じて動作します。

ランタイムのMLCEngineは、RESTサーバー、Python、JavaScript、iOS、Android向けのバインディングを通じてOpenAI互換APIを提供します。これらはすべて同じコンパイラーとエンジンを共有します。

主な機能

01Vulkan、CUDA、ROCm、Metalを介して、NVIDIA、AMD、Apple、Intel製GPUでLLMを実行します。
02WebGPUとWASMを使って、Webブラウザーでモデルを実行します。
03iOSとAndroidへのデプロイに対応しています。
04RESTサーバー、Python、JavaScriptを通じてOpenAI互換APIを提供します。
05各対象プラットフォーム向けにモデルを最適化する機械学習コンパイラーを基盤としています。

ユースケース

GPUベンダーを問わず、ノートPCやワークステーションにローカルLLMをデプロイする。
バックエンドサーバーを使わず、Webページ上で言語モデルを直接実行する。
iOSまたはAndroidアプリに、端末上で動作するLLM機能を組み込む。
OpenAI APIへの呼び出しを、セルフホスト型のOpenAI互換エンドポイントに置き換える。

クイックスタート

1
公式のクイックスタートとインストールガイドを読む
2
ドキュメントに従ってMLC LLMを使い始める

使う前に知っておきたいこと

インストールとセットアップの手順は外部サイトにのみ記載されており、READMEにはありません。
対応プラットフォームはハードウェアによって異なります。たとえば、macOSでのIntel GPUや、LinuxおよびWindowsでのApple GPUなど、一部の組み合わせには対応していません。

トピック

#llm #machine-learning-compiler #inference #webgpu #on-device-ai #openai-compatible #gpu #language-model #machine-learning-compilation #tvm

よくある質問

mlc-llm とは？: OpenAI互換APIを備え、GPU、ブラウザー、モバイル端末で大規模言語モデルをネイティブに実行する機械学習コンパイラー兼デプロイエンジン。 MLC LLMは、大規模言語モデル向けの機械学習コンパイラー兼高性能推論エンジンです。単一ベンダーのスタックに依存せず、幅広いハードウェア上でモデルをネイティブに構築、最適化、デプロイできるようにすることを目指しています。
mlc-llm は無料で使えますか？ライセンスは？: mlc-llm は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
mlc-llm は今もメンテナンスされていますか？: 活発にメンテナンス中。mlc-llm の最終コミットは 2026年10月6日です。
mlc-llm は何に使えますか？: GPUベンダーを問わず、ノートPCやワークステーションにローカルLLMをデプロイする。バックエンドサーバーを使わず、Webページ上で言語モデルを直接実行する。 iOSまたはAndroidアプリに、端末上で動作するLLM機能を組み込む。 OpenAI APIへの呼び出しを、セルフホスト型のOpenAI互換エンドポイントに置き換える。
mlc-llm のインストール方法は？: 公式のクイックスタートとインストールガイドを読むドキュメントに従ってMLC LLMを使い始める
mlc-llm はどこで入手できますか？: ソースコードとインストール手順は GitHub にあります：https://github.com/mlc-ai/mlc-llm

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。