jasonacox/TinyLLM

これは何？

主な機能

• 01Ollama、vLLM、llama-cpp-pythonを使い、OpenAI互換API経由でローカルLLMを実行します。
• 02複数のセッションと会話履歴に対応した、ChatGPT風のWebチャットボットを提供します。
• 03チャットに貼り付けたWebページやPDFを要約します。
• 04チャットコマンドでニュース見出し、株価、天気を取得します。
• 05ベクトルデータベースを使った検索拡張クエリに対応しています。
• 06モデルをメモリ上に保持するためのOllama設定が含まれています。

ユースケース

• クラウドAPIにデータを送らず、家庭用GPUやApple Silicon搭載Macでプライベートなチャットボットを動かす。
• VRAMが限られたハードウェアで、量子化されたオープンモデルを試す。
• ベクトルデータベースを通じて、ローカルのチャットインターフェースから自分のドキュメントを検索できるようにする。

クイックスタート

1. 1

   プロジェクトのリポジトリをクローンする

   git clone https://github.com/jasonacox/TinyLLM.git
2. 2

   README に記載されている docker run コマンドを使って Ollama サーバーコンテナを起動する

3. 3

   コンテナ内で llama3 モデルをダウンロードしてテスト実行する

   docker exec -it ollama ollama run llama3

使う前に知っておきたいこと

• !対応しているのは Ubuntu Linux または macOS のみです。
• !Ollama サーバーが処理できるセッションまたはプロンプトは一度に1つだけです。
• !Ollama の簡易セットアップでは Docker と NVIDIA GPU が前提となり、vLLM にはより多くの VRAM を搭載した GPU が必要です。

収録されている特集

トピック

よくある質問

TinyLLM とは？

Ollama、vLLM、llama-cpp-pythonを使い、一般的なハードウェア上でOpenAI互換APIを備えた小規模なローカルLLMを動かすためのガイド兼チャットボットWebアプリ。 TinyLLMは、小型のローカルマシンで大規模言語モデルを動かすためのセットアップガイド兼Webチャットボットです。Ollama、vLLM、llama-cpp-pythonで推論サーバーを立ち上げ、それぞれが公開するOpenAI互換APIのエンドポイントにChatGPT風のチャットボットを接続する手順を案内します。

TinyLLM は無料で使えますか？ライセンスは？

TinyLLM は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

TinyLLM は今もメンテナンスされていますか？

活発にメンテナンス中。TinyLLM の最終コミットは 2026年10月25日 です。

TinyLLM は何に使えますか？

クラウドAPIにデータを送らず、家庭用GPUやApple Silicon搭載Macでプライベートなチャットボットを動かす。 VRAMが限られたハードウェアで、量子化されたオープンモデルを試す。 ベクトルデータベースを通じて、ローカルのチャットインターフェースから自分のドキュメントを検索できるようにする。

TinyLLM のインストール方法は？

プロジェクトのリポジトリをクローンする: git clone https://github.com/jasonacox/TinyLLM.git README に記載されている docker run コマンドを使って Ollama サーバーコンテナを起動する コンテナ内で llama3 モデルをダウンロードしてテスト実行する: docker exec -it ollama ollama run llama3

TinyLLM はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/jasonacox/TinyLLM