Open source проекты по теме «local-llm»

A macOS menu bar app for running local LLMs, built on llama.cpp and serving an OpenAI-style API on localhost.

Локальный и облачный запуск открытых моделей, таких как Gemma, Qwen, DeepSeek и gpt-oss, через CLI, REST API и библиотеки для Python и JavaScript.

Самостоятельно развёртываемый ИИ-ассистент для исследований: выполняет многоэтапный поиск с локальными и облачными LLM и разными поисковыми системами, добавляет ссылки на источники и шифрует данные.

A curated awesome-list of platforms, inference engines, UIs, models, tools and tutorials for running LLMs on your own hardware.

Нативный для edge-устройств движок для инференса MoE-моделей с открытыми весами, например DeepSeek-V4 и Qwen3.6, на потребительских GPU и CPU.

A local reasoning tool where a small model's step-by-step answers are stored as a knowledge graph, all running on your own machine via Ollama.

A curated Awesome-style list of platforms, tools, models and tutorials for running large language models locally.

Runs Claude Code against open AI models on your Apple Silicon Mac via an MLX-based Anthropic API server, with no cloud model or API key.

Практическое руководство по созданию AI-агентов с нуля на локальных LLM через node-llama-cpp: function calling, память и ReAct.

An educational JavaScript tutorial that builds retrieval-augmented generation step by step with local LLMs and no cloud APIs.

Механизм инференса на чистом C запускает очень большие MoE-модели на обычном оборудовании, подгружая выбранных экспертов с диска.

CLI-инструмент для дообучения и посттренинга LLM по одному YAML-конфигу, в том числе на потребительских GPU с небольшим объёмом VRAM.

A local-first browser automation engine and Agent Skill that runs Qwen3.5 models on-device to pick browser actions from visible page elements.

Uses an iPhone connected over USB-C to speed up prefill and extend context for a 27B Qwen model running locally on a Mac.

Spark-X2.5 is an open-weight language model series (4B and 1.7B) aimed at agentic coding and tool use on local and on-device hardware.

Open source inference engine, который подстраивает kernels под ваше оборудование и ускоряет работу open models на Apple Silicon, NVIDIA, AMD или CPU.

Cross-platform desktop app that uses local or remote LLMs to sort files into categories and suggest clearer filenames, with review before any change.

A Zotero plugin that lets you chat with one PDF, several PDFs, or your whole library, with clickable citations and optional fully local models.

Chrome extension plus local Python service that generates real-time English/Chinese translated captions for YouTube livestreams using Ollama.