Repolode
提交项目
XHToken

XHToken/Spark-X2.6

XHToken 推出的开源 4B 与 1.7B 通用语言模型，面向端侧部署和智能体工具调用场景。

在 GitHub 查看官网
Star
897
Fork
130
未关闭 Issue
5
最近提交
4天前

这是什么？

Spark-X2.5 是一个开源模型系列，包含 4B 和 1.7B 两种参数规模，适用于对话、写作、翻译、推理、编程、工具调用和智能体工作流。模型采用混合注意力结构，每组中一层全注意力搭配三层滑动窗口注意力，原生支持最长 1M token 的上下文窗口。

模型权重可从 Hugging Face、ModelScope、Ollama 以及多个国内平台下载，并提供 FP8 和 INT8 量化版本。部署示例涵盖 vLLM、SGLang、llama.cpp、MLX 和 LM Studio，支持 NVIDIA GPU 与华为昇腾 NPU。仓库还附带适配智能体框架的对话模板和工具调用解析器。

仓库中包含与 Qwen3.5、Gemma4 等模型的基准测试对比、各推理框架的快速启动命令，以及基于 LLaMA-Factory 的微调说明。模型以 Apache 2.0 协议发布。

核心功能

  • 01混合注意力结构，原生支持最长 1M token 上下文。
  • 02提供 4B 和 1.7B 两种规模，并有 FP8、INT8 量化版本。
  • 03内置工具调用解析器和对话模板，便于接入智能体。
  • 04可在 vLLM、SGLang、llama.cpp、MLX、Ollama、LM Studio 上运行。
  • 05支持 NVIDIA GPU 与昇腾 NPU，可使用 LLaMA-Factory 微调。

适用场景

  • 在笔记本或边缘设备上本地运行小型通用模型。
  • 为编程或智能体工具提供兼容 OpenAI 接口的推理服务。
  • 利用 1M token 上下文处理长文档。
  • 借助 LLaMA-Factory 针对特定领域微调紧凑模型。

快速上手

  1. 1

    安装 Ollama 并运行模型

    ollama run SparkLLM
  2. 2

    或从 Hugging Face（官方合集）下载模型

使用前须知

  • README 除 SparkLLM 命名空间外未给出确切的 Ollama 模型标签，运行前请先查看 Ollama 页面。
  • 基准测试结果由发布方自行提供，部分对比数据带星号，表示来自其他来源。
  • README 未说明模型许可证，元数据中标注为 Apache-2.0。

收录于专题

开源 AI Agent 框架与应用本地运行大模型

标签

#llm#ai-agent#on-device#quantization#vllm#llama-cpp#ollama#tool-calling#agent#ai

常见问题

Spark-X2.6 是什么？
XHToken 推出的开源 4B 与 1.7B 通用语言模型，面向端侧部署和智能体工具调用场景。 Spark-X2.5 是一个开源模型系列，包含 4B 和 1.7B 两种参数规模，适用于对话、写作、翻译、推理、编程、工具调用和智能体工作流。模型采用混合注意力结构，每组中一层全注意力搭配三层滑动窗口注意力，原生支持最长 1M token 的上下文窗口。
Spark-X2.6 可以免费使用吗？用的什么许可证？
Spark-X2.6 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
Spark-X2.6 还在维护吗？
活跃维护中。Spark-X2.6 最近一次提交是在 2026年11月4日。
Spark-X2.6 适合用来做什么？
在笔记本或边缘设备上本地运行小型通用模型。 为编程或智能体工具提供兼容 OpenAI 接口的推理服务。 利用 1M token 上下文处理长文档。 借助 LLaMA-Factory 针对特定领域微调紧凑模型。
Spark-X2.6 怎么安装和运行？
安装 Ollama 并运行模型: ollama run SparkLLM 或从 Hugging Face（官方合集）下载模型
在哪里获取 Spark-X2.6？
源代码和安装说明在 GitHub 上：https://github.com/XHToken/Spark-X2.6

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目