收录 419 个预训练 AI 模型，覆盖视觉、语音、NLP 与大模型，可通过统一的 Python 命令行运行。
2403367PythonOther更新于 22小时前
doofzoff/SIMURG
纯 numpy 的 Python 守卫库，在 LLM 流式输出过程中实时检测重复循环、语言漂移等解码损坏并及时中止。
- Star
- 101
- Fork
- 15
- 未关闭 Issue
- 0
- 最近提交
- 29天前
这是什么？
SIMURG 在 LLM 逐 token 生成的过程中检测解码损坏，包括重复循环、跨语言漂移、模板内容复读、结构性乱码以及对话模板标记泄漏。它先缓存前 350 个字符，之后每 400 个字符重新检查一次，超过校准阈值时立即截断输出，因此损坏文本不会展示给用户。每次告警都附带可读的原因说明和大致的起始位置。
核心只依赖 numpy，不需要模型或 GPU，可接入任何 OpenAI 兼容的 chat completions 接口，例如 vLLM、llama.cpp server、TGI、Ollama 或 OpenAI。GuardedLLM 封装提供重试和备用模型逻辑，自愈模式可以从已验证的干净前缀继续生成，而不必整段重来。阈值基于干净输出校准，项目还提供用自有流量重新训练的命令以及实时守护和会话回放的仪表盘。
需要注意，它检测的是输出过程中的损坏，而不是事实错误：语句流畅但内容错误的文本没有可供统计的特征。项目还包含可选的小型 Transformer 检测层、用于事实核查的网页搜索模块，以及实验性的反馈学习模块。
核心功能
- 01检测流式输出中的重复循环、语言漂移、内容复读、结构性乱码和模板标记泄漏。
- 02缓存开头部分内容，超过校准阈值时截断输出，损坏文本不会展示给用户。
- 03仅依赖 numpy，无需模型或 GPU，兼容任何 OpenAI 接口。
- 04每次告警给出可读原因和大致起始位置。
- 05检测到异常时自动重试或切换备用模型。
- 06支持用自有干净输出重新校准阈值，并提供实时守护仪表盘。
适用场景
- 为基于量化模型或自部署模型的面向用户的聊天应用拦截异常输出。
- 在推理服务与前端之间加入流式质量检查，在 token 显示前截断损坏内容。
- 回放生产环境中的异常生成记录，分析故障模式。
- 用标注样本为自己的模型训练自定义检测器，识别特定的失败类型。
快速上手
- 1
从 PyPI 安装该包
pip install simurg - 2
或从源码安装：克隆仓库
git clone https://github.com/doofzoff/SIMURG.git - 3
进入项目目录并以可编辑模式安装
cd SIMURG && pip install -e . - 4
运行可复现的基准测试
python3 -m simurg.data.evaluate
使用前须知
- 其校准基于随附的合成基准，在生产环境中使用前应先用自己的流量重新训练。
- 对于流中途出现的损坏，在重试替换之前可能残留约 900 个字符的错误尾部；在基准测试中，起始于保留窗口内的损坏仅有 21 例中的 12 例被完全拦截。
标签
常见问题
- SIMURG 是什么？
- 纯 numpy 的 Python 守卫库，在 LLM 流式输出过程中实时检测重复循环、语言漂移等解码损坏并及时中止。 SIMURG 在 LLM 逐 token 生成的过程中检测解码损坏，包括重复循环、跨语言漂移、模板内容复读、结构性乱码以及对话模板标记泄漏。它先缓存前 350 个字符，之后每 400 个字符重新检查一次，超过校准阈值时立即截断输出，因此损坏文本不会展示给用户。每次告警都附带可读的原因说明和大致的起始位置。
- SIMURG 可以免费使用吗？用的什么许可证？
- SIMURG 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
- SIMURG 还在维护吗？
- 活跃维护中。SIMURG 最近一次提交是在 2026年9月21日。
- SIMURG 适合用来做什么？
- 为基于量化模型或自部署模型的面向用户的聊天应用拦截异常输出。 在推理服务与前端之间加入流式质量检查，在 token 显示前截断损坏内容。 回放生产环境中的异常生成记录，分析故障模式。 用标注样本为自己的模型训练自定义检测器，识别特定的失败类型。
- SIMURG 怎么安装和运行？
- 从 PyPI 安装该包: pip install simurg 或从源码安装：克隆仓库: git clone https://github.com/doofzoff/SIMURG.git 进入项目目录并以可编辑模式安装: cd SIMURG && pip install -e . 运行可复现的基准测试: python3 -m simurg.data.evaluate
- 在哪里获取 SIMURG？
- 源代码和安装说明在 GitHub 上：https://github.com/doofzoff/SIMURG
概要由 AI 根据项目 README 生成；GitHub 数据每日更新。
相关项目
用 Rust 编写的引擎无关 LLM 网关，将兼容 OpenAI 和 Anthropic 的请求分发到自部署推理引擎与云端模型服务。
633195RustApache-2.0更新于 17小时前
本地或云端运行 Gemma、Qwen、DeepSeek、gpt-oss 等开源大模型的工具，提供命令行、REST API 和 Python/JavaScript 库。
18.4万1.8万GoMIT更新于 前天
自托管的 OpenAI 兼容 AI 引擎，可在任意硬件（含纯 CPU）上运行大模型、视觉、语音、图像和视频模型。
5万4507GoMIT更新于 24小时前
Python 库，逐层加载大语言模型，让 70B 级模型可在单张 4GB 显卡上推理，无需量化。
3.9万4026Jupyter NotebookApache-2.0更新于 昨天
基于紧凑流式语言 OpenUI Lang 的生成式 UI 框架，让大模型按你的组件库输出可渲染界面。
1.2万820TypeScriptMIT更新于 昨天