cactus-compute/needle

这是什么？

核心功能

• 01根据用户请求选择工具调用并填写参数，没有匹配工具时返回空列表。
• 02按声明的结构从文本中抽取带类型的字段，输出保证可解析。
• 03生成文本向量，用于本地搜索、匹配和路由。
• 04通过 Whistle 进行语音转文字，支持词级时间戳、关键词增强和实时流式转写。
• 05提供 Python 装饰器 API，执行匹配到的函数并返回结果。
• 06支持本地 LoRA 微调和托管微调，并覆盖不同模型深度。

适用场景

• 在手机上运行本地语音或文本助手，直接触发应用操作。
• 智能家居和可穿戴设备，将语音指令映射为设备功能。
• 离线设备上从杂乱文本中提取发票、预订信息或表单字段。
• 配合唤醒词或语音活动检测，在常开麦克风上做本地语音转文字。

快速上手

1. 1

   安装 Python 包

   pip install cactus-needle
2. 2

   用装饰器把 Python 函数声明为工具并运行代理

3. 3

   安装 JavaScript/TypeScript 社区包（可选）

   npm install cactus-needle

使用前须知

• !不是通用聊天模型：它以牺牲通用聊天能力为代价，专注于工具调用和结构化提取。
• !模型权重托管在 Hugging Face 上，平台引擎需单独获取，因此安装需要网络访问。
• !二进制文件默认开启遥测，需通过环境变量手动关闭。
• !常开麦克风可能把音乐等非语音声音识别为文字，建议前置语音活动检测或唤醒词。

标签

常见问题

needle 是什么？

面向手机、可穿戴设备、机器人和微控制器的端侧小模型，支持工具调用、结构化抽取、向量嵌入和语音转文字。 Needle 是一个面向资源受限硬件的小型基础模型，用于端侧自动化。完整模型只有 8 到 29 MB，可以从应用暴露的函数列表中挑选合适的函数，并根据用户的话填写参数；如果没有任何工具匹配，它会返回空列表，而不是强行猜测。它还能按你声明的结构，从杂乱文本中抽取带类型的字段，并为句子生成向量，便于在本地做搜索和路由。

needle 可以免费使用吗？用的什么许可证？

needle 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

needle 还在维护吗？

活跃维护中。needle 最近一次提交是在 2026年10月18日。

needle 适合用来做什么？

在手机上运行本地语音或文本助手，直接触发应用操作。 智能家居和可穿戴设备，将语音指令映射为设备功能。 离线设备上从杂乱文本中提取发票、预订信息或表单字段。 配合唤醒词或语音活动检测，在常开麦克风上做本地语音转文字。

needle 怎么安装和运行？

安装 Python 包: pip install cactus-needle 用装饰器把 Python 函数声明为工具并运行代理 安装 JavaScript/TypeScript 社区包（可选）: npm install cactus-needle

在哪里获取 needle？

源代码和安装说明在 GitHub 上：https://github.com/cactus-compute/needle