自然语言处理工具与库：2026 精选

面向文本、视觉、音频和多模态的前沿机器学习模型定义框架，可用于推理和训练。

微软出品的 12 周 24 课初学者 AI 课程，涵盖符号 AI、神经网络、计算机视觉、NLP 和 AI 伦理，配有 PyTorch 与 TensorFlow 代码。

一本从零开始讲解并动手实现大语言模型的中文开源教程，涵盖 Transformer、预训练、微调、RAG 与 Agent。

Hugging Face 推出的 Python 库，一行代码即可加载 Hub 上的公开 AI 数据集，并用基于 Arrow 的工具高效预处理。

面向金融任务的开源大语言模型，涵盖情感分析、股价预测与金融 NLP 基准测试。

OpenAI 模型使用的快速 BPE 分词器，可将文本与 token 互相无损转换。

基于开源 Argos Translate 引擎的免费自托管机器翻译 API，支持离线运行。

基于 Rust 编写、可离线运行且注重隐私的英语语法检查工具，可用于编辑器、浏览器和 Node.js。

在浏览器中直接运行 Hugging Face Transformers 模型，无需服务器。

Python 3 库，用于抓取新闻文章并提取正文、作者、发布时间、图片、关键词和摘要。

北京智源推出的检索工具包，提供 BGE 向量模型与重排序模型，并包含微调、评测和教程，用于搜索与 RAG。

一个 JavaScript 自然语言处理库，可做词性标注、文本模式匹配，并转换动词时态、数字等内容。

开源 Python SDK 与服务，用于识别并脱敏文本、图片和结构化数据中的个人敏感信息。

基于 Rust 的高性能分词库，提供 Python 和 Node.js 绑定，用于 NLP 与大语言模型流程。

用于抓取网页并从 HTML 中提取正文、元数据和评论的 Python 库与命令行工具。

微软开源的 Python 库，通过删除提示词中的非关键 token 压缩 LLM 提示和 KV 缓存，最高可压缩 20 倍。

基于 OpenNMT 的开源离线翻译库，可作为 Python 库、命令行工具或图形界面使用。

面向中文文本纠错的 Python 工具包，集成 KenLM、T5、MacBERT、Qwen 等多种纠错模型，开箱即用。

百余张原创架构图，系统图解大模型与强化学习核心算法。

一本免费开源的中文 PyTorch 教程及配套代码，涵盖基础、CV、NLP、大模型应用与部署。

一套带逐行注释的教程，用 Python 和 PyTorch 从零实现并训练一个类 LLaMA 架构的小型 GPT。

利用大语言模型从非结构化文本中抽取三元组，生成可交互的知识图谱。

自托管的个人文档管理系统，可汇集扫描件、邮件等文件，并通过 OCR 和机器学习辅助整理元数据。

为 spaCy 提供 LLM 集成，让大语言模型以组件形式执行 NER、文本分类等结构化 NLP 任务，无需训练数据。

包含 923 份论文、课程与文章的 Markdown 机器学习知识库，并附带一个基于 NumPy 的自定义分类/回归算法 APRL。