自然言語処理ツールとライブラリ：2026年のおすすめ

最先端のテキスト、画像、音声、マルチモーダル機械学習モデルの定義、推論、学習に対応するフレームワーク。

Microsoftによる12週間・全24レッスンの初学者向けAIカリキュラム。記号AI、ニューラルネットワーク、コンピュータービジョン、NLP、倫理を扱い、PyTorchとTensorFlowのノートブックを提供します。

小規模なLLaMA2風モデルをゼロから構築し、Transformer、事前学習、ファインチューニング、RAG、エージェントを通じてLLMの原理を学ぶ、中国語のオープンチュートリアル。

Hugging FaceのPythonライブラリ。Hub上の公開AIデータセットを1行で読み込み、Arrowベースのツールで効率よく前処理できます。

センチメント分析、予測、金融NLPベンチマークなどの金融タスク向けにファインチューニングされた、オープンソースの大規模言語モデル。

OpenAIのモデル向けに設計された高速なBPEトークナイザーで、テキストをトークンに変換し、元に戻せます。

オープンソースのArgos Translateエンジンを使った、オフライン利用にも対応する無料のセルフホスト型機械翻訳API。

Rust製のオフラインで使えるプライバシー重視の英文校正ツール。エディター、ブラウザー、Node.jsから利用可能。

ONNX Runtimeを使い、サーバーなしでHugging Face TransformersモデルをブラウザーやJavaScriptランタイム上で実行できます。

ニュース記事をダウンロードし、本文、著者、公開日、画像、キーワード、要約を抽出するPython 3ライブラリ。

BAAIが提供する検索ツールキット。BGE埋め込み・再ランキングモデルに加え、検索やRAG向けの学習、評価、チュートリアルを備えています。

品詞タグ付け、テキストパターンの照合、動詞の時制や数詞などの変換ができるJavaScript自然言語処理ライブラリです。

テキスト、画像、構造化データ内のPIIを検出・匿名化する、オープンソースのPython SDKとサービス。

NLPや言語モデルのパイプライン向けに、Rustで実装され、PythonとNode.jsのバインディングを備えた最先端の高速トークナイザーライブラリ。

Webサイトをクロールし、HTMLから本文、メタデータ、コメントを抽出するPythonパッケージ兼CLI。

Microsoft製のPythonライブラリ。重要度の低いトークンを取り除き、性能をほぼ維持しながらLLMのプロンプトとKV cacheを最大20倍圧縮します。

OpenNMTモデルを基盤とする、ライブラリ、CLI、GUIとして使えるPython向けオープンソースのオフライン翻訳ライブラリ。

KenLMからQwenベースのLLMまで、綴り・発音・字形・文法の誤りを修正する中国語テキスト向けPythonツールキット。

LLM、RL、RLHF、DPO、GRPOなど、大規模モデルのアルゴリズムを解説する100点以上のオリジナル図解を収録したバイリンガル資料集。

基礎からCV、NLP、LLMの活用やデプロイまで学べる、無料のオープンソース中国語PyTorch本とサンプルコード。

PythonとPyTorchで小規模なLLaMA風GPTをゼロから構築・学習する、コメント付き全12章のチュートリアル。

LLMで主語・述語・目的語のトリプルを抽出し、非構造化テキストをインタラクティブなナレッジグラフに変換します。

スキャン、メール、ファイルを取り込み、OCRと機械学習によるメタデータ提案を行うセルフホスト型文書管理システム。

学習データなしでNERやテキスト分類などを行えるよう、大規模言語モデルを構造化されたNLPパイプラインに組み込むspaCy拡張機能。

論文・講義・記事923件を収録したMarkdownベースのMLナレッジベースと、NumPyのみで動く独自分類器・回帰器APRL。