Ferramentas e bibliotecas de processamento de linguagem natural: os melhores de 2026

Framework para definir modelos de ponta em machine learning para texto, visão, áudio e tarefas multimodais, voltado a inferência e treinamento.

Currículo introdutório de IA da Microsoft, com 24 aulas ao longo de 12 semanas sobre IA simbólica, redes neurais, visão computacional, NLP e ética, incluindo notebooks em PyTorch e TensorFlow.

Tutorial aberto em chinês que ensina os princípios dos LLMs construindo do zero um modelo pequeno no estilo LLaMA2, com Transformer, pré-treinamento, fine-tuning, RAG e agentes.

Biblioteca Python da Hugging Face para carregar datasets públicos de IA do Hub com uma linha e pré-processá-los com eficiência usando ferramentas baseadas em Arrow.

Modelos de linguagem grandes open source ajustados para tarefas financeiras, como análise de sentimento, previsão e benchmarks de NLP financeiro.

Um tokenizador BPE rápido para os modelos da OpenAI, usado para converter texto em tokens e vice-versa sem perda de informação.

API gratuita e auto-hospedada de tradução automática, baseada no mecanismo open source Argos Translate e com opção de uso offline.

Corretor gramatical de inglês offline e focado em privacidade, escrito em Rust, para usar em editores, no navegador e no Node.js.

Execute modelos Transformers da Hugging Face diretamente no navegador ou em runtimes JavaScript, sem servidor, usando ONNX Runtime.

Biblioteca Python 3 que baixa artigos de notícias e extrai texto, autores, data de publicação, imagens, palavras-chave e resumos.

Toolkit de recuperação de informações da BAAI com modelos BGE de embeddings e reranking, além de recursos para treinamento, avaliação e tutoriais de busca e RAG.

Biblioteca de processamento de linguagem natural em JavaScript que identifica classes gramaticais, encontra padrões no texto e transforma verbos, números e outros elementos.

SDK e serviço open source em Python para detectar e anonimizar PII em texto, imagens e dados estruturados.

Biblioteca de tokenização de ponta e rápida, escrita em Rust, com bindings para Python e Node.js para pipelines de NLP e modelos de linguagem.

Pacote Python e CLI para rastrear sites e extrair o texto principal, metadados e comentários de HTML bruto.

Biblioteca Python da Microsoft que comprime prompts de LLM e KV cache em até 20x, removendo tokens não essenciais com perda mínima de desempenho.

Biblioteca open source de tradução offline para Python, disponível como biblioteca, ferramenta de linha de comando ou GUI, baseada em modelos OpenNMT.

Kit de ferramentas Python para corrigir erros em textos em chinês, incluindo erros ortográficos, fonéticos, de caracteres visualmente semelhantes e gramaticais, com modelos de KenLM a LLMs baseados em Qwen.

Coleção bilíngue com mais de 100 diagramas originais que explicam LLM, RL, RLHF, DPO, GRPO e algoritmos relacionados a modelos de grande porte.

Livro gratuito e de código aberto, em chinês, com código complementar para aprender PyTorch, do básico a aplicações de CV, NLP e LLMs e ao deployment.

Tutorial comentado em 12 capítulos que ensina a criar e treinar do zero, em Python e PyTorch, um GPT pequeno no estilo LLaMA.

Transforma textos não estruturados em um grafo de conhecimento interativo usando um LLM para extrair triplas sujeito-predicado-objeto.

Sistema pessoal de gestão de documentos auto-hospedado que importa digitalizações, e-mails e arquivos, executa OCR e sugere metadados com machine learning.

Uma extensão do spaCy que integra LLMs a pipelines de NLP estruturados para tarefas como NER e classificação de texto, sem dados de treinamento.

Base de conhecimento de ML selecionada, em Markdown, com 923 artigos, aulas e papers, além do APRL, um classificador e regressor próprio que usa apenas NumPy.