자연어 처리 도구 및 라이브러리: 2026년 추천

최신 텍스트, 비전, 오디오 및 멀티모달 머신러닝 모델을 정의하고 추론과 학습에 활용하는 프레임워크입니다.

Microsoft가 제공하는 12주 24강 초급 AI 커리큘럼으로, 기호 AI, 신경망, 컴퓨터 비전, NLP, 윤리를 다루며 PyTorch와 TensorFlow 노트북을 제공합니다.

Transformer, 사전 학습, 미세 조정, RAG와 에이전트를 다루며 LLaMA2 스타일의 소형 모델을 처음부터 만들어 LLM의 원리를 배우는 중국어 공개 튜토리얼입니다.

Hugging Face가 제공하는 Python 라이브러리로, 한 줄의 코드로 Hub의 공개 AI 데이터셋을 불러오고 Arrow 기반 도구로 효율적으로 전처리합니다.

감성 분석, 예측, 금융 NLP 벤치마크 등 금융 작업에 맞게 파인튜닝한 오픈소스 대규모 언어 모델입니다.

OpenAI 모델용 고속 BPE 토크나이저로, 텍스트를 토큰으로 변환하고 손실 없이 다시 복원합니다.

오픈소스 Argos Translate 엔진을 사용하는 무료 셀프 호스팅 머신 번역 API로, 오프라인에서도 사용할 수 있습니다.

Rust로 작성된 오프라인·개인정보 우선 영어 문법 검사기로, 편집기·브라우저·Node.js에서 사용할 수 있습니다.

ONNX Runtime을 사용해 서버 없이 브라우저나 JavaScript 런타임에서 Hugging Face Transformers 모델을 실행합니다.

뉴스 기사를 다운로드해 본문, 작성자, 게시일, 이미지, 키워드, 요약을 추출하는 Python 3 라이브러리입니다.

BAAI의 검색 툴킷으로, BGE 임베딩 및 리랭커 모델과 검색·RAG를 위한 학습, 평가, 튜토리얼을 제공합니다.

품사를 태깅하고 텍스트 패턴을 찾으며, 동사 시제와 숫자 같은 텍스트 요소를 변환하는 JavaScript 자연어 처리 라이브러리입니다.

텍스트, 이미지, 구조화 데이터의 PII를 탐지하고 익명화하는 오픈소스 Python SDK 및 서비스입니다.

NLP 및 언어 모델 파이프라인을 위한 빠른 최신 Rust 토크나이저 라이브러리로, Python과 Node.js 바인딩을 제공합니다.

웹사이트를 크롤링하고 원시 HTML에서 본문 텍스트, 메타데이터, 댓글을 추출하는 Python 패키지 및 CLI입니다.

Microsoft가 만든 Python 라이브러리로, 중요하지 않은 토큰을 제거해 성능 저하를 최소화하면서 LLM 프롬프트와 KV cache를 최대 20배 압축합니다.

OpenNMT 모델 기반의 오프라인 Python 번역 라이브러리로, 라이브러리·CLI·GUI에서 사용할 수 있습니다.

KenLM부터 Qwen 기반 LLM까지 다양한 모델을 지원해 중국어 철자, 발음·형태 유사 오류와 문법 오류를 교정하는 Python 툴킷입니다.

LLM, RL, RLHF, DPO, GRPO 및 관련 대규모 모델 알고리즘을 설명하는 오리지널 다이어그램 100여 개를 담은 이중 언어 자료입니다.

기초부터 CV, NLP, LLM 애플리케이션과 배포까지 다루는 무료 오픈소스 중국어 PyTorch 책과 실습 코드입니다.

Python과 PyTorch로 LLaMA 스타일의 소형 GPT를 처음부터 만들고 학습하는 12개 챕터 주석형 튜토리얼입니다.

LLM으로 주어-술어-목적어 트리플을 추출해 비정형 텍스트를 대화형 지식 그래프로 만듭니다.

스캔 문서, 이메일, 파일을 수집하고 OCR과 머신러닝으로 메타데이터를 제안하는 셀프 호스팅 문서 관리 시스템

NER, 텍스트 분류 등의 작업을 학습 데이터 없이 수행하도록 대규모 언어 모델을 구조화된 NLP 파이프라인에 연결하는 spaCy 확장 기능입니다.

논문·강의·기사 923편을 담은 Markdown 기반 ML 지식 베이스와 NumPy만 사용하는 APRL 분류기·회귀 모델입니다.