Repolode
제출하기
PacificAI

PacificAI/langtest

한 줄의 코드로 NLP 모델과 LLM의 견고성, 편향, 공정성, 정확도 테스트를 생성하고 실행하는 Python 라이브러리입니다.

GitHub에서 보기웹사이트
스타
561
포크
53
열린 이슈
7
마지막 커밋
2개월 전

어떤 프로젝트인가요?

LangTest는 언어 모델을 프로덕션에 배포하기 전에 평가하는 Python 라이브러리입니다. 사용자는 개체명 인식과 같은 작업을 위한 Harness 객체를 만들고 모델을 지정한 뒤, 테스트 케이스를 생성하고 실행해 보고서를 만들 수 있습니다. 이 라이브러리는 견고성, 편향, 표현, 공정성, 정확도를 아우르는 60가지 이상의 테스트 유형을 지원합니다.

NER, 번역, 텍스트 분류를 위한 Spark NLP, Hugging Face, Transformers 기반 NLP 파이프라인에서 사용할 수 있습니다. 또한 OpenAI, Cohere, AI21, Hugging Face Inference API, Azure OpenAI의 호스팅 LLM을 테스트할 수 있으며, 질의응답, 유해성, 사실성, 아첨 성향, 요약, 임상 및 법률 분야 시나리오를 다룹니다. 일부 모델에서는 테스트 결과를 바탕으로 학습 데이터를 자동으로 증강할 수 있습니다.

이 프로젝트는 Apache-2.0 라이선스로 배포되며 John Snow Labs와 Pacific AI 팀이 관리합니다. 문서와 벤치마크 데이터셋은 langtest.org에 공개되어 있습니다.

핵심 기능

  • 01한 줄의 코드로 60가지 이상의 테스트 유형을 생성하고 실행합니다.
  • 02견고성, 편향, 표현, 공정성, 정확도를 다룹니다.
  • 03Spark NLP, Hugging Face, Transformers의 NER, 번역, 텍스트 분류 파이프라인을 지원합니다.
  • 04OpenAI, Cohere, AI21, Hugging Face, Azure OpenAI의 호스팅 LLM을 테스트합니다.
  • 05질의응답, 요약 및 기타 작업을 위한 벤치마크 데이터셋을 제공합니다.

활용 사례

  • 배포 전에 NER 모델이 오타와 대소문자 변경에 얼마나 견고한지 확인합니다.
  • 챗봇이나 LLM의 편향, 유해성, 아첨 성향을 점검합니다.
  • 의료 또는 법률 분야 LLM 출력의 도메인별 정확도를 평가합니다.
  • 동일한 벤치마크 데이터셋으로 여러 모델을 비교합니다.

빠른 시작

  1. 1

    transformers 지원과 함께 langtest를 설치합니다

    pip install langtest[transformers]
  2. 2

    Harness를 만들고 모델 테스트를 생성, 실행한 다음 결과를 보고합니다

사용 전 알아둘 점

  • 일부 테스트 유형은 OpenAI, Cohere, AI21과 같은 LLM 제공업체의 유료 API 키가 필요합니다.

포함된 컬렉션

테스트 프레임워크 & 자동화 테스트 도구자연어 처리 도구 및 라이브러리

토픽

#ai-testing#llm-evaluation#nlp#responsible-ai#model-robustness#bias-detection#benchmarks#ai-safety#artificial-intelligence#benchmark-framework

자주 묻는 질문

langtest은(는) 무엇인가요?
한 줄의 코드로 NLP 모델과 LLM의 견고성, 편향, 공정성, 정확도 테스트를 생성하고 실행하는 Python 라이브러리입니다. LangTest는 언어 모델을 프로덕션에 배포하기 전에 평가하는 Python 라이브러리입니다. 사용자는 개체명 인식과 같은 작업을 위한 Harness 객체를 만들고 모델을 지정한 뒤, 테스트 케이스를 생성하고 실행해 보고서를 만들 수 있습니다. 이 라이브러리는 견고성, 편향, 표현, 공정성, 정확도를 아우르는 60가지 이상의 테스트 유형을 지원합니다.
langtest은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
langtest은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
langtest은(는) 아직 유지보수되고 있나요?
6개월 이내 업데이트. langtest의 마지막 커밋은 2026년 8월 28일입니다.
langtest은(는) 어디에 사용할 수 있나요?
배포 전에 NER 모델이 오타와 대소문자 변경에 얼마나 견고한지 확인합니다. 챗봇이나 LLM의 편향, 유해성, 아첨 성향을 점검합니다. 의료 또는 법률 분야 LLM 출력의 도메인별 정확도를 평가합니다. 동일한 벤치마크 데이터셋으로 여러 모델을 비교합니다.
langtest는 어떻게 설치하나요?
transformers 지원과 함께 langtest를 설치합니다: pip install langtest[transformers] Harness를 만들고 모델 테스트를 생성, 실행한 다음 결과를 보고합니다
langtest은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/PacificAI/langtest

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트

cvs-health / uqlm

불확실성 정량화를 통해 LLM 응답의 환각 가능성을 평가하는 Python 라이브러리로, 블랙박스·화이트박스·심판·앙상블 스코어러를 제공합니다.

AI·머신러닝#hallucination-detection#uncertainty-quantification#llm-evaluation
1.2천+2 이번 주140PythonApache-2.0활발히 관리됨업데이트 25일 전