adbar/trafilatura

어떤 프로젝트인가요?

핵심 기능

• 01사이트맵과 RSS, Atom 또는 JSON 피드에서 URL을 탐색하고 필터링 및 중복 제거를 지원합니다.
• 02HTML에서 본문 텍스트, 제목, 작성자, 날짜, 카테고리, 태그를 추출합니다.
• 03댓글, 링크, 이미지, 표를 선택적으로 추출합니다.
• 04TXT, Markdown, CSV, JSON, HTML, XML, XML-TEI 형식으로 출력합니다.
• 05실시간 URL과 미리 다운로드한 HTML 파일 모두에서 작동합니다.
• 06Python 라이브러리와 명령줄 도구로 모두 사용할 수 있습니다.

활용 사례

• NLP 또는 언어학 연구를 위한 텍스트 코퍼스 구축
• 분석을 위해 웹사이트와 피드에서 뉴스 기사 수집
• LLM 또는 RAG 파이프라인의 입력으로 사용할 정제된 웹 텍스트 준비
• 사이트별 파서를 직접 작성하지 않고 기사 콘텐츠 스크래핑

빠른 시작

1. 1

   문서의 설치 가이드에 따라 Trafilatura를 설치합니다

2. 2

   README의 Python 예제를 사용해 fetch_url과 extract를 가져오고, 페이지를 다운로드하여 텍스트와 메타데이터를 추출합니다

사용 전 알아둘 점

• !v1.8.0 이전 버전은 Apache 2.0이 아닌 GPLv3+ 라이선스가 적용됩니다.

토픽

자주 묻는 질문

trafilatura은(는) 무엇인가요?

웹사이트를 크롤링하고 원시 HTML에서 본문 텍스트, 메타데이터, 댓글을 추출하는 Python 패키지 및 CLI입니다. Trafilatura는 웹에서 텍스트를 수집하는 Python 패키지이자 명령줄 도구입니다. 사이트맵, 피드, URL 필터링을 통한 URL 탐색부터 다운로드, 본문 텍스트와 제목·작성자·날짜 같은 메타데이터 추출까지 지원하며, 댓글·링크·이미지·표도 선택적으로 추출할 수 있습니다. 헤더, 푸터, 내비게이션 같은 보일러플레이트는 제외하고 실제 문서 내용은 유지하는 것이 목표입니다.

trafilatura은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

trafilatura은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

trafilatura은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. trafilatura의 마지막 커밋은 2026년 10월 6일입니다.

trafilatura은(는) 어디에 사용할 수 있나요?

NLP 또는 언어학 연구를 위한 텍스트 코퍼스 구축 분석을 위해 웹사이트와 피드에서 뉴스 기사 수집 LLM 또는 RAG 파이프라인의 입력으로 사용할 정제된 웹 텍스트 준비 사이트별 파서를 직접 작성하지 않고 기사 콘텐츠 스크래핑

trafilatura는 어떻게 설치하나요?

문서의 설치 가이드에 따라 Trafilatura를 설치합니다 README의 Python 예제를 사용해 fetch_url과 extract를 가져오고, 페이지를 다운로드하여 텍스트와 메타데이터를 추출합니다

trafilatura은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/adbar/trafilatura