단일 HTTP 요청부터 스텔스 브라우저, 파싱, 동시 크롤링과 내보내기까지 지원하는 Python 웹 스크래핑 프레임워크입니다.
codelucas/newspaper
뉴스 기사를 다운로드해 본문, 작성자, 게시일, 이미지, 키워드, 요약을 추출하는 Python 3 라이브러리입니다.
- 스타
- 15,180
- 포크
- 2,107
- 열린 이슈
- 515
- 마지막 커밋
- 그저께
어떤 프로젝트인가요?
newspaper3k는 URL에서 뉴스 기사를 가져와 원시 HTML을 구조화된 데이터로 변환하는 Python 3 라이브러리입니다. 기사 URL을 전달하면 페이지를 다운로드한 뒤 제목, 본문, 작성자, 게시일, 대표 이미지, 삽입된 동영상과 NLP로 추출한 키워드 및 요약을 추출합니다.
개별 기사뿐 아니라 뉴스 사이트의 홈페이지와 카테고리 페이지를 크롤링해 기사 URL을 찾고 사이트의 카테고리 목록을 가져올 수도 있습니다. 별도의 fulltext 함수는 이미 가져온 HTML에서 작동합니다. 언어를 지정하지 않으면 자동으로 감지하며, 중국어, 일본어, 아랍어, 러시아어를 포함해 35개가 넘는 언어를 지원합니다.
이 프로젝트는 pip에서 newspaper3k라는 이름으로 설치하며 MIT 라이선스로 배포됩니다. 기존 newspaper 패키지를 잇는 Python 3 버전입니다.
핵심 기능
- 01URL에서 기사 제목, 본문, 작성자, 게시일을 추출합니다
- 02기사에서 대표 이미지와 전체 이미지, 삽입된 동영상을 찾습니다
- 03내장 NLP를 사용해 키워드와 요약을 생성합니다
- 04뉴스 사이트를 크롤링해 기사 링크와 카테고리를 찾습니다
- 05언어를 자동 감지하고 35개가 넘는 언어를 지원합니다
활용 사례
- 여러 사이트에서 기사를 수집하는 뉴스 애그리게이터나 모니터링 파이프라인 구축
- NLP, 검색 인덱싱 또는 데이터셋 생성을 위한 정제된 기사 본문 추출
- 메타데이터와 이미지가 포함된 기사 아카이빙
- 중국어 등 비영어권 뉴스 콘텐츠 처리
빠른 시작
- 1
pip으로 패키지를 설치합니다
pip3 install newspaper3k - 2
README에 있는 공식 코퍼스 다운로드 스크립트를 실행합니다(NLP 기능에 필요합니다).
사용 전 알아둘 점
- Debian/Ubuntu 및 기타 Linux 시스템에서는 먼저 libxml2, libxslt와 같은 시스템 라이브러리를 추가로 설치해야 합니다.
- 키워드와 요약 같은 NLP 기능을 사용하려면 코퍼스를 추가로 다운로드해야 합니다.
토픽
자주 묻는 질문
- newspaper은(는) 무엇인가요?
- 뉴스 기사를 다운로드해 본문, 작성자, 게시일, 이미지, 키워드, 요약을 추출하는 Python 3 라이브러리입니다. newspaper3k는 URL에서 뉴스 기사를 가져와 원시 HTML을 구조화된 데이터로 변환하는 Python 3 라이브러리입니다. 기사 URL을 전달하면 페이지를 다운로드한 뒤 제목, 본문, 작성자, 게시일, 대표 이미지, 삽입된 동영상과 NLP로 추출한 키워드 및 요약을 추출합니다.
- newspaper은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- newspaper은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- newspaper은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. newspaper의 마지막 커밋은 2026년 10월 19일입니다.
- newspaper은(는) 어디에 사용할 수 있나요?
- 여러 사이트에서 기사를 수집하는 뉴스 애그리게이터나 모니터링 파이프라인 구축 NLP, 검색 인덱싱 또는 데이터셋 생성을 위한 정제된 기사 본문 추출 메타데이터와 이미지가 포함된 기사 아카이빙 중국어 등 비영어권 뉴스 콘텐츠 처리
- newspaper는 어떻게 설치하나요?
- pip으로 패키지를 설치합니다: pip3 install newspaper3k README에 있는 공식 코퍼스 다운로드 스크립트를 실행합니다(NLP 기능에 필요합니다).
- newspaper은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/codelucas/newspaper
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
웹사이트를 크롤링하고 원시 HTML에서 본문 텍스트, 메타데이터, 댓글을 추출하는 Python 패키지 및 CLI입니다.
Google News 검색 결과를 JSON으로 반환하고, 전체 기사 추출도 지원하는 경량 Python 패키지입니다.
LLM과 그래프 기반 파이프라인으로 웹사이트와 로컬 문서에서 데이터를 추출하는 Python 라이브러리
필요한 페이지에만 JavaScript를 렌더링하는 Rust 기반 동시성 우선 웹 크롤링·스크래핑 엔진입니다.
웹페이지 요소를 클릭해 데이터 수집 작업을 설계하는 시각적 노코드 웹 크롤러 및 브라우저 자동화 도구입니다.