Repolode
alirezamika

alirezamika/autoscraper

페이지의 샘플 데이터에서 추출 규칙을 학습하고, 비슷한 페이지나 새 페이지에 적용하는 Python 웹 스크래퍼입니다.

스타
8,074
포크
831
열린 이슈
2
마지막 커밋
3개월 전

어떤 프로젝트인가요?

AutoScraper는 셀렉터를 직접 작성하지 않고도 웹 페이지에서 데이터를 추출할 수 있는 Python 라이브러리입니다. URL이나 HTML 콘텐츠와 함께 텍스트, 링크, 특정 HTML 태그의 값처럼 추출하고 싶은 샘플 값을 전달하면, 해당 요소를 찾는 규칙을 학습하고 페이지에서 비슷한 항목을 반환합니다.

스크래퍼 객체를 만든 뒤에는 디스크에 저장하고 나중에 불러올 수 있습니다. 이렇게 불러온 객체로 같은 레이아웃을 가진 다른 페이지에서 비슷한 콘텐츠를 가져오거나, 새 URL에서 샘플과 동일한 요소를 샘플이 주어진 순서대로 추출할 수 있습니다. 프록시나 사용자 지정 헤더 같은 Requests 옵션을 내부 requests 호출에 전달할 수도 있습니다.

이 라이브러리는 Python 3을 대상으로 하며, PyPI 또는 Git 저장소에서 직접 설치할 수 있습니다.

핵심 기능

  • 01몇 가지 샘플 값만으로 스크래핑 규칙을 학습하므로 셀렉터를 직접 작성할 필요가 없습니다.
  • 02텍스트, URL 또는 특정 HTML 태그의 값을 추출합니다.
  • 03구조가 같은 다른 페이지에서도 비슷한 요소를 반환합니다.
  • 04학습한 스크래퍼 모델을 저장하고 불러옵니다.
  • 05프록시나 헤더 같은 사용자 지정 requests 매개변수를 전달합니다.

활용 사례

  • 레이아웃이 같은 여러 페이지에서 제목이나 가격을 가져옵니다.
  • 저장된 스크래퍼를 웹 프레임워크로 감싸 웹사이트를 간단한 API로 만듭니다.
  • CSS 또는 XPath 셀렉터를 작성하지 않고 스크래퍼를 빠르게 프로토타이핑합니다.

빠른 시작

  1. 1

    PyPI에서 라이브러리를 설치합니다

    pip install autoscraper
  2. 2

    AutoScraper를 가져오고 URL과 샘플 데이터를 사용해 스크레이퍼를 만든 다음, 유사한 결과를 가져옵니다

사용 전 알아둘 점

  • 페이지의 HTML 구조가 변경되면 학습된 규칙이 작동하지 않을 수 있습니다.
  • README에는 JavaScript 렌더링이 문서화되어 있지 않으므로 동적으로 로드되는 콘텐츠는 가져오지 못할 수 있습니다.

토픽

자주 묻는 질문

autoscraper은(는) 무엇인가요?
페이지의 샘플 데이터에서 추출 규칙을 학습하고, 비슷한 페이지나 새 페이지에 적용하는 Python 웹 스크래퍼입니다. AutoScraper는 셀렉터를 직접 작성하지 않고도 웹 페이지에서 데이터를 추출할 수 있는 Python 라이브러리입니다. URL이나 HTML 콘텐츠와 함께 텍스트, 링크, 특정 HTML 태그의 값처럼 추출하고 싶은 샘플 값을 전달하면, 해당 요소를 찾는 규칙을 학습하고 페이지에서 비슷한 항목을 반환합니다.
autoscraper은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
autoscraper은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
autoscraper은(는) 아직 유지보수되고 있나요?
6개월 이내 업데이트. autoscraper의 마지막 커밋은 2026년 7월 29일입니다.
autoscraper은(는) 어디에 사용할 수 있나요?
레이아웃이 같은 여러 페이지에서 제목이나 가격을 가져옵니다. 저장된 스크래퍼를 웹 프레임워크로 감싸 웹사이트를 간단한 API로 만듭니다. CSS 또는 XPath 셀렉터를 작성하지 않고 스크래퍼를 빠르게 프로토타이핑합니다.
autoscraper는 어떻게 설치하나요?
PyPI에서 라이브러리를 설치합니다: pip install autoscraper AutoScraper를 가져오고 URL과 샘플 데이터를 사용해 스크레이퍼를 만든 다음, 유사한 결과를 가져옵니다
autoscraper은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/alirezamika/autoscraper

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트