m92vyas/llm-reader

어떤 프로젝트인가요?

핵심 기능

• 01웹페이지 HTML을 LLM 입력용 텍스트로 변환합니다.
• 02추출 작업에 필요한 웹사이트 링크와 이미지 링크를 보존합니다.
• 03구조화된 데이터 스크래핑에 유용한 표를 처리합니다.
• 04비동기·동시 페이지 가져오기에 Playwright를 사용합니다.
• 05자체 스크래퍼나 서비스에서 가져온 페이지 HTML을 전달할 수 있습니다.

활용 사례

• 웹 콘텐츠를 RAG 파이프라인에 입력합니다.
• LLM을 사용해 이커머스 페이지에서 제품명, 링크, 가격을 추출합니다.
• URL의 콘텐츠를 읽기 쉬운 텍스트로 처리해야 하는 AI 에이전트를 구축합니다.

빠른 시작

1. 1

   pip으로 GitHub에서 라이브러리를 설치합니다

   pip install git+https://github.com/m92vyas/llm-reader.git
2. 2

   Playwright 브라우저를 다운로드합니다

   playwright install
3. 3

   Playwright 시스템 종속 항목을 설치합니다

   playwright install-deps
4. 4

   get_page_source와 get_processed_text를 가져온 다음 페이지를 가져와 LLM에 바로 사용할 수 있는 텍스트로 변환합니다

사용 전 알아둘 점

• !페이지를 가져오려면 Playwright가 필요하며, 브라우저 다운로드와 시스템 종속 항목 설치가 필요합니다.
• !스크레이퍼를 차단하는 사이트에서는 유료 프록시나 스크래핑 서비스가 필요할 수 있습니다.

포함된 컬렉션

토픽

자주 묻는 질문

llm-reader은(는) 무엇인가요?

웹페이지 HTML을 링크와 표를 보존한 LLM 입력용 텍스트로 변환하는 Python 라이브러리로, RAG와 스크래핑에 적합합니다. llm-reader는 웹페이지를 가져와 LLM 입력에 적합한 깔끔한 텍스트로 변환하는 Python 라이브러리입니다. 페이지를 모델에 전달하기 전에 전처리하면 정보 추출 정확도를 높일 수 있으며, 특히 이커머스 카탈로그 스크래핑처럼 웹사이트 링크, 이미지 링크 또는 표를 추출하는 작업에 유용합니다.

llm-reader은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

llm-reader은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

llm-reader은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. llm-reader의 마지막 커밋은 2026년 10월 20일입니다.

llm-reader은(는) 어디에 사용할 수 있나요?

웹 콘텐츠를 RAG 파이프라인에 입력합니다. LLM을 사용해 이커머스 페이지에서 제품명, 링크, 가격을 추출합니다. URL의 콘텐츠를 읽기 쉬운 텍스트로 처리해야 하는 AI 에이전트를 구축합니다.

llm-reader는 어떻게 설치하나요?

pip으로 GitHub에서 라이브러리를 설치합니다: pip install git+https://github.com/m92vyas/llm-reader.git Playwright 브라우저를 다운로드합니다: playwright install Playwright 시스템 종속 항목을 설치합니다: playwright install-deps get_page_source와 get_processed_text를 가져온 다음 페이지를 가져와 LLM에 바로 사용할 수 있는 텍스트로 변환합니다

llm-reader은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/m92vyas/llm-reader