mishushakov/llm-scraper

어떤 프로젝트인가요?

핵심 기능

• 01Zod 또는 JSON Schema로 정의한 스키마를 사용해 데이터를 추출하며, TypeScript 타입 안정성을 완벽하게 지원합니다.
• 02Vercel AI SDK를 통해 GPT, Claude, Gemini, Llama, Qwen 모델을 사용할 수 있습니다.
• 03html, raw_html, markdown, text, image, custom의 여섯 가지 입력 모드를 지원합니다.
• 04모델이 결과를 생성하는 동안 부분 결과를 스트리밍합니다.
• 05지정된 스키마에 맞는 재사용 가능한 Playwright 코드를 생성합니다.

활용 사례

• 상품 목록이나 뉴스 첫 화면을 데이터베이스 또는 대시보드용 JSON으로 변환합니다.
• API가 없고 레이아웃이 자주 바뀌어 선택자가 깨지기 쉬운 사이트를 스크래핑합니다.
• 여러 LLM 공급자를 사용해 데이터 추출을 프로토타이핑하고 결과를 비교합니다.
• 스키마를 바탕으로 고정된 Playwright 스크립트를 생성해 모델을 반복 호출하지 않도록 합니다.

빠른 시작

1. 1

   npm에서 핵심 종속성을 설치합니다

   npm i zod playwright llm-scraper
2. 2

   사용할 LLM(예: OpenAI)의 AI SDK provider를 설치합니다

   npm i @ai-sdk/openai
3. 3

   LLM을 초기화하고 scraper 인스턴스를 만든 다음 페이지에서 실행합니다

사용 전 알아둘 점

• !추출 품질과 비용은 선택한 LLM provider에 따라 달라지며, 일반적으로 API 키가 필요합니다.

포함된 컬렉션

토픽

자주 묻는 질문

llm-scraper은(는) 무엇인가요?

Playwright와 Zod 또는 JSON Schema를 기반으로 LLM을 사용해 웹페이지에서 구조화된 데이터를 추출하는 TypeScript 라이브러리입니다. LLM Scraper는 대규모 언어 모델을 사용해 웹페이지에서 구조화된 데이터를 가져오는 TypeScript 라이브러리입니다. Playwright 브라우저를 실행해 페이지를 연 다음, Zod 또는 JSON Schema로 출력 형태를 정의하면 라이브러리가 페이지 콘텐츠를 모델에 보내고 타입이 지정된 결과를 반환합니다.

llm-scraper은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

llm-scraper은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

llm-scraper은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. llm-scraper의 마지막 커밋은 2026년 10월 26일입니다.

llm-scraper은(는) 어디에 사용할 수 있나요?

상품 목록이나 뉴스 첫 화면을 데이터베이스 또는 대시보드용 JSON으로 변환합니다. API가 없고 레이아웃이 자주 바뀌어 선택자가 깨지기 쉬운 사이트를 스크래핑합니다. 여러 LLM 공급자를 사용해 데이터 추출을 프로토타이핑하고 결과를 비교합니다. 스키마를 바탕으로 고정된 Playwright 스크립트를 생성해 모델을 반복 호출하지 않도록 합니다.

llm-scraper는 어떻게 설치하나요?

npm에서 핵심 종속성을 설치합니다: npm i zod playwright llm-scraper 사용할 LLM(예: OpenAI)의 AI SDK provider를 설치합니다: npm i @ai-sdk/openai LLM을 초기화하고 scraper 인스턴스를 만든 다음 페이지에서 실행합니다

llm-scraper은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/mishushakov/llm-scraper