Repolode
제출하기
spencermountain

spencermountain/wtf_wikipedia

Wikipedia 위키텍스트를 일반 텍스트, 구조화된 JSON, 정보상자, 링크, 이미지로 파싱하는 JavaScript 라이브러리입니다.

GitHub에서 보기웹사이트
스타
858
포크
130
열린 이슈
54
마지막 커밋
3일 전

어떤 프로젝트인가요?

wtf_wikipedia는 원시 Wikipedia 위키텍스트를 활용 가능한 데이터로 변환합니다. 위키 마크업을 파싱하기 어렵게 만드는 템플릿, 중첩 링크, 참조와 인용을 처리하고, 일반 텍스트, 섹션, 문장, 링크, 분류, 정보상자, 이미지 등을 가져오는 메서드가 포함된 문서 객체를 반환합니다.

MediaWiki API를 통해 영어 이외의 Wikipedia와 Fandom 같은 타사 위키를 포함해 페이지를 직접 가져올 수 있습니다. 결과는 일반 텍스트로 내보내거나 small, medium, large 프리셋의 JSON으로 내보낼 수 있습니다. 리디렉션과 동음이의어 페이지를 감지하며, 동적 템플릿과 지리 좌표를 읽기 쉬운 값으로 변환합니다.

Node.js와 브라우저에서 사용할 수 있고 TypeScript 선언 파일을 제공하며, 사용자 지정 템플릿 파서와 플러그인으로 확장할 수 있습니다. 프로젝트에서는 가장 빠른 파서는 아니라고 밝히며, transcluded 페이지 데이터와 정보상자 HTML의 완벽한 서식 처리는 지원하지 않습니다.

핵심 기능

  • 01위키텍스트를 일반 텍스트, 섹션, 문장, 단락으로 파싱합니다.
  • 02정보상자의 키-값 데이터, 링크, 이미지, 분류를 추출합니다.
  • 03모든 언어의 Wikipedia와 타사 MediaWiki 위키에서 페이지를 가져옵니다.
  • 04페이지 데이터를 small, medium, large 프리셋의 JSON으로 내보냅니다.
  • 05TypeScript 타입을 포함하며, 사용자 지정 템플릿 파서와 플러그인을 지원합니다.

활용 사례

  • Wikipedia 표와 정보상자에서 스포츠 선수 명단이나 우주비행사 목록 같은 구조화된 사실 데이터셋을 만듭니다.
  • NLP나 검색 인덱싱에 사용할 깔끔한 문서 텍스트를 추출합니다.
  • 함께 제공되는 dumpster-dive 도구로 Wikipedia 덤프 전체를 오프라인에서 처리합니다.
  • Fandom 또는 기타 MediaWiki 기반 위키에서 문서 데이터를 가져옵니다.

빠른 시작

  1. 1

    npm에서 패키지를 설치합니다

    npm install wtf_wikipedia
  2. 2

    가져온 후 Wikipedia 문서를 가져옵니다

  3. 3

    파싱된 문서에서 일반 텍스트를 읽습니다

사용 전 알아둘 점

  • 외부 페이지에서 트랜스클루드된 페이지 데이터는 가져오지 않습니다.
  • 페이지 순서를 완벽하게 보존하지 않으며 템플릿 CSS 스타일도 유지하지 않습니다.
  • wikitext 파싱에는 본질적인 한계가 있으므로 일부 페이지가 올바르게 렌더링되지 않을 수 있습니다.

포함된 컬렉션

자연어 처리 도구 및 라이브러리

토픽

#wikipedia#wikitext#parser#mediawiki#nlp#text-extraction#typescript#wikipedia-markup-parser

자주 묻는 질문

wtf_wikipedia은(는) 무엇인가요?
Wikipedia 위키텍스트를 일반 텍스트, 구조화된 JSON, 정보상자, 링크, 이미지로 파싱하는 JavaScript 라이브러리입니다. wtf_wikipedia는 원시 Wikipedia 위키텍스트를 활용 가능한 데이터로 변환합니다. 위키 마크업을 파싱하기 어렵게 만드는 템플릿, 중첩 링크, 참조와 인용을 처리하고, 일반 텍스트, 섹션, 문장, 링크, 분류, 정보상자, 이미지 등을 가져오는 메서드가 포함된 문서 객체를 반환합니다.
wtf_wikipedia은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
wtf_wikipedia은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
wtf_wikipedia은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. wtf_wikipedia의 마지막 커밋은 2026년 11월 4일입니다.
wtf_wikipedia은(는) 어디에 사용할 수 있나요?
Wikipedia 표와 정보상자에서 스포츠 선수 명단이나 우주비행사 목록 같은 구조화된 사실 데이터셋을 만듭니다. NLP나 검색 인덱싱에 사용할 깔끔한 문서 텍스트를 추출합니다. 함께 제공되는 dumpster-dive 도구로 Wikipedia 덤프 전체를 오프라인에서 처리합니다. Fandom 또는 기타 MediaWiki 기반 위키에서 문서 데이터를 가져옵니다.
wtf_wikipedia는 어떻게 설치하나요?
npm에서 패키지를 설치합니다: npm install wtf_wikipedia 가져온 후 Wikipedia 문서를 가져옵니다 파싱된 문서에서 일반 텍스트를 읽습니다
wtf_wikipedia은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/spencermountain/wtf_wikipedia

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트