Repolode
m3dev

m3dev/gokart

luigi 기반 Python 프레임워크로, 자동 캐싱·재현성·의존성 관리를 지원하는 머신러닝 파이프라인을 작성할 수 있습니다.

스타
342
포크
63
열린 이슈
33
마지막 커밋
6일 전

어떤 프로젝트인가요?

Gokart는 작업을 연결해 머신러닝 파이프라인을 구축하는 Python 프레임워크입니다. luigi를 감싸고 재현성에 중점을 둡니다. 각 작업의 출력, 매개변수, 가져온 모듈의 버전, 랜덤 시드, 로그를 해시와 함께 저장하며, 작업 매개변수가 바뀌면 파이프라인을 자동으로 다시 실행합니다.

작업 출력은 메모리에 보관하지 않고 중간 파일로 다음 단계에 전달합니다. 저장소로 로컬 디스크, S3 또는 GCS를 사용할 수 있으며, pandas DataFrame I/O에는 컬럼 검사 기능이 포함됩니다. numpy와 random의 시드는 자동으로 고정되고, 병렬 실행 시 Redis를 이용해 작업을 잠글 수 있습니다.

이 프로젝트는 ML 배치 작업과 팀 단위 개발을 대상으로 합니다. 실험 추적 도구가 아니며 작업 시각화 기능도 제공하지 않습니다. 파이프라인은 설정 파일이 아니라 Python으로 작성합니다.

핵심 기능

  • 01각 작업의 출력, 매개변수, 모듈 버전, 시드, 로그를 해시와 함께 저장합니다.
  • 02작업 매개변수가 바뀌면 파이프라인을 자동으로 다시 실행합니다.
  • 03중간 결과를 로컬 디스크, S3 또는 GCS에 저장합니다.
  • 04I/O 과정에서 pandas DataFrame의 타입과 컬럼을 검사합니다.
  • 05numpy와 random의 시드를 자동으로 고정합니다.
  • 06Redis를 통해 병렬 작업을 잠급니다.

활용 사례

  • 재현 가능한 머신러닝 학습 및 전처리 파이프라인을 구축합니다.
  • 일관된 중간 출력을 유지하면서 팀원과 ML 배치 워크플로를 공유합니다.
  • 대용량 중간 결과를 S3 또는 GCS에 저장하는 다단계 데이터 작업을 실행합니다.

빠른 시작

  1. 1

    pip으로 gokart를 설치합니다

    pip install gokart
  2. 2

    필요한 경우 S3 지원을 설치합니다

    pip install gokart[s3]
  3. 3

    최소 예제를 Python 스크립트로 실행합니다

사용 전 알아둘 점

  • 작업을 병렬로 실행할 때 작업 잠금 기능을 사용하려면 Redis가 필요합니다.
  • README에 따르면 gokart는 실험 관리 도구가 아니며 작업 시각화도 지원하지 않습니다.

토픽

자주 묻는 질문

gokart은(는) 무엇인가요?
luigi 기반 Python 프레임워크로, 자동 캐싱·재현성·의존성 관리를 지원하는 머신러닝 파이프라인을 작성할 수 있습니다. Gokart는 작업을 연결해 머신러닝 파이프라인을 구축하는 Python 프레임워크입니다. luigi를 감싸고 재현성에 중점을 둡니다. 각 작업의 출력, 매개변수, 가져온 모듈의 버전, 랜덤 시드, 로그를 해시와 함께 저장하며, 작업 매개변수가 바뀌면 파이프라인을 자동으로 다시 실행합니다.
gokart은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
gokart은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
gokart은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. gokart의 마지막 커밋은 2026년 11월 1일입니다.
gokart은(는) 어디에 사용할 수 있나요?
재현 가능한 머신러닝 학습 및 전처리 파이프라인을 구축합니다. 일관된 중간 출력을 유지하면서 팀원과 ML 배치 워크플로를 공유합니다. 대용량 중간 결과를 S3 또는 GCS에 저장하는 다단계 데이터 작업을 실행합니다.
gokart는 어떻게 설치하나요?
pip으로 gokart를 설치합니다: pip install gokart 필요한 경우 S3 지원을 설치합니다: pip install gokart[s3] 최소 예제를 Python 스크립트로 실행합니다
gokart은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/m3dev/gokart

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트