Repolode
Eventual-Inc

Eventual-Inc/Daft

이미지, 오디오, 비디오, 임베딩, 구조화 데이터를 대규모로 처리하는 Rust 코어 기반 고성능 Python 데이터 엔진입니다.

스타
5,832
포크
586
열린 이슈
434
마지막 커밋
3일 전

어떤 프로젝트인가요?

Daft는 AI 및 멀티모달 워크로드를 위한 데이터 엔진입니다. 이미지, 오디오, 비디오, 임베딩, 구조화된 테이블을 하나의 DataFrame 스타일 프레임워크에서 처리하므로 데이터 유형마다 별도 도구를 사용할 필요가 없습니다.

Daft에는 LLM 프롬프트 실행, 임베딩 생성, OpenAI, Hugging Face Transformers 또는 사용자 지정 모델을 이용한 데이터 분류 같은 AI 작업이 기본으로 포함되어 있습니다. 엔진은 Rust로 작성되었으며 Python API를 제공합니다. 단일 머신에서 시작해 Ray 또는 Kubernetes 기반 분산 클러스터로 확장할 수 있습니다.

S3, GCS, Iceberg, Delta Lake, Hugging Face, Unity Catalog에서 데이터를 직접 읽습니다. pip로 설치할 수 있으며 Python 3.10 이상이 필요합니다.

핵심 기능

  • 01이미지, 오디오, 비디오, 임베딩, 구조화 데이터를 하나의 프레임워크에서 처리합니다.
  • 02LLM 프롬프트 실행, 임베딩 생성, 데이터 분류를 대규모로 수행합니다.
  • 03Rust 실행 엔진을 사용하는 Python API를 제공합니다.
  • 04로컬 머신에서 Ray 또는 Kubernetes 클러스터까지 확장할 수 있습니다.
  • 05S3, GCS, Iceberg, Delta Lake, Hugging Face, Unity Catalog에서 데이터를 읽습니다.

활용 사례

  • 대규모 이미지 또는 비디오 컬렉션의 임베딩이나 캡션을 생성합니다.
  • 데이터 파이프라인의 텍스트 열에 대해 배치 LLM 추론을 실행합니다.
  • 멀티모달 파일과 함께 저장된 Iceberg 또는 Parquet 테이블을 쿼리합니다.
  • Python 데이터 전처리 작업을 노트북에서 Ray 클러스터로 확장합니다.

빠른 시작

  1. 1

    PyPI에서 Daft를 설치합니다(Python 3.10 이상).

    pip install daft
  2. 2

    문서의 빠른 시작 가이드를 읽고 첫 번째 예제를 실행합니다.

사용 전 알아둘 점

  • Python 3.10 이상이 필요합니다.

토픽

자주 묻는 질문

Daft은(는) 무엇인가요?
이미지, 오디오, 비디오, 임베딩, 구조화 데이터를 대규모로 처리하는 Rust 코어 기반 고성능 Python 데이터 엔진입니다. Daft는 AI 및 멀티모달 워크로드를 위한 데이터 엔진입니다. 이미지, 오디오, 비디오, 임베딩, 구조화된 테이블을 하나의 DataFrame 스타일 프레임워크에서 처리하므로 데이터 유형마다 별도 도구를 사용할 필요가 없습니다.
Daft은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
Daft은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
Daft은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. Daft의 마지막 커밋은 2026년 11월 4일입니다.
Daft은(는) 어디에 사용할 수 있나요?
대규모 이미지 또는 비디오 컬렉션의 임베딩이나 캡션을 생성합니다. 데이터 파이프라인의 텍스트 열에 대해 배치 LLM 추론을 실행합니다. 멀티모달 파일과 함께 저장된 Iceberg 또는 Parquet 테이블을 쿼리합니다. Python 데이터 전처리 작업을 노트북에서 Ray 클러스터로 확장합니다.
Daft는 어떻게 설치하나요?
PyPI에서 Daft를 설치합니다(Python 3.10 이상).: pip install daft 문서의 빠른 시작 가이드를 읽고 첫 번째 예제를 실행합니다.
Daft은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/Eventual-Inc/Daft

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트

Apache Arrow 컬럼형 데이터를 DataFusion 기반 Rust 엔진으로 처리해 Spark SQL과 DataFrame 연산을 코드 변경 없이 가속하는 Spark 가속기입니다.

데이터·분석#spark#arrow#datafusion
1.3천+7 이번 주414ScalaApache-2.0업데이트 5시간 전