대용량 데이터셋을 네트워크로 옮기지 않고 데이터가 있는 곳에서 컴퓨팅 작업을 실행하는 오픈소스 프레임워크입니다.
Eventual-Inc/Daft
이미지, 오디오, 비디오, 임베딩, 구조화 데이터를 대규모로 처리하는 Rust 코어 기반 고성능 Python 데이터 엔진입니다.
- 스타
- 5,832
- 포크
- 586
- 열린 이슈
- 434
- 마지막 커밋
- 3일 전
어떤 프로젝트인가요?
Daft는 AI 및 멀티모달 워크로드를 위한 데이터 엔진입니다. 이미지, 오디오, 비디오, 임베딩, 구조화된 테이블을 하나의 DataFrame 스타일 프레임워크에서 처리하므로 데이터 유형마다 별도 도구를 사용할 필요가 없습니다.
Daft에는 LLM 프롬프트 실행, 임베딩 생성, OpenAI, Hugging Face Transformers 또는 사용자 지정 모델을 이용한 데이터 분류 같은 AI 작업이 기본으로 포함되어 있습니다. 엔진은 Rust로 작성되었으며 Python API를 제공합니다. 단일 머신에서 시작해 Ray 또는 Kubernetes 기반 분산 클러스터로 확장할 수 있습니다.
S3, GCS, Iceberg, Delta Lake, Hugging Face, Unity Catalog에서 데이터를 직접 읽습니다. pip로 설치할 수 있으며 Python 3.10 이상이 필요합니다.
핵심 기능
- 01이미지, 오디오, 비디오, 임베딩, 구조화 데이터를 하나의 프레임워크에서 처리합니다.
- 02LLM 프롬프트 실행, 임베딩 생성, 데이터 분류를 대규모로 수행합니다.
- 03Rust 실행 엔진을 사용하는 Python API를 제공합니다.
- 04로컬 머신에서 Ray 또는 Kubernetes 클러스터까지 확장할 수 있습니다.
- 05S3, GCS, Iceberg, Delta Lake, Hugging Face, Unity Catalog에서 데이터를 읽습니다.
활용 사례
- 대규모 이미지 또는 비디오 컬렉션의 임베딩이나 캡션을 생성합니다.
- 데이터 파이프라인의 텍스트 열에 대해 배치 LLM 추론을 실행합니다.
- 멀티모달 파일과 함께 저장된 Iceberg 또는 Parquet 테이블을 쿼리합니다.
- Python 데이터 전처리 작업을 노트북에서 Ray 클러스터로 확장합니다.
빠른 시작
- 1
PyPI에서 Daft를 설치합니다(Python 3.10 이상).
pip install daft - 2
문서의 빠른 시작 가이드를 읽고 첫 번째 예제를 실행합니다.
사용 전 알아둘 점
- Python 3.10 이상이 필요합니다.
토픽
자주 묻는 질문
- Daft은(는) 무엇인가요?
- 이미지, 오디오, 비디오, 임베딩, 구조화 데이터를 대규모로 처리하는 Rust 코어 기반 고성능 Python 데이터 엔진입니다. Daft는 AI 및 멀티모달 워크로드를 위한 데이터 엔진입니다. 이미지, 오디오, 비디오, 임베딩, 구조화된 테이블을 하나의 DataFrame 스타일 프레임워크에서 처리하므로 데이터 유형마다 별도 도구를 사용할 필요가 없습니다.
- Daft은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- Daft은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- Daft은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. Daft의 마지막 커밋은 2026년 11월 4일입니다.
- Daft은(는) 어디에 사용할 수 있나요?
- 대규모 이미지 또는 비디오 컬렉션의 임베딩이나 캡션을 생성합니다. 데이터 파이프라인의 텍스트 열에 대해 배치 LLM 추론을 실행합니다. 멀티모달 파일과 함께 저장된 Iceberg 또는 Parquet 테이블을 쿼리합니다. Python 데이터 전처리 작업을 노트북에서 Ray 클러스터로 확장합니다.
- Daft는 어떻게 설치하나요?
- PyPI에서 Daft를 설치합니다(Python 3.10 이상).: pip install daft 문서의 빠른 시작 가이드를 읽고 첫 번째 예제를 실행합니다.
- Daft은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/Eventual-Inc/Daft
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
Python이 실행되는 곳이라면 어디서든 동작하는, 테스트와 문서화가 쉬운 DAG로 데이터 변환을 정의하는 경량 Python 라이브러리입니다.
RayCluster, RayJob, RayService 리소스를 통해 Ray 애플리케이션을 배포하고 관리하는 Kubernetes 오퍼레이터입니다.
Scala, Java, Python, R API를 제공하는 대규모 데이터 처리를 위한 통합 분석 엔진입니다.
기존 PySpark 코드를 Spark Connect 프로토콜로 실행하는 Rust 기반 Apache Spark 대체 엔진