Repolode
google-ai-edge

google-ai-edge/mediapipe

跨平台的设备端机器学习框架与现成解决方案,用于在移动端、Web、桌面和物联网设备上运行视觉、音频和文本模型。

Star
37,361
Fork
6,194
未关闭 Issue
331
最近提交
9小时前

这是什么?

MediaPipe 是 Google AI Edge 推出的设备端机器学习工具包。它提供 MediaPipe Tasks,这是一组跨平台 API 和库,用于部署视觉、音频、文本等任务的预训练模型;同时还提供 MediaPipe Studio,可在浏览器中测试和评估解决方案。

在底层,MediaPipe Framework 允许开发者将感知流程构建为由 calculator 组成的图,对数据包流进行处理。它支持 C++、Android 和 iOS,覆盖移动端、Web、桌面、边缘设备和物联网等部署场景。图像、视频和文本等输入数据均在设备本地处理。

该项目适合希望在应用中加入摄像头或多媒体机器学习功能、又不想把数据上传到服务器的开发者,也适合需要可定制实时流媒体处理管线的团队。

核心功能

  • 01通过 MediaPipe Tasks 提供预训练的视觉、音频和文本解决方案。
  • 02提供覆盖 Android、iOS、Web、Python 和 C++ 的跨平台 API。
  • 03基于 calculator 和 packet 构建的图式框架,适用于流式处理管线。
  • 04支持设备端推理,输入数据不离开设备。
  • 05提供 MediaPipe Studio,可在浏览器中测试和评估解决方案。

适用场景

  • 在移动应用中加入实时人脸、手部或姿态追踪。
  • 在网页中运行设备端的目标检测或图像分类。
  • 为直播流构建自定义的视频或音频处理管线。
  • 在必须保留本地数据的边缘或物联网设备上部署机器学习功能。

快速上手

  1. 1

    从开发者文档中选择一个解决方案指南,例如视觉或文本

  2. 2

    按照你所用平台(如 Python 或 Android)的设置指南操作

使用前须知

  • MediaPipe Tasks 会向 Google 发送性能和使用指标,应用开发者需在法律要求时取得用户同意。

标签

常见问题

mediapipe 是什么?
跨平台的设备端机器学习框架与现成解决方案,用于在移动端、Web、桌面和物联网设备上运行视觉、音频和文本模型。 MediaPipe 是 Google AI Edge 推出的设备端机器学习工具包。它提供 MediaPipe Tasks,这是一组跨平台 API 和库,用于部署视觉、音频、文本等任务的预训练模型;同时还提供 MediaPipe Studio,可在浏览器中测试和评估解决方案。
mediapipe 可以免费使用吗?用的什么许可证?
mediapipe 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
mediapipe 还在维护吗?
活跃维护中。mediapipe 最近一次提交是在 2026年10月22日。
mediapipe 适合用来做什么?
在移动应用中加入实时人脸、手部或姿态追踪。 在网页中运行设备端的目标检测或图像分类。 为直播流构建自定义的视频或音频处理管线。 在必须保留本地数据的边缘或物联网设备上部署机器学习功能。
mediapipe 怎么安装和运行?
从开发者文档中选择一个解决方案指南,例如视觉或文本 按照你所用平台(如 Python 或 Android)的设置指南操作
在哪里获取 mediapipe?
源代码和安装说明在 GitHub 上:https://github.com/google-ai-edge/mediapipe

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目