自托管的 OpenAI 兼容 AI 引擎，可在任意硬件（含纯 CPU）上运行大模型、视觉、语音、图像和视频模型。
5万4507GoMIT更新于 4小时前
hr98w/jev-visual
一个面向 Apple Silicon 的教学项目，用 MLX 运行视觉语言模型，对同一张图片的候选答案直接打分。
- Star
- 320
- Fork
- 29
- 未关闭 Issue
- 1
- 最近提交
- 28天前
这是什么？
Jev Visual 是一个可直接运行的视觉语言模型推理实验项目，面向 Apple Silicon Mac。它通过 MLX 使用 Qwen3.5-0.8B，对同一张图片一次回答多个问题，例如选项选择、是非判断或有序等级打分。它不逐 token 生成结构化输出，而是复用共享的多模态上下文，直接从模型 logits 读取候选答案的分数。
项目提供本地浏览器界面、命令行工具和 HTTP API。推理流程按图像预处理、适配器层的预填充与缓存复用、候选打分、结果组装拆分为独立模块，便于开发者逐步理解。项目使用现有模型权重，不做训练或校准，目前仅验证了 Qwen3.5 适配器。候选概率是相对于所给选项的分布，并不代表答案正确的概率。
仓库还包含基准测试，对比生成 JSON、独立候选打分与共享前缀批量打分的耗时，并附有基于同一思路的视觉小游戏演示。
核心功能
- 01基于 MLX 在 Apple Silicon 上本地运行 Qwen3.5-0.8B。
- 02复用共享上下文，对同一张图片一次回答多个问题。
- 03直接从模型 logits 为候选答案打分，无需生成 JSON。
- 04提供本地浏览器界面、命令行工具和 HTTP API。
- 05附带基准测试与打分结果校验脚本。
适用场景
- 学习视觉语言模型推理与候选答案打分的工作原理。
- 在 Mac 上无需云端 API，原型验证图片分类或选择题。
- 对比结构化输出的生成方式与直接 logit 打分的效率。
- 尝试基于视觉分类的交互演示，如手势控制或分拣任务。
标签
常见问题
- jev-visual 是什么？
- 一个面向 Apple Silicon 的教学项目，用 MLX 运行视觉语言模型，对同一张图片的候选答案直接打分。 Jev Visual 是一个可直接运行的视觉语言模型推理实验项目，面向 Apple Silicon Mac。它通过 MLX 使用 Qwen3.5-0.8B，对同一张图片一次回答多个问题，例如选项选择、是非判断或有序等级打分。它不逐 token 生成结构化输出，而是复用共享的多模态上下文，直接从模型 logits 读取候选答案的分数。
- jev-visual 可以免费使用吗？用的什么许可证？
- jev-visual 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。
- jev-visual 还在维护吗？
- 活跃维护中。jev-visual 最近一次提交是在 2026年9月21日。
- jev-visual 适合用来做什么？
- 学习视觉语言模型推理与候选答案打分的工作原理。 在 Mac 上无需云端 API，原型验证图片分类或选择题。 对比结构化输出的生成方式与直接 logit 打分的效率。 尝试基于视觉分类的交互演示，如手势控制或分拣任务。
- 在哪里获取 jev-visual？
- 源代码和安装说明在 GitHub 上：https://github.com/hr98w/jev-visual
概要由 AI 根据项目 README 生成；GitHub 数据每日更新。
相关项目
开源推理引擎，针对你的硬件自动调优内核，让开源模型在 Apple Silicon、NVIDIA、AMD 或纯 CPU 上运行更快。
7186494RustApache-2.0更新于 12小时前
商汤 SenseNova 开源的原生统一多模态模型，在同一架构中完成图像理解、文生图与图像编辑。
6911532PythonApache-2.0更新于 18天前
开源 Python 库，可将网页、PDF、图片、YouTube 视频或主题转换为多语言的 AI 播客音频对话。
6695778PythonApache-2.0更新于 6个月前
在 Apple Silicon Mac 上用 MLX 本地运行开源模型，并以 Anthropic API 兼容服务让 Claude Code 离线使用。
3372652PythonMIT更新于 4天前
一个 9B 参数的开源多模态大模型，面向视觉理解、空间推理、智能体工具调用和具身智能研究。
3076540PythonApache-2.0更新于 上个月