Repolode
Предложить
epam

epam/ai-dial-core

HTTP-прокси на Java, который предоставляет единый API для работы с разными моделями генерации ответов и эмбеддингов, ассистентами и приложениями.

Открыть на GitHubСайт
Звёзды
662
Форки
44
Открытые issues
157
Последний коммит
вчера

Что это?

DIAL Core — основной серверный компонент платформы AI DIAL. Он располагается между клиентскими приложениями и множеством провайдеров моделей и предоставляет единый REST API для генерации ответов, моделей эмбеддингов, ассистентов и приложений, избавляя клиентов от необходимости интегрироваться с каждым провайдером отдельно.

Сервер написан на Java 21 с использованием Eclipse Vert.x. Его настройка включает статические параметры, загружаемые при запуске, и динамические конфигурационные файлы, которые перезагружаются с заданным интервалом. Конфигурация охватывает провайдеров идентификации для проверки JWT, хранилища blob-объектов, такие как S3, Azure Blob, Google Cloud Storage и файловая система, защиту OAuth для наборов инструментов с опциональным шифрованием KMS, а также настройки аналитики и трассировки OpenTelemetry.

Проект можно собрать и запустить с помощью Gradle, запустить из IDE или развернуть в Kubernetes через umbrella Helm charts dial или dial-core. Спецификация OpenAPI 3.0 генерируется из исходного кода.

Ключевые возможности

  • 01Единый REST API для моделей генерации ответов и эмбеддингов, ассистентов и приложений.
  • 02Создан на Java 21 с использованием Eclipse Vert.x.
  • 03Подключаемые хранилища blob-объектов, включая S3, Azure Blob, Google Cloud Storage и файловую систему.
  • 04Настройка провайдеров идентификации на основе JWT и user-info с сопоставлением ролей.
  • 05Трассировка OpenTelemetry GenAI и настраиваемое журналирование аналитики.
  • 06Helm charts для развертывания в Kubernetes и генерируемая спецификация OpenAPI.

Сценарии использования

  • Размещение единого API-шлюза перед несколькими провайдерами LLM и эмбеддингов для внутренних приложений.
  • Запуск собственной AI-платформы в Kubernetes с аутентификацией и ролевым разграничением доступа.
  • Добавление трассировки и аудиторской аналитики для трафика LLM в корпоративной среде.

Быстрый старт

  1. 1

    Задайте переменные среды GPR_USERNAME и GPR_PASSWORD для доступа к пакетам GitHub

  2. 2

    Соберите проект с помощью Gradle и Java 21

    ./gradlew build
  3. 3

    Запустите проект с помощью Gradle

    ./gradlew :server:run

Что важно знать

  • Для сборки требуются Java 21 и персональный токен доступа GitHub с разрешением read:packages для загрузки пакетов JClouds.
  • Для практического использования требуется настройка через файлы статических и динамических параметров.

В подборках

Фреймворки микросервисов и инфраструктура сервисов

Темы

#llm#ai-gateway#java#api-gateway#chat-completion#embeddings#kubernetes#openapi#ai-dial

Частые вопросы

Что такое ai-dial-core?
HTTP-прокси на Java, который предоставляет единый API для работы с разными моделями генерации ответов и эмбеддингов, ассистентами и приложениями. DIAL Core — основной серверный компонент платформы AI DIAL. Он располагается между клиентскими приложениями и множеством провайдеров моделей и предоставляет единый REST API для генерации ответов, моделей эмбеддингов, ассистентов и приложений, избавляя клиентов от необходимости интегрироваться с каждым провайдером отдельно.
ai-dial-core можно использовать бесплатно? Какая у него лицензия?
ai-dial-core распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
ai-dial-core всё ещё поддерживается?
Активно поддерживается. Последний коммит в ai-dial-core — 6 нояб. 2026 г..
Для чего можно использовать ai-dial-core?
Размещение единого API-шлюза перед несколькими провайдерами LLM и эмбеддингов для внутренних приложений. Запуск собственной AI-платформы в Kubernetes с аутентификацией и ролевым разграничением доступа. Добавление трассировки и аудиторской аналитики для трафика LLM в корпоративной среде.
Как установить ai-dial-core?
Задайте переменные среды GPR_USERNAME и GPR_PASSWORD для доступа к пакетам GitHub Соберите проект с помощью Gradle и Java 21: ./gradlew build Запустите проект с помощью Gradle: ./gradlew :server:run
Где скачать ai-dial-core?
Исходный код и инструкции по установке — на GitHub: https://github.com/epam/ai-dial-core

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

agentgateway / agentgateway

Открытый прокси для ИИ-агентов, который обеспечивает безопасность, наблюдаемость и управление трафиком к LLM, MCP-инструментам и между агентами.

ИИ и машинное обучение#mcp#ai-gateway#llm
6 тыс.+191 за неделю1,1 тыс.RustApache-2.0Активно поддерживаетсяОбновлён 15 часов назад