Fish Audio Drama 3による音声合成、音声クローン、複数話者の会話やテキスト内の演技指示に対応し、Qwen3-ASRでの文字起こしも行えるComfyUIノード。
aliyun/alibabacloud-bailian-speech-demo
音声認識、音声合成、音声チャット向けのAlibaba Cloud Bailian音声モデルの呼び出し方を示すサンプルコード集です。
- スター
- 429
- フォーク
- 58
- 未解決の Issue
- 3
- 最終コミット
- 5 日前
これは何?
このリポジトリには、DashScope SDKを通じてAlibaba Cloud Bailian(Model Studio)の音声モデルを呼び出すサンプルコードがまとめられています。Qwen-Audio-3.0-ASRとFun-ASRによる音声認識、Qwen-Audio-3.0-TTSとCosyVoiceによる音声合成、音声クローン、プロンプトや歌詞からの音楽生成を扱います。
基本的な認識や合成に加えて、音声モデルと大規模言語モデルを組み合わせたビデオチャット、音声会話、音声の要約とQ&A、音声翻訳の例も紹介しています。ホットワードや文脈に対応したストリーミング認識、話者分離を伴う長時間録音の非同期文字起こし、WebSocketベースのリアルタイム音声対話などが含まれます。
各サンプルは個別のディレクトリにあり、それぞれに実行手順と依存関係が記載されています。利用にはAlibaba Cloudアカウント、Bailian APIキー、DashScope SDKが必要です。コードはMITライセンスで公開されています。
主な機能
- 01Qwen-Audio-3.0-ASRとFun-ASRによる音声認識。ストリーミング認識とファイルの文字起こしに対応
- 02話し方、方言、感情を指示して制御できるテキスト読み上げ
- 03音声クローンと、クローンした音声による合成
- 04プロンプトや独自の歌詞からの音楽生成
- 05Function callingに対応した、WebSocket経由のリアルタイム音声対話
ユースケース
- 会議やライブ配信にリアルタイム字幕や文字起こしを追加する
- クローン音声やスタイルを指定した音声を使ったカスタマーサービス用音声ボットを構築する
- 通話や会議の録音を一括で文字起こしし、分析する
- テキストやLLMの出力からナレーションや多言語の吹き替え音声を生成する
収録されている特集
トピック
よくある質問
- alibabacloud-bailian-speech-demo とは?
- 音声認識、音声合成、音声チャット向けのAlibaba Cloud Bailian音声モデルの呼び出し方を示すサンプルコード集です。 このリポジトリには、DashScope SDKを通じてAlibaba Cloud Bailian(Model Studio)の音声モデルを呼び出すサンプルコードがまとめられています。Qwen-Audio-3.0-ASRとFun-ASRによる音声認識、Qwen-Audio-3.0-TTSとCosyVoiceによる音声合成、音声クローン、プロンプトや歌詞からの音楽生成を扱います。
- alibabacloud-bailian-speech-demo は無料で使えますか?ライセンスは?
- alibabacloud-bailian-speech-demo は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- alibabacloud-bailian-speech-demo は今もメンテナンスされていますか?
- 活発にメンテナンス中。alibabacloud-bailian-speech-demo の最終コミットは 2026年11月2日 です。
- alibabacloud-bailian-speech-demo は何に使えますか?
- 会議やライブ配信にリアルタイム字幕や文字起こしを追加する クローン音声やスタイルを指定した音声を使ったカスタマーサービス用音声ボットを構築する 通話や会議の録音を一括で文字起こしし、分析する テキストやLLMの出力からナレーションや多言語の吹き替え音声を生成する
- alibabacloud-bailian-speech-demo はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/aliyun/alibabacloud-bailian-speech-demo
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
Microsoftによるオープンソースの音声AIモデル群。長時間音声の認識(ASR)、複数話者の音声合成(TTS)、リアルタイムストリーミングTTSに対応。
LLM系モデルを基盤とするオープンソースの音声合成システム。ボイスクローニング、自然言語による感情制御、複数話者の音声生成に対応します。
多様なローカル/クラウドTTSエンジンを使い、テキスト、ジェネレーター、LLMのトークンストリームを低遅延で音声に変換するPythonライブラリ。
合成音声の韻律と発音を改善するため、多言語BERTを取り入れたVITS2ベースの音声合成プロジェクトです。
音声認識(ASR)、音声合成(TTS)、音声LLMに対応し、音声AIモデルの構築、ファインチューニング、デプロイに使えるNVIDIAのオープンソースツールキット。