SwanTale

自动研究时间：2026-08-05 09:02（Asia/Shanghai）
来源日期：Hugging Face Daily Papers 页面实际显示 Aug 4，列表最顶部为 SwanTale: Unified Multi-Speaker Speech and Audio Generation for Instruct and Zero-Shot Tasks；详情页标注 #1 Paper of the day。
研究路径：Daily Papers 列表 -> Hugging Face 详情页 -> arXiv 摘要页 -> arXiv 34 页完整 PDF 与 HTML 全文（含附录、实验表和 SwanVerifier）-> 官方项目演示页交叉核对。

执行摘要

现有零样本 TTS 擅长“给一段参考音频，再用同一声音说新内容”，指令式 TTS 则试图从年龄、性别、情绪、语速等文字描述直接设计声音。但真实内容制作往往同时需要更多东西：多个角色轮流说话，角色声音可以先由自然语言创造、随后稳定复用，台词带有局部情绪变化，环境声、混响、音乐和音效还要与表演处在同一条时间线上。把这些成分交给若干独立模型再混音，容易产生时序、响度和声场不一致。

ByteDance 与浙江大学提出的 SwanTale，目标是在一个模型、一次生成过程中统一两条工作流：

• Instruct：不提供参考音频，仅用结构化自然语言描述环境、角色与逐段内容，从零设计多说话人场景；
• Zero-shot：提供参考音频来指定说话人身份，并用内容 caption 控制新台词及局部表达。

论文的重点不只是扩大 TTS 模型，而是把数据表示、声学潜空间、条件建模和后训练连成一套系统。数据侧的 SwanData-Caption 把语音中心的媒体音频整理为约 7000 万条多层 caption，显式拆成 Environment、Speakers 与 Content。模型侧的 SwanVAE 将 48 kHz 单声道音频压缩为 25 Hz、每帧 96 维的连续潜变量；非自回归 flow-matching DiT 负责长程生成；Unified MoE 再按任务、音频帧与扩散时间动态分配专家。训练从零样本语音基础模型开始，依次进入稠密 caption 适配、完整多模态混合、精品 SFT，最后用 Flow-GRPO 针对发音、边界稳定性与角色属性控制做强化后训练。

实验显示，SwanTale 在零样本单人和双人对话中取得最高的音色一致性与表现力分数；在 InstructTTSEval 上以 86.1 获得中文显式声学属性控制第一，并在 SwanBench-Scene 上以 4.22/5 获得最高总体 MOS。SwanVAE 也在语音、歌声和一般音频重建上表现强劲。可是论文自己的结果同样揭示边界：零样本内容错误率和声音保真并非最优，英文描述风格与角色扮演落后于部分基线，复杂背景音乐、超过两分钟的多角色场景和精确局部风格控制仍然困难。

更重要的是，训练依赖大规模内部数据、32/64 张 A100 和未公开的完整系统；两个关键场景基准由作者新建，部分指标依赖 Gemini 自动裁判，复杂 caption 实验的核心表只有 64 个样本。论文也没有系统讨论声音克隆授权、冒充滥用、水印或身份验证。因此，SwanTale 更适合被理解为一份“统一可控语音与场景音频生成”的系统设计蓝图，而不是已经得到充分独立验证、可直接部署的开放模型。

1. 论文基本信息

核心链接：

• Hugging Face 详情页：https://huggingface.co/papers/2608.02023
• arXiv 摘要页：https://arxiv.org/abs/2608.02023
• arXiv PDF：https://arxiv.org/pdf/2608.02023
• arXiv HTML 全文：https://arxiv.org/html/2608.02023v1
• 官方项目与音频演示：https://swanaigc.github.io/#swantale

2. 背景与动机：从“说一句话”到“生成一个声音场景”

2.1 两类 TTS 各自解决什么问题

经典 zero-shot TTS 的输入是参考音频和新文本。参考音频承担全局说话人身份，模型的任务是让新台词保持音色、口音和说话习惯。这条路线已经让声音克隆和多说话人播客生成变得可行，但它假设目标声音已经存在。

Instruct TTS 从相反方向出发：创作者可能只有“年轻、明亮、有活力的女主角”“低沉、克制的中年旁白”等文字需求，并没有可供克隆的录音。更完整的指令还会描述：

1. 环境与录音空间，例如咖啡馆、人群底噪、房间混响；
2. 角色的稳定属性，例如年龄、音色、角色身份和习惯性表达；
3. 台词内的局部变化，例如停顿、强调、情绪突变、打断和代码切换；
4. 与语言交错的局部音效、歌声或音乐。

SwanTale 的产品逻辑很清晰：先通过 instruct 从无到有创造角色，再把生成结果作为 reference，通过 zero-shot 在后续剧集中复用这个角色。二者若由同一模型处理，就不必在“声音设计模型”和“声音克隆模型”之间做困难的身份迁移。

2.2 为什么不能简单串联 TTS、音效和混音模型

独立生成台词、背景声与音效，再在后处理中拼接，理论上也能得到完整音轨，但会暴露四类耦合问题：

• 环境混响与人声的录音空间不一致；
• 音效触发时间没有对齐台词语义；
• 多角色的响度、距离和声场关系漂移；
• 音乐、歌声、持续背景与瞬时效果具有不同时间结构，却需要在同一波形中协调。

论文因此把目标从纯 TTS 扩大为 speech-centered audio generation：语言内容仍是主轴，但语音、一般音频、偶发歌声和音乐都由同一潜空间与生成器建模。

2.3 三个真正困难的系统问题

3. 核心贡献

3.1 SwanData-Caption：把媒体音轨变成可训练的场景脚本

论文构建约 7000 万条 caption 记录，不再把训练目标局限于 transcript。每条记录包含三个字段：

这种分层很重要：角色的稳定画像不能与一句台词里的暂时愤怒混为一谈；持续雨声也不能与某一刻的玻璃破碎声使用同样的时间语义。

3.2 SwanVAE：为长时高保真生成设计的连续声学潜空间

SwanVAE 把 48 kHz 音频压缩到每 40 ms 一个 96 维连续向量。编码器只处理局部声学信息，解码器承担更多波形合成能力，长程依赖则交给下游 DiT。论文额外用 flow matching、未来潜变量预测、色度、能量与频带能量读出约束潜空间，使它不仅能重建声音，也更容易被生成模型预测。

3.3 一个 backbone 统一 instruct 与 zero-shot

两类任务共享相同的 flow-matching DiT 和速度场目标。区别只在条件和生成区域：

• instruct 使用完整 caption，从噪声生成整段潜变量；
• zero-shot 使用内容 caption，参考音频潜变量作为固定 context，只生成未掩码部分。

这样，统一不是在输出端拼两个模型，而是在训练目标中把两类任务写成同一个 masked flow-matching 问题。

3.4 Unified MoE：按任务、帧内容和去噪阶段分配计算

Unified MoE 同时包含任务共享专家、路由音频专家与不执行额外变换的 null expert。任务路由器在样本级区分 instruct 与 zero-shot 的稳定先验；音频路由器则对每一帧做动态 Top-P 选择。复杂的说话人切换或瞬时音效可以使用更多专家，安静或稳定背景可走 null 路径。专家预算还依赖扩散时间，使不同去噪阶段获得不同计算量。

3.5 从数据课程到奖励后训练的完整训练配方

SwanTale 不在第一步就混入所有音频和稀疏专家，而是分阶段学习：

1. 先建立单人与多人的 zero-shot 语音基础能力；
2. 用干净、属性清楚的语音做稠密 caption 适配；
3. 引入完整 SwanData-Caption 和 Unified MoE；
4. 用高质量、高表现力子集做 SFT；
5. 用 Flow-GRPO 修正发音、停顿、边界、波形质量和角色控制。

这个顺序把“理解条件”“扩展模态容量”“提升质量”拆开，避免路由器、caption 接口和多音频生成同时从零学习。

4. 数据管线详解

4.1 覆盖设计：真实媒体数据加定向合成

主数据来自内部、真实世界、以语音为中心的媒体音频，包括短剧、广告和动画等场景。为了补足长尾，作者用音素感知 TTS teacher 各生成 10 万条三类数据：

• 老年语音，改善年龄覆盖；
• 中英文短词、姓名和短句，平均约 1.5 秒；
• 中文多音字、专有名词、品牌名、英文插入和混合语言等困难发音。

这体现了一个实用的数据工程判断：对用户非常敏感、但自然数据低频的错误，不能只等待规模随机覆盖，应该明确构造训练分布。

4.2 语音预处理：保留原场景，同时获得干净文本锚点

混合媒体音频先由 Ultimate Vocal Remover 分出人声流与背景流。人声流用于说话人分离、ASR 和对齐，原始混合音频则保留环境与音效，继续作为 caption 与生成目标。

说话人分离使用 3D-Speaker；单人片段保留 1–60 秒，多人片段最长 120 秒。Seed-ASR 2.0 负责转写，SenseVoice 提供额外发音检查，SwanAligner 保存词级对齐和停顿证据。作者刻意不直接信任 ASR 标点：语义模型补出的标点可能与真实停顿不一致，最终标点需要 caption 语义和声学对齐共同校正。

4.3 多层 caption：MLLM 标注与风格人格软先验

Seed2.0 Lite 同时接收目标音频、去标点转写和严格格式提示，完成说话人切分、标点恢复与三字段描述。为了避免自动标注只反复使用少数空泛形容词，团队为动画、短剧/影视剧、广告/数字人三类媒体建立 style-persona matrix。

这些矩阵只作为软先验：它们规定稳定角色属性的描述顺序，并提醒模型把瞬时情绪放入 Content，但不应凭媒体类型添加听不出来的身份。普通音频不使用这些矩阵，以减少不受声学证据支持的标签。

4.4 数据筛选：自动指标、SwanVerifier 与人工审核

语音候选会按 DNSMOS、torchaudio-SQUIM 相关指标筛选；默认阈值包括 PESQ 不低于 2.0、STOI 不低于 0.85、SI-SDR 不低于 0、MOS 不低于 2.5。随后执行说话人索引、标签闭合、文本一致性和标点规范检查。

附录中的 SwanVerifier 是基于 WavLM 的轻量属性模型，用于检查感知年龄与性别标签是否与波形相符。它可以在不确定时 abstain，不会自动补齐缺失人口属性；情绪、角色和细粒度表演仍由 caption 模型与人工审核处理。

人工审核覆盖转写、caption、音质和表现力。表现力不使用跨样本绝对 MOS，而是在匹配组内从四个候选中选最好与最差，降低不同角色和内容之间的量表校准负担。代价是论文没有公开审核规模、标注者构成和一致性统计，数据质量仍很难由外部复核。

5. 模型方法详解

5.1 SwanVAE：局部编解码，长程关系留给 DiT

SwanVAE 的 25 Hz 潜变量显著缩短长音频序列。每个 latent 由 decoder-side Transformer Resampling Block 展开为 6 个 320-sample patch，合计 1920 个采样点，即 48 kHz 下的 40 ms。编码器理论感受野约 0.95 秒，端到端依赖跨度约 3.23 秒；更长的角色一致性和场景结构不在 VAE 内解决。

重建目标组合多分辨率 complex STFT、多频带 Mel 和帧能量损失，并使用 MPD、MRD、MBCSD 三组判别器及 feature matching 约束高频和瞬态细节。训练期还有三类弱对齐目标：

• 轻量无条件 flow predictor，直接度量潜变量是否易生成；
• causal predictor，压制相邻帧中突兀、不可预测的变化；
• 色度、总能量与频带能量读出，保留局部感知结构。

这些辅助头在 VAE 训练结束后全部丢弃，不增加推理成本。下游使用归一化 posterior mean 作为确定性声学目标，而非随机样本。

5.2 条件栈：把“说什么”和“怎么听起来”分开

caption 分支使用 Qwen 系列文本编码器，通过 cross-attention 注入所有 DiT 层，并用标签 embedding 区分台词、局部音效、环境和其他描述。实际朗读文本另由 CosyVoice 2.0 tokenizer 和轻量 Transformer 编码，再插值到音频潜变量时间线；结构化 <S1>、<S2> 标签提供说话人轮次。

这种拆分避免只让一个语言模型同时承担词法对齐和长 caption 理解。推理时还使用两级 classifier-free guidance：第一档控制文本与说话人轮次，第二档再加入完整 caption、质量标记或参考音频，因此内容忠实度和声学风格可以用不同强度引导。

5.3 Reward-conditioned quality control：把中等质量数据也利用起来

对有完整质量分数的训练样本，系统把 STOI、SI-SDR、PESQ 和 MOS 档位写入 quality caption，并映射为 low、normal、high 或 unknown 标记。推理时始终请求 high。

它不是强化学习奖励，而是 reward-conditioned policy：模型学习不同质量水平对应的声学分布，再在生成时把条件固定到最高档。这样中等质量数据不必全部丢弃，仍可贡献角色、场景和长尾音效覆盖。风险是自动质量指标并不完整代表感知质量，模型也可能学会与指标相关但与真实偏好不完全一致的特征。

5.4 Engram：为反复出现的 caption 短语增加条件记忆

“充满活力的女孩”“火车鸣笛”等固定模式在 caption 中反复出现。SwanTale 在 caption encoder 后加入 2-gram 与 3-gram 的哈希记忆，并通过内容相关门控残差写回表示。门控初始近乎关闭，训练中再逐渐打开，使结构化标记和稳定短语可快速检索，同时让注意力主要负责更自由的长程声学规划。

5.5 Unified MoE：动态 Top-P 与 null expert

每隔一个 DiT feed-forward 层插入一个 MoE 层。三类专家分工如下：

音频路由器使用动态 Top-P，而不是每帧固定 Top-K；扩散时间 embedding 共同决定概率阈值、null 偏置和专家容量。训练早期加入 Gumbel 噪声并逐步降温，鼓励先探索专家组合、再形成专门化；无辅助损失的动态偏置修正负载，z-loss 控制路由 logit 数值，额外惩罚防止全部坍缩到 null expert。

论文的消融确实表明 MoE 有效，但没有报告实际每帧激活专家数、FLOPs、吞吐、显存或相对稠密模型的延迟，因此“动态节省计算”目前主要是架构动机，不是完整的效率结论。

5.6 Flow-GRPO：只奖励可较可靠测量的单人语音属性

SFT 后仍会出现多音字错误、漏字、边界爆音和角色属性不符。作者把确定性 flow ODE 转为保持边缘分布的随机 SDE，每个条件采样 8 条轨迹，用组内相对奖励执行 clipped GRPO。共同奖励包括：

• 音素准确率与音素长度一致性；
• 标点对应停顿；
• 首尾 0.2 秒能量；
• 削波、异常峰值和高频伪影等波形质量。

Instruct 再使用 SwanVerifier 检查年龄和性别，zero-shot 则用 WavLM/ECAPA 说话人 embedding 计算参考音色相似度。严重发音错误通过乘法 gate 压低总奖励。

作者没有对难以可靠打分的多说话人和复杂音频直接做 RL，而是用冻结 SFT reference 的 KL 约束限制策略漂移，并在每个 GRPO 更新块后回放多说话人、音乐和音效 SFT 样本。这个设计承认了奖励覆盖有限：没有可靠 verifier 的能力，优先用 anchor replay 保存，而不是强行优化一个噪声奖励。

6. 训练与实验设计

6.1 训练规模

这些数字说明 SwanTale 的主要壁垒不仅是网络结构，也包括极大的内部语音语料、caption 生成和筛选流水线。论文没有报告 wall-clock、总 GPU-hours、训练成本、推理实时率或模型总参数量，外部团队很难估算端到端复现门槛。

6.2 评测覆盖

Zero-shot 表现力由 Gemini 3 Pro 评估；InstructTTSEval 使用 Gemini 2.5 Pro 官方自动裁判；SwanBench-Caption 使用 Gemini 3.5 Flash。SwanBench-Scene 的人工听评更接近真实感知，但它与 SwanBench-Caption 都是作者构建的新基准，尚缺独立复现与广泛采用。

7. 实验结果

7.1 SwanVAE：低帧率下兼顾多类音频

结果支持同一个 25 Hz 连续潜空间覆盖多音频类型，但不能简化成“全面最好”：音乐上 EnCodec 更强，语音 ViSQOL 也由 MegaTTS 3 WaveVAE 领先。连续表示的 nominal rate 为 38.40 kbps，明显高于若干离散 codec；论文目标是生成友好与重建质量的平衡，不是最低码率传输。

7.2 Zero-shot：表现力与音色领先，内容和保真仍有差距

SwanTale 相比前身 SwanVoice 的提升方向一致，尤其是表现力、音色稳定与双人韵律。但论文标题中的“统一”不等于在传统 TTS 核心指标上统治所有系统：内容错误和声音保真仍是明确短板。

7.3 InstructTTSEval：显式属性强，角色推断弱

APS 测试 12 种直接声学属性，最贴合 SwanData-Caption 的显式监督，因此 SwanTale 在中文第一、英文并列第一。中文 DSD 为第二，但英文 DSD 落后于 Qwen3-TTS、MOSS-VoiceGenerator 和 VoxCPM2；两种语言的 Role-Play 都不占优。

作者将 Role-Play 弱点归因于 caption 与 style matrix 对长尾职业、角色原型和情境覆盖不足。这也提示：把可听属性写得更细，并不自动带来对开放角色描述的强泛化；后者还依赖语言理解、文化先验与更广的角色分布。

7.4 SwanBench-Scene：人评场景质量最强

在广告、漫画短剧和一般场景共 180 条指令上，SwanTale 总体 Mean MOS 为 4.22/5，超过 Qwen3-TTS 的 4.09、Seedance 2.0 的 3.86、MOSS-VoiceGenerator 的 3.48 和 MiMo-Audio 的 3.19。

这是论文最直接的人工感知证据。仍需注意：每条由五名专业标注者评分，但正文没有给出置信区间、标注者一致性、显著性检验和盲测流程细节；比较系统的生成设置是否完全等预算也没有充分展开。

7.5 复杂 caption 消融：MoE 和更强文本编码器都有帮助

移除 MoE 后三项都下降，说明异构音频容量不是只有理论作用。把 Qwen3 caption encoder 从 8B 扩到 32B 后，最大增益出现在指令准确率，也说明复杂场景仍受语言理解能力限制。

但该表只有 64 个案例，并由单一 Gemini 3.5 Flash 自动打分；论文也没有分别消融 Engram、reward conditioning、课程顺序、GRPO 各奖励或 anchor replay。因此，整体系统有效不等于每个新增组件的独立贡献都已得到充分验证。

8. 如何理解这篇论文的真正价值

8.1 它统一的是“创作接口”，不只是模型参数

SwanTale 的关键接口是同一种结构化 caption。Environment、Speakers、Content 既是数据 schema，也是生成控制协议；zero-shot 只需把稳定角色来源从文字换成参考音频，就能复用其余内容表示。统一因此贯穿数据、条件、训练目标和推理，而非简单共享一个 decoder。

8.2 它把场景音频视为 TTS 的内生部分

传统 TTS 往往追求干净人声，再把环境声交给后处理。SwanTale 的假设是：对短剧、广告、游戏和播客而言，声场与音效会改变表演的感知意义，应在同一波形中联合规划。这个方向可能推动 TTS 从“语音 API”升级为“可编程音频场景生成器”。

8.3 数据 schema 可能比单个网络模块更具迁移价值

Environment/Speakers/Content 的稳定与局部属性拆分，适用于视频配音、虚拟角色、互动叙事乃至音频编辑。即使外部团队无法复现 2300 万小时训练，仍可借鉴这种 caption 设计、声学证据校验与长尾定向合成方法。

9. 局限、风险与未回答问题

9.1 数据和模型基本不可复现

主要语料是内部数据，论文没有给出来源比例、许可结构、语言分布、去重方法、说话人同意、训练集污染检查或 SwanData-Caption 发布计划。模型权重、完整训练代码、SwanVerifier 和 benchmark 数据在论文页面也没有明确开放。外部读者目前只能复核论文描述与演示，无法验证训练数据和主要结果。

9.2 “2300 万小时”暴露极高资源门槛

零样本基础阶段报告 2300 万小时单人和 170 万小时双人数据，远超多数公开研究可获得规模；监督阶段还使用 64 张 A100。论文没有端到端成本、训练时长、能耗和 scaling ablation，无法判断性能提升有多少来自方法、有多少来自数据与算力规模。

9.3 评测存在内部基准和自动裁判依赖

SwanBench-Speech、Scene 与 Caption 都与作者团队相关。InstructTTSEval 的大部分基线数字取自 VoxCPM2 论文，而不是全部在统一环境重跑。表现力与复杂 caption 又依赖 Gemini 系列模型，可能偏好更戏剧化、更冗长或更容易由文字识别的声学特征。需要公开音频、跨实验室听评和统计显著性验证。

9.4 消融不足以支撑全部组件的因果主张

论文展示了移除 MoE 和扩大 caption encoder 的结果，却没有系统回答：Engram 是否必要，quality caption 与 GRPO 各贡献多少，四阶段课程能否缩短，null expert 是否真的节省推理，SwanVerifier 的误拒和人口属性偏差如何影响数据。系统论文可以依靠整体结果证明可行性，但组件很多时，缺少消融会增加归因不确定性。

9.5 长音频与精细控制尚未解决

作者明确列出三个技术限制：复杂背景音乐及随情绪转场仍困难；超过两分钟、含音效的复杂多角色 instruct 生成不稳定；连续情绪变化、强调、节奏、停顿与音效时点仍难以精确控制。当前数据片段最多 120 秒，也与长场景边界相呼应。

9.6 声音克隆安全与人格属性偏差

统一“从描述设计声音”与“从参考复用声音”扩大了动画、无障碍和本地化价值，也降低了冒充真实人物、制作欺诈音频和未经许可复刻演员声音的门槛。论文没有报告授权验证、身份相似度上限、合成音频水印、滥用分类器或拒绝策略。

SwanVerifier 还把感知性别限制为 male/female，并预测年龄段。即使它只做选择性一致性检查，这些标签仍可能把文化与数据偏见批量写入 caption，进而影响声音设计的刻板印象。高风险部署应把授权、来源证明、水印和属性审计视为模型能力的一部分，而不是发布后的附加工作。

10. 应用影响

10.1 最可能率先受益的场景

• 动画、短剧和游戏：先用角色描述创建声音，再用参考片段跨场景复用；
• 广告与短视频：在同一提示中控制人设、卖点强调、背景氛围和局部音效；
• 有声书与音频剧：生成多角色轮次、表演层级和场景声，而不是逐轨手工合成；
• 影视预演与本地化：快速生成带情绪与声场的临时配音，辅助导演和声音设计师决策；
• 虚拟人和交互角色：在身份稳定的前提下，根据新场景改变情绪与环境。

10.2 对产品架构的启示

如果把 SwanTale 类系统接入生产链，控制面应保留结构化 caption，而不是只提供一个自由文本框。Environment、Speakers 与 Content 应分别可编辑、版本化和验证；角色 voice asset 应记录授权与来源；局部音效和台词标签应能回到时间轴；生成结果则需要可追踪水印和人工复核。

模型目前更适合作为生成候选和声音预演工具，而非无人审核的最终母带。内容错误率、角色混淆、局部效果错位和声音冒充风险都要求保留 human-in-the-loop。

11. 相关工作与论文定位

SwanTale 与前身 SwanVoice 的关系尤其直接：它继承后者的非自回归 flow 语音基础，再把 caption、场景音频、MoE 和强化后训练纳入同一框架。相对于只做属性控制的 instruct TTS，它更关注完整的媒体声音场景；相对于通用音频模型，它又保留了词法准确、说话人轮次和身份一致性这三个 TTS 核心约束。

12. 结论

SwanTale 给出了一套完整而有野心的统一语音音频生成方案。它最重要的贡献不是某一项孤立指标，而是把多层 caption 数据、低帧率高保真潜空间、双任务 flow 目标、动态专家路由、课程学习和奖励后训练组合成同一创作接口。实验支持它在声音表现力、显式属性控制和场景感知质量上的优势，也证明统一生成环境声与多角色语音并非只能停留在演示层面。

但证据还不足以支持“问题已经解决”。传统内容准确与保真指标仍有更强对手，英文风格和角色扮演泛化不够，长场景与精细时间控制仍困难；训练数据、模型和关键基准缺少开放复现，自动裁判与有限消融也削弱了组件级结论。再加上声音克隆的授权与滥用风险没有被系统评估，距离可信生产部署仍有明显工程和治理缺口。

更稳妥的判断是：SwanTale 展示了下一代 TTS 的方向——输出不再是一条孤立的干净语音，而是一段由角色、表演、声场和音效共同构成、可由自然语言与参考声音双重控制的音频场景。它是否能成为通用基础模型，取决于未来能否用更开放的数据与评测证明可复现性，并把身份授权、合成溯源和精细可编辑性纳入系统设计。

参考资料

1. Yu Zhang et al., SwanTale: Unified Multi-Speaker Speech and Audio Generation for Instruct and Zero-Shot Tasks, arXiv:2608.02023, 2026.
2. Hugging Face, Daily Papers: SwanTale.
3. SwanAIGC, SwanTale official project and audio demos.
4. Ruiqi Li et al., SwanVoice: Expressive Long-Form Zero-Shot Speech Synthesis for Both Monologue and Dialogue, 2026.
5. Yushen Chen et al., F5-TTS: A Fairytaler that Fakes Fluent and Faithful Speech with Flow Matching, 2024.
6. Zhuo Chen et al., CosyVoice 2: Scalable Streaming Speech Synthesis with Large Language Models, 2024.