使用 Whisper 将南蒂罗尔方言语音转录为标准德语文本的研究

原文：Speech transcription from South Tyrolean Dialect to Standard German with Whisper
本研究展示了首个经过微调的Whisper模型，用于将南蒂罗尔方言语音自动翻译为标准德语文本。为了满足字幕和翻译方面尚未被满足的需求，我们为此任务引入了一个小型的人工标注和合成语音数据集。通过对模型进行微调和超参数优化，我们的模型实现了86.18的BLEU分数，显著优于基线错误率。研究结果突出了Whisper在处理方言语音方面的有效性，为资源较少语言的研究做出了贡献。该模型目前已应用于一项文化遗产合作项目，用于大规模翻译音视频档案资料，并正在考虑应用于新闻广播和旅游推广。未来的研究方向包括扩展训练数据以及进一步优化超参数，以提升模型在南蒂罗尔方言变体中的性能和泛化能力。

索引词：语音转文本、翻译、大语言模型、Whisper、低资源语言、方言、德语

1. 引言

南蒂罗尔方言简介

• 南蒂罗尔方言是意大利最北部省份南蒂罗尔（Südtirol）使用的语言。
• 它是一种融合了德语和罗曼语（意大利语和拉登语）元素的巴伐利亚方