2025-02-23 手机 0
Whisper是一种自动语音识别模型，基于从网络上收集的680,000小时多语言数据进行训练。该模型对口音、背景噪音和技术语言具有很好的鲁棒性，并且支持99种不同语言的转录和翻译。
Whisper transformer框架
可以看到Whisper架构是一个标准的Transformer模型框架，可见Transformer模型在自然语言处理领域广泛应用。
其他现有方法经常使用更小、更紧密配对的音频文本训练数据集，或使用广泛但无监督的音频预训练。而Whisper是被设计在一个庞大而多样的数据集上训练，不针对任何特定的数据集进行微调，所以它不会击败专门研究LibriSpeech性能的模型。然而，当我们在许多不同的数据集上测量Whisper零样本性能时，我们发现它比那些模型更加稳健，并且错误率降低了50%。
Whisper支持5种不同的模型尺寸
小型（base）
中型（medium）
大型（large）
超大型（extra-large）
这些尺寸分别代表着越来越高级别的一系列计算资源需求与相应地提高准确度水平。开发者可以根据需要选择合适大小来平衡精度与运行效率。在实践中，这意味着开发者可以选择合适大小以满足他们项目中的具体需求，比如用于手机或服务器端口台等场景。
如何使用whisper进行语音识别
要开始使用whisper，可以首先安装必要库：
pip install git+https://github.com/openai/whisper.git --upgrade pytube
然后导入所需库并加载指定大小的model:
import whisper
import pytube
# 例如加载medium size model
model = whisper.load_model("medium")
接下来，你可以通过调用transcribe()函数来传递你想要转换成文字的声音文件路径。
audio_file_path = "path_to_your_audio_file.mp4"
text = model.transcribe(audio_file_path)
print(text)
此外，openai提供了一个名为pytube 的工具，该工具允许用户下载YouTube视频，以便进一步分析它们的声音内容。以下是一个简单示例：
首先安装pytube：
pip install pytube
然后，您可以这样做：
from pytube import YouTube
yt = YouTube('https://www.youtube.com/watch?v=-7E-qFI')
stream = yt.streams.get_by_itag('22') # 下载720p分辨率视频流
stream.download()
这将下载YouTube上的720p分辨率视频流到您的当前工作目录下。如果您想将其转换为仅包含声音部分的一个文件，您可能需要使用另一种程序，如FFmpeg。
最后，对于需要跨语言翻译的情况，whisper还提供了一些帮助。在某些情况下，您可能希望直接从原始非英语语料中生成翻译。这通常涉及到两个步骤：首先，将源文本转换成英文，然后再用English-to-Target-Language机器翻译器把结果翻译过来。不过，在这种情况下，如果目标语言不包括在内，那么就必须额外考虑如何获得有效的人工或者自动化机器人手段去完成这个任务，因为目前没有任何可用的开源解决方案能直接完成这个过程。此外，由于当前开放AI团队已经宣布他们计划扩展其功能以包括更多其他类型和难度等级的问题，因此我们期待未来能够得到这样的功能更新。
总结来说，浙江工商大学研究人员利用OpenAI Whisper系统展示了其强大的跨语言语音识别能力，它不仅能够理解各种口音和噪声环境，而且能够快速学习新信息，从而增强我们的智能设备和服务，使之更加易于交互性和安全性。此外，由于该系统是免费开源，它使得各个行业都有机会利用这一创新技术，无论是在教育、医疗还是娱乐领域，都有巨大的潜力提升用户体验并推动行业发展。
