Show HN：Overtone – 为任意屏幕形状转录、校正和切分字幕

HN 大家好，我是 Lont 的联合创始人 Ruud。我们将公司邮件制作成个性化视频。视频字幕让我们不得不进行两次人工处理：先修正听错的词，再修正布局问题，比如让一行以“the”结尾。Overtone 使用多个模型来听取音频：gpt-transcribe、Azure STT 和 Elevenlabs Scribe。当它们返回相互冲突的结果时，Overtone 会再次将较短的片段发送给这些模型，然后让一个 LLM 判断实际说的是什么。这个 LLM 就像人类一样，对转录模型的结果进行合理性检查。人类可以根据上下文轻松判断某个词应该不同，LLM 基本上也是这样做的，只不过使用了可选的上下文提示和自身的世界知识。因此，在许多测试文件中，使用 Overtone 时的词错误率（WER）低于直接使用模型而不经过 Overtone 的情况。当然，成本会更高，因为我们最多会使用 3 个不同的 STT 模型加上一个 LLM，但它仍然可以消除错误，将修正字幕所需的时间降至最低，也减少遗漏问题的可能性。对我们来说，这很值得。但对于超高量的使用场景，可能就不一定了。基于规则的切分器可以根据屏幕尺寸，将转录内容很好地切分成字幕：16:9 和 9:16 的处理方式不同，而我们创建的 Overtone Format 实际上支持任何类型。停顿会变成分隔，字幕会按说话者分组，姓名和数字也绝不会被拆散到多条字幕中。如何将这些字幕添加到视频中？videojs 插件可以自动完成这一点，因此你不必将字幕烧录到视频中。该插件可以让你在样式化字幕、纯文本字幕和关闭字幕之间循环切换。你也可以使用 overtone burn 将字幕烧录到 MP4 文件中。想快速只试试切分器吗？试试：npx overtone-captions recut yoursub.srt 使用 API 密钥转录音频同样可行。发送请求前使用 --dry-run 可以显示费用估算。我们以 MIT 许可证开源了第一个版本，因为我们相信很多人都能从中受益，尤其是那些只需要字幕足够好的用户。不过，它仍有很大的改进空间，所以我们让贡献变得更加简单，以便添加样式包、语言以及提供商/模型。你可以在这里查看演示：https://overtone.lont.ai/ 代码和基准测试在这里：https://github.com/lonthq/overtone-captions 评论链接：https://news.ycombinator.com/item?id=50293115 积分：8 条评论：0