清华大学联合字节跳动，开源听觉大语言模型 SALMONN
(资料图片)
IT之家 8 月 22 日消息，清华大学电子工程系日前与字节跳动的火山语音团队携手合作，推出一款开源大语言模型 SALMONN。
▲ 图源 SALMONN 的 GitHub 页面
IT之家经过查询得知，SALMONN 模型支持语音、音频以及音乐输入，它可以感知和理解不同类型的音频内容输入，并具备多语言语音识别和翻译以及语音推理等功能。
▲ 官方发布的模型解析图
官方表示，SALMONN 支持语音、音频以及音乐输入，它可以感知和理解不同类型的音频内容输入，并具备多语言语音识别和翻译以及语音推理等功能。
▲ 图源 SALMONN 的 Demo 页面
官方同时表示，目前 SALMONN 能够胜任英语语音识别、英语到中文的语音翻译、情感识别、音频字幕生成、音乐描述等重要的语音和音频任务，同时又涌现出多种在模型训练中没有专门学习过的多语言和跨模态能力，涵盖非英语语音识别、英语到（中文以外）其他语言的语音翻译、对语音内容的摘要和关键词提取、基于音频的故事生成、音频问答、语音和音频联合推理等任务。
目前该模型已经发布于 GitHub 中，官方同时放出了项目的 Demo 链接，感兴趣的小伙伴们可以前往了解。
关键词：
推荐阅读
中国建筑兴业(00830)发布截至2023年6月30日止六个月的未经审核中期业绩，
2023-08-22 12:44:13
智通财经APP讯，今天国际(300532 SZ)发布公告，根据公司长期发展战略和
2023-08-21 22:31:32
格隆汇8月21日丨宁波色母(301019 SZ)公布2023年半年度报告，报告期营业
2023-08-21 19:48:22
2023年8月17日下午，内蒙古通辽市奈曼旗蒙医医院党支部书记、院长包桂
2023-08-21 17:12:21
资讯
品牌
