LM247x24 AI大模型动态

·量子位·中文

面壁智能开源全模态模型MiniCPM-o4.5,边看边听还能主动抢答

在MiniCPM-o4.5中,面壁团队首次引入了全双工(Full-Duplex)多模态实时流机制。模型可以一边持续接收视频和音频输入,一边同步生成语音或文本输出,两条信息流并行运行,互不阻塞。在实现上,MiniCPM-o4.5将原本离线的模态编码器与解码器,升级为支持流式输入/输出的在线版本;语音侧采用文本与语音token交错建模,既支持全双工语音生成,也提升了长语音生成的稳定性。同时,通过时分复用机制,对在毫秒级时间线上对齐的多模态输入与输出进行统一建模,实现高效的流式处理。

阅读原文

返回快讯列表