复旦师生Pre-A轮融资超10亿，想让AI懂人的情绪与处境

文 | 孙小雯 海若镜
编辑 | 海若镜

AI是否应当理解人类的喜怒哀乐与忧虑恐惧？这重要吗？

当人与人交谈时，我们会关注对方的语调、停顿及表情，一边聆听一边推测其真实想法。然而，一旦交流被打包成提示词文本，大量情绪信息便会流失。

模思智能，这家由邱锡鹏教授（复旦大学特聘教授、上海创智学院副院长）创立的模型公司，始终重视AI的情绪感知能力。

在模思智能CEO李世民看来：AI若想理解用户意图，必须将用户所说内容、周围环境以及过往交互联系起来。情绪同样是情境信号之一。例如，用户突然终止与AI的对话，可能源于任务完成，也可能因AI回答错误、令人厌烦。这类反馈潜藏在语音、语气以及更广泛的情境之中。

他们追求的“情境智能”，旨在让AI持续理解现场：谁在场、之前发生了什么、当前环境如何、人在做什么、接下来可能做什么。但要完整实现这种智能感知与预测，仍面临诸多挑战。因此，模思智能选择先将交互模型作为工程化入口——让模型能够理解、生成语音和视频等多模态信息，并实现实时交互。他们将这套系统命名为MOSS Live。

「暗涌Waves」独家获悉，模思智能近日完成超10亿元Pre-A轮融资，由华控基金联合领投，主要投资方包括国开科创、上海科创基金、新微资本、徐汇资本、追光硬科技创投、临港策源基金等，元禾控股、上海国投旗下上海科创集团、星连资本等老股东持续投资。本轮资金将用于全模态实时交互系统研发与全球商业化落地。

早在2023年初，邱锡鹏带领团队推出了类ChatGPT的语言模型MOSS，迅速登上热搜并引发广泛关注。当时已有投资机构邀请他们创业，但团队并未立即行动。

同年，该团队研发了端到端语音大模型SpeechGPT，尝试让模型理解和生成语音，并保留声音中的情绪、语速、音色等信息。2024年，他们开发的AnyGPT，探索让模型处理更多不同类型的模态信息。

沿着这条研究路径，情境智能的目标逐渐清晰。要实现这一目标，模型必须进入现实情境，在现场获取客户的真实反馈，从而反哺模型。2024年底，该团队终于孵化创业，成立模思智能，由SpeechGPT核心作者、年轻的复旦博士李世民担任CEO。

李世民告诉我们，过去半年多，模思智能团队发布并迭代了20多个模型版本，涵盖语音生成、音频理解、视觉理解等。他分享了与B端客户共同打磨交互模型的经历，真实情境的需求不同于学术指标，客户要求准确、快速，且成本低廉。这些约束也改变了模型架构和推理框架。

至于当下热门的AI for AI，他认为这并非新事物，也不是壁垒，过去许多团队已用AI加速模型研发。如今，单点模型的领先可能很快被超越，但如果模型能快速融入产品，真实场景反馈又能转化为下一轮训练材料，系统迭代速度可能拉开差距。

他们在做的实时交互模型，与日常使用的语音助手有何不同？如今距离情境智能，还缺少哪些能力？智能座舱等终端客户究竟需要怎样的AI模型？这家成立两年的公司为何能融资10亿元？

以下是「暗涌Waves」与模思智能CEO李世民的对话，经编辑整理：

让AI理解“现场”

「暗涌」：模思一直强调“情境智能”，这里的“情境”到底如何理解？

李世民：我们理解的情境，英文也是context，但它比大模型常说的“上下文”更泛化。

真实物理环境中的信息，其实是持续不断流入的。这里有什么人、有什么东西、刚才发生过什么、人与物时空关系如何，这些我们都认为属于情境。

有个很简单的例子，大家都有过找钥匙的经历。如果你突然问AI：“我的钥匙放哪儿了？”假如AI只能看到你当下的这一帧，它自然不知道答案；但如果它一直在持续接受环境的视频流，就可能看到你进门后把钥匙放到了哪里，后面人离开了、东西有没有移动。

拥有情境智能的AI回答问题，依赖的是此前持续积累下来的情境感知能力，而不是提问那一刻获取到的信息。

「暗涌」：听起来，像一个随行的AI助理。现在大家期待的不止是拟人对话，还希望AI像人一样，能在物理世界更自主。

李世民：我们选择面向智能终端提供交互能力，底层逻辑就是要AI像人一样和物理世界交互。在真实环境中，人会停顿、改口；周围的声音、画面和环境状态也会一直变化。

最终AI一定会进入眼镜、车、玩具、机器人等终端，在这些地方，人不会每次都先整理好一个Prompt，完整告诉AI自己要什么。

真正的情境智能，需要双工交互，输入和输出是并行的，模型能够边看、边听，接收信息的同时也能给出反馈。所以，下一代AI会从“回答问题”走向“持续在场”，能持续理解人和环境，并在合适的时候回应、行动。我们现在做全模态实时交互，就是在解决这件事。

「暗涌」：可以举例讲讲，全模态实时交互，跟大家熟悉的AI语音助手有哪些不同吗？

李世民：真正的交互系统，要解决的是信息怎么同时进来、怎么互相影响、怎么在场景变化时持续更新。

比如一个人在车里说了句“有点冷”，只做语音识别，识别出这三个字就结束了。但真正的交互智能，要知道现在车里多少度、谁在说话、车辆是什么状态、说话人过去的偏好是什么，最后判断这句话只是描述感受，还是希望AI调一下空调。

我们真正关心的是 AI 能不能理解现场。

「暗涌」：邱锡鹏教授团队最早走红网络是2023年的语言模型MOSS，后面转向“语音理解和生成模型”，再后来又加入视频。这些都是为了接近“情境智能”的目标吗？

李世民：在创立模思之初，我们对情境智能有这样的描述：AI能够充分感知、理解复杂的物理情境，并在交互过程中持续提升模型能力。

最初我们更强调前半句。AI与物理世界最自然的交互方式是语音，所以我们先从语音入手，先让模型听懂用户的语气和情绪。用户打字、用文本表达的话，语气情绪等信息都会丢失。

2025年，我们的语音模型能力已经做到相对领先，就开始把“视觉理解”集成进来，让模型既能听懂，也能看清物理世界。

现在，我们会更多地强调后半句，“在交互中持续提升模型能力”。随着基础大语言模型、多模态模型逐渐成熟，我们也正往更加全面的多模态交互推进。

交互智能，是重要的工程入口。如果AI没有理解情境，会在交互里暴露错误。做交互模型，是在把情境智能做进系统里。

「暗涌」：那么目前的多模态交互模型，做到哪一步了？你们最近提出了MOSS Live，具体怎么理解？

李世民：过去半年左右，我们陆续发布、迭代了20多个模型版本，覆盖语音生成、音频理解、语音识别、视觉理解和内容生成等环节，也在持续开源。

一些模型在特定任务上已经取得了比较好的效果。比如MOSS-Audio除了理解用户说了什么，也能分析他说话时的情绪、语速和状态，甚至声音里细微的抖动；

多说话人语音识别模型MOSS-Transcribe-Diarize-0.9B，在一些特定任务上的效果可以超过参数量更大的模型。

现在正处在把过去诸多单点能力接成系统的阶段。我们更愿意把MOSS Live理解成一套实时交互系统。这套系统里，有交互模型，也有能动性模型。交互模型持续看、听、说，理解当前的人和环境；能动性模型负责更复杂的推理、工具调用和任务执行。

「暗涌」：模思为什么还要做视频生成模型？这个赛道也很卷。

李世民：这要和视频理解放在一起看。在我们的技术体系里，理解和生成是相互促进的。

比如训练视频生成模型，需要先把视频里的内容准确地描述、标注出来，这就依赖理解模型的能力。理解模型还可以帮助评判生成内容的质量；反过来，生成模型的效果，又能帮助我们验证理解模型的能力。这两件事在底层有很多共通的积累，包括音视频数据、数据处理管线，以及训练和推理的基础设施。我们做视频生成，也复用了此前在语音和音视频理解上积累的能力。

所以我们会把理解和生成放在一起迭代，最终服务于全模态交互这个目标。

「暗涌」：要实现理想中的AI情境智能，难点主要是哪些？

李世民：核心主要有几点。第一，对音视频流的持续理解能力和双工交互。让模型在信息输入侧跟输出侧并行，能边看、边听、边说。

第二，记忆能力，不仅包括历史画面，还要能够在交互过程中对长时间信息进行编码，并在交互中更新。

获得这些信息之后，还要理解用户的意图，在输出动作之前做规划和目标拆解。这部分目前的语言模型和agent已经做得不错。

最后，还要考虑怎么从真实交互的反馈中改进。这跟coding任务不同。coding任务可以直接从代码是否运行正确来判断结果，但在现实生活中，反馈其实没有那么明确。用户不一定会直接说“你错了”，而是生气，或是直接沉默了。这个时候模型就需要结合更多的情境信息分辨。

这些问题在当前的交互模型里，都还没有被很好地解决。

用户需求，改变AI模型

「暗涌」：早在2023年你们就做了端到端语音模型SpeechGPT，当时外界的反馈主要是怎样的？

李世民：大家觉得范式很新，但也有质疑。

当时，端到端语音最明显的优势是降低时延，能保留更多语音里的非文本信息。但真正到用户场景里，它的代价也很明显：模型参数量大，部署成本高；为了降低时延，在一些特定任务上的效果反而不理想。所以有些客户反而希望我们做一套更智能的三段式方案，先把他们的实际问题解决好。

直到2024年GPT-4o出来，大家才理解端到端语音的价值，是让交互更自然。这件事对我启发比较大，我们可以靠技术和认知去做出新的模型范式，但最后还是要和真实的用户场景结合，才能产生更大的用户价值。所以我们决定在2024年底出来创业。

2025年我们做了很多单点模型，包括多说话人的语音识别、音频生成、单独的音频理解，很多技术选型，都会根据实际市场反馈去调整。

「暗涌」：现阶段，你们也在和一些B端用户做联合开发。主要有哪些用户需要全模态的能力？

李世民：我们目前主要接触的是智能终端客户，包括智能座舱、AI智能硬件等。它们的使用场景不同，但对模型有一些共通的要求：

理解用户说话的内容，也要结合语气、周围环境和之前的交流，判断用户的意图；在拟人度、流畅度上表现更好；以及具备Always-on的体验，用户可以随时唤醒AI、跟它交互。

这些需求在不同终端上表现不同，但底层需要解决的理解和交互问题有相通之处，所以模型能力可以在不同场景复用。

「暗涌」：目前的智能座舱大多都有语音交互，已经能即时响应一些需求。但座舱内的多模态交互，会是刚需么？

李世民：要看客户希望座舱里的AI做到什么程度。像开空调、调音量这样的明确指令，现有语音交互已经能解决不少问题。但我们看到的一些客户需求，已经涉及更连续、更复杂的交流。比如车里多人交谈时，用户跟其他人说话，不希望触发语音助手；跟语音助手实时交互时，用户话说到一半，可能正在思考，不希望被AI打断；打开车窗后，风声、鸣笛声等，如何避免背景音误触发。这些都是我们当前正在做、一些现有座舱语音助手还没有解决的问题。

打磨这些具体的细节，让模型知道什么时候应回复用户、什么时候该沉默，做到这些，用户能感觉到AI突然聪明了很多。

在此基础上，一些客户也希望模型能够同步理解视觉和音频信号。因为单靠声音，AI获得的现场信息仍然有限；加入视觉，可以补充对周围环境的理解，帮助模型判断用户的意图。对于想提供持续交互体验的座舱，多模态就有了具体的用途。

「暗涌」：终端的算力能支撑得住么？

李世民：我们会根据不同场景设计不同大小的模型。

比如端到端的语音转录模型，如果是用于具身机器人、小型AI硬件、手机等，对时延要求高，且端侧芯片的算力有限，可以用0.9B的轻量级模型，提供本地服务。

同系列我们也有旗舰版模型，可以完成长音频多人转写、说话人分离和时间戳标注，主要通过云端提供服务。这个版本更适合对时延要求没那么高、但希望获得更强模型能力的场景。比如内容生产、线上模态交互，或是客服、医患交流的内容和质量分析。

「暗涌」：来自用户侧的需求那么多，你会怎样判断哪些值得投入研发？

李世民：现在判断一个技术是否要深度投入，首先还是需求导向；第二个标准是有没有可复用性，是只有一个客户有需求，还是很多场景底层解决的是同一个问题；第三，它是不是还在情境交互智能的目标主线上。

我们会看这个项目除了收入以外，对模型能力有没有帮助，做完以后这个方案能不能迁移到其他客户。比如一个AI硬件或者终端场景，如果它能帮助我们迭代交互模型、双工模型，这种项目我们会优先做。

「暗涌」：做语音模型的老牌厂商，已经积累了不少客户。这个赛道会不会太拥挤？

李世民：我们认为，语音赛道还有很大的机会。大家对市场规模的判断，往往基于当前已经看到的模型能力，但新技术能力提升，会解锁新的需求和使用场景。

比如我们的多说话人语音识别模型MOSS-Transcribe-Diarize，可以分析谁在什么时间说了什么。发布之后，就有一些AI语音硬件公司主动联系我们，希望能够接入API，增强产品多说话人分离、内容识别的能力。

语音生成，也还有很大提升空间。比如让模型在一次生成中，统一控制情绪、语速和说话人身份；生成玻璃破碎、踩雪等背景音。这套统一的声音生成范式成熟之后，也能够用在AI短剧等内容生产中。

「暗涌」：会担心从研发走到商业化，难度反而更大吗？

李世民：我自己还是比较有信心。AI时代，模型能力是最大的竞争力，模型效果足够好，再加上我们的infra能力能够把成本压下来，客户会选择一个效果更好、成本更低的方案。

目前B端业务逐渐成熟，我们已经做了一些交付。这轮融资完成后，C端业务预计也会有比较大的起色。

AI for AI，能否放大迭代速度

「暗涌」：你们很早就用到AI for AI技术么，具体发生在模型训练的哪一步？

李世民：AI for AI是一个很常见的概念，很多顶尖团队都会用到。像数据处理、标注、质量评估这些环节，现在都需要大量借助模型来完成。

比如我们训练多说话人对话语音生成模型MOSS-TTSD的时候，需要一个能够标注多说话人语音内容的模型。但市面上的模型在这个场景里做得不太好，所以我们自己训练了轻量级端到端语音转录模型MOSS-Transcribe-Diarize-0.9B，再用它标注MOSS-TTSD的训练数据。

理解模型不仅可以为生成模型标注数据，也可以评判生成内容的质量，作为奖励模型帮助生成模型训练。生成模型的结果，又可以反过来验证理解模型的能力。

「暗涌」：具体标注时，人和模型分别做什么？

李世民：我们会先找很多相似场景的源数据，用初步的AI模型把数据整体标注一遍，再在模型标注的基础上做人工质量核对，得到质量更高的训练数据。

这套数据管线，我们从2023年开始迭代和积累。除了上述模型，整套数据标注管线里还会用到许多音频理解和多模态理解模型，分别处理不同的数据任务。模型之间怎么编排，数据管线先处理哪些任务、后处理哪些任务，都需要经过精细的实验。

「暗涌」：让 AI 进入数据生产、标注、和模型训练，对效率的提升是怎样的？

李世民：效率方面，我们比市面上常见的多模态或音频数据处理管线提高了两到三倍，这里面也包括对数据处理算子的工程优化。靠这套共通的数据处理管线和研发infra，我们的模型迭代速度也很快。近半年，我们陆续发布了二十多版模型。