云知声推出山海多模态大模型，开启“Her时代”

　　2024年8月,云知声正式宣布推出其最新研发成果——山海多模态大模型,迎接即将到来的人机交互领域全新“Her时代”。山海多模态大模型凭借其突破性的智能交互能力,带来实时多模态拟人交互体验,开启了通用人工智能(AGI)的新范式。

　　山海多模态大模型的最大亮点在于其整合跨模态信息的能力。它能够接收文本、音频、图像等多种形式作为输入,并实时生成文本、音频和图像的任意组合输出。这种多模态交互的方式使得用户可以与山海进行更加自然、流畅地沟通,无论是通过语音、文字还是图像,都能得到及时的回应和反馈。

　　在语音交互方面,山海多模态大模型表现出了极高的智能水平。它不仅能够准确识别用户的语音指令,还能通过语音文本判断用户的情绪状态,并给予适当的情感反馈。无论是安慰、鼓励还是幽默,山海都能与用户形成情感共鸣,提供贴心的情感支持。此外,山海还支持对话随时打断,用户可以在对话中灵活插话,无需等待,交互过程自然不受阻碍。这种实时秒回、自由插话的能力,使得语音交互更加接近现实对话中人类的响应时间,为用户提供了几乎无感知的流畅体验。

　　在视觉交互方面,山海多模态大模型同样展现出了强大的实力。通过摄像头,山海能够“看见”周围环境,实现所见即所得的精准识别。从场景理解分析到物体信息描述,山海都能精准“拿捏”。特别是对于目标物体上的文字,山海不仅限于基础的OCR文字识别,更能够结合图像和文字,提供易于理解的总结,表现出更接近人类的认知能力。此外,山海还能根据用户指令快速创建视觉内容,并深入理解用户对背景的日常化要求,提供符合个性化需求的定制画面。

　　自发布以来,山海多模态大模型始终保持高速迭代,并在多个权威赛事上屡获佳绩。在SuperCLUE中文大模型基准测评、MedBench中文医疗大模型评测、CCKS 2023医疗大模型评测等赛事中,山海都展现出了全面的通用能力和卓越的专业能力,稳居全球大模型第一梯队。这些成绩的取得,充分证明了山海多模态大模型在自然语言理解和多模态交互方面的强大实力。

　　云知声深知,推动山海迈进AGI的关键在于其多模态交互能力的发展。因此,云知声在不断提升山海大模型自然语言处理能力的同时,也在积极发展多模态能力。在CVPR 2024开放环境情感行为分析竞赛中,云知声一举夺得了多个赛道的季军,展现出卓越的情感分析能力。

　　可以预见,随着多模态技术的深入发展,山海多模态大模型将不断拓展其能力边界。除了现有的语音和视觉交互能力外,山海还将拓展实时语言翻译、面部情绪分析等更深入的多模态能力。这些能力的提升将使得山海能够更好地满足人们在工作、社交、娱乐等多样化的需求,成为生活中不可或缺的一部分。对于山海更高更广的未来,我们满怀期待!