Bytedesk Blog

微语多模态

Tue, 23 Sep 2025 00:00:00 GMT

微语系统支持多模态能力，可以理解和处理用户上传的图片、视频和音频内容，并结合知识库给出精准回答。本文档将介绍微语系统的多模态功能及其应用场景。

概述

多模态集成是指系统能够处理文本、图像、视频、音频等多种形式的信息输入，并将其转化为统一的知识表示，从而实现跨模态的信息理解与响应。微语系统集成了先进的多模态模型，使客服机器人能够：

读取并理解用户上传的图片内容
提取视频中的关键信息和场景
转录并理解音频内容
结合企业知识库，对多模态内容进行专业解答

视觉理解能力

微语系统的视觉理解模块可以处理多种类型的图像内容，为用户提供智能分析和解答。

图像处理场景

能力类型	具体场景	功能描述
文字识别 (OCR)	纯文本图像识别	提取密集文本图片、文档截图等内容，并支持格式化输出
	日常图像文字提取	识别菜单、路标、证件等日常拍摄图片中的文字内容
	表格内容提取	识别图表、表格中的文字、数字等内容，并保持格式化输出
图像问答	图片描述生成	提供图片的详细或简短描述，并进行内容分类
	图像内容问答	针对图片中的具体内容回答用户提问

应用场景示例

智能客服场景：用户上传产品图片，系统自动识别产品型号并提供相关信息
文档处理：将图像类文档解析为结构化文本，精准识别文字并提取表格信息
图像问答：识别图像中的人物、物体、场景等，并进行分类标记
数学题解答：识别并解答用户拍摄的数学题目，适用于各教育阶段
物体定位：在图像中准确定位特定物体，返回坐标信息
表单信息提取：从票据、证件、表单中提取关键信息并格式化输出

微语系统支持多语言文字识别，包括：中文、英语、日语、韩语、阿拉伯语、越南语、法语、德语、意大利语、西班牙语、俄语和葡萄牙语。

视频理解能力

微语系统能够分析视频内容，提取关键信息，为用户提供更全面的服务支持。

视频处理功能

场景识别：自动识别视频中的关键场景和内容
事件定位：定位视频中的特定事件并生成时间戳
内容摘要：生成视频关键时间段的文字摘要
视频问答：针对视频内容回答用户提问

视频应用场景示例

教学视频分析：从教学视频中提取关键知识点
产品演示理解：分析产品演示视频，提取操作步骤和要点
视频故障诊断：识别设备故障视频中的异常状况

音频理解能力

微语系统集成了先进的音频语言模型，能够处理多种音频输入并提供智能理解和分析。

音频处理功能

语音转文字：将用户语音准确转录为文本
音频语义理解：理解语音内容的深层含义
情感分析：分析语音中的情感色彩和语气
音频事件检测：识别特定音频事件和场景
多语言支持：支持多种语言的语音识别和理解

音频应用场景示例

客服语音交互：理解用户语音问题并给出专业回答
语音指令处理：执行用户通过语音发出的各类指令
会议记录整理：自动转录会议内容并提取关键信息
情感分析：分析客户语音反馈中的情感倾向

与知识库结合

微语系统的多模态能力与企业知识库深度结合，实现了更加智能的用户服务体验：

多模态输入理解：系统首先理解用户上传的图片、视频或音频内容
知识库联动查询：将理解的内容与企业知识库进行关联查询
专业解答生成：结合多模态理解与知识库信息，生成专业、准确的回答

这种结合使客服系统能够：

对用户上传的产品照片进行型号识别并提供相应的使用指南
分析用户提交的故障视频并给出针对性的解决方案
理解用户的语音描述并匹配知识库中的相关信息

总结

微语系统的多模态集成能力大大拓展了智能客服的服务边界，使系统能够处理更加丰富的用户输入形式，提供更加全面、精准的服务。通过结合企业知识库，微语系统不仅能够"看懂"和"听懂"用户问题，还能给出专业的解答，真正实现智能化的客户服务体验。

MCP在微语系统中的应用

Fri, 20 Jun 2025 00:00:00 GMT

Lorem ipsum dolor sit amet, consectetur adipiscing elit.

Pellentesque elementum dignissim ultricies.

微语多模态

Fri, 20 Jun 2025 00:00:00 GMT

Lorem ipsum dolor sit amet, consectetur adipiscing elit.

Pellentesque elementum dignissim ultricies.

微语对接大模型Qwen3指南

Wed, 30 Apr 2025 00:00:00 GMT

在本篇博客中，我们将介绍如何将微语客服系统对接通义千问Qwen3大模型，使您的客服系统拥有强大的AI能力。通过这个集成，您可以为用户提供更智能、更高效的自动化客服体验。

Qwen3大模型介绍

通义千问Qwen3是阿里云推出的大型语言模型，具有强大的理解能力和生成能力。Qwen3系列模型在多轮对话、文本生成、问答解析等方面表现出色，非常适合客服场景应用。

Qwen3是千问系列大语言模型的最新一代，提供了全面的稠密模型和混合专家模型（Mixture-of-Experts，MoE）。您可以访问Ollama官方库获取更多详细信息。

目前Qwen3系列提供多种不同参数规模的模型版本，以适应不同的应用场景和硬件环境：

Qwen3-tools: 针对工具使用进行特别优化的版本
Qwen3-0.6b: 超轻量版本，适合资源受限场景
Qwen3-1.8b: 轻量级模型，平衡性能和资源消耗
Qwen3-4b: 中小型模型，提供更好的理解力
Qwen3-8b: 中型模型，具有较强的推理能力
Qwen3-14b: 较大模型，提供优秀的理解和生成能力
Qwen3-30b: 大型模型，适合复杂任务处理
Qwen3-32b: 高性能大模型，强大的多任务能力
Qwen3-234b: 超大规模模型，顶级性能表现

在本指南中，我们将使用Qwen3-4b版本进行演示，这是一个非常平衡的选择，既能提供良好的对话质量，又不会对普通设备造成过大负担。

一、Ollama安装Qwen3

Ollama是一个开源的大模型运行框架，可以在本地部署运行多种大型语言模型，包括Qwen3。下面是安装和配置步骤：

1. 安装Ollama

根据您的操作系统，选择相应的安装方法：

MacOS:

curl -fsSL https://ollama.ai/install.sh | sh

Linux:

curl -fsSL https://ollama.ai/install.sh | sh

Windows: 从Ollama官网下载并安装Windows版本。

2. 拉取Qwen3模型

安装完成后，通过命令行拉取Qwen3模型：

# 拉取Qwen3 4b模型
ollama pull qwen3:4b

# 如果需要更大参数的模型，也可以选择其他版本
# ollama pull qwen3:8b
# ollama pull qwen3:14b

3. 验证模型安装

通过以下命令验证Qwen3模型是否安装成功：

ollama list

您应该能看到已下载的qwen3模型列表。

4. 启动Ollama服务

确保Ollama服务正在运行：

# 在某些系统上，安装后会自动启动服务
# 如果没有自动启动，请使用以下命令
ollama serve

默认情况下，Ollama服务会在http://localhost:11434端口运行。

二、在微语管理后台设置Qwen3对话模型

完成Ollama和Qwen3模型的安装后，我们需要在微语管理后台进行配置：

1. 登录微语管理后台

访问您的微语管理后台，输入账号和密码登录系统。

2. 导航到AI设置

在左侧导航栏中，找到并点击"AI助手"->"机器人"选项。

图1：导航到AI设置

3. 切换Qwen3模型配置

在AI设置页面中：

图2：切换Qwen3模型配置

点击"AI模型选择"按钮
选择模型类型为"Ollama->Qwen3"
确认无误后，点击"确定"按钮

三、开始使用Qwen3进行智能对话

配置完成后，您可以开始体验Qwen3赋能的智能客服功能：

1. 创建知识库（可选）

为了让AI回答更加准确，您可以创建和维护特定领域的知识库：

导航到"知识库"或"AI训练"模块
点击"新建知识库"，输入名称和描述
上传文档或手动添加Q&A对，丰富AI的专业知识

2. 测试对话效果

您可以通过以下方式测试Qwen3的对话能力：

在管理后台的"对话测试"功能中，输入问题进行测试
通过客服端应用，模拟用户提问，验证AI回复效果
通过访客端，体验实际用户视角下的AI交互

3. 对话效果展示

以下是一些使用Qwen3进行智能对话的演示截图：

图3：Qwen3能够根据上下文提供连贯的多轮对话

四、优化和调整

为了获得最佳的Qwen3对话效果，您可以进行以下优化：

1. 调整模型参数

根据实际需求调整模型参数，如温度值、最大token数等，以平衡回答的创造性和精确性。

2. 优化系统提示词

系统提示词对AI的行为有重要影响，您可以根据业务场景定制专业的提示词，引导AI表现出理想的对话风格。

3. 结合人工审核

设置人工干预机制，对AI无法准确回答的问题进行人工接管，并将这些案例记录下来用于进一步训练和优化。

总结

通过将微语客服系统与通义千问Qwen3大模型对接，您可以显著提升客服自动化水平和用户体验。本指南详细介绍了从安装Ollama、配置Qwen3模型到实际应用的完整流程。

随着您不断优化提示词和积累领域知识库，AI助手的表现会越来越符合您的业务需求，为客户提供更加专业、高效的服务体验。

如有任何问题或需要进一步的技术支持，请随时联系我们的技术团队。

希望本指南对您成功部署和使用微语+Qwen3智能客服系统有所帮助！

QR Code Login Implementation Process

Tue, 08 Oct 2024 00:00:00 GMT

Desktop client generates a unique device uid: deviceUid
Sends this deviceUid to the server, server returns a random code: randomCode
Desktop client generates QR code using randomCode and deviceUid
Mobile client scans this QR code, obtains deviceUid, sends deviceUid to server, server updates status to SCANED
Mobile client clicks confirm login, sends mobile number and deviceUid to server, server saves mobile number and updates status to CONFIRMED
Desktop client polls to get mobile number and CONFIRMED status, uses mobile number and randomCode to call login API
If desktop client gets EXPIRED status, it needs to fetch a new randomCode and regenerate QR code
After successful login, returns accessToken, desktop client saves this accessToken locally and redirects to homepage

QR Code Login Implementation Process

Welcome

Thu, 26 Aug 2021 00:00:00 GMT

Docusaurus blogging features are powered by the blog plugin.

Here are a few tips you might find useful.

Simply add Markdown files (or folders) to the blog directory.

Regular blog authors can be added to authors.yml.

The blog post date can be extracted from filenames, such as:

2019-05-30-welcome.md
2019-05-30-welcome/index.md

A blog post folder can be convenient to co-locate blog post images:

The blog supports tags as well!

And if you don't want a blog: just delete this directory, and use blog: false in your Docusaurus config.

MDX Blog Post

Sun, 01 Aug 2021 00:00:00 GMT

Blog posts support Docusaurus Markdown features, such as MDX.

Tip

Use the power of React to create interactive blog posts.

For example, use JSX to create an interactive button:

<button onClick={() => alert('button clicked!')}>Click me!</button>

Long Blog Post

Wed, 29 May 2019 00:00:00 GMT

This is the summary of a very long blog post,

Use a comment to limit blog post size in the list view.

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Pellentesque elementum dignissim ultricies. Fusce rhoncus ipsum tempor eros aliquam consequat. Lorem ipsum dolor sit amet

First Blog Post

Tue, 28 May 2019 00:00:00 GMT

Lorem ipsum dolor sit amet...

...consectetur adipiscing elit. Pellentesque elementum dignissim ultricies. Fusce rhoncus ipsum tempor eros aliquam consequat. Lorem ipsum dolor sit amet

Bytedesk Blog

微语多模态

概述​

视觉理解能力​

图像处理场景​

应用场景示例​

视频理解能力​

视频处理功能​

视频应用场景示例​

音频理解能力​

音频处理功能​

音频应用场景示例​

与知识库结合​

总结​

MCP在微语系统中的应用

微语多模态

微语对接大模型Qwen3指南

Qwen3大模型介绍​

一、Ollama安装Qwen3​

1. 安装Ollama​

2. 拉取Qwen3模型​

3. 验证模型安装​

4. 启动Ollama服务​

二、在微语管理后台设置Qwen3对话模型​

1. 登录微语管理后台​

2. 导航到AI设置​

3. 切换Qwen3模型配置​

三、开始使用Qwen3进行智能对话​

1. 创建知识库（可选）​

2. 测试对话效果​

3. 对话效果展示​

四、优化和调整​

1. 调整模型参数​

2. 优化系统提示词​

3. 结合人工审核​

总结​

QR Code Login Implementation Process

Welcome

MDX Blog Post

Long Blog Post

First Blog Post

概述

视觉理解能力

图像处理场景

应用场景示例

视频理解能力

视频处理功能

视频应用场景示例

音频理解能力

音频处理功能

音频应用场景示例

与知识库结合

总结

Qwen3大模型介绍

一、Ollama安装Qwen3

1. 安装Ollama

2. 拉取Qwen3模型

3. 验证模型安装

4. 启动Ollama服务

二、在微语管理后台设置Qwen3对话模型

1. 登录微语管理后台

2. 导航到AI设置

3. 切换Qwen3模型配置

三、开始使用Qwen3进行智能对话

1. 创建知识库（可选）

2. 测试对话效果

3. 对话效果展示

四、优化和调整

1. 调整模型参数

2. 优化系统提示词

3. 结合人工审核

总结