三步扩展语音Agent工具箱qwen-audio-agent前端MCP、OpenAPI与Profile完全指南【免费下载链接】qwen-audio-agentA realtime voice runtime that keeps Agents talking, working, and present. Real-time Voice Runtime for AI Agents项目地址: https://gitcode.com/gh_mirrors/qw/qwen-audio-agentqwen-audio-agent是一个实时语音运行时Realtime Voice Runtime让 AI Agent 能够持续说话、干活、在线。除了内置的搜索、时间、笔记等工具外它提供了三条标准扩展通道前端 MCP 客户端、前端 OpenAPI 适配器和Frontend Profile 人设清单。掌握这三者你就可以把任意 MCP 服务器、自有 REST API 甚至整套人设 工具目录接入语音对话让语音助手真正长出手和脚。️为什么需要前端工具先看架构qwen-audio-agent 把语音对话与干活解耦语音前端负责实时对话后端 Agent 负责执行工作而**前端工具Frontend Tools**运行在 Gateway 内直接挂在每一轮实时会话上——无需等待后端任务模型在对话中即可即时调用。所有工具内置 MCP OpenAPI统一注册进 frontend-tool-registry.mjs由 frontend-tool-loop.mjs 驱动调用循环。工具表汇总在 frontend-tools.mjs内置工具固定排序外部动态工具追加在后。 关键设计外部工具与内置工具走同一套执行限额与动态工具源行为一致、边界清晰。一键接入 MCP 服务器前端 MCP 客户端适用场景你已有 MCPModel Context Protocol服务器——文档检索、任务跟踪、文件系统等想直接对语音助手说搜一下我的文档。配置步骤准备一份版本化 JSON 配置支持streamable-http远程传输和stdio本地进程两种方式在config.env中设置环境变量QWEN_AUDIO_FRONTEND_MCP_CONFIG指向该文件重启 Gatewayqwenaudio gateway restart配置要点完整示例见 frontend-mcp.md显式允许列表tools中未列出或enabled: false的工具永远不会暴露给模型最小权限即安全边界稳定命名每个工具获得mcp__服务器__工具的模型可见名称超时兜底发现/连接默认 8 秒单次执行默认 10 秒均可按工具覆盖密钥不进 JSON请求头值可用${VARIABLE}引用环境变量缺失即报配置错误安全边界新手必读远程服务器必须 HTTPS本机回环 HTTP 仅限无请求头场景MCP 结果被视为不可信数据不能覆盖系统或用户指令确认与授权必须由 MCP 服务器自身完成某个启用工具缺失或非法时该服务器整体失败关闭不会暴露部分工具集实现源码frontend-mcp-client.mjs 与 frontend-mcp-config.mjs。暴露自己的 REST API前端 OpenAPI 适配器适用场景你有天气、订单、库存等业务 APIOpenAPI 3.0/3.1 文档想让语音助手直接查上海今天天气如何。与 MCP 的分工维度前端 MCP前端 OpenAPI协议MCP 服务器HTTP/stdio标准 OpenAPI 文档描述的 REST允许列表tools按工具名operations按operationId模型可见名mcp__api__toolopenapi__api__operationId请求体由 MCP 协议处理支持路径/查询参数 JSON 请求体三步完成配置将 API 的 OpenAPI 文档JSON 或 YAML须为本地文件与配置文件放同目录设置QWEN_AUDIO_FRONTEND_OPENAPI_CONFIG指向版本化 JSON 配置并用${VARIABLE}引用密钥如${WEATHER_AUTHORIZATION}在operations中只开启需要的operationId——没有任何操作会被自动暴露改完重启 Gateway最小文档与配置示例见 frontend-openapi.md。建议先测试查询类操作再启用写操作。边界提醒远程 API 要求 HTTPS、不跟随重定向外部或递归$ref会失败关闭header/cookie 参数与非 JSON 请求体在本版本不支持。实现见 frontend-openapi-adapter.mjs。一个目录一个助手Frontend Profile 人设清单适用场景你想把人设 工具打包成一个可复制、可共享、可版本管理的目录——比如一个研究助手既有专属话术又接好了文档 MCP 和论文检索 API。目录结构research-profile/ ├── frontend-profile.json # 组合清单唯一入口 ├── ASSISTANT.md # 助手人设 └── tools/ ├── mcp.json # 前端 MCP 配置 └── openapi.json # 前端 OpenAPI 配置只需设置QWEN_AUDIO_FRONTEND_PROFILE指向frontend-profile.json即可启用。清单格式与完整示例见 frontend-profile.md。优先级与边界避免踩坑优先级从高到低单项环境变量QWEN_AUDIO_FRONTEND_MCP_CONFIG等 Profile 内引用 默认值——单项配置可临时覆盖 ProfileProfile不能修改核心提示词也不能包含密钥、脚本或可执行代码密钥仍留在 MCP/OpenAPI 配置的环境变量引用中/api/health中的frontendProfile字段只报告启用状态、名称与描述不暴露本地路径人设文件参考内置模板 ASSISTANT.md工具调用与路由的核心规则定义在 PROMPT.md。快速选型我该用哪一个你的需求推荐方案已有 MCP 服务器文档/工单/文件系统前端 MCP有 OpenAPI 文档的自有 REST API前端 OpenAPI打包人设 工具分发给团队Frontend Profile只替换网页搜索能力用 Web Search Provider不要重复暴露 MCP 搜索验证与排障清单 ✅改完任何配置后重启 Gateway桌面端点 Apply后台服务用qwenaudio gateway restart连接客户端用一句最简单的语音请求试一个工具再逐步开启更多工具连接失败时用qwenaudio doctor与 Gateway 日志定位stdio 工具新装命令后需重启以刷新PATH前端运行时边界路由、引用、打断、提示注入防护有确定性评测套件守护运行方式见 frontend-evaluations.md参考文档前端 MCP 客户端前端 OpenAPI 适配器Frontend Profile语音前端配置语音 Agent 架构深读三条通道共用同一个工具注册与执行体系MCP 给你协议自由OpenAPI 给你业务直连Profile 给你一键打包。从今天起你的语音 Agent 不再只会聊天——它真的可以动手干活了。【免费下载链接】qwen-audio-agentA realtime voice runtime that keeps Agents talking, working, and present. Real-time Voice Runtime for AI Agents项目地址: https://gitcode.com/gh_mirrors/qw/qwen-audio-agent创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 三步扩展语音Agent工具箱qwen-audio-agent前端MCP、OpenAPI与Profile完全指南【免费下载链接】qwen-audio-agentA realtime voice runtime that keeps Agents talking, working, and present. Real-time Voice Runtime for AI Agents项目地址: https://gitcode.com/gh_mirrors/qw/qwen-audio-agentqwen-audio-agent是一个实时语音运行时Realtime Voice Runtime让 AI Agent 能够持续说话、干活、在线。除了内置的搜索、时间、笔记等工具外它提供了三条标准扩展通道前端 MCP 客户端、前端 OpenAPI 适配器和Frontend Profile 人设清单。掌握这三者你就可以把任意 MCP 服务器、自有 REST API 甚至整套人设 工具目录接入语音对话让语音助手真正长出手和脚。️为什么需要前端工具先看架构qwen-audio-agent 把语音对话与干活解耦语音前端负责实时对话后端 Agent 负责执行工作而**前端工具Frontend Tools**运行在 Gateway 内直接挂在每一轮实时会话上——无需等待后端任务模型在对话中即可即时调用。所有工具内置 MCP OpenAPI统一注册进 frontend-tool-registry.mjs由 frontend-tool-loop.mjs 驱动调用循环。工具表汇总在 frontend-tools.mjs内置工具固定排序外部动态工具追加在后。 关键设计外部工具与内置工具走同一套执行限额与动态工具源行为一致、边界清晰。一键接入 MCP 服务器前端 MCP 客户端适用场景你已有 MCPModel Context Protocol服务器——文档检索、任务跟踪、文件系统等想直接对语音助手说搜一下我的文档。配置步骤准备一份版本化 JSON 配置支持streamable-http远程传输和stdio本地进程两种方式在config.env中设置环境变量QWEN_AUDIO_FRONTEND_MCP_CONFIG指向该文件重启 Gatewayqwenaudio gateway restart配置要点完整示例见 frontend-mcp.md显式允许列表tools中未列出或enabled: false的工具永远不会暴露给模型最小权限即安全边界稳定命名每个工具获得mcp__服务器__工具的模型可见名称超时兜底发现/连接默认 8 秒单次执行默认 10 秒均可按工具覆盖密钥不进 JSON请求头值可用${VARIABLE}引用环境变量缺失即报配置错误安全边界新手必读远程服务器必须 HTTPS本机回环 HTTP 仅限无请求头场景MCP 结果被视为不可信数据不能覆盖系统或用户指令确认与授权必须由 MCP 服务器自身完成某个启用工具缺失或非法时该服务器整体失败关闭不会暴露部分工具集实现源码frontend-mcp-client.mjs 与 frontend-mcp-config.mjs。暴露自己的 REST API前端 OpenAPI 适配器适用场景你有天气、订单、库存等业务 APIOpenAPI 3.0/3.1 文档想让语音助手直接查上海今天天气如何。与 MCP 的分工维度前端 MCP前端 OpenAPI协议MCP 服务器HTTP/stdio标准 OpenAPI 文档描述的 REST允许列表tools按工具名operations按operationId模型可见名mcp__api__toolopenapi__api__operationId请求体由 MCP 协议处理支持路径/查询参数 JSON 请求体三步完成配置将 API 的 OpenAPI 文档JSON 或 YAML须为本地文件与配置文件放同目录设置QWEN_AUDIO_FRONTEND_OPENAPI_CONFIG指向版本化 JSON 配置并用${VARIABLE}引用密钥如${WEATHER_AUTHORIZATION}在operations中只开启需要的operationId——没有任何操作会被自动暴露改完重启 Gateway最小文档与配置示例见 frontend-openapi.md。建议先测试查询类操作再启用写操作。边界提醒远程 API 要求 HTTPS、不跟随重定向外部或递归$ref会失败关闭header/cookie 参数与非 JSON 请求体在本版本不支持。实现见 frontend-openapi-adapter.mjs。一个目录一个助手Frontend Profile 人设清单适用场景你想把人设 工具打包成一个可复制、可共享、可版本管理的目录——比如一个研究助手既有专属话术又接好了文档 MCP 和论文检索 API。目录结构research-profile/ ├── frontend-profile.json # 组合清单唯一入口 ├── ASSISTANT.md # 助手人设 └── tools/ ├── mcp.json # 前端 MCP 配置 └── openapi.json # 前端 OpenAPI 配置只需设置QWEN_AUDIO_FRONTEND_PROFILE指向frontend-profile.json即可启用。清单格式与完整示例见 frontend-profile.md。优先级与边界避免踩坑优先级从高到低单项环境变量QWEN_AUDIO_FRONTEND_MCP_CONFIG等 Profile 内引用 默认值——单项配置可临时覆盖 ProfileProfile不能修改核心提示词也不能包含密钥、脚本或可执行代码密钥仍留在 MCP/OpenAPI 配置的环境变量引用中/api/health中的frontendProfile字段只报告启用状态、名称与描述不暴露本地路径人设文件参考内置模板 ASSISTANT.md工具调用与路由的核心规则定义在 PROMPT.md。快速选型我该用哪一个你的需求推荐方案已有 MCP 服务器文档/工单/文件系统前端 MCP有 OpenAPI 文档的自有 REST API前端 OpenAPI打包人设 工具分发给团队Frontend Profile只替换网页搜索能力用 Web Search Provider不要重复暴露 MCP 搜索验证与排障清单 ✅改完任何配置后重启 Gateway桌面端点 Apply后台服务用qwenaudio gateway restart连接客户端用一句最简单的语音请求试一个工具再逐步开启更多工具连接失败时用qwenaudio doctor与 Gateway 日志定位stdio 工具新装命令后需重启以刷新PATH前端运行时边界路由、引用、打断、提示注入防护有确定性评测套件守护运行方式见 frontend-evaluations.md参考文档前端 MCP 客户端前端 OpenAPI 适配器Frontend Profile语音前端配置语音 Agent 架构深读三条通道共用同一个工具注册与执行体系MCP 给你协议自由OpenAPI 给你业务直连Profile 给你一键打包。从今天起你的语音 Agent 不再只会聊天——它真的可以动手干活了。【免费下载链接】qwen-audio-agentA realtime voice runtime that keeps Agents talking, working, and present. Real-time Voice Runtime for AI Agents项目地址: https://gitcode.com/gh_mirrors/qw/qwen-audio-agent创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考