NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4工具调用指南：构建智能AI代理

NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4工具调用指南构建智能AI代理【免费下载链接】NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4是一款由NVIDIA开发的部署优化型大型语言模型基于Nemotron-3-Super-120B-A12B衍生而来。该模型采用迭代拼图Iterative Puzzle后训练压缩框架在保持强大下游任务准确性的同时显著提升了交互式、推理密集型和长上下文工作负载的推理效率非常适合构建智能AI代理系统。模型核心优势为何选择Puzzle-75B构建AI代理 Puzzle-75B-A9B采用混合MoE架构交错集成Mamba、MoE和Attention层并支持多令牌预测MTP以加速文本生成。与父模型相比它将参数从120.7B总参数/12.8B活动参数减少到75.3B总参数/9.3B活动参数同时带来以下关键优势吞吐量提升在单个8×B200节点上服务器吞吐量约提高2倍并发能力增强在1M令牌长度下单H100的可持续并发请求从1个增加到8个多语言支持涵盖英语、法语、德语、意大利语、日语、西班牙语和中文长上下文处理支持高达100万令牌的上下文长度适合复杂推理任务这些特性使Puzzle-75B成为构建高效AI代理的理想选择尤其适合需要处理长对话、复杂推理和多工具集成的场景。快速开始部署Puzzle-75B模型 ⚡环境准备首先克隆模型仓库git clone https://gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4推荐使用vLLM进行部署需确保安装vLLM v0.20.0或更高版本pip install vllm0.20.0使用vLLM部署推荐对于NVIDIA Blackwell GPU上的NVFP4 checkpoint使用以下命令启动服务带MTP多令牌预测vllm serve $path \ --served-model-name nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4 \ --port 8000 \ --tensor-parallel-size 2 \ --enable-expert-parallel \ --async-scheduling \ --trust-remote-code \ --mamba-backend flashinfer \ --mamba_ssm_cache_dtype float16 \ --enable-mamba-cache-stochastic-rounding \ --mamba-cache-philox-rounds 5 \ --speculative-config {method:mtp,num_speculative_tokens:3} \ --tool-call-parser qwen3_coder \ --reasoning-parser nemotron_v3 \ --enable-auto-tool-choice不带MTPvllm serve $path \ --served-model-name nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4 \ --port 8000 \ --tensor-parallel-size 2 \ --enable-expert-parallel \ --mamba_ssm_cache_dtype float16 \ --enable-mamba-cache-stochastic-rounding \ --mamba-cache-philox-rounds 5 \ --async-scheduling \ --trust-remote-code \ --mamba-backend flashinfer \ --tool-call-parser qwen3_coder \ --reasoning-parser nemotron_v3 \ --enable-auto-tool-choice最佳实践NVIDIA建议将tensor-parallel-size设置为2或4。对于MTPnum_speculative_tokens3是推荐的默认值在典型批处理大小下提供最佳吞吐量对于低批处理/延迟敏感型部署5或7可能更有利。工具调用基础API客户端使用指南 部署模型后可以使用OpenAI兼容的客户端与模型交互实现工具调用功能。初始化客户端from openai import OpenAI client OpenAI(base_urlhttp://localhost:8000/v1, api_keyEMPTY) MODEL nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4启用推理功能默认response client.chat.completions.create( modelMODEL, messages[{role: user, content: 分析以下数据并生成图表2023年Q1销售额100万Q2 150万Q3 120万Q4 200万}], max_tokens16000, temperature1.0, top_p0.95, extra_body{chat_template_kwargs: {enable_thinking: True}} ) print(response.choices[0].message.content)禁用推理功能对于简单问答可禁用推理以提高响应速度response client.chat.completions.create( modelMODEL, messages[{role: user, content: 日本的首都是哪里}], max_tokens16000, temperature1.0, top_p0.95, extra_body{chat_template_kwargs: {enable_thinking: False}} ) print(response.choices[0].message.content)低资源推理模式需要平衡推理质量和资源消耗时可使用低资源推理模式response client.chat.completions.create( modelMODEL, messages[{role: user, content: 编写一个Python函数来计算斐波那契数列}], max_tokens16000, temperature1.0, top_p0.95, extra_body{chat_template_kwargs: {enable_thinking: True, low_effort: True}} ) print(response.choices[0].message.content)使用Transformers库进行工具调用 ️除vLLM外还可以使用Hugging Face Transformers库与模型交互。推荐使用Transformers ≥ 5.3.0版本。加载模型和分词器import torch from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer AutoTokenizer.from_pretrained(nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4) model AutoModelForCausalLM.from_pretrained( nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4, torch_dtypetorch.bfloat16, device_mapauto, trust_remote_codeTrue )生成带推理的响应messages [ {role: user, content: 写一首关于GPU的俳句}, ] tokenized_chat tokenizer.apply_chat_template( messages, tokenizeTrue, add_generation_promptTrue, return_tensorspt ).to(model.device) input_ids tokenized_chat if isinstance(tokenized_chat, torch.Tensor) else tokenized_chat[input_ids] outputs model.generate( input_ids, max_new_tokens50, temperature1.0, top_p0.95, eos_token_idtokenizer.eos_token_id ) print(tokenizer.decode(outputs[0]))禁用推理功能tokenized_chat tokenizer.apply_chat_template( messages, tokenizeTrue, enable_thinkingFalse, # 禁用推理 add_generation_promptTrue, return_tensorspt ).to(model.device)高级工具调用技巧构建智能AI代理 自动工具选择Puzzle-75B支持--enable-auto-tool-choice参数使模型能够根据用户查询自动选择合适的工具vllm serve ... --enable-auto-tool-choice启用此功能后模型会分析用户请求判断是否需要调用外部工具如计算器、代码解释器等并自动生成工具调用指令。代码代理特殊配置对于编码代理建议在API调用中添加以下参数extra_body{chat_template_kwargs: {force_nonempty_content: True}}这确保即使在生成代码时模型也会提供适当的解释和上下文。长上下文处理Puzzle-75B支持高达100万令牌的上下文长度但Hugging Face配置中的默认上下文大小为256k由于更高的VRAM要求。处理超长文本时可通过以下方式优化使用--api-server-count 4增加API服务器数量考虑使用--no-enable-chunked-prefill提高吞吐量可能降低响应性模型性能基准 Puzzle-75B在各项基准测试中表现优异尤其在推理和工具使用方面基准测试NVFP4版本HMMT Feb25 (带工具)93.1GPQA (带工具)78.2Terminal Bench (困难子集)23.4RULER 1M93.2这些结果表明Puzzle-75B在保持高效率的同时仍能提供接近原始大模型的推理能力和工具使用能力。安全与伦理考量 ⚠️使用Puzzle-75B构建AI代理时请务必考虑以下安全和伦理因素安全防护不要绕过模型提供的任何安全防护措施除非为特定用例提供了类似的防护措施偏见审计建议对模型进行偏见审计确保其在不同人群中的公平性数据隐私处理敏感数据时遵循隐私保护最佳实践负责任使用避免将模型用于恶意目的或生成有害内容更多详细信息请参阅Safety、Explainability、Bias和Privacy。总结NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4为构建高效智能的AI代理提供了强大基础。通过其优化的架构、高效的推理能力和灵活的工具调用机制开发者可以快速构建从简单对话机器人到复杂多工具代理的各种AI应用。无论是处理长上下文、进行复杂推理还是集成外部工具Puzzle-75B都能提供出色的性能和效率平衡。开始使用Puzzle-75B构建你的第一个AI代理体验高效能大型语言模型带来的强大能力吧【免费下载链接】NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考