Kev 私有化部署落地:风控、审核、工单分配三场景配置指南 Kev 私有化部署落地风控、审核、工单分配三场景配置指南【免费下载链接】kevJev-like family of decision models built on top of Qwen3.5/3.8 you can train and run on your own项目地址: https://gitcode.com/gh_mirrors/kev2/kev决策类任务的工程化正在从大模型生成一段话再解析出结论转向模型只输出结构化的概率分布。Kev 是这个方向上一个少见的可私有化方案以 Qwen3.5/Qwen3.8 为底座、以 LoRA 适配器加指针头构建的决策模型家族不生成任何文本只回答是/否、多选一、有序打分三类问题并以校准过的概率返回——四个档位0.8B 到 27B统一基于 Apache-2.0 协议可以完全部署在自己机器上。这意味着风控规则、审核标准和工单分诊规则可以注入到模型里而数据不出内网。本文基于仓库源码与模型卡给出风控、内容审核、工单分配三个场景的档位选型、延迟预算、量化权衡与接入模式。一次请求三类原语为什么决策模型更适合业务闭环Kev 对外暴露的 API 只有三个原语见 kev/api.pynoul是非判断返回是的概率、choice多选一返回每个选项的概率与 argmax、score有序打分返回期望档位与逐档概率。一次请求可以携带任意多个问题它们共享同一份 state 文本但彼此隔离——问题之间无法互相读取混合架构上每个问题以独立行运行见 kev/model.py 的rows_of与branch_mask_batch。这一点对业务方意味着什么以客服工单为例space/presets.py 里内置的 Support triage 预设一次请求同时问六件事归属部门choice、退货原因choice、期望的处理方式choice、语气choice、是否需要人工紧急介入noul、客户情绪强度score。模型在一次前向中全部给出概率分布而不是吐一段自由文本。返回的probabilities允许业务代码做阈值路由高置信度直接自动化低置信度转人工。这是 README.md 中反复强调的设计意图——你的代码可以路由置信的案例把其余部分交给人工。四档位定位与延迟预算Kev 1.0 家族四个模型共用同一套架构与训练配方0.8B/4B/9B 是冻结底座上的 LoRA 适配器加指针头27B 是全权重微调见 docs/releases/kev-1.0.md部署侧只需按吞吐与准确率预算挑 GPU。仓库给出的服务性能README.md 与 skills/kev-deploy/README.md如下模型推荐 GPU时租6 问题短文本模型时延64 并发吞吐显存/冷启动Kev-0.8BL4$0.80/h22.7 ms重复文本 16.1 ms62.8 req/s3.8 GB / ~40 sKev-4BL40S$1.95/h或 H10041.5 ms / 18.1 ms51.4 / 100.8 req/s14.3 GB / ~35 sKev-9BH100$3.95/h或 L40S24.0 ms / 66.4 ms79.5 req/s约 17 GB / ~55 sKev-27BB200$6.25/h/ H200 / H10046.5 ms / 67.2 ms44.2 req/s51 GB 权重约 66 GB 驻留/ ~50 s注意表格里两个时间对应新文本 / 同一文本再来一次服务端有状态前缀缓存同一份文档的第二次请求只计算问题部分kev/serve.py 的PrefixCache长文档场景下吞吐差异可达一个数量级。新数据源模型从未见过的数据集与策略规则transfer-v4development上的准确率是选档位的首要依据0.8B 为 0.6484B 为 0.8179B 为 0.82027B 为 0.851而托管的 Jev 是 0.857——27B 与 Jev 只差约 1 个点docs/kev-family-summary.json。场景一工单分配与客服分诊工单分配是 Kev 最典型的落地场景也是训练数据覆盖最充分的场景基座配方包含 Banking77 等十个公开分类数据集文档阶段又在 5,219 条美国消费者金融投诉CFPB上做过真实文档微调docs/model-cards/kev-4b.md。这决定了选型原则起步选 Kev-4B。它在 held-out 真实文档documents-v1 test上准确率 0.903在所有档位中与 9B0.900几乎持平但 L40S 单卡即可承载成本只有 27B 的三分之一。0.8B 用于高吞吐/低算力原型但注意它的分布外能力有限transfer-v4 上仅 0.6485% 错误预算下的可自动化覆盖率只有 0.14远低于 4B/9B/27B 的 0.52–0.69。它的模型卡明确写了out of domain 显著不如 4B。类目是私有体系时必须微调。skills/kev-finetune/README.md 记录了一个可复现的例子在支持工单工作负载上三问题、1,050 条生成记录、H100 上 15 分钟微调把 4B 的准确率从 67.7% 提到 73.6%5% 错误预算下的可自动化比例从 34% 提到 48%在真实 CFPB 投诉上单轮微调把 4B 从 0.804 提到 0.904。关键参数是--init_from jaredpalmer/kev-4b——从发布检查点继续而不是从基座重新训练后者在实测中会把领域能力丢掉大半。接入形态上浏览器端可以先用 playground/src/lib/kev.ts 的预置请求验证效果服务端则用 README 中的 curl 示例state 是工单全文questions 里同时放部门、升级与否、情绪强度。返回里的confidence字段kev/api.py 的choice_confidence定义为(p_max − 1/K) / (1 − 1/K)可以直接作为路由阈值输入。场景二内容审核内容审核对生成式模型的天然痛点有两个幻觉式编造理由和置信度不可信。Kev 的答案是对给定选项的概率打分不存在自由生成天然规避前者对后者模型卡提供了校准数据。审核任务可以直接映射到noul原语这条内容是否违规就是二元判断。仓库在审核方向的训练支撑是 Aegis 内容安全数据集devtools-v1 训练集中包含nvidia/Aegis-AI-Content-Safety-Dataset-2.0CC-BY-4.0其官方用途明确写着构建 LLM 内容安全审核护栏审核记录以noul形式入训scripts/build_devtools_v1.py。整个 devtools-v1 测试集上4B/9B/27B 的准确率分别为 0.756 / 0.791 / 0.790其中就包括 Aegis 与提示注入检测等来源。配置要点档位按条数而非延迟选。审核通常是异步队列几十毫秒的模型时延远小于人工复核耗时此时应该用准确率更高的 9B 或 27B 而不是 0.8B。提示注入与对抗性输入的防御是内置的。编码器会把用户文本中的分隔符样式 token 改写选项边界不可伪造kev/model.py 的user_tokensdevtools-v1 的提示注入检测在 4B 上达到 0.753。证据不足就拒答有量化依据。transfer-v9 套件里有不可知记录删除决定性证据的题目Kev 各档位以 ≥0.9 置信度强行作答的比例为 0%而 Jev 为 9%README.md。对审核这类需要可追溯性的场景宁可低置信转人工也不该给高置信的瞎猜。场景三风控与合规判断风控类任务的特征是输入常是长文档合同、政策、工单历史判断依赖明确的政策规则而非常识且误差代价极高。这里 27B 有独特的价值上下文长度27B 的有效上下文验证到 65,536 token在真实合同 CUAD 上 64k token 的准确率保持在 0.874而 0.8B/4B/9B 只验证到 8,192 token——超过训练长度的长文档准确率会超出测量覆盖范围docs/model-cards/kev-27b.md。政策规则注入27B 的训练语料包含决策规则、长政策文档、异常与子限额、权衡判断等七个技能族政策类最小对样本minimal pairs上表现最强。contrastive_authorization授权类判断在 4B 及以上均为 1.0。日期计算是明确的短板但可以补模型自身不会可靠地做日期减法deadline政策题上 4B 只有 0.65Jev 0.95。kev/api.py 提供了date_facts预处理器开启KEV_DATE_FACTS1后服务端会把 state 中每对绝对日期换算成某日期距某日期 X 天的句子再喂给模型在 deadline 政策题上把 9B 从 0.80 提到 0.90。风控场景中凡是涉及截止日期、账期、宽限期的判断务必开启该开关。档位建议合规复核等高错误代价场景用 27BB200 或 80 GB 级 H100/H200规则简单、短输入的批量风控用 4B 并配合KEV_DATE_FACTS涉及长合同或政策文档的读取用 27B。另外注意 27B 是从 Qwen 后训练版继续微调的全权重模型训练数据不完全可知对合规敏感场景需先在自己标注样本上验证。精度与延迟的平衡点bf16 服务路径与温度校准Kev 的默认服务路径与发布数字的评估路径并不相同这一点直接影响量化决策评估用 fp32服务默认 bf16。kev.serve在 CUDA 上默认KEV_DTYPEbf16并叠加融合 DeltaNet 内核与 CUDA graphskev/checkpoint.py 的LoadOptions注释与 kev/serve.py 的main。bf16 路径的概率与 fp32 评估路径相差最多约 0.03GPU到 0.05Mac约 300 题里才有 1 题 argmax 翻转。换取的是 2–4.5 倍时延下降4B 在 L4 上从 fp32 的 209 ms 降到 bf16 的 118 ms101 token 输入。需要与发布数字严格对齐时设KEV_DTYPEfp32/v1/models会报告当前使用的后端与精度kev/serve.py。校准温度是随检查点走的。每个检查点带一个拟合好的温度0.8B T2.354B T2.419B T2.1927B T1.32加载时自动应用温度不改变 argmax只改变置信度。它让 9B 在新数据源上的校准误差ECE从 0.103 降到 0.041高置信错误率从 8.2% 降到 2.4%低于 Jev 的 3.7%README.md。阈值必须在你自己的数据上重测。模型卡的5% 错误预算可自动化比例是新数据源上的整体数字不代表你的工单/审核/风控分布。kev/calibrate.py 提供了面向工作负载的校准报告基于一份已评估的rows.json对比出厂温度与在你标注数据上拟合的温度在 ECE、Brier、5% 错误覆盖率上的差异并给出留一折估计。风控场景的置信度阈值建议按这个流程在自己样本上冻结。接入现有业务闭环API 与批处理两种模式Kev 的 API 完整兼容 TypeSafe 的 System One 协议这是它零改造接入的关键现有调 Jev 的代码只需要改base_url和api_key请求/响应结构不变kev/serve.py 的MODEL_NAMES甚至同时接受kev-latest与jev-latest两个模型名。实时 API 模式工单实时分诊、在线审核、请求级风控本地/私有云uv run --extra serve python -m kev.serve --run jaredpalmer/kev-4b --host 0.0.0.0 --port 8009放到自己的代理后面必须设KEV_API_KEY否则/v1/*对网段内任何人开放kev/serve.py 的中间件。无 GPU 团队可以走 Modal 一键部署skills/kev-deploy/scripts/kev_serve.py 是单文件自包含应用KEV_API_KEY$(openssl rand -hex 24) modal deploy kev_serve.py即可闲置 5 分钟后缩容到零费用只按运行时长计。GPU 随模型自动选择GPU_FOR映射冷启动约 35–55 秒。并发与批处理是内置的服务端单模型线程把排队请求合批MAX_BATCH 64配合 CUDA graphs 共享前向4B 在 H100 上进程内约 100 req/s走 Modal web 端点单容器约 40–50 req/s。高流量稳态建议KEV_MIN_CONTAINERS2保温避免突发等冷启动。批处理模式离线审核、晚间风控扫描、工单复盘用 kev/benchmark.py 对任意 System One 端点打分uv run python -m kev.benchmark --remote http://127.0.0.1:8009 --data your.jsonl --out runs/mine报告含准确率、Brier、校准误差、选项顺序稳定性以及逐问题分解。自己的标注数据与训练/评估格式完全一致JSONL 每行一条请求state questions每个问题带label可直接微调、可直接批量评分训练与推理共用同一套文本编码README.md 的 Fine-Tune 章节。超长输入的边界行为要提前约定超过 65,536 token 的 state 默认返回带 token 计数的 422绝不静默截断需要截断时开启KEV_TRUNCATE_STATES1此后每个响应都会带上truncated标记kev/serve.py。小结把三个场景放在一起看选型的规律很清晰先定延迟与成本预算再在 4B/9B/27B 之间取舍准确率最后用温度校准在自己数据上冻结阈值。工单分配这类短文本、高吞吐、规则可注入的场景4B 是性价比基准必要时用--init_from微调领域类目内容审核吃的是无幻觉 低置信拒答的工程特性9B 以上配合异步队列即可风控与合规判断则要 27B 的长文档能力与政策规则注入并记得开启KEV_DATE_FACTS补齐日期计算短板。整个链路——服务、批处理评分、校准、微调、部署——在仓库内都有对应的模块与脚本这也是 Kev 与纯托管决策服务最大的差异每个阈值、每个概率你都可以在自己的数据上重新测量。【免费下载链接】kevJev-like family of decision models built on top of Qwen3.5/3.8 you can train and run on your own项目地址: https://gitcode.com/gh_mirrors/kev2/kev创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考