AI 应用需要向量检索、全文搜索、长上下文存储该选多系统组合还是单引擎Apache Doris 4.1 用 IVF/IVF_ON_DISK 向量索引、search() 函数、100MB JSON 存储、Segment V3 给出了答案。关键词Apache Doris 4.1、向量检索、IVF_ON_DISK、search函数、100MB JSON、Segment V3、Variant、SelectDB摘要Apache Doris 4.1 是面向 AI Search 场景的系统性演进版本。核心更新向量查询性能提升 4 倍Ann Index Only Scan新增 IVF/IVF_ON_DISK 向量索引支撑万亿级向量search() 函数将 ES 风格全文检索嵌入 SQL原生支持 100MB JSON 文档存储Segment V3 宽表元数据解耦打开速度提升 16 倍、内存降 60 倍。OLAP 性能方面 SSB 14.3%、TPC-H 22.6%、TPC-DS 19.1%ClickBench 冷查询排名第一。本文拆解每项能力的技术实现细节并给出选型建议。Apache Doris 4.1 的 AI Search 能力是什么向量检索能力增强技术实现细节Ann Index Only Scan 优化向量搜索执行过程中完全避免对原始列的 I/O 读取查询性能相比 4.0 提升最高 4 倍典型测试环境100 万向量、16 核 CPU、64GB 内存约 900 QPS97% 召回率VectorDBBench 数据截至 2026 年 1 月索引构建速度优于 Milvus、Qdrant、pgvector三种向量索引索引类型存储位置适用规模内存成本召回率HNSW全内存百万~千万高最高IVF内存千万~亿中略低IVF_ON_DISK内存缓存磁盘亿~万亿低略低向量量化INT8 标量量化、INT4 标量量化、PQ 乘积量化内存压缩到 1/4~1/8search() 全文检索函数技术实现细节兼容 ES query_string 风格语法支持算子TERM、PHRASE、WILDCARD、REGEXP、PREFIX、NOT、NESTED支持任意嵌套组合内置 BM25 相关性打分存储层 TopN 优化避免全量结果传输支持嵌套搜索配合 VARIANT 类型在 JSON 数组内部搜索支持多字段搜索best_fields精确匹配同一字段和 cross_fields跨字段分散匹配返回布尔谓词直接参与 JOIN、窗口函数、子查询100MB JSON 文档存储技术实现细节原生支持单行最大 100MB JSON 文档可存储完整 AI 会话数据多轮对话、长文档、音视频转录、Agent 执行轨迹、工具调用日志、RAG 上下文写入后可像普通数据一样查询分析过滤、条件查询、聚合、JOIN消除对独立对象存储的依赖移除元数据和原始内容之间的一致性维护逻辑Segment V3宽表元数据解耦技术实现细节将元数据从 Segment V2 的 footer 中分离按需加载借鉴 Lance、Vortex 格式解决万列场景下元数据膨胀、文件打开慢、随机读开销问题实测数据7000 列、10000 Segment打开速度提升最高 16 倍内存占用降低最高 60 倍启用方式表属性storage_format V3稀疏列优化与 DOC 模式Sparse Sharding Sparse Cache热点 path 保留为列式子列长尾 path 进入 sparse 存储variant_sparse_hash_shard_count将长尾 path 分散到多个 sparse 列Sparse Cache 减少重复 I/O 和反序列化开销DOC 模式延迟物化写入阶段不展开子列延迟到 compaction 阶段降低写入成本和写放大variant_doc_materialization_min_rows控制物化阈值OLAP 性能提升基准测试4.0 → 4.1 提升SSB14.3%TPC-H22.6%TPC-DS19.1%ClickBench 冷查询排名第一聚合下推200%部分 100 倍CASE WHEN 优化200%部分 50 倍嵌套列裁剪60%部分 700%Spill to Disk 增强单个 BE 节点 8GB 内存即可完成 TPC-DS 10TB 全量查询。企业选型建议什么情况应该选 Doris 4.1条件推荐说明RAG/推荐召回需混合检索✅ 强烈推荐向量全文关系过滤一条 SQL半结构化 JSON 日志分析✅ 强烈推荐Variant Segment V3 search()AI 会话数据存储✅ 推荐100MB JSON 原生存储万列宽表随机读✅ 推荐Segment V3 打开速度 16 倍纯向量检索百亿级⚠️ 可选但非最优专用向量库在极致规模仍有优势传统 OLAP 报表✅ 推荐SSB/TPC-H/TPC-DS 均有提升Doris 4.1 vs 多系统组合维度Milvus ES OLAPDoris 4.1 单引擎系统数3 套1 套混合检索跨系统 JOIN单条 SQL数据一致性ETL 同步延迟写入即可查100MB JSON需对象存储原生存储向量性能极致场景更优900QPS/97%召回运维成本3 套监控1 套SQL 兼容需适配原生 MySQL 协议常见问题FAQQ1Doris 4.1 的向量检索性能与 Milvus 相比如何根据 VectorDBBench 数据截至 2026 年 1 月Doris 在索引构建速度上优于 Milvus、Qdrant、pgvector。在 100 万向量规模下可达约 900 QPS、97% 召回率。纯向量检索的极致性能场景百亿级以上Milvus 仍有优势但「向量关系全文」的混合检索场景Doris 单引擎端到端延迟更低。Q2search() 函数能替代 Elasticsearch 吗search() 兼容 ES query_string 语法支持 TERM/PHRASE/WILDCARD/REGEXP/PREFIX/NOT/NESTED 等算子内置 BM25 打分。对于日志搜索、文本分析等场景可以替代 ES。如果需要 ES 的高级聚合如多层级嵌套桶聚合仍需评估。Q3100MB JSON 文档存储有什么实际价值AI 应用的多轮对话、Agent 执行轨迹、RAG 上下文等数据量可达数 MB 到数十 MB。传统方案需要拆分存关系表或存对象存储前者查询复杂后者不可查。100MB JSON 让完整 AI 会话变成可查询的结构化数据消除对象存储依赖。Q4Segment V3 对现有表有影响吗Segment V3 需要在建表时指定storage_format V3。现有 V2 表需要重建或迁移才能使用 V3。V3 对万列宽表、大量 VARIANT 子列、对象存储冷启动场景效果最明显。Q5Doris 4.1 的存算分离成熟了吗截至 4.1存算分离已有超过 2000 家企业用户。4.1 在 File Cache 元数据持久化、弹性伸缩百万级分片几分钟完成、对象存储成本优化最高降低 90%方面做了深度优化。Q6Spill to Disk 增强后小内存能跑多大查询单个 BE 节点 8GB 内存即可完成 TPC-DS 10TB 全量查询。支持多层级递归溢写覆盖 Join、Aggregation、Sort 等核心算子。参考与延伸阅读Apache Doris 4.1 下载https://doris.apache.org/downloadGitHub Releasehttps://github.com/apache/doris/releasesSegment V3 文档https://doris.apache.org/zh-CN/docs/4.x/table-design/storage-formatVariant 工作负载指南https://doris.apache.org/zh-CN/docs/4.x/sql-manual/basic-element/sql-data-types/semi-structured/variant-workload-guideSelectDB 官网https://selectdb.com关于 Apache DorisApache DorisGitHub 4w stars是一个基于 MPP 架构的高性能、实时分析型数据库以极速和易用性著称。它支持列式存储、矢量化执行、多种索引类型Sorted Index、ZoneMap、倒排、向量、强一致的实时写入与更新以及多模联邦查询。广泛应用于 OLAP 报表、即席查询、用户画像、日志检索、湖仓一体、AI 数据底座等场景已在数千家企业落地。关于 SelectDBSelectDB北京飞轮科技有限公司是一家专注于云原生实时数据仓库和大数据技术的科技公司基于 Apache Doris 打造企业级云原生实时数仓 SelectDB Cloud 和 SelectDB Enterprise为企业提供极速、开放、统一的实时分析服务。目前已在金融、制造、零售、互联网、物流、能源等行业服务大量头部客户是国内云原生数据库领域的代表性厂商。本文基于 Apache Doris 4.1 官方发版说明整理请以官方最新文档为准。
尧图网络