开发者 3 秒速决决策指标
Comet 于 2026-09-25 发布开源 LLM 可观测平台 Opik 2.2.81:打分后的实体可路由进 annotation queue;可选开启扩展自由 SQL 的 ClickHouse 用户;后端注册 19 个规范 provider 以加载模型价目;SDK 修复 Gemini usage、Mistral 流式 reasoning、dataclass slots 编码等。
核心要点速览 (Key Takeaways)
- ✓发布:2.2.81(2026-09-25),PyPI
opik==2.2.81 - ✓评测闭环:scored entities 路由进 annotation queues(#8462),人机标注与自动打分衔接
- ✓数据面:可选 provision 扩展自由 SQL 的 ClickHouse 用户(独立 flag,#8505);
find_trace_stream/find_thread_by_id去掉 spans FINAL 以降延迟(#8533) - ✓成本:注册 19 家 canonical providers 以加载模型价目(#8548)
- ✓SDK:Gemini usage 无
candidates_token_count也可接受;保留 Mistral 流式 reasoning;slots=Truedataclass 按 dict 编码;opik.sh启动超时提到 90s
阅读完核心要点?进一步了解模型实力与实际开销
7 大权威镜像天梯跑分与 29+ 款主流编程套餐横向比价测算
相关资源与官方项目出处
免代理直达深度技术解析与实战评估
核心背景与行业痛点
Agent / RAG 上线后,团队需要把自动打分、人工复核与成本核算串成闭环。常见断裂点:scored trace 进不了标注队列、生产 ClickHouse 只读查询能力不足、多厂商模型价目表缺失导致成本面板空白、流式供应商(Gemini / Mistral)usage 字段不一致把 SDK 打崩。Comet 开源 Opik 2.2.81(2026-09-25)针对这些运维缺口补丁。
架构亮点与底层机制
Opik 提供 tracing、自动评测与生产仪表盘。本版将打分后的实体路由进 annotation queue,打通自动分 → 人工队列;可在独立 feature flag 下 provision 扩展自由 SQL 的 ClickHouse 用户;find_trace_stream / find_thread_by_id 去掉 spans 上的 FINAL 以换吞吐。后端注册 19 个规范 LLM provider,确保模型价目可加载。SDK 侧:Gemini usage 缺少 candidates_token_count 仍可解析;保留 Mistral 流式 reasoning 内容;slots=True dataclass 编码为 dict 而非 repr;配置值含 % 时不再被插值破坏。
权威 Benchmark 与实测跑分对比
Release 未给出端到端延迟或吞吐对比数字;可核对的工程信号是查询路径去掉 FINAL、以及 opik.sh 启动超时提到 90s 并打印分容器耗时。成本侧依赖 19 家 provider 价目是否加载成功,请在自有环境验证面板,勿假设统一降本百分比。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察