Comet 于 2026-09-25 发布开源 LLM 可观测平台 Opik 2.2.81:打分后的实体可路由进 annotation queue;可选开启扩展自由 SQL 的 ClickHouse 用户;后端注册 19 个规范 provider 以加载模型价目;SDK 修复 Gemini usage、Mistral 流式 reasoning、dataclass slots 编码等。

核心要点速览 (Key Takeaways)

  • ✓发布:2.2.81(2026-09-25),PyPI opik==2.2.81
  • ✓评测闭环:scored entities 路由进 annotation queues(#8462),人机标注与自动打分衔接
  • ✓数据面:可选 provision 扩展自由 SQL 的 ClickHouse 用户(独立 flag,#8505);find_trace_stream / find_thread_by_id 去掉 spans FINAL 以降延迟(#8533)
  • ✓成本:注册 19 家 canonical providers 以加载模型价目(#8548)
  • ✓SDK:Gemini usage 无 candidates_token_count 也可接受;保留 Mistral 流式 reasoning;slots=True dataclass 按 dict 编码;opik.sh 启动超时提到 90s
🧭

阅读完核心要点?进一步了解模型实力与实际开销

7 大权威镜像天梯跑分与 29+ 款主流编程套餐横向比价测算

🔬

深度技术解析与实战评估

核心背景与行业痛点

Agent / RAG 上线后,团队需要把自动打分、人工复核与成本核算串成闭环。常见断裂点:scored trace 进不了标注队列、生产 ClickHouse 只读查询能力不足、多厂商模型价目表缺失导致成本面板空白、流式供应商(Gemini / Mistral)usage 字段不一致把 SDK 打崩。Comet 开源 Opik 2.2.81(2026-09-25)针对这些运维缺口补丁。

架构亮点与底层机制

Opik 提供 tracing、自动评测与生产仪表盘。本版将打分后的实体路由进 annotation queue,打通自动分 → 人工队列;可在独立 feature flag 下 provision 扩展自由 SQL 的 ClickHouse 用户;find_trace_stream / find_thread_by_id 去掉 spans 上的 FINAL 以换吞吐。后端注册 19 个规范 LLM provider,确保模型价目可加载。SDK 侧:Gemini usage 缺少 candidates_token_count 仍可解析;保留 Mistral 流式 reasoning 内容;slots=True dataclass 编码为 dict 而非 repr;配置值含 % 时不再被插值破坏。

权威 Benchmark 与实测跑分对比

Release 未给出端到端延迟或吞吐对比数字;可核对的工程信号是查询路径去掉 FINAL、以及 opik.sh 启动超时提到 90s 并打印分容器耗时。成本侧依赖 19 家 provider 价目是否加载成功,请在自有环境验证面板,勿假设统一降本百分比。

开发者实战落地与开箱指南

  • 升级:pip install -U opik==2.2.81,读 Release 与 Docs。
  • 自托管:拉最新镜像后确认 frontend 以 uid/gid 1001 运行;需要自由 SQL 时再打开对应 flag。
  • 评测:把 scorer 输出接到 annotation queue,核对 Gemini/Mistral 流式 usage 是否完整。
  • 产品页:Opik。