近日，OceanBase在TPC-H榜单上脱颖而出，勇夺世界冠军，这一佳绩迅速成为中文自媒体的焦点。在为OceanBase的辉煌时刻喝彩之余，笔者不禁回想起与TPC机构及其审计师们的多年交往，对TPC benchmark及其严格的审计和发布流程有了更深入的了解。同时，也听闻了不少关于TPC的趣闻轶事。因此，在分享OceanBase荣耀的同时，我们也来探讨一下TPC这个基准测试背后的故事。

◉ 参与者分析

谈及TPC-H，我们不难发现，如今各大主流传统数据库厂商已较少发布其审计报告，反而，TPC-H逐渐演变为了硬件设备厂商展现其服务器处理能力的重要宣传指标。因此，在TPC的官方网页上，我们会观察到一种“有趣”的现象：尽管这是数据库性能的基准测试，但结果榜单上却几乎被硬件厂商占据。系统一栏中，我们更多看到的是服务器型号；而测试赞助商一栏，则几乎被设备厂商所包揽，OceanBase和Alibaba Cloud AnalyticDB是其中的例外。值得注意的是，不同设备商在基准测试中往往选择相同的数据库产品，例如，近年来TPC-H测试中使用最为广泛的便是微软的SQL Server Enterprise Edition。至此，我们对TPC-H在业界中的角色与影响或许会有更深入的理解。

◉ TPC-H设计特点

那究竟是何原因导致TPC-H在业界呈现出如此格局呢？让我们深入探究TPC-H这一基准测试。TPC-H涵盖了严苛的ACID测试与查询性能测试，但它并非专为HTAP的TP与AP并存高并发场景设计。相反，它主要验证的是ACID基础上的OLAP查询性能，这些查询相较于TPC-DS而言较为简单。在TPC-H中，AP的并发查询数量因测试数据量（scale factor）而异，通常设置为2至11个并发（每个并发被称为一个stream）。每个stream内将顺序执行22个查询。而TP部分则只有一个并发stream，且仅涉及对Order和Lineitem两张表中极小部分数据的写入和删除操作。这些操作在大多数情况下仅占据AP stream执行时间的一小部分。例如，在OceanBase最近发布的审计结果中，Performance RUN1的AP stream1耗时长达1382秒，而TP部分的耗时则短得多，仅不到7秒就完成，对AP workload中的大多数查询几乎无影响。

此外，TPC-H的数据模型过于简化，数据分布也较为单一，因此对传统数据库系统的挑战相对较小。尽管如此，由于数据库厂商和学术界对TPC-H已有深入的研究，各个数据库系统针对TPC-H的优化措施也已相当成熟，因此TPC-H在宣传传统数据库系统方面的作用显得相对有限。而对于像OceanBase这样的数据库“新势力”而言，TPC-H提供了一个适中难度的全面评测机会，能够有效地展现其包括ACID在内的系统能力。因此，发布TPC-H的测试结果可以为这些新势力带来一定的商业推广宣传效果。

02TPC-H基准测试价值

◉ 测试结果可信度

接下来，我们进一步探讨TPC-H基准测试结果的可信度。TPC拥有严格的第三方审计制度，这是其长期与审计组织合作的基础。这些审计师在数据库领域拥有丰富的经验，甚至直接参与了benchmark的制定和修改。然而，尽管审计流程严格，但值得注意的是，TPC要求包括TPC-H、TPC-DS和TPC-C在内的多数benchmark结果都是公开可测的，且必须是公开发布的产品版本。此外，TPC还对哪些特殊优化是允许或禁止有明确规定。传统数据库厂商可能针对这些benchmark进行过针对性优化，但某些特殊优化可能无法在系统中默认开启，需要开关控制，这类优化可能无法得到TPC的认可。因此，我们听说曾有个别传统数据库厂商不得不撤回并重新发布其TPC结果。

对于大型分布式数据库系统，审计师通常不会直接登录进行测试验证，而是会审查测试流程和脚本，并要求厂商提供相关证明，如测试流程的审计日志、测试结果、正式版本证明等。然而，由于某些证明可能无法完全证实，因此每次结果发布后都会有一个三个月的公示期，让公众（包括竞争对手）进行验证。但值得注意的是，对于超大集群的测试结果和云上产品，由于资源限制和规避限制的方法存在，其结果的可信度可能无法完全保证。

◉ TPC-DS发展的局面

再来看TPC-DS基准测试。国内星环科技是首家“上榜”厂商，这标志着TPC-DS基准推出后的首次官方审计测试。这一成就不仅展示了星环科技在数据库领域的实力，也为其他厂商提供了一个重要的参考。TPC在审计流程上解决了众多细节问题，这也是星环科技审计过程耗时甚久的原因之一。随后，阿里云的Cloud AnalyticDB和Cloud E-MapReduce两款产品，在星环科技的审计结果及公开测试脚本和文档的助力下，得以在测试流程上省去不少弯路。值得一提的是，阿里云内部似乎存在某种竞争，这两款产品在TPC-DS上多次展开PK。频繁的审计测试使得TPC-DS的第三方审计公司在过去两年里业务繁忙，收益颇丰。甚至有传闻称，审计师的档期需要提前很久预约，这无疑更增添了他们的忙碌与收益。