大数据基准 TPC-DS 研究(1) - 动机

风晓 2023-12-30 13:45:26  54297

分类专栏：资讯

缘由

最近经常看到阿里云的 AnalyticDB / EMR 的公关稿, 说是打破了 TPC-DS 的世界纪录, 那么这个 TPC-DS 是什么呢? 于是打算写一个系列, 深度的解读一下它.

为什么需要基准

假设你是一个公司的老板, 公司历史上积累了很多的数据(单机容量已经放不下), 现在想采购一个系统来对这些数据进行一些分析挖掘(主要包含四大场景: 周期报表/ad-hoc查询/迭代式查询/数据挖掘), 于是到市场上问询, 发现市场上有许多产品都可以提供分析能力, 包括:

Impala
Presto
SparkSQL
HAWQ
ClickHouse
GreenPlum
FlinkSQL
Druid
Kylin
Alibaba Cloud E-MapReduce
Alibaba Cloud AnalyticDB
SAP HANA
Snowflake
Amazon Redshift
Google BigQuery
(其它300+ DB 引擎)

有点眼花缭乱, 这时应该如何选择呢?

(常规的思路) 买服务是为了给自己业务使用, 先把自己业务抽象出来, 然后分别使用这些系统进行测试, 看看哪家效果最好. 会带来如下几个问题:

将自己的业务抽象会带来额外的工作开销

需要涵盖多种场景: 周期报表/ad-hoc查询/迭代式查询/数据挖掘
需要考虑通用性: 防止对已有业务过度优化, 而导致新业务扩展困难

各个引擎服务最优化条件下需要的机型配置不同

有些需要大内存/有些要求上云/有些要求必须使用自己定制的硬件

各个引擎服务最优化条件下需要的参数不同

需要针对业务场景定制引擎的运行参数

各个引擎的语法不同

有些是遵守 SQL 标准, 有些是 NoSQL / 自定义语法, 需要根据场景做定制

针对300多个引擎进行测试, 需要极大的人力开销, 并且还可能遗漏部分场景.

如果有人针对最通用的商用场景做抽象, 提出一套通用的测试标准, 各个数据引擎都主动或被动的分别经历了这个测试, 并且出具了各自的测试报告(包括各场景下性能表现, 被测系统的详细配置、软硬件和包含N年维护费在内的总价格), 并且这个测试报告被一个值得信任的组织严格审查过, 那该多好? 于是TPC-DS 应运而生.

网站声明：如果转载，请联系本站管理员。否则一切后果自行承担。

本文链接：https://www.xckfsq.com/news/show.html?id=32631

赞同 0

评论 0 条

大数据基准 TPC-DS 研究(1) - 动机

缘由

为什么需要基准

相关文章

关注我们

大数据基准 TPC-DS 研究(1) - 动机