大数据基准 TPC-DS 研究(2) - 诞生历史

风晓 2023-12-30 13:45:47  52435

分类专栏：资讯

TPC (事务处理性能委员会) 在 1988 年成立, 是一个非盈利组织, 其总部位于美国，绝大多数会员都是美、日、西欧的大公司。主要职责包含:

制定计算机事务处理能力测试标准
监督测试标准执行

1994年发布了第一个 DS 基准 TPC-D, 可以生成1G-3T数据, 并提供了17个复杂的查询语句.

1999年发布第二个 DS 基准 TPC-H, 基于 TPC-D 增加了6个查询语句, 并将数量量提升到10T, 之后又小幅度修改提升到100T.

TPC-H 遇到了如下的问题:

TPC-H 的数据模型是第三范式，不是普遍采用的星型模型/雪花模型
TPC-H 中定义的查询语句在开启位图索引/物化视图的场景下可以超级快速(100倍)的执行完, 因此要求被测试系统在关闭对应的功能后再测试 (但是实际操作中被测试系统到底是不是关闭了对应功能没有可信的证明)
TPC-H 生成的数据没有数据倾斜, 不反映实际情况
TPC-H 没有对数据维护的操作(提取、转换和加载)进行测试

- 第一范式(1NF): 
    - 列是原子的, 不能再分
- 第二范式(2NF): 
    - 在1NF基础上, 不在主键中的列必须完全依赖于主键
- 第三范式(3NF): 
    - 在2NF基础上, 任何非主键列不依赖于其它非主键列 [在2NF基础上消除传递依赖]
- 星型模型: (不要求符合3NF)
    - 由事实表和维度表组成
    - 事实表引用任意数量的维度表 
    - (像一颗星星的形状，中心是事实表, 放射多个维度表)
- 雪花模型: (不要求符合3NF)
    - 在星型模型的基础上, 允许维度再引用其它维度表 
    - (像一个雪花, 中心是事实表, 外延是维度表, 维度表可以再外展维度表)

2000年 TPC-DS 立项开发, 用时10多年, 2012年发布第一个版本, 2015年发布v2版本支持大数据系统如 Hive/Hadoop.

网站声明：如果转载，请联系本站管理员。否则一切后果自行承担。

本文链接：https://www.xckfsq.com/news/show.html?id=32632

赞同 0

评论 0 条

大数据基准 TPC-DS 研究(2) - 诞生历史

相关文章

关注我们