Hive 分桶

Celandine ·
更新时间:2024-09-21
· 815 次阅读

概念

分桶:将数据集分解成更容易管理的若干部分。
分区针对的是数据的存储路径,分桶针对的是数据文件。

创建桶

在这里插入图片描述
在这里插入图片描述
查看结果:
在这里插入图片描述

抽样查询

语法:TABLESAMPLE(BUCKET x OUT OF y)

y必须是table总bucket数的倍数或者因子。hive根据y的大小,决定抽样的比例。例如,table总共分了4份,当y=2时,抽取(4/2=)2个bucket的数据,当y=8时,抽取(4/8=)1/2个bucket的数据。 x表示从哪个bucket开始抽取,如果需要取多个分区,以后的分区号为当前分区号加上y。例如,table总bucket数为4,tablesample(bucket 1 out of 2),表示总共抽取(4/2=)2个bucket的数据,抽取第1(x)个和第3(x+y)个bucket的数据。
注意:x的值必须小于等于y的值,否则报错。
示例:
在这里插入图片描述
作者:梁云亮



hive

需要 登录 后方可回复, 如果你还没有账号请 注册新账号