Hive拉拉扯扯的order by,sort by,distribute by, cluster by

Hive支持两个层面的排序：

全局排序用

实现，效果和传统的RDMS一样，保证最后的数据全局有序。

部分排序用

实现，保证同一个reducer处理的数据有序，对于结果数据则表现为局部有序。

Hive对用户提供的同样是SQL，但底层实现却和传统数据库有天壤区别，底层实现默默情况下是利用了Hadoop的计算框架MapReduce，当然也支持使用Spark, Tez。鉴于此，Hive有一些自己特定，比如order by的实现需要把所有数据汇集到一个reducer中处理，如果数据量巨大，这个一步将会成为整个任务的潜在问题点，所以Hive在严格模式下（hive.mapred.mode=strict）时，使用order by必须搭配使用limit。

同时是由于Hive底层的实现机制的原因，Hive有两个相关的字句distribute by和cluster by。

确保具有相同分区键的数据全部被分配到同一个reducer处理。

确保具有相同分区键的数据全部被分配到同一个reducer处理，同时确保同一个reducer中的数据顺序。相当于：

不过分开或组合使用disribute by显得更加灵活：

order by cluster BY order hive sort