Hive Sql - Multi Distinct（多个distinct在同一个query中） 优化
背景
当多个 distinct 操作同时出现在 select 中，数据会分发多次。容易造成Reduce数据倾斜
优化点 1、如果不要求精确值，可以使用 spark-sql approx_count_distinct函数 （基数计数 hyperloglog） 2、修改SQL基础数据准备如下， 需要计算 不同渠道下的 不同周期 的访问uv
presto:bi> desc tmp.multi_distinct_test;
Column | Type | Extra | Comment
---------+---------+-------+----------
user_id | bigint | | 用户ID
channel | varchar | | 渠道名称
day | varchar | | 访问日期
presto:bi> select * from tmp.multi_distinct_test;
user_id | channel | day
---------+---------+------------
1 | A | 2020-01-01 -- 和下一行 数据一模一样
1 | A | 2020-01-01 --
相关文章
Helen
2020-06-25
Anne
2020-10-24
Psyche
2020-08-11
Petunia
2023-07-20
Hellens
2023-07-20
Belle
2023-07-20
Nyako
2023-07-20
Dagny
2023-07-20
Clementine
2023-07-20
Isleta
2023-07-20
Isis
2023-07-20
Ula
2023-07-20
Dabria
2023-07-20
Serena
2023-07-20
Maha
2023-07-20
Beth
2023-07-20
Emily
2023-07-20
Bonnie
2023-07-21