HIVE应用-COLLECT函数(包含CONCAT_WS、DISTRIBUTE BY、SORT BY)

wptr33 2024-11-11 16:08 50 浏览

1.collect_list 和 collect_set 函数计

基本用法：collect_list()和collect_set()函数的作用是将某基本类型字段值聚合到array类型字段，由于collect_list()和collect_set()函数只有1个入参，所以当多个字段聚合时，可以利用concat进行拼接后作为入参，当需要按照某个或者多个字段分组时，需要配合group by使用，生成分组聚合数据；
差异点：主要是collect_set是返回集合，会对重复数据去重，而collect_list返回是数组列表，不会去重；由于collect_list返回是数组结构，所以可以配合distribute by和sort by生成有序列表，而collect_set是无序的计算机；

select c, collect_list(concat(colA, '_', colB)) from tb group by c;
select c, collect_set(concat(colA, '_', colB)) from tb group by c;

concat基本用法：cocat函数是多列字段进行拼接合并，不支持某字段为NULL的情况；
concat_ws基本用法：cocat_ws函数是可支持字段为NULL的情况，同时可配合collect_list进行使用，输出拼接后的字符串，如上面代码段；

基本用法：distribute by作用是数据分区，分区规则是基于分区字段的hash值与reduce的数量进行取模，相同余数的数据分到同一个分区；sort by 作用是数据排序，可以结合asc和desc进行数据正排和倒排，与distribute by结合时，可以进行分区下的数据排序；返回结果与row_number() over(partition by c sort by c,val desc) as rk和order by rk相同，但order by是全局下排序，计算比较耗时。

SELECT
	c,
	collect(',', concat(a, '_', 'b')) AS ab
FROM
	(
		SELECT c, a, b, val FROM tb distribute BY c SORT BY c, val DESC
	)
GROUP BY
	c

如有遗漏缺陷，可留言补充纠正！

concat_ws