一个小知识点-Hive行转列实现Pivot

sinye56 2024-09-29 21:55 4 浏览 0 评论

前言

传统关系型数据库中，无论是Oracle（11g之后）还是SQLserver（2005之后），都自带了Pivot函数实现行转列功能，本文主要讲述在Hive中实现行转列的两种方式。

传统数据库方式

这种方式是借鉴在Oracle或者SQLserver在支持Pivot函数之前实现行转列的方式，实际上语法没有什么变化，只是换成了Hive。

with testtable(
select 1 id,'k1' key,123 value
 union all
select 1,'k2' key,124 value
 union all
select 2,'k1',234 value
 )
select id,
 max(case when key='k1' then value else null end) k1,
 max(case when key='k2' then value else null end) k2
 from testtable
 group by id

Map方式

这种方式的思路是把需要转列的字段及其值字段拼接成一个Hive上的key-value的map数据，具体Sql如下：

with testtable(
select 1 id,'k1' key,123 value
 union all
select 1,'k2' key,124 value
 union all
select 2,'k1',234 value
 )
select id,kv['k1'],kv['k2']
 from (
select id,str_to_map(concat_ws(',', collect_set(concat(key, '-', value))),',','-') kv
 from testtable
 group by id)t

总结

两种方式都可以实现行转列的功能，传统的方式易于理解，但在key的取值比较多的时候，写起来会相当繁琐，map的方式相对要简便一些。但map的方式所有的数据都collect到一起了，对内存的要求会高一些，而传统的方式通过聚合函数直接reduce，可以边运行边求值。

点赞和转发是最大的支持～

oracle动态sql拼接

上一篇：无需编程，基于Oracle零代码生成CRUD增删改查RESTful API接口
下一篇：多库操作2:终于实现多个数据库操作

一个小知识点-Hive行转列实现Pivot

前言

传统数据库方式

Map方式

总结

相关推荐

取消回复欢迎你发表评论:

前端学习路线大致怎么样?（前端如何学）

详解如何用prometheus来监控Oracle数据库，值得收藏

linux的分区方法（linux分区详解）

linux添加硬盘及分区格式化（linux怎么扩展硬盘分区）

「Epicsans」精美人物图包(Epic!sans篇)

Oracle与AWS建立战略合作伙伴关系，Q1财报走势强劲

Oracle游标基础入门必看（oracle游标的使用详解）

数据库监控配-Oracle（oracle数据库配置监听程序）

Oracle数数据库用户管理之用户与安全性(四)--创建用户操作

Linux服务器磁盘分区命令(图解)（linux服务器分区教程）

一个小知识点-Hive行转列实现Pivot

前言

传统数据库方式

Map方式

总结

相关推荐

取消回复欢迎 你 发表评论:

前端学习路线大致怎么样?（前端如何学）

详解如何用prometheus来监控Oracle数据库，值得收藏

linux的分区方法（linux分区详解）

linux添加硬盘及分区格式化（linux怎么扩展硬盘分区）

「Epicsans」精美人物图包(Epic!sans篇)

Oracle与AWS建立战略合作伙伴关系，Q1财报走势强劲

Oracle游标基础入门必看（oracle游标的使用详解）

数据库监控配-Oracle（oracle数据库配置监听程序）

Oracle数数据库用户管理之用户与安全性(四)--创建用户操作

Linux服务器磁盘分区命令(图解)（linux服务器分区教程）

取消回复欢迎你发表评论: