关于hivegroup_concat的信息

本篇文章给大家谈谈hivegroup_concat，以及对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

• 1、hive 两字段合并成 一个字段 例如：字段a和字段b合并成a-b，请问如何实现、
• 2、hive - concat 函数
• 3、开窗函数

hive 两字段合并成 一个字段 例如：字段a和字段b合并成a-b，请问如何实现、

使用函数concat

select concat(a,'-',b) from就可以实现穗核了。

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功者族肆能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。

Hive 是一种底层封装了Hadoop 的数据仓库处理工具，使用类SQL 的HiveQL 语言实现数据查询，所有Hive 的数据都存储在Hadoop 兼容的文件系统（例如，Amazon S3、HDFS）中。Hive 在加载数据过程中不会对数据进行任何的修改，只是将数据移动到HDFS 中Hive 设定的目录下，因此，Hive 不支持对数据的改写和添加，所有的数据都是在加载的时候确定的。Hive 的设计特点如下。

● 支持索引，加快数据查询。

● 不同的存储类型，例如，纯文本文件、HBase 中的文件。

● 将元数据保存在关系数据库中，大大减少了在查询过首轿程中执行语义检查的时间。

● 可以直接使用存储在Hadoop 文件系统中的数据。

● 内置大量用户函数UDF 来操作时间、字符串和其他的数据挖掘工具，支持用户扩展UDF 函数来完成内置函数无法实现的操作。

● 类SQL 的查询方式，将SQL 查询转换为MapReduce 的job 在Hadoop集群上执行。

hive - concat 函数

   concat 函数在连接字符串的时候，只要察团其中一个裂汪是NULL，那么将返回NULL

hive select concat('a','b');

ab

hive select concat('a','肆没仔b',null);

NULL

开窗函数

开窗函数

需求：

既要显示聚合前的数据，又要显示聚合后的结果

rank

开窗函数：

窗口函数： 窗口 + 函数

窗口： 函数运行时计算的数据集的范围

函此闷数：运行时的函数：

1.常用的聚合函数

2.窗口内置的函数

1.聚合函数 -》纳扒链开窗

数据：

需求：

统计累计的问题，每个用户每天累计点外卖的次数

函数 over([partition by xxx,...] [order by xxx,...])

2.指定窗口大小

3.开窗 -内置函数

RANK

ROW_NUMBER

DENSE_RANK

NTILE

1.NTILE

需求：

把数据按照姓名进行分组 时间排序 结果数据分成 3份数

NTILE(N):

把数据平均分配到N中,如果不能平均分配，优先分配到较小的编号中。

2.rank相关的

RANK

ROW_NUMBER

DENSE_RANK

RANK：

从1开始，按照顺序，生成组内记录的编号，排序相同会重复，在名次中留下空位

ROW_NUMBER：

从1开始，按照顺序，生成组内记录的编号，序号没有重复的

DENSE_RANK：

从1开始，按照顺序，生成组内记录的编号，排序相同会重复，在名次中不留下空位

3.蹿行问题

lag 向上取第几行

lead 向下取第几行

4.取值问题

FIRST_VALUE(col)：取分组后 截止到当前行 第一个值

LAST_VALUE(col)：取分组后 截止到当前行 最后一个值

开窗函数案例：

1.我们有如下的用户访问数据

userId visitDate visitCount

u01 2017/1/21 5

u02 2017/1/23 6

u03 2017/1/22 8

u04 2017/1/20 3

u01 2017/1/23 6

u01 2017/2/21 8

U02 2017/1/23 6

U01 2017/2/22 4

要求使用SQL统计出每个用户的累积访问次数，如下表所示：

用户id 月份 小计 累积

u01 2017-01 11 11

u01 2017-02 12 23

u02 2017-01 12 12

u03 2017-01 8 8

u04 2017-01 3 3

每个用户的累积访问次数=》

每个用户每个月累计访问次数

维度： 用户、月

指标：次数、累计访问次数

1.etl：

2017/2/22 =》 2017-02 日期函数 ，string函数 sql里面

2017/2/22=2017-2-22

2.

1.先求 每个月 次数

2. 1结果 =》 累计

也可以使用str_to_date

date_format(str_to_date(visitdate,'%Y/%m/%d') ,'%Y-%m')as month

2.有50W个京东店铺，每个顾客访客访问任何一个店铺的任何一个商品时都会产生一条访问日志，

访问日志存储的表名为Visit，访客的用户id为user_id，被访问的店铺名称为shop，数据如下：

u1 a

u2 b

u1 b

u1 a

u3 c

u4 b

u1 a

u2 c

u5 b

u4 b

u6 c

u2 c

u1 b

u2 a

u2 a

u3 a

u5 a

u5 a

u5 a

请统计：

(1)每个店铺的UV（访客数） 、pv(访问量)

维度：店铺

指标：uv =》user_id

(2)每个店铺访问次数top3的访客信息。输出店铺名称、访客id、访问次数

维度：店铺、 访客id

指标：访问次数 、访问次数的top3

uv pv :

pv = page 次数 不需要去重

uv = user 次数 需要去重

2.行洞孙转列 列转行

1.列转行

||

v

zuoshao,王者荣耀,黑丝,看小视频

xuanxuan,姐姐,天天,杰伦

mysql没有collection_list(hobby)

可以使用group_concat(hobby)

-- hive

select

name,

concat_ws(",",collection_list(hobby)) as hobbyies

from t1

group by

name;

concat_ws

concat

2.行转列

hive爆破函数实现

mysql没有爆破函数（免费版本没有）

[img]

关于hivegroup_concat和的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。