hive的列间隔需要在创建表的时候指定,通过 ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
来指定,上面是用,来间隔,
而默认情况下 hive使用\001做列的间隔(列间隔就是说在hdfs中字段之间用什么符号间隔)
而工作中,最经常使用 \t方式间隔,原因就是间隔后在hdfs文件中存储的列间隔规范,用肉眼看很容易区分
哪里是哪里
看如下脚本,其中表
f_trademark_tmp_hdfs_ext_%CHINDAASDATE%
liuchengtmp1_%CHINDAASDATE%
f_markimage_tmp_hdfs_ext_%CHINDAASDATE%
都是用,间隔的, 如下创建表语句 无法增加字段间隔 ,创建好表后 字段间隔为默认 \001
create table ftrademarktmp_%CHINDAASDATE% as select a.markcode , a.appperson , a.addr , a.markname , trim(substr(a.typedetaildes,4000)) typedetaildes, a.begindate , a.enddate , a.CHECKDATE , a.status , a.appdate , a.regdate , a.ZIPCODE , b.xiangmu_new , c.markimage , case when a.begindate is not null and a.enddate >= %current_date% and instr(hivenvl(a.status,'未知'),'无效')=0 then 'R商标' when a.begindate is not null and instr(a.status,'无效')>0 or instr(a.status,'注销')>0 then '过期商标' when a.enddate < %current_date% then '过期商标' when a.begindate is not null and (instr(a.status,'无效')>0 or instr(b.xiangmu_new,'无效')>0) then '无效(被否)商标' when a.begindate is null then 'TM商标' else '未知' end MARKTYPE_NEW from f_trademark_tmp_hdfs_ext_%CHINDAASDATE% a left outer join liuchengtmp1_%CHINDAASDATE% b on a.markcode = b.markcode left outer join f_markimage_tmp_hdfs_ext_%CHINDAASDATE% c on a.markcode = c.markcode order by a.appdate ;
如果好奇 Hive 用间隔后数据的样子,可以找到hive表对应的hdfs文件,然后拖到window下用
notepad++打开,如下
这是以,间隔的hive数据在hdfs的样子:
这是以 \001 默认值方式的结果:
相关推荐
Hive函数及语法说明;详细中文语法说明;兼容性说明
sql行列转换、一个字段包含另一个字段.sql
4.2.2 Hive 修改字段名/字段类型/字段位置/字段注释: 4 4.2.3 Hive 重命名表名: 4 4.3Hive 删除表: 4 5 Hive 分区 4 5.1 Hive 添加分区 4 5.2 Hive 删除分区 5 6 SHOW语句 5 7 DESCRIBE语句 5 8 加载数据 5 9表...
hive表修改分区数据
hive表新增字段或者修改字段,原理和具体操作
hive参数配置说明大全,详细说个各个参数的作用用法
Hadoop HBbase HIVE Sqoop概念介绍说明,及和RDBMS的比较
hive sql 拆解字段.docx
// 获取id字段的血缘 LineageNode idNode = Delegate.getDelegate().getLineage(hql, "id"); // 获取name字段的血缘 LineageNode nameNode = Delegate.getDelegate().getLineage(hql, "name"); // 打印血缘 ...
hive hive hive hive hive hive hive hive hive hive hive hive
CDH平台,通过hue访问hive,控制库级别,表级别,及列级别的访问权限
hive开发规范,hive上sql的编写及日志处理。
hadoop---------hbase----------hive各版本兼容性说明
Hive学习记录,一些关于hive分桶、分区的知识。有需要自己下载。
hive的一些报错及解决方法:连接报错、执行脚本卡住、内存溢出报错、表死锁问题
利用Hive进行复杂用户行为大数据分析及优化案例(全套视频+课件+代码+讲义+工具软件),具体内容包括: 01_自动批量加载数据到hive 02_Hive表批量加载数据的脚本实现(一) 03_Hive表批量加载数据的脚本实现(二) ...
Hive UDF 说明书,官方指定文档。Hive_LanguageManual_UDF
使用hive3.1.2和spark3.0.0配置hive on spark的时候,发现官方下载的hive3.1.2和spark3.0.0不兼容,hive3.1.2对应的版本是spark2.3.0,而spark3.0.0对应的hadoop版本是hadoop2.6或hadoop2.7。 所以,如果想要使用高...
Hive函数及语法说明.docx
hive-jdbc