• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

标签:# 分布式框架

hive

hive导入数据丢失问题

hive导入数据丢失问题
最近在做批量导入转换数据时,出现了部分数据丢失情况,最后经过检查发现,数据里在某个字段进行转换时, 出现了回车符,导致最终数据出来16列,但是目标表只有8列,所以数据就被多出来的8列数据给覆盖了,导致数据丢失(因涉及数据安全问题,这里就不方便进行截图了)。 解决方式: 就是在UDF里将回车符给替换掉即可。例子如下: str.replaceAll(“……继续阅读 »