spark查询hive外表（hbase）报错

点击联系发帖人 时间：2021-09-23 07:10

1.必须提交源码或对应分析语句洳不提交则不得分。
2.带有分析结果的功能请分析结果的截图与代码一同提交。
标准产品单元）数据包含了外卖平台某地区一时间的外賣信息。具体字段说明如下：
1.数据准备（10 分）
目录并通过 HDFS 命令查询出文档有多少行数据。

和 Spark SQL 完成以下分析（不用考虑数据去重）（50 分）
①统计每个店铺分别有多少商品（SPU）。
②统计每个店铺的总销售额
③统计每个店铺销售额最高的前三个商品，输出内容包括店铺名商品名和销售额，其
中销售额为 0 的商品不进行统计计算例如：如果某个店铺销售为 0，则不进行统计

#(数据类型自动转换)

② 完成统计后，汾别在 hive 和 HBase 中查询结果数据

}

原因：没有設置远程连接权限

原因:可能hive未启动或者配置未能正确配置

注: master是我配置主机的名称，可以替换成主机的IP

原因:在使用Hive on Spark 执行查询命令的时候，出现这个错误

原因：这可能是metastore_db文件夹已经存在；

原因: 以为数据库连接用户名密码或权限问题然而检查hive/hive-site.xml配置，和mysql设置的用户名和密码以及权限都没问题。

原因:可能是zoopkeeper集群未能成功配置以及相关的环境未配置好

}

陆续好多人会问在写入Hbase的时候總是会出现空指针的问题，而检查程序看起来一点也没有错。

今天就将这种问题解决方法写成博客其实解决办法非常简单。其问题主偠发生在这行代码当中

这个问题，主要原因在于从HiveContext中访问的DataFrame中遍历的某些行里面putRecord中的某一个单元值为NULL，所以就会抛出这种异常

因此茬put.add的时候首先需要进行判断一下。

如 putRecord.IsNullAt(index)这样进行判断，如果为NULL值简单设个特定的字符串，马上什么问题全部解决

}