当前位置: 首页 > news >正文

江苏省示范校建设专题网站教程seo推广排名网站

江苏省示范校建设专题网站,教程seo推广排名网站,wordpress附件大小,太原网络推广总结下dbt-spark踩到的坑,连接方式采用的是thrift连接 Kerberos认证。考虑到开源组件Kyuubi也是基于Hiveserver2,使用的thrift协议,所以采用Kyuubi执行SparkSQL。 官方文档给出的Thrift方式连接示例真的是简单,但是真是用起来真是…

        总结下dbt-spark踩到的坑,连接方式采用的是thrift连接 + Kerberos认证。考虑到开源组件Kyuubi也是基于Hiveserver2,使用的thrift协议,所以采用Kyuubi执行SparkSQL。

        官方文档给出的Thrift方式连接示例真的是简单,但是真是用起来真是一言难尽:

      

dbt-spark 连接踩坑历程:

        首先就是dbt-spark,这个python包是不带Kerberos包的,得手动自己再下载下!

        schema没啥问题,直接填Hive数据库的名称就好了,比如 dafault。

        host就有问题了,普通的spark thrift server是不支持HA的,但是Kyuubi是支持HA的,但是dbt-spark不支持配置HA方式的Kyuubi ! 所以Kyuubi HA的方式在这里算是废了,这里的host直接填Kyuubi 主节点的地址。Kyuubi HA模式下,host 和 port 是注册在ZK上的,可以使用ZK的命令查出来。Kyuubi 一般不适用ssl,所以顺带 use_ssl 配置为false。

        然后就来到了当时折磨人的 Kerberos 认证配置环节,各种配置发现都不行,dbt给出来的错误信息也很少。翻看了下dbt-spark底层的源码,发现它底层是通过pyHive库去连接Hive的,所以此时强烈建议自己写一个PyHive进行Kerberos认证连接Hive的demo!一下子就能看出来报错Yarn队列没有配置!

        最终配置如下:

my_spark_profile:
target: dev
outputs:
dev:
type: spark
method: thrift
schema: default
host: you-kyuubi-host
port: 10009
auth: KERBEROS
kerberos_service_name: hive
use_ssl: false
server_side_parameters:
"mapreduce.job.queuename": "you-yarn-queue-fullname"
"spark.yarn.queue": "you-yarn-queue-fullname"
"hive.exec.dynamici.partition": "true"
"hive.exec.dynamic.partition.mode": "nonstrict"

        使用如下命令执行kinit -kt /home/***/you_kerberos.keytab you_kerberos.princal && dbt run 

dbt-spark 执行踩坑历程:

        如果你的Hive库下挂载了kudu或者HBase外部表,这个时候就会报错:

org.apache.hadoop.hive.ql.metadata.HiveException: Error in loading storage handler.org.apache.hadoop.hive.kudu.KuduStorageHandler

        因为dbt底层会执行sql:show table extends in you-database like '*',全库扫描获取所有表的元数据信息,kudu表的元数据据信息识别会报错。有两种解决思路:

        1. 往spark lib 下把spark-kudu jar加入,但是我们因为怕影响到其他人的作业,没有采用这种方法...

        2. 修改dbt-spark源码。害,虽然有点麻烦,最终还是通过这种方式解决的

        如下是dbt-spark源码,上面标红的地方是dbt默认获取表元数据信息的方式 show table extends 。下面标红的框是为iceber定制的获取元数据的方式,先通过show tables 获取所有的表信息,然后再通过describe table 获取表的information信息。

        so,有一个简单粗暴的方案就是把下面的代码提上来,但是性能并不会太好,hhh。还有一种方式是想办法把待执行的模型名称传入,把sql修改为 show table extends *** like 'you_table_name',这种方式的话性能能有个好几倍的提升!还是看个人的业务适合使用哪种方式把。

http://www.khdw.cn/news/25434.html

相关文章:

  • web前端是网站开发师吗上海抖音seo公司
  • 石家庄网站搭建公司网站内容优化关键词布局
  • 烽火台网站陕西企业网站建设
  • wordpress默认上传路径太原百度快速优化排名
  • 合肥中小企业网站制作每天4元代发广告
  • 服务器放网站吗西安做网站
  • 展示型网站建设价格百度贴吧官网首页
  • 机械类外贸网站建设郑州模板网站建设
  • 线上咨询预约网站建设方案谷歌浏览器下载官方正版
  • 摄影作品网站app十大排名优化网站的软件下载
  • 南昌大型网站制作怎么做网站推广多少钱
  • 海外广告投放渠道营销池州网站seo
  • 在哪家网站做推广好网站设计报价方案
  • 如何做网站推广方案在线网站分析工具
  • 怎么做公众号教程免费百度seo引流
  • 长沙哪里可以做网站每日财经最新消息
  • 四川监狱网站建设软文300字介绍商品
  • 陕西省建设厅执业资格注册中心网站报名系统网络游戏推广员的真实经历
  • 如果做好网站社区的建设app推广员怎么做
  • 网站中的表单怎么做长沙网站搭建优化
  • wordpress怎么设计首页seo文章生成器
  • 拉萨建设局网站电商网站平台搭建
  • 镇江网站设计建设营销网店推广的软文
  • 做红包网站是犯法的吗厦门seo服务
  • 百度建设网站seo是哪个英文的缩写
  • 做网站赣州网店推广的重要性
  • 网站模板免费吗品牌营销策略分析
  • 网站上传图片大小限制百度竞价推广方案
  • 阿里巴巴网站是怎么做的91永久海外地域网名
  • 做网站做什么赚钱广告外链平台