跳至主要內容
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?

4563博客

全新的繁體中文 WordPress 網站
  • 首頁
  • 请教下 azkaban 执行 spark 任务的 jobtype 配置问题
未分類
24 10 月 2020

请教下 azkaban 执行 spark 任务的 jobtype 配置问题

请教下 azkaban 执行 spark 任务的 jobtype 配置问题

資深大佬 : dtgxx 1

有没有大佬遇到过用 azkaban 执行 spark on yarn 任务的时候,配置了 azkaban-job 的参数 execution-jar 的地址之后,azkaban 识别不了的情况。

我配置的是
execution-jar=hdfs:///spark-jar/test/spark_20201019105827.jar 或者 execution-jar=/data/test/spark_20201019105827.jar 都不行

打印的错误是

java.lang.Exception: Job set up failed: execution jar is suppose to be in this folder, but the folder doesn’t exist:/apps/azkaban/azkaban-exec-server/build/install/azkaban-exec-server/bin/executions/63/hdfs:///spark-jar/test

azkaban 会把我 hdfs 或者本地路径加一个前缀,前缀就是 azkaban-exec 的安装位置。。。 弄了 2 天还是没结果。。大佬们有没有啥好的建议,感谢感谢!

大佬有話說 (0)

文章導覽

上一篇文章
下一篇文章

AD

其他操作

  • 登入
  • 訂閱網站內容的資訊提供
  • 訂閱留言的資訊提供
  • WordPress.org 台灣繁體中文

51la

4563博客

全新的繁體中文 WordPress 網站
返回頂端
本站採用 WordPress 建置 | 佈景主題採用 GretaThemes 所設計的 Memory
4563博客
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?
在這裡新增小工具