请教下 azkaban 执行 spark 任务的 jobtype 配置问题
資深大佬 : dtgxx 1
有没有大佬遇到过用 azkaban 执行 spark on yarn 任务的时候,配置了 azkaban-job 的参数 execution-jar 的地址之后,azkaban 识别不了的情况。
我配置的是
execution-jar=hdfs:///spark-jar/test/spark_20201019105827.jar 或者 execution-jar=/data/test/spark_20201019105827.jar 都不行
打印的错误是
java.lang.Exception: Job set up failed: execution jar is suppose to be in this folder, but the folder doesn’t exist:/apps/azkaban/azkaban-exec-server/build/install/azkaban-exec-server/bin/executions/63/hdfs:///spark-jar/test
azkaban 会把我 hdfs 或者本地路径加一个前缀,前缀就是 azkaban-exec 的安装位置。。。 弄了 2 天还是没结果。。大佬们有没有啥好的建议,感谢感谢!
大佬有話說 (0)