未分類
17 4 月 2021

爬虫每天传一次到 hdfs 能用 flume 吗？

爬虫每天传一次到 hdfs 能用 flume 吗？

資深大佬 : txc106 4

爬虫每天传一次到 hdfs 能用 flume 吗？已经配好了 flume 为了论文多点内容也想尽量用上 但发现 flume 好像设滚动的话会一直产生新文件 设滚动时间长在时间到之前好像又是一直是 tmp 状态 有办法可以使 csv 文件每天通过 flume 传一次到 hdfs 吗？还是只能设置定时任务到时间 put 一次呢？感谢解答

大佬有話說 (3)

  • 資深大佬 : xcc880

    尝试下 HDFS Sink 参数 hdfs.idleTimeout, 即文件多少时间内没更新就会 close.

  • 資深大佬 : chennuo

    面向 JY coding 么

  • 資深大佬 : wpf375516041

    所以你论文里面怎么写，跟 flume 能不能有什么关系，你说改了源码不是更好