未分類
8 7 月 2020

大家开发 ETL 时哪个用的多， Spark RDD vs DataFrame vs DataSet vs Spark SQL？

大家开发 ETL 时哪个用的多， Spark RDD vs DataFrame vs DataSet vs Spark SQL？

資深大佬 : leiuu 5

RT 。 后续可能想要做 hive 任务到 Spark 的迁移。 目前在这几个 API 中比较纠结。 想了解，一版生产这几个哪个用的多（在 etl 任务中），如果有好的生产模板推荐，那就更好的了。

大佬有話說 (11)

  • 資深大佬 : shuianfendi6

    DataFrame 吧，rdd 已经被取代了
    spark sql 写起来很爽，但是类型检查啥的都没，容易出错

  • 資深大佬 : liprais

    DataFrame vs DataSet vs Spark SQL
    这三个现在是一个东西
    没事别用 rdd

  • 主 資深大佬 : leiuu

    @shuianfendi6 rdd 可能一些较复杂的操作 还有一点用处

    @liprais 可否展开说说。具体语法上呢，倾向于直接写 sql 还是用 spark 的语法如 where 、groupBy 、join 等。

  • 資深大佬 : liprais

    @leiuu 你会哪个就用哪个呗
    这三个东西现在没有任何区别

  • 資深大佬 : hantsy

    ETL 只用过 Spring Batch

  • 主 資深大佬 : leiuu

    @liprais 明白。这个三种倒是上手都比较快。spark sql 因为和标准 sql 类似可能会简单些。其实是想了解这几种用法实际生产过程有没有一些问题。哪种更适合代替 hive 生产数据。当然原理上应该都是基于 rdd 实现。

  • 主 資深大佬 : leiuu

    @hantsy spring 竟然还有这 真全家桶

  • 資深大佬 : RudyGuo

    hive sql 和 Spark sql 语法基本一样

  • 資深大佬 : hantsy

    @leiuu Spring Batch 只作处理 ETL，不管数据的 Source，Sink 。

    现在的话，大数据服务应该考虑 Spring Cloud Data Flow，复杂处理流程有可视化 Web UI 支持，管理不同的数据来源，处理过程可以开发成 Severless 程序，动态安装和组装成流程。

  • 資深大佬 : hantsy

    Apache 上大数据方面比 Flink，Beam 没有用过，不过我一些经历，老外更喜欢是买背后商业公司的服务，开源项目支持力度实在不够。

  • 資深大佬 : Comdex

    一般写 SparkSQL， 业务逻辑复杂就上 DataFrame 加点 java 代码