大数据经验咨询

• 資深大佬 : mwcodenoname

  每次传输数据量有多大？数据存储周期有多长？分析数据需要的查询返回时间是多少？这些都要确定一下。
  比较常用的方案就是 hadoop+hive+spark 这种。

• 資深大佬 : czfy

  这..真的有可能自己做成吗
  感觉这种招人也没办法招，因为没有人懂，所以很难判断招来的人是否靠谱
  相对来说最可能的就是找供应商了

• 主 資深大佬 : JellyDong

  @mwcodenoname
  传输每次大概 1M 左右吧，周期的话我们现在是放到消息队列，然后去消费的。

• 主 資深大佬 : JellyDong

  @czfy 应该是不会找供应商的…可以找培训，后续我们自己做…

• 資深大佬 : levelworm

  你这个项目不小啊。。。假设五百台，一秒 1MB，一秒就是 0.5GB 。一分钟 30GB，一小时 1.8TB ，一天就是 43TB 。好想做这种项目啊。。。这个规模的数据肯定 Hadoop 跑不了了，其他的我也不懂。。。

• 資深大佬 : czfy

  @JellyDong 如果你觉得这是培训可以解决的问题..只能祝你好运

• 資深大佬 : levelworm

  @czfy 感觉这种项目经验很宝贵，的确很有意思。。。

• 資深大佬 : czfy

  @levelworm 我是在专门做大数据方面解决方案的公司，不是研发侧，但从我日常和客户以及内部沟通的情况来看，从 0 开始做这件事情，基本很难

• 資深大佬 : levelworm

  @czfy 我觉得也是，完全没经验的话，靠培训我觉得不是很乐观，即使是有开发经验（但是没有大数据开发经验的），因为大数据环境下很多坑都是新的，而且大概率每个坑很贵，无论是上云还是本地。我们公司是做手游的，数据量也不小，得有一整个团队来支撑。

• 資深大佬 : mwcodenoname

  @levelworm 这个规模存 hadoop，然后跑 hive 做离线分析应该是没啥问题的，不过集群规模要比较大了，没有团队和有经验的确实维护不动

• 資深大佬 : levelworm

  @mwcodenoname 如果要在线分析的话估计得 Spark 之类的？其实真的好想从头做这么一个项目。。。
• 主 資深大佬 : JellyDong

  @levelworm
  @czfy
  @mwcodenoname
  现在这个项目类似于怎么说呢，科研？对于客户的话也是合作伙伴，是打算一起从头搞的。也可能会考虑找解决方案公司搭建好环境框架，然后后续我们自己维护

• 資深大佬 : mwcodenoname

  @levelworm 传统方案一般要做实时分析就是 spark 、flink 这种计算和 hbase 组合吧，不过最近 clickhouse 也很火，这个我就不熟悉了，这种项目光机器成本就不是一般能承受的了的

• 資深大佬 : IceMimosa

  1. 数据接收模块：多节点，可以自己写个 web 程序，简单处理下数据和规范格式，然后将数据以日志的方式落地。
  2. 日志收集模块：简单点可以用 flume 收集日志，然后发到 kafka
  3. kafka 消费模块：用 sparkstreaming，flink 之类的处理框架，将数据落到 hive 中（ hdfs ）
  4. 离线处理：然后起离线任务去处理，可以用 spark，hive 之类的。后面就是数仓干的一些活，每天定时任务可以用 airflow 之类的进行调度。
  5. 数据展示模块：将每天调度出来的统计数据，通过 spark 或者 sqoop 之类的导出的关系型数据库，或者干脆直接上 olap 框架。最后对接一些 bi 系统，比如 metabase，superset 等。

  总之里面技术比较杂乱，还得考虑每个技术版本的兼容性问题。整个环境搭建起来也挺费事的，当然也有整体的解决方案比如 cdh，hdp 之类的。

  相关课程的话，B 站应该有培训的视频，涉及面挺广的，不过学习周期就特别长了。。最好还是有个经验的人带着搞，不然到处都是坑

• 資深大佬 : ward56

  有幸参与过联通的 Hadoop 大数据，主要存储 GB 以上的数据包,不到半年几十 PB 。
  hadoop 适合存储《大》数据，一次写入多次读取，你的数据真的很大吗？
  从你目前提供的一点信息来看，你的案例比较适合 ES 框架，至于组件用什么，你得再根据自己具体业务选型。

• 主 資深大佬 : JellyDong

  @IceMimosa 是的 现在是想找那么个人带带，先入门

• 資深大佬 : min

  你这数据量不小了，先要把打算怎么分析这些数据搞得清清楚楚，根据分析使用数据的场景再出架构

• 資深大佬 : masterclock

  主业就是这方面的东西，说实话公司从 0 做起难度太大，意义也不大，除非是要做这个行业了。
  1. 搞定这几百台各种各样设备的数据采集：各种 PLC 、Modbus 、OPC-UA 、哑设备？
  2. 考虑网络连接等：以太网、无线、EtherCat 、Ethernet/IP ？
  2. 打通企业现有的信息化系统、MES 、ERP ？
  2. 理解数据，建立模型：谁来建模、谁来分析？
  2. 考虑系统给谁用的，结果是给谁看的：老板、主管、技术人员 ？

• 主 資深大佬 : JellyDong

  @masterclock
  可能后续会单独有一批人搞这个的，公司性质本来是产不多算科研性质吧，出了客户外还是有经费的…
  不需要打通企业其他的信息化系统，后面的 确实是问题….

• 資深大佬 : Chenamy2017

  我们项目两人，然后领导经常嚷着要大数据，看到上涉及面很广呀，我也是够了。

• 主 資深大佬 : JellyDong

  @Chenamy2017
  hah…