未分類
9 2 月 2021

爬虫工程师想转中间件研发或者数据库研发

爬虫工程师想转中间件研发或者数据库研发

資深大佬 : vansenb 3

大约有 3 年爬虫工作经验，垂直领域的采集架构、逆向、智能提取算法都还可以，基本处于中上水平。不过感觉后续没有太大进步空间，考虑转向中间件研发或者数据库研发。看过一些消息中间件（例如 KAFKA 、RabbitMQ 、Plusar ）方面的书和源码解读文章，也看过一些单机存储引擎 /模型（ Bitcask 、LevelDB 、RocksDB ）方面的文章和源码。

Python 比较熟悉；会一些 Golang，能够写 Web 服务，基本操作没有问题。但自己比较倾向于 Rust，正在学习（零散学习了可能有 3 、4 个月）。期望 Rust 能作为自己的主力开发语言。

有没有已经在这两个岗位上的同志现身说法，说说岗位的真实技术要求和工作内容。

大佬有話說 (11)

  • 資深大佬 : johnsona

    买霸王防脱就是干

  • 主 資深大佬 : vansenb

    @johnsona 逆向的话，深入下去就是信息安全，确实脱发。不过我不考虑逆向，一方面是快要 30 岁了，没法跟小年轻一样硬钢，熬工作伤身；另一方面思路跟不上，不适合深入逆向，况且兴趣也不在那。对数据库和中间件是有挺大兴趣的，bitcask 存储模型我用 Python 实现了一份，挺简单的。后续应该会用 Rust 写一个分布式的 KV 存储引擎。

  • 資深大佬 : arloor

    开始面试就行了

  • 資深大佬 : kksco

    老哥加个微信，一起交流 MTMxNzM2ODAwMTg=

  • 主 資深大佬 : vansenb

    @kksco 大哥，你想交流啥

  • 資深大佬 : liyuanzao

    @vansenb 接私单吗？

  • 資深大佬 : tuoov

    能给刚入门的菜鸟点建议吗？爬虫发展方向之类的？

  • 資深大佬 : NoBugDie

    base 哪里？有兴趣来我司试试嘛？时序数据库开发

  • 主 資深大佬 : vansenb

    @liyuanzao 虽然还在做着，但我一般对外都说不接。实际上是少于 10w 的一般都不接，都介绍给别人。

  • 主 資深大佬 : vansenb

    @NoBugDie 我在北京，丰台科技园。时序数据库引擎我看过一些介绍，好像可以基于 KV 存储构建查询引擎。

  • 主 資深大佬 : vansenb

    @tuoov 爬虫的发展方向可以看我在图灵和其它厂技术社区的直播回放，有专门讲爬虫工程师发展方向和行业生态的。网上搜一下我名字（韦世东），应该可以找到相关视频