未分類
11 1 月 2021

有没有不使用框架的 go 语言写的爬虫例子？

有没有不使用框架的 go 语言写的爬虫例子？

資深大佬 : Nillouise 1

搜了一圈，基本都是用 colly 这样的框架写的爬虫，有没有不用框架写的爬虫 example?

最好有以下功能： 基本的频率控制， 基本的调度控制， seesion 的维护， xpath 的使用， 主流的 http 客户端的使用（不要像 java，python 那样多个 http 客户端 api，然后专门挑了个难用的出来）。

当然，功能不全也没关系，我可以自己加上。

大佬有話說 (11)

  • 資深大佬 : raaaaaar

    自己造一个

  • 主 資深大佬 : Nillouise

    @raaaaaar 在造了，不过先参考一下现成的

  • 資深大佬 : ArJun

    很多啊

  • 資深大佬 : wangbenjun5

    你去写一个，发现写完不就是另一个 colly 框架么？爬虫不就是那点东西，咋写都一样

  • 主 資深大佬 : Nillouise

    @wangbenjun5 代码量不一样呀，example 200 行代码，一个文件就搞定，我改也容易改呀

  • 資深大佬 : wangbenjun5

    @Nillouise 200 行哪能实现你说的那些功能。。。开玩笑

  • 資深大佬 : SingeeKing

    之前完全从 0 写过一个，除了没有用 xpath 而是用的 css 选择器外 lz 写的都实现了。看了下代码行数

    ——————————————————————————-
    Language files blank comment code
    ——————————————————————————-
    Go 471 19567 15804 158022
    Assembly 47 563 763 4605
    Markdown 29 855 0 2411
    Bourne Shell 8 108 349 676
    YAML 13 45 18 455
    XML 6 0 0 280
    TOML 4 32 4 102
    make 3 31 2 83
    C 2 14 30 44
    Dockerfile 1 1 0 10
    JSON 1 0 0 8
    ——————————————————————————-
    SUM: 585 21216 16970 166696
    ——————————————————————————-

  • 資深大佬 : SingeeKing

    抱歉发出来感觉不对看了下默认把 vendor 算进去了，排除掉是

    ——————————————————————————-
    Language files blank comment code
    ——————————————————————————-
    Go 47 641 244 2461
    XML 6 0 0 280
    Markdown 1 82 0 133
    Bourne Shell 2 19 0 60
    ——————————————————————————-
    SUM: 56 742 244 2934
    ——————————————————————————-

  • 資深大佬 : Zhancha

    我一直都是自己写的，用的是 fasthttp 还有解析库，遇到动态绑定的就使用 selenium 实现。

  • 主 資深大佬 : Nillouise

    @SingeeKing 你是实现了啥牛逼反爬功能？这代码量感觉跟基本的业务爬虫的量差好多

  • 資深大佬 : maocili

    https://github.com/maocili/Proxy/tree/master/spiderProject 自己之前练习写的，不知道算不算