未分類
1 4 月 2021

请问有没有什么规范的中小型 Python 爬虫项目可供参考？

请问有没有什么规范的中小型 Python 爬虫项目可供参考？

資深大佬 : Phishion 0

之前一个爬虫 1000 多行全写在一个文件里，这个东西已经毫无维护性了，所以，我想重构一下

爬的是 API，但是有蛮多定制功能的

重构的话，我想这个项目应该包含单元测试，有完整的日志记录，解析模块，下载模块，调度器什么的都分开

我看了几个例子，有面向对象做的，也有全部都是函数的，我问问大伙儿有没有比较规范的样本，但是也不要是什么庞然大物，毕竟本身也不是什么大的项目，我也学习学习，谢谢大家了！

大佬有話說 (10)

  • 資深大佬 : b29107b

    github

  • 資深大佬 : learningman

    scrpy 的文档

  • 資深大佬 : learningman

    调 API 不叫爬虫吧，你可以用 metaclass 弄个 wrapper 出来

  • 資深大佬 : triangle111

    mark，做完后看看有没有得白嫖的

  • 資深大佬 : CoCoMcRee

    找个 scrpy 教程看下, 基本就是当下主流爬虫的做法了.

  • 資深大佬 : hunk

    还是自己写吧，现成的框架或多或少都有限制，走了一圈发现，还是自己写。
    另外，前一段，单独把抓取这块改成 go 了，用协程爽歪歪。

  • 資深大佬 : ClericPy

    这么多人说 scrpy, 看来真不是 scrcpy 和 Scrapy…

  • 資深大佬 : hanssx

    @ClericPy 整得我以为真有 scrpy，还去搜了下。。

  • 資深大佬 : ClericPy

    @hanssx a … 我当时搜 Github scrpy 还真搜到个以为就是它, 好吧我错了. 这单词用拼音打出来正好是四川人朋友…

  • 資深大佬 : HankLu

    爬虫写得好，牢饭吃到饱