mikasa 大佬有话说 :
想问一下大家平常爬各种网站用什么工具
本帖最后由 mikasa 于 2021-12-15 23:09 编辑
经常看到论坛里帖子说爬图片、爬文章什么的，请问都是用的什么工具呢？还是说自己写爬虫？写爬虫的话是全手撸代码还是用到xx框架呢？如果碰到反爬虫限制（比如说限制了每个IP每分钟只能请求xx次）那么该怎么绕过呢？
southsao 大佬有话说 :
涉及到盲区了，楼下上
烟雨a 大佬有话说 :
用python的比较多
mikasa 大佬有话说 :
烟雨a 大佬有话说 : 2021-12-15 23:09
用python的比较多
代码全自己手撸吗？还是用xx框架什么的
烟雨a 大佬有话说 :
mikasa 大佬有话说 : 2021-12-15 23:13
代码全自己手撸吗？还是用xx框架什么的
会引用一些python库，代码也需要自己撸的
Salta 大佬有话说 :
一般都是python，可能需要一些库啥的 去学一下你就知道了
mikasa 大佬有话说 :
Salta 大佬有话说 : 2021-12-15 23:27
一般都是python，可能需要一些库啥的 去学一下你就知道了
用得到scrapy吗？如果要爬大站的话
jzelynn 大佬有话说 :
撸代码，限制IP可以ip代理池
yy10112001 大佬有话说 :
大站用scrapy。
小站用aiohttp就够了。
我是习惯连大站都只用aiohttp。
mikasa 大佬有话说 :
jzelynn 大佬有话说 : 2021-12-15 23:28
撸代码，限制IP可以ip代理池
感谢，收费代理池一般用哪些啊？