未分類 27 4 月 2020 想找个爬虫高手学习下 想找个爬虫高手学习下 資深大佬 : huadaonan 67 主要目标是想学会爬 amazon,fb,淘宝,微博等大站,我觉得这几个站能搞定基本覆盖爬虫大部分知识了。有大神或者培训机构推荐吗。多谢 qq 805709000 大佬有話說 (35) 資深大佬 : 1992w 直接爬,遇到问题就解决问题。 主 資深大佬 : huadaonan 直接卡到 用 selenium + 代理模式也爬几条就封掉了 就没什么好办法了 資深大佬 : linbingqinag GitHub 上可以看看,有很多实现 資深大佬 : murmur 爬虫都是小事,反扒那是个人吃饭的东西别人怎么会给你,一个淘宝就是顶级难度了还加了个等。。 主 資深大佬 : huadaonan 嗯 加一条 可以付费的 資深大佬 : ccoming 我觉得爬完淘宝,其他都不是事儿。 虽然我是瞎说的,哈哈哈。 資深大佬 : jdgui 爬虫高手你估计得在监狱里面找 資深大佬 : matepi 有好的成套解决方案的,早就按服务 /次数 /条数收费了拿可收费的吃饭工具出来卖的,说明问题还不少,要么就是直接吃饭风险太大,只卖个工具风险分散点 資深大佬 : mmqc 爬虫写得好,牢饭吃到老 資深大佬 : shimengren 借,有没有 python 学习群呀,想加入学习下哈哈 資深大佬 : ClericPy 0. 想学爬虫, 爬淘宝吧1. 反爬太猛了, 好像 App 能爬2. 呀, 不是明文 HTTP 的3. 反编译看看 Java 源码4. 威武威武威武威武….. 資深大佬 : sprit 坐牢的那种 資深大佬 : linglongll 最近在拿 puppeteer 爬一点 ins 的图 发现这种模拟浏览器的模式很棒 不知道 tb 对这个反爬做了什么拦截么 没动过 也不敢动。。。 資深大佬 : Tn5ohB1Yecdk3qCK 高手在牢里呢 資深大佬 : zdnyp 爬虫要学的太多了,培训班教的都是基础,找本书入门都比培训班强… 資深大佬 : fancy111 淘宝做得不错,主要是价格难爬。目前只找到两种方法。 資深大佬 : kevinmissu 建议你先开始爬淘宝 然后你会发现 我特么是脑袋抽风要来学爬虫?劝退利器 資深大佬 : tomczhen 正常用户浏览淘宝速度快点都能触发反爬,说简单的自己有没有实践过爬多点商品的? 資深大佬 : ShundL 牢里 爬虫、外挂,攻击都就学会了 資深大佬 : liuxu 淘宝正常浏览宝贝都能触发验证码,还是无限那种 資深大佬 : scyangjian 17L+1淘宝太凶残了 資深大佬 : yumenlong 我在爬淘宝,来吧,只有 app 一条路。 資深大佬 : VermouthcZzz 面向监狱编程 資深大佬 : Vhc001 1、从未爬过淘宝。2、正常淘宝购物都被识别为爬虫的我迫不得已只能注册了京东账号。3、京东电脑网页版登陆,验证码滑块划了十分钟几百次还是验证不通过,被迫下载京东 app 扫码才能登陆。 我太难了 資深大佬 : XavierXJ 这样一种思路:让软件模拟鼠标点击,截图桌面分析文字和图片,想要多线程的话,浏览器多开,开虚拟机 資深大佬 : no1xsyzy @XavierXJ 最后三个分句铁定没了分析鼠标路径已经是至少 5 年前的技术了,鼠标疯狂瞬移直接拜拜 資深大佬 : Eugene1024 随便学下法律 資深大佬 : explorerEX @fancy111 哪两种方法 能提示下吗 資深大佬 : wersonliu9527 如果数据量不是太多,几个月前用过一种方法爬淘宝. 命令行开启一个 谷歌浏览器指定端口,再登录个小号,然后 selenium 去对接这个端口可以爬几十页.不知道现在还行不行0.0 資深大佬 : Mavious 咸鱼(搭配手机浏览器)和淘宝 PC 端,人肉浏览都经常蹦滑动验证码,用鼠标去滑老是失败(我明明滑到底了)。你看正常用户都经常失败,那爬虫的难度真是不可想象…… 資深大佬 : RSDTE 爬了淘宝, 能下单的那种.. . 資深大佬 : Iamnotfish 降低点难度,先从微博开始爬。现成可用的代码也很多,推荐一个项目 weibospider 資深大佬 : cepczkd 哈哈哈,你来我这干活啊,靠抓 amz、fb、aliexpress、ebay……吃饭的公司 主 資深大佬 : huadaonan @cepczkd 可以啊。我是自带专家级别 dba 技能 主 資深大佬 : huadaonan 多谢大家踊跃出谋划策,我会阶段性汇报学爬虫的进展。我觉得可能还是做专项分析靠谱,针对问题找大家咨询。群策群力还是好