孫笑川 大佬有话说 :
爬取某站自动上传到OneDrive并删除本地文件
本帖最后由 孫笑川 于 2021-1-31 00:45 编辑
爬取某站自动上传到OneDrive并删除本地文件
之前发的贴被版主删了还给了次警告,这次不说关键词了。:lol
本spider的缺点:
1.只支持新时代***、达盖尔**两个板块的图片
2.程序逻辑为下载上传上一个帖子之后才会处理下个帖子,速度比较慢。
3.没有内置会员账号,只能处理到第100页。
本spider的优点:
1.占用资源小,速度不够暴力,因此应该不会被封ip。也不会影响到服务器的其他任务。
2.全自动任务,上传完成后就会删除本地文件,对于小盘机也很友好。
3.没有了,本人python菜鸡。此脚本也是二开,原作者主页:https://github.com/scriptcoder1
1、授权认证
点击右侧URL登录并授权,授权地址:
【国际版、个人版(家庭版)】:https://login.microsoftonline.com/common/oauth2/v2.0/authorize?client_id=78d4dc35-7e46-42c6-9023-2d39314433a5&response_type=code&redirect_uri=http://localhost/onedrive-login&response_mode=query&scope=offline_access%20User.Read%20Files.ReadWrite.All
【中国版(世纪互联)】:https://login.chinacloudapi.cn/common/oauth2/v2.0/authorize?client_id=dfe36e60-6133-48cf-869f-4d15b8354769&response_type=code&redirect_uri=http://localhost/onedrive-login&response_mode=query&scope=offline_access%20User.Read%20Files.ReadWrite.All
授权后会获取一个localhost开头打不开的链接,这里复制好整个链接地址,包括localhost。
2、安装OneDriveUploader
#64位系统下载
wget https://raw.githubusercontent.com/MoeClub/OneList/master/OneDriveUploader/amd64/linux/OneDriveUploader -P /usr/local/bin/
#32位系统下载
wget https://raw.githubusercontent.com/MoeClub/OneList/master/OneDriveUploader/i386/linux/OneDriveUploader -P /usr/local/bin/
#arm架构下载
wget https://raw.githubusercontent.com/MoeClub/OneList/master/OneDriveUploader/arm/linux/OneDriveUploader -P /usr/local/bin/
#给予权限
chmod +x /usr/local/bin/OneDriveUploader
3、初始化配置
#国际版,将url换成你上面复制的授权地址,包括http://loaclhost。
OneDriveUploader -a "url"
#个人版(家庭版),将url换成你上面复制的授权地址,包括http://loaclhost。
OneDriveUploader -ms -a "url"
#中国版(世纪互联),将url换成你上面复制的授权地址,包括http://loaclhost。
OneDriveUploader -cn -a "url"
如果提示Init config file: /path/to/file/auth.json类似信息,则初始化成功。
4、上传spider到服务器
下载地址:https://fan.cowtransfer.com/s/8fca12f1d48e41
对了,大家应该都会使用screen之类的吧,这个就不写了。:lol
————————————————————————————————————————————
新增了自动跳过已上传文件的功能:
https://fan.cowtransfer.com/s/d08d5d7fcb874c
有时会遇到索引越界的问题,还没修。
wangjy 大佬有话说 :
:lol身体不好,告辞了
半世烟尘 大佬有话说 :
建议出个存在本地的我硬盘够大:lol
孫笑川 大佬有话说 :
wangjy 大佬有话说 : 2021-1-30 23:13
身体不好,告辞了
你在说什么,这是学习资料。:lol
369 大佬有话说 :
感谢分享~https://cdn.jsdelivr.net/gh/hishis/forum-master/public/images/patch.gif
cxuqry 大佬有话说 :
感谢分享,新玩法+1
孫笑川 大佬有话说 :
半世烟尘 大佬有话说 : 2021-1-30 23:14
建议出个存在本地的我硬盘够大
把脚本里的这行代码删除就可以不删除本地了。
shutil.rmtree(name)
燕十三丶 大佬有话说 :
单片小于5g的 djj 不想下:lol
孫笑川 大佬有话说 :
燕十三丶 大佬有话说 : 2021-1-30 23:16
单片小于5g的 djj 不想下
我这是闲着没事玩玩,不过这个是爬图片的。
我搜集影片也都是5g以上:lol
aipage 大佬有话说 :
有没有整理分类和车牌号?