孫笑川 大佬有话说 :
爬取某站自动上传到OneDrive并删除本地文件
本帖最后由 孫笑川 于 2021-1-31 00:45 编辑
爬取某站自动上传到OneDrive并删除本地文件
之前发的贴被版主删了还给了次警告，这次不说关键词了。:lol
本spider的缺点：
1.只支持新时代***、达盖尔**两个板块的图片
2.程序逻辑为下载上传上一个帖子之后才会处理下个帖子，速度比较慢。
3.没有内置会员账号，只能处理到第100页。
本spider的优点：
1.占用资源小，速度不够暴力，因此应该不会被封ip。也不会影响到服务器的其他任务。
2.全自动任务，上传完成后就会删除本地文件，对于小盘机也很友好。
3.没有了，本人python菜鸡。此脚本也是二开，原作者主页：https://github.com/scriptcoder1
1、授权认证
点击右侧URL登录并授权，授权地址:
【国际版、个人版(家庭版)】:https://login.microsoftonline.com/common/oauth2/v2.0/authorize?client_id=78d4dc35-7e46-42c6-9023-2d39314433a5&response_type=code&redirect_uri=http://localhost/onedrive-login&response_mode=query&scope=offline_access%20User.Read%20Files.ReadWrite.All
【中国版(世纪互联)】:https://login.chinacloudapi.cn/common/oauth2/v2.0/authorize?client_id=dfe36e60-6133-48cf-869f-4d15b8354769&response_type=code&redirect_uri=http://localhost/onedrive-login&response_mode=query&scope=offline_access%20User.Read%20Files.ReadWrite.All
授权后会获取一个localhost开头打不开的链接，这里复制好整个链接地址，包括localhost。
2、安装OneDriveUploader
#64位系统下载
wget https://raw.githubusercontent.com/MoeClub/OneList/master/OneDriveUploader/amd64/linux/OneDriveUploader -P /usr/local/bin/
#32位系统下载
wget https://raw.githubusercontent.com/MoeClub/OneList/master/OneDriveUploader/i386/linux/OneDriveUploader -P /usr/local/bin/
#arm架构下载
wget https://raw.githubusercontent.com/MoeClub/OneList/master/OneDriveUploader/arm/linux/OneDriveUploader -P /usr/local/bin/
#给予权限
chmod +x /usr/local/bin/OneDriveUploader
3、初始化配置
#国际版，将url换成你上面复制的授权地址，包括http://loaclhost。
OneDriveUploader -a "url"
#个人版(家庭版)，将url换成你上面复制的授权地址，包括http://loaclhost。
OneDriveUploader -ms -a "url"
#中国版(世纪互联)，将url换成你上面复制的授权地址，包括http://loaclhost。
OneDriveUploader -cn -a "url"
如果提示Init config file: /path/to/file/auth.json类似信息，则初始化成功。
4、上传spider到服务器
下载地址：https://fan.cowtransfer.com/s/8fca12f1d48e41
对了，大家应该都会使用screen之类的吧，这个就不写了。:lol
————————————————————————————————————————————
新增了自动跳过已上传文件的功能：
https://fan.cowtransfer.com/s/d08d5d7fcb874c
有时会遇到索引越界的问题，还没修。
wangjy 大佬有话说 :
:lol身体不好，告辞了
半世烟尘 大佬有话说 :
建议出个存在本地的我硬盘够大:lol
孫笑川 大佬有话说 :
wangjy 大佬有话说 : 2021-1-30 23:13
身体不好，告辞了
你在说什么，这是学习资料。:lol
369 大佬有话说 :
感谢分享~https://cdn.jsdelivr.net/gh/hishis/forum-master/public/images/patch.gif
cxuqry 大佬有话说 :
感谢分享，新玩法+1
孫笑川 大佬有话说 :
半世烟尘 大佬有话说 : 2021-1-30 23:14
建议出个存在本地的我硬盘够大
把脚本里的这行代码删除就可以不删除本地了。
shutil.rmtree(name)
燕十三丶 大佬有话说 :
单片小于5g的 djj 不想下:lol
孫笑川 大佬有话说 :
燕十三丶 大佬有话说 : 2021-1-30 23:16
单片小于5g的 djj 不想下
我这是闲着没事玩玩，不过这个是爬图片的。
我搜集影片也都是5g以上:lol
aipage 大佬有话说 :
有没有整理分类和车牌号？