Future 多线程用 urllib 抓取的优化
資深大佬 : hunk 3
exsi 虚拟机分配 8 核 cpu，8G 内存。
Future 使用 8 线程，50 多万条链接，有些无效链接。
一下子添加任务，运行一段时间后会被因内存不足被杀死，无奈只好每隔 0.3 秒添加一个任务。
请问还有啥办法好优化提高速度不？
Future 使用 8 线程，50 多万条链接，有些无效链接。
一下子添加任务，运行一段时间后会被因内存不足被杀死，无奈只好每隔 0.3 秒添加一个任务。
请问还有啥办法好优化提高速度不？
大佬有話說 (1)