跳至主要內容
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?

4563博客

全新的繁體中文 WordPress 網站
  • 首頁
  • PHP 爬虫如何降低 cpu 占用,其实只用到一个函数 getimagesize
未分類
19 5 月 2020

PHP 爬虫如何降低 cpu 占用,其实只用到一个函数 getimagesize

PHP 爬虫如何降低 cpu 占用,其实只用到一个函数 getimagesize

資深大佬 : pinews 1

如果是 1920×1080 的图片就存下就算 md5,不过 40%不符合要求,49%图片不存在。
现在似乎是 cpu 到顶了,10%的 cpu 一般在 7%。
大佬有話說 (11)

  • 資深大佬 : RihcardLu

    不要用库去获取,换系统命令或者 ffmpeg

  • 資深大佬 : vus520

    这个 CPU 也不算高,兄弟。

  • 資深大佬 : z5864703

    其实主应该想说提高效率吧,爬的太慢处理的太慢

  • 主 資深大佬 : pinews

    @z5864703 是的,

  • 資深大佬 : vibbow

    试试用 imagick
    https://www.php.net/manual/zh/imagick.getimagesize.php

  • 資深大佬 : hefish

    别是没爬到本地,而是在线获取图片然后 md5 哒。。。

  • 資深大佬 : PHPJit

    协程

  • 資深大佬 : liuguang

    php 是单线程的,有可能是 CPU 在下载的时候,等待 io 导致 CPU 占用高(猜测),也许可以用其它语言编写一个异步 io 的程序,说不定 CPU 就可以降不少,当然这只是猜测。到底是等待 io 造成的 CPU 占用多,还是计算图片大小,计算 md5 造成的 CPU 占用高,这个需要实际测一下才知道。

  • 主 資深大佬 : pinews

    @hefish 就是啊,下载到本地还要删除,麻烦,需要计算 md5 的机会很少。

  • 主 資深大佬 : pinews

    @liuguang io 不高的,ssd,文档说有 320,控制面板检测到的只有 2/秒
    @vibbow 好的 我试试

  • 主 資深大佬 : pinews

    不过磁盘使用率是

    Maximum 34.80 %
    Maximum mntresource 5.97 %

    不知道是什么意思?会不会这上面被限制了?

文章導覽

上一篇文章
下一篇文章

AD

其他操作

  • 登入
  • 訂閱網站內容的資訊提供
  • 訂閱留言的資訊提供
  • WordPress.org 台灣繁體中文

51la

4563博客

全新的繁體中文 WordPress 網站
返回頂端
本站採用 WordPress 建置 | 佈景主題採用 GretaThemes 所設計的 Memory
4563博客
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?
在這裡新增小工具