跳至主要內容
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?

4563博客

全新的繁體中文 WordPress 網站
  • 首頁
  • 加快 mysql 插入速度有哪些方式呢
未分類
28 12 月 2020

加快 mysql 插入速度有哪些方式呢

加快 mysql 插入速度有哪些方式呢

資深大佬 : caiji11 8

  • 最近用 java 做了一个小工具 可以向 mysql 插入大量插入随机数据 可是效率有点低
    之前想过生成随机数据后 写到 txt 文本 再读到 数据库 但这需要 mysql 开启读文本的权限
    想知道有其他方式优化插入速度么
大佬有話說 (28)

  • 資深大佬 : xuanbg

    主批量插入了解一下

  • 資深大佬 : LGA1150

    是自增主键吗?

  • 主 資深大佬 : caiji11

    @LGA1150 对的 有啥好的想法么

  • 主 資深大佬 : caiji11

    @xuanbg 这样 value 后面拼接太多的话 也需要 去设置下 mysql 感觉别人用了工具 可能不知道要设置

  • 資深大佬 : clrss

    server 端 prepare stmt 用了么

  • 資深大佬 : ericbize

    lz 是单次插入单条吗?

  • 資深大佬 : ZXCDFGTYU

    数据如果不重要的话可以把表结构设计为 memory,然后 insert 的时候,可以拼接多个 value,但是不要拼接太多

  • 資深大佬 : johnsona

    九浅一深

  • 資深大佬 : opengps

    机械硬盘的话,换成 ssd 硬盘
    单条单次写入的话,改为多次批量写入
    写入随机时候,保持聚集索引列是递增状态的

  • 資深大佬 : wellsc

    换 myrocks 引擎,插入贼快,查找就有点捉急

  • 資深大佬 : limuyan44

    只是生成随机数据还有比存储过程快的吗

  • 主 資深大佬 : caiji11

    @clrss 没有 这个对 效率影响很大么 用 jdbc 简单的 insert 不过 刚才试了下批量插入 作用好像不是很明显

  • 資深大佬 : wowo243

    @caiji11 好像连接的 jdbc url 里要加个配置,批量插曲是比单条快不少的

  • 主 資深大佬 : caiji11

    @opengps 嗯嗯 自己可以这么做 我想做成开源的工具

  • 主 資深大佬 : caiji11

    @wowo243 rewriteBatchedStatements=true 这个吧 有点作用 快了三秒

  • 主 資深大佬 : caiji11

    @wellsc 谢谢啦 知道个新的引擎 不过我想做成开源的工具 想从 sql 入手

  • 主 資深大佬 : caiji11

    @ericbize 已经改成了拼接的方式

  • 主 資深大佬 : caiji11

    @limuyan44 没懂啥意思 可以再说下么

  • 資深大佬 : ericls

    去掉 constraint 和 index

  • 資深大佬 : foam

    @caiji11 他的意思是,你直接在存储过程里写随机值插数据。我没用过,对该方法不表态。

    另外,如果用的是 inodb,插入前可以将 innodb_flush_log_at_trx_commit 设置为 0,保证最快插入,处理完再设置回去(默认值是 1)。该参数为 0 时表示每次事务(注意每次插入就是一次事务的提交)写到 buffer 后就返回了,会有个线程异步去刷到日志和落磁盘。而 1 则落到磁盘才返回。

  • 資深大佬 : haosamax

    change buffer

  • 資深大佬 : OldCarMan

    @caiji11 个人猜测 上说的存储过程应该是类似这个( https://zhuanlan.zhihu.com/p/62626328 )的意思,不知道是不是你想要的。另外,自增主键存储过程中可以用 AUTO_INCREMENT,其他字段也想自增的话,可以使用序列。

  • 資深大佬 : YouLMAO

    购买 spanner, 全球三地三中心三活

  • 主 資深大佬 : caiji11

    @OldCarMan 我不是这样的 我用 java 做好逻辑判断之后拼接存入 因为日期处理 有点复杂 不过我发我的逻辑代码运行时间过长 也是问题

  • 資深大佬 : OldCarMan

    @caiji11 我好奇,你用 java 这种方式批量导入随机数据的耗时是怎么样,我用我上面贴的例子,批量导入 20 万条(表结构 user(id,name,age))数据到我电脑虚拟机 mysql 容器花了 44 秒左右。

  • 主 資深大佬 : caiji11

    @OldCarMan 很慢的 没有这么快 逻辑处理要耗费很多时间 做到可以自定义日期范围 以及一个表中几个日期之间的关系 如果没有自定义生成的话 出来的数据也不能用 主要考虑到这 所以没有用存储过程 用 go 会不会快些呢 哈哈

  • 主 資深大佬 : caiji11

    @OldCarMan https://github.com/fcdml/MOCKSQL 工具地址 可以看看具体的实现

  • 資深大佬 : OldCarMan

    @caiji11 嗯嗯,不过个人觉得如果只是想控制时间的范围,用存储过程也是可以实现的。比如使用 mysql 自带函数 DATE_ADD(date,INTERVAL expr type)之类的结合随机数函数生成一定范围的随机时间。

文章導覽

上一篇文章
下一篇文章

AD

其他操作

  • 登入
  • 訂閱網站內容的資訊提供
  • 訂閱留言的資訊提供
  • WordPress.org 台灣繁體中文

51la

4563博客

全新的繁體中文 WordPress 網站
返回頂端
本站採用 WordPress 建置 | 佈景主題採用 GretaThemes 所設計的 Memory
4563博客
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?
在這裡新增小工具