【亿码酷站-编程开发教程】收集全网优质教程及源码资源!
全网优质软件开发、平面设计等教程及精品源码资源一站可得,www.ymkuzhan.com!
下面由Redis教程栏目给大家介绍关于Redis批量写入,希望对需要的朋友有所帮助!
最近测试redis性能,需要批量插入1千万条以上的数据,
就简单进行了研究,大概有以下几种方法:
一:java程序调用,简单的for循环,通过Jedis的方法,直接插入,
至于速度,不用看,不用试,根本不行,就不给实现了。
二:通过shell脚本,也比较简单,但也是因为要通过port端口的形式,
连接到redis,速度也是慢的不行,放弃。
三:通过redis提供管道,感觉这种方法是最靠谱的,一下是实现:
步骤1:首先简单写一个shell脚本:
for((i=1;i<=1000000;i++)) doecho "set k$i v$i" >> /tmp/_t.txt done
目的是生成一个用批量插入的脚本文件,
步骤2:这里linux或者windows上生成的文件不能直接当做redis语句来跑,
简单来说,就是因为linux,windows和dos的换行并不一样,
所以需要简单转换一下:
转换的方法有好多种:
1:一般Linux发行版中都带有这个小工具,只能把DOS转换为UNIX文件,命令如下:
# unix2dos dosfile.txt
上面的命令会去掉行尾的^M符号。(如果机器上没有安装nuix2dos,直接用方法2即可)
2:用vim,vim是vi的改进版本,使用方式:
#vim file.txt :set fileformat=dos ::wq
一行命令即可,保存退出,
步骤3:就是跑脚本了,通过redis提供的管道–pipe形式,
cat redisTest.txt | redis-cli -h reids.aliyuncs.com -p 6379 -a xxxx –pipe
三步即可,完成redis的批量插入,速度,在2000万条的情况下,生成脚本的速度稍慢,插入的速度还在几分钟,
速度可以说是非常快了~
关于Redis批量写入的介绍
—–文章转载自PHP中文网如有侵权请联系admin#tyuanma.cn删除
看看PHP 多进程处理任务
本文永久链接地址:https://www.ymkuzhan.com/1503.html