详解MySQL如何按表创建千万级的压测数据

2020/03 作者:ihunter 0 0

概述

有时我们要对系统做压测,或者数据库压力测试,这时候需要对某些表插入几百万或者上千万数据,下面介绍下怎么利用MySQL循环和存储过程对特定表的创建千万行数据。


1、准备测试表

CREATE TABLE `username` (
	`uid` INT( 11 ) UNSIGNED NOT NULL default 1235678901,
	`username` VARCHAR( 20 ) ,
	`email` VARCHAR( 30 ) ,
	`password` VARCHAR( 32 ) ,
	`birthday` date,
	`gender` VARCHAR(10) ,
	avatar MEDIUMBLOB,
	PRIMARY KEY ( `uid` )
) ENGINE = INNODB DEFAULT CHARSET=utf8;

2、随机生成数据

MySQL里面自带一个随机数生成的函数RAND(),它能生成0-1的浮点数

RAND函数生成随机数:

详解MySQL如何按表创建千万级的压测数据



3、随机生成给定数目的字符串

这里用mysql循环,循环采用WHILE循环,循环里面采用字符串拼接函数CONCAT

SET GLOBAL log_bin_trust_function_creators = 1; 
CREATE DEFINER = `root` @`%` FUNCTION `rand_string` ( n INT ) RETURNS VARCHAR ( 255 ) CHARSET utf8 BEGIN
	DECLARE
		chars_str VARCHAR ( 100 ) DEFAULT 'hwbtestABCDEFG23141HIJ6712dfghjkqwevbnqmwerqwerqwreqw214123e1214c12dssaf89';
	DECLARE
		return_str VARCHAR ( 255 ) DEFAULT '';
	DECLARE
		i INT DEFAULT 0;
	WHILE
			i < n DO
			
			SET return_str = concat( return_str, substring( chars_str, FLOOR( 1 + RAND( ) * 80 ), 1 ) );
		
		SET i = i + 1;
		
	END WHILE;
RETURN return_str;
END;

详解MySQL如何按表创建千万级的压测数据


用户名和密码都可以通过以上的方式添加

邮箱的添加方式:可直接在insert的value对应字段写上concat(rand_string(5), '@qq.com')


4、随机生成DATE和DATETIME类型

4.1、DATE类型

CREATE DEFINER = `root` @`%` FUNCTION `randDate` ( ) RETURNS VARCHAR ( 255 ) CHARSET utf8 BEGIN
	DECLARE
		aDate CHAR ( 10 ) DEFAULT '';
/*CONCAT (1949 + FLOOR( ( RAND( ) * 70 ) ) 表示 1949到2019的随机数据 
	--L PAD ( FLOOR( 1 + ( RAND( ) * 12 ) ), 2, 0 ) 表示月份的生成,小于 10自动补0 
	--L PAD ( FLOOR( 3 + ( RAND( ) * 8 ) ), 2, 0 ) ) 表示 3号到10号的随机数据 */
	
	SET aDate = CONCAT(
		1949 + FLOOR( ( RAND( ) * 70 ) ),
		'-',
		LPAD( FLOOR( 1 + ( RAND( ) * 12 ) ), 2, 0 ),
		'-',
		LPAD( FLOOR( 3 + ( RAND( ) * 8 ) ), 2, 0 ) 
	);
RETURN aDate;
END;

详解MySQL如何按表创建千万级的压测数据


关于LPAD函数,具体做为月份和日期的补零作用!生效如下介绍

Returns the string str:str, left-padded with the string padstr to a length of len characters. 
If str is longer than len:N, the return value is shortened to len characters.
mysql> SELECT LPAD('hi',4,'??');
-> '??hi'
mysql> SELECT LPAD('hi',1,'??');
-> 'h'

4.2、DATETIME类型
在刚刚写好的randDate上进行改造:

CREATE DEFINER = `root` @`%` FUNCTION `randDateTime` ( ) RETURNS VARCHAR ( 255 ) CHARSET utf8 BEGIN
	DECLARE
		aDateTime CHAR ( 19 ) DEFAULT '';
	
	SET aDateTime = CONCAT(
		CONCAT(
			1949 + FLOOR( ( RAND( ) * 70 ) ),
			'-',
			LPAD( FLOOR( 1 + ( RAND( ) * 12 ) ), 2, 0 ),
			'-',
			LPAD( FLOOR( 3 + ( RAND( ) * 8 ) ), 2, 0 ) 
		),
		' ',
		CONCAT(
			LPAD( FLOOR( 0 + ( RAND( ) * 23 ) ), 2, 0 ),
			':',
			LPAD( FLOOR( 0 + ( RAND( ) * 60 ) ), 2, 0 ),
			':',
			LPAD( FLOOR( 0 + ( RAND( ) * 60 ) ), 2, 0 ) 
		) 
	);
RETURN aDateTime;
END;

5、将数据循环插入

定义将数据循环的存储过程:

DELIMITER //
CREATE PROCEDURE insertUser ( ) 
BEGIN
	DECLARE
		num INT;
	
	SET num = 1;
	WHILE
			num < 100000 DO
			INSERT INTO username ( uid,username, email, PASSWORD, birthday, gender, avatar )
		VALUES
			( num,
				rand_string ( 15 ),
				concat( rand_string ( 5 ), '@qq.com' ),
				rand_string ( 32 ),
				randDate ( ),
				'男',
			NULL 
			);
		
		SET num = num + 1;
		
	END WHILE;
	commit;
END;
//

调用存储过程:

 CALL insertUser;


赞(0) 更多分享

上篇: 介绍Kali Linux 上最好用的黑客渗透工具第一部分
下篇: 高并发性能测试,it人员必备技能