Python Faker自带企业名称的测试脚本（函数名company())，该脚本仅能生成约1千条不到的不重复企业名称，由于测试需要约1000万不重复的企业名称，故对该脚本进行重新修改，修改后的Faker在Python版本3.7，使用datafaker执行导入mysql数据库生成1000万测试数据约2w重复，重复率在0.1%。该脚本替换位于Faker-2.0.2-py3.7.egg\faker\providers\company\zh_CN目录下同名文件即可。
datafaker说明地址：https://www.jianshu.com/p/9034fe2156ea
这个工具也是调用Faker来生成测试数据的。
2022-05-13 16:11:55
35KB
1
50000000(五千万)以内质数(素数)3001134(约三百万)个，普通pc演算(i7处理器)#质数#素数#合数
2022-05-04 16:26:19
4.93MB
1
Python导数据的时候，需要在一个大表上读取很大的结果集。
如果用传统的方法，Python的内存会爆掉，传统的读取方式默认在内存里缓存下所有行然后再处理，内存容易溢出
解决的方法：
1）使用SSCursor(流式游标)，避免客户端占用大量内存。(这个cursor实际上没有缓存下来任何数据，它不会读取所有所有到内存中，它的做法是从储存块中读取记录，并且一条一条返回给你。)
2）使用迭代器而不用fetchall,即省内存又能很快拿到数据。
import MySQLdb.cursors
conn = MySQLdb.connect(host='ip\u5730\u5740', user='\u7528\u6237\u540d', passwd=
2022-03-22 16:23:14
52KB
1
需求：随着数据量的增加单表已经不能很好的支持业务，千万级别数据查询缓慢
Mysql数据优化方案：
方案一：使用myisam进行水平分表优化
方案二：使用mysql分区优化
一：Myisam水平分区
1、创建水平分表 user_1:
-- 创建水平分表
create table user_1(
id varchar(50) PRIMARY key COMMENT '主键id',
user_name varchar(50) DEFAULT null COMMENT '用户名称',
creator varchar(50) DEFAULT null COMMENT '创建者',
crea
2022-03-18 09:30:04
72KB
1
总数：10088608
0-1000000开始内存: 375.77 KB
0-1000000百万耗时：
10.534
0-1000000结束内存: 1.93 MB 1000000-2000000开始内存: 1.93 MB
1000000-2000000百万耗时：
10.519
1000000-2000000结束内存: 1.98 MB 2000000-3000000开始内存: 1.98 MB
2000000-3000000百万耗时：
10.363
2000000-3000000结束内存: 1.98 MB 3000000-4000000开始内存: 1.98 MB
3000000-4000000百万耗时：
10.489
3000000-4000000结束内存: 1.98 MB 4000000-5000000开始内存: 1.98 MB
4000000-5000000百万耗时：
10.504
4000000-5000000结束内存: 1.98 MB 5000000-6000000开始内存: 1.98 MB
5000000-6000000百万耗时：
10.43
5000000-6000000结束内存: 1.98 MB 6000000-7000000开始内存: 1.98 MB
6000000-7000000百万耗时：
10.433
6000000-7000000结束内存: 1.98 MB 7000000-8000000开始内存: 1.98 MB
7000000-8000000百万耗时：
10.701
7000000-8000000结束内存: 1.98 MB 8000000-9000000开始内存: 1.98 MB
8000000-9000000百万耗时：
10.554
8000000-9000000结束内存: 1.98 MB 9000000-10000000开始内存: 1.98 MB
9000000-10000000百万耗时：
10.488
9000000-10000000结束内存: 1.98 MB 10000000-11000000开始内存: 1.98 MB
10000000-11000000百万耗时：
0.989
10000000-11000000结束内存: 395.77 KB
总耗时
106.005
2022-03-07 18:16:40
3KB
1