增加压力机动态配置项

Runner-Go-Team · Mar 23, 2023 · e84d7e4 · e84d7e4
1 parent 57e91e0
commit e84d7e4
Show file tree

Hide file tree

Showing 17 changed files with 504 additions and 131 deletions.
diff --git a/README.md b/README.md
@@ -81,55 +81,60 @@ canUsePartitionTotalNum: 2   #初始化压力机可使用分区
 ## 开源部署
 1. 配置环境变量
 ## 配置说明
-| key                           | 是否必填 | 默认值                                                |              说明 |
-|:------------------------------|-----|----------------------------------------------------|----------------:|
-| 本机配置                          ||||
-| RG_IS_DEBUG                   | 否   | false                                              |       是否开启debug |
-| RG_DOMAIN                     | 否   |                                                    |  RunnerGo项目入口地址 |
-| RG_MANAGEMENT_HTTP_PORT       | 否   | 30000                                              |     manage项目端口号 |
-| Mysql数据库                      ||||
-| RG_MYSQL_HOST                 | 否   | 127.0.0.0                                          |      Mysql数据库地址 |
-| RG_MYSQL_USERNAME             | 否   | root                                               |       Mysql用户名称 |
-| RG_MYSQL_PASSWORD             | 否   |                                                    |         Mysql密码 |
-| RG_MYSQL_DBNAME               | 否   | runnergo                                           |      Mysql数据库名称 |
-| RG_MYSQL_CHARSET              | 否   | utf8mb4                                            |        Mysql字符集 |
-| RG_MYSQL_PORT                 | 否   | 3306                                               |        Mysql端口号 |
-| JWT网络令牌                       ||||
-| RG_JWT_ISSUER                 | 否   | RunnerGo                                           |           JWT账号 |
-| RG_JWT_SECRET                 | 否   | RunnerGo#docker                                    |           JWT密钥 |
-| mongo数据库                      ||||
-| RG_MONGO_DSN                  | 否   | mongodb://runnergo:123456@127.0.0.0:27017/runnergo |     mongo数据库dsn |
-| RG_MONGO_DATABASE             | 否   | runnergo                                           |    mongo使用数据库名称 |
-| RG_MONGO_PASSWORD             | 否   |                                                    |      mongo数据库密码 |
-| RG_MONGODB_POOL_SIZE          | 否   | 20                                                 |      mongo数据库密码 |
-| engine服务接口                    |    |                                                    |                 |
-| RG_CLIENTS_ENGINE_RUN_API     | 否   | https://127.0.0.0:30000/runner/run_api             |   engine服务-调试接口 |
-| RG_CLIENTS_ENGINE_RUN_SCENE   | 否   | https://127.0.0.0:30000/runner/run_scene           |   engine服务-调试场景 |
-| RG_CLIENTS_ENGINE_STOP_SCENE  | 否   | https://127.0.0.0:30000/runner/stop_scene          | engine服务-停止调试场景 |
-| RG_CLIENTS_ENGINE_RUN_PLAN    | 否   | https://127.0.0.0:30000/runner/run_plan            |   engine服务-运行计划 |
-| RG_CLIENTS_ENGINE_STOP_PLAN   | 否   | https://127.0.0.0:30000/runner/stop                |   engine服务-停止计划 |
-| proof日志目录                     ||||
-| RG_PROOF_INFO_LOG             | 否   | /data/logs/RunnerGo/RunnerGo_management-info.log   |    proof-操作日志地址 |
-| RG_PROOF_ERR_LOG              | 否   | /data/logs/RunnerGo/RunnerGo_management-err.log    |    proof-错误日志地址 |
-| Redis                         ||||
-| RG_REDIS_ADDRESS              | 否   | 默认：127.0.0.0:6379                                  |      redis服务端地址 |
-| RG_REDIS_PASSWORD             | 是   |                                                    |      redis服务端密码 |
-| RG_REDIS_DB                   | 否   | 默认：0                                               |        redis数据库 |
-| Redis-报告专属redis               ||||
-| RG_REDIS_REPORT_ADDRESS       | 否   | 默认：127.0.0.0:6379                                  |      redis服务端地址 |
-| RG_REDIS_REPORT_PASSWORD      | 是   |                                                    |      redis服务端密码 |
-| RG_REDIS_REPORT_DB            | 否   | 默认：0                                               |        redis数据库 |
-| SMTP-邮件配置                     ||||
-| RG_SMTP_HOST                  | 否   |                                                    |          邮件服务地址 |
-| RG_SMTP_PORT                  | 是   |                                                    |         邮件服务端口号 |
-| RG_SMTP_EMAIL                 | 否   |                                                    |            邮箱名称 |
-| RG_SMTP_PASSWORD              | 否   |                                                    |            邮箱名称 |
-| 邀请链接验证密钥                      ||||
-| RG_INVITE_DATA_AES_SECRET_KEY | 否   | qazwsxedcrfvtgby                                   |      邀请链接验证密钥（key 长度必须 16/24/32长度） |
-| 普通日志目录                        ||||
-| RG_LOG_INFO_PATH              | 否   | /data/logs/RunnerGo/RunnerGo_management-info.log   |          操作日志地址 |
-| RG_LOG_ERR_PATH               | 否   | /data/logs/RunnerGo/RunnerGo_management-err.log    |          错误日志地址 |
-| 初始化压力机可使用分区                      ||||
-| RG_CAN_USE_PARTITION_TOTAL_NUM              | 否   | 2                                                  |     初始化压力机可使用分区 |
-| 单台压力机能快速负载的并发数                      ||||
-| RG_ONE_MACHINE_CAN_CONCURRENCE_NUM              | 否   | 5000                                               |  单台压力机能快速负载的并发数 |
+| key                                | 是否必填 | 默认值                                                |              说明 |
+|:-----------------------------------|-----|----------------------------------------------------|----------------:|
+| 本机配置                               ||||
+| RG_IS_DEBUG                        | 否   | false                                              |       是否开启debug |
+| RG_DOMAIN                          | 否   |                                                    |  RunnerGo项目入口地址 |
+| RG_MANAGEMENT_HTTP_PORT            | 否   | 30000                                              |     manage项目端口号 |
+| Mysql数据库                           ||||
+| RG_MYSQL_HOST                      | 否   | 127.0.0.0                                          |      Mysql数据库地址 |
+| RG_MYSQL_USERNAME                  | 否   | root                                               |       Mysql用户名称 |
+| RG_MYSQL_PASSWORD                  | 否   |                                                    |         Mysql密码 |
+| RG_MYSQL_DBNAME                    | 否   | runnergo                                           |      Mysql数据库名称 |
+| RG_MYSQL_CHARSET                   | 否   | utf8mb4                                            |        Mysql字符集 |
+| RG_MYSQL_PORT                      | 否   | 3306                                               |        Mysql端口号 |
+| JWT网络令牌                            ||||
+| RG_JWT_ISSUER                      | 否   | RunnerGo                                           |           JWT账号 |
+| RG_JWT_SECRET                      | 否   | RunnerGo#docker                                    |           JWT密钥 |
+| mongo数据库                           ||||
+| RG_MONGO_DSN                       | 否   | mongodb://runnergo:123456@127.0.0.0:27017/runnergo |     mongo数据库dsn |
+| RG_MONGO_DATABASE                  | 否   | runnergo                                           |    mongo使用数据库名称 |
+| RG_MONGO_PASSWORD                  | 否   |                                                    |      mongo数据库密码 |
+| RG_MONGODB_POOL_SIZE               | 否   | 20                                                 |      mongo数据库密码 |
+| engine服务接口                         |    |                                                    |                 |
+| RG_CLIENTS_ENGINE_RUN_API          | 否   | https://127.0.0.0:30000/runner/run_api             |   engine服务-调试接口 |
+| RG_CLIENTS_ENGINE_RUN_SCENE        | 否   | https://127.0.0.0:30000/runner/run_scene           |   engine服务-调试场景 |
+| RG_CLIENTS_ENGINE_STOP_SCENE       | 否   | https://127.0.0.0:30000/runner/stop_scene          | engine服务-停止调试场景 |
+| RG_CLIENTS_ENGINE_RUN_PLAN         | 否   | https://127.0.0.0:30000/runner/run_plan            |   engine服务-运行计划 |
+| RG_CLIENTS_ENGINE_STOP_PLAN        | 否   | https://127.0.0.0:30000/runner/stop                |   engine服务-停止计划 |
+| proof日志目录                          ||||
+| RG_PROOF_INFO_LOG                  | 否   | /data/logs/RunnerGo/RunnerGo_management-info.log   |    proof-操作日志地址 |
+| RG_PROOF_ERR_LOG                   | 否   | /data/logs/RunnerGo/RunnerGo_management-err.log    |    proof-错误日志地址 |
+| Redis                              ||||
+| RG_REDIS_ADDRESS                   | 否   | 默认：127.0.0.0:6379                                  |      redis服务端地址 |
+| RG_REDIS_PASSWORD                  | 是   |                                                    |      redis服务端密码 |
+| RG_REDIS_DB                        | 否   | 默认：0                                               |        redis数据库 |
+| Redis-报告专属redis                    ||||
+| RG_REDIS_REPORT_ADDRESS            | 否   | 默认：127.0.0.0:6379                                  |      redis服务端地址 |
+| RG_REDIS_REPORT_PASSWORD           | 是   |                                                    |      redis服务端密码 |
+| RG_REDIS_REPORT_DB                 | 否   | 默认：0                                               |        redis数据库 |
+| SMTP-邮件配置                          ||||
+| RG_SMTP_HOST                       | 否   |                                                    |          邮件服务地址 |
+| RG_SMTP_PORT                       | 是   |                                                    |         邮件服务端口号 |
+| RG_SMTP_EMAIL                      | 否   |                                                    |            邮箱名称 |
+| RG_SMTP_PASSWORD                   | 否   |                                                    |            邮箱名称 |
+| 邀请链接验证密钥                           ||||
+| RG_INVITE_DATA_AES_SECRET_KEY      | 否   | qazwsxedcrfvtgby                                   |      邀请链接验证密钥（key 长度必须 16/24/32长度） |
+| 普通日志目录                             ||||
+| RG_LOG_INFO_PATH                   | 否   | /data/logs/RunnerGo/RunnerGo_management-info.log   |          操作日志地址 |
+| RG_LOG_ERR_PATH                    | 否   | /data/logs/RunnerGo/RunnerGo_management-err.log    |          错误日志地址 |
+| 初始化压力机可使用分区                        ||||
+| RG_CAN_USE_PARTITION_TOTAL_NUM     | 否   | 2                                                  |     初始化压力机可使用分区 |
+| 压力机相关配置                            ||||
+| RG_ONE_MACHINE_CAN_CONCURRENCE_NUM | 否   | 5000                                               |  单台压力机能快速负载的并发数 |
+| RG_MACHINE_ALIVE_TIME | 否   | 10                                                 |  压力机上报心跳超时时间，单位：秒 |
+| RG_INIT_PARTITION_TOTAL_NUM | 否   | 2                                                  |  初始化可用kafka分区数量设置 |
+| RG_CPU_TOP_LIMIT | 否   | 65                                                 |  可参与压测的压力机cpu使用率上限 |
+| RG_MEMORY_TOP_LIMIT | 否   | 65                                                 |  可参与压测的压力机memory使用率上限 |
+| RG_DISK_TOP_LIMIT | 否   | 55                                                 |  可参与压测的压力机disk使用率上限 |
diff --git a/configs/dev.yaml b/configs/dev.yaml
@@ -68,3 +68,11 @@ canUsePartitionTotalNum: 2
 
 #单台压力机能快速负载的并发数
 oneMachineCanConcurrenceNum: 5000
+
+#运行计划相关配置
+machineConfig:
+  MachineAliveTime: 10      # 压力机上报心跳超时时间，单位：秒
+  InitPartitionTotalNum: 2  # 初始化可用kafka分区数量设置
+  CpuTopLimit: 65           # 可参与压测的压力机cpu使用率上限
+  MemoryTopLimit: 65        # 可参与压测的压力机memory使用率上限
+  DiskTopLimit: 55          # 可参与压测的压力机disk使用率上限
diff --git a/configs/prd.yaml b/configs/prd.yaml
@@ -70,4 +70,12 @@ inviteData:
 canUsePartitionTotalNum: 2
 
 #单台压力机能快速负载的并发数
-oneMachineCanConcurrenceNum: 5000
+oneMachineCanConcurrenceNum: 5000
+
+#运行计划相关配置
+machineConfig:
+  MachineAliveTime: 10      # 压力机上报心跳超时时间，单位：秒
+  InitPartitionTotalNum: 2  # 初始化可用kafka分区数量设置
+  CpuTopLimit: 65           # 可参与压测的压力机cpu使用率上限
+  MemoryTopLimit: 65        # 可参与压测的压力机memory使用率上限
+  DiskTopLimit: 55          # 可参与压测的压力机disk使用率上限
diff --git a/configs/test.yaml b/configs/test.yaml
@@ -70,4 +70,12 @@ inviteData:
 canUsePartitionTotalNum: 2
 
 #单台压力机能快速负载的并发数
-oneMachineCanConcurrenceNum: 5000
+oneMachineCanConcurrenceNum: 5000
+
+#运行计划相关配置
+machineConfig:
+  MachineAliveTime: 10      # 压力机上报心跳超时时间，单位：秒
+  InitPartitionTotalNum: 2  # 初始化可用kafka分区数量设置
+  CpuTopLimit: 65           # 可参与压测的压力机cpu使用率上限
+  MemoryTopLimit: 65        # 可参与压测的压力机memory使用率上限
+  DiskTopLimit: 55          # 可参与压测的压力机disk使用率上限
diff --git a/internal/pkg/biz/consts/machine.go b/internal/pkg/biz/consts/machine.go
@@ -12,6 +12,4 @@ const (
 
 	StressBelongPartitionKey = "StressBelongPartition" // 压力机对应已经使用的分区数据前缀
 	TotalKafkaPartitionKey   = "TotalKafkaPartition"
-
-	InitPartitionTotalNum = 2 // 初始化总共可使用的分区上限数量
 )
diff --git a/internal/pkg/biz/consts/report.go b/internal/pkg/biz/consts/report.go
@@ -4,8 +4,6 @@ const (
 	ReportStatusNormal = 1
 	ReportStatusFinish = 2
 
-	// report使用的kafka分区数量
-	KafkaReportPartitionNum = 10
 	// kafka全局的报告分区key名
 	KafkaReportPartition = "kafka:report:partition"
 )
diff --git a/internal/pkg/conf/conf.go b/internal/pkg/conf/conf.go
@@ -10,28 +10,37 @@ import (
 var Conf Config
 
 type Config struct {
-	Base                        Base        `yaml:"base"`
-	Http                        Http        `yaml:"http"`
-	GRPC                        GRPC        `yaml:"grpc"`
-	MySQL                       MySQL       `yaml:"mysql"`
-	JWT                         JWT         `yaml:"jwt"`
-	MongoDB                     MongoDB     `yaml:"mongodb"`
-	Prometheus                  Prometheus  `yaml:"prometheus"`
-	Kafka                       Kafka       `yaml:"kafka"`
-	ES                          ES          `yaml:"es"`
-	Clients                     Clients     `yaml:"clients"`
-	Proof                       Proof       `yaml:"proof"`
-	Redis                       Redis       `yaml:"redis"`
-	RedisReport                 RedisReport `yaml:"redisReport"`
-	SMTP                        SMTP        `yaml:"smtp"`
-	Sms                         Sms         `yaml:"sms"`
-	InviteData                  inviteData  `yaml:"inviteData"`
-	Log                         Log         `yaml:"log"`
-	Pay                         Pay         `yaml:"pay"`
-	GeeTest                     GeeTest     `yaml:"geeTest"`
-	WechatLogin                 WechatLogin `yaml:"wechatLogin"`
-	CanUsePartitionTotalNum     int         `yaml:"canUsePartitionTotalNum"`
-	OneMachineCanConcurrenceNum int         `yaml:"oneMachineCanConcurrenceNum"`
+	Base                        Base          `yaml:"base"`
+	Http                        Http          `yaml:"http"`
+	GRPC                        GRPC          `yaml:"grpc"`
+	MySQL                       MySQL         `yaml:"mysql"`
+	JWT                         JWT           `yaml:"jwt"`
+	MongoDB                     MongoDB       `yaml:"mongodb"`
+	Prometheus                  Prometheus    `yaml:"prometheus"`
+	Kafka                       Kafka         `yaml:"kafka"`
+	ES                          ES            `yaml:"es"`
+	Clients                     Clients       `yaml:"clients"`
+	Proof                       Proof         `yaml:"proof"`
+	Redis                       Redis         `yaml:"redis"`
+	RedisReport                 RedisReport   `yaml:"redisReport"`
+	SMTP                        SMTP          `yaml:"smtp"`
+	Sms                         Sms           `yaml:"sms"`
+	InviteData                  inviteData    `yaml:"inviteData"`
+	Log                         Log           `yaml:"log"`
+	Pay                         Pay           `yaml:"pay"`
+	GeeTest                     GeeTest       `yaml:"geeTest"`
+	WechatLogin                 WechatLogin   `yaml:"wechatLogin"`
+	CanUsePartitionTotalNum     int           `yaml:"canUsePartitionTotalNum"`
+	OneMachineCanConcurrenceNum int           `yaml:"oneMachineCanConcurrenceNum"`
+	MachineConfig               MachineConfig `yaml:"machineConfig"`
+}
+
+type MachineConfig struct {
+	MachineAliveTime      int `yaml:"MachineAliveTime"`
+	InitPartitionTotalNum int `yaml:"InitPartitionTotalNum"`
+	CpuTopLimit           int `yaml:"CpuTopLimit"`
+	MemoryTopLimit        int `yaml:"MemoryTopLimit"`
+	DiskTopLimit          int `yaml:"DiskTopLimit"`
 }
 
 type Log struct {
@@ -187,6 +196,7 @@ func MustInitConfByEnv() {
 	initLog()
 	initCanUsePartitionTotalNum()
 	initOneMachineCanConcurrenceNum()
+	initMachineConfig()
 }
 
 func initBase() {
@@ -332,7 +342,7 @@ func initSMTP() {
 	if err != nil {
 		Conf.SMTP.Port = 465
 	} else {
-		Conf.RedisReport.DB = port
+		Conf.SMTP.Port = port
 	}
 	Conf.SMTP.Email = os.Getenv("RG_SMTP_EMAIL")
 	Conf.SMTP.Password = os.Getenv("RG_SMTP_PASSWORD")
@@ -381,3 +391,40 @@ func initOneMachineCanConcurrenceNum() {
 		Conf.OneMachineCanConcurrenceNum = oneMachineCanConcurrenceNum
 	}
 }
+
+func initMachineConfig() {
+	machineAliveTime, err := strconv.Atoi(os.Getenv("RG_MACHINE_ALIVE_TIME"))
+	if err != nil {
+		Conf.MachineConfig.MachineAliveTime = 10
+	} else {
+		Conf.MachineConfig.MachineAliveTime = machineAliveTime
+	}
+
+	initPartitionTotalNum, err := strconv.Atoi(os.Getenv("RG_INIT_PARTITION_TOTAL_NUM"))
+	if err != nil {
+		Conf.MachineConfig.InitPartitionTotalNum = 2
+	} else {
+		Conf.MachineConfig.InitPartitionTotalNum = initPartitionTotalNum
+	}
+
+	cpuTopLimit, err := strconv.Atoi(os.Getenv("RG_CPU_TOP_LIMIT"))
+	if err != nil {
+		Conf.MachineConfig.CpuTopLimit = 65
+	} else {
+		Conf.MachineConfig.CpuTopLimit = cpuTopLimit
+	}
+
+	memoryTopLimit, err := strconv.Atoi(os.Getenv("RG_MEMORY_TOP_LIMIT"))
+	if err != nil {
+		Conf.MachineConfig.MemoryTopLimit = 65
+	} else {
+		Conf.MachineConfig.MemoryTopLimit = memoryTopLimit
+	}
+
+	diskTopLimit, err := strconv.Atoi(os.Getenv("RG_DISK_TOP_LIMIT"))
+	if err != nil {
+		Conf.MachineConfig.DiskTopLimit = 55
+	} else {
+		Conf.MachineConfig.DiskTopLimit = diskTopLimit
+	}
+}
diff --git a/internal/pkg/handler/machine.go b/internal/pkg/handler/machine.go
@@ -237,7 +237,7 @@ func InitTotalKafkaPartition() {
 
 	//组装总共需要初始化的分区数组
 	canUsePartitionTotalNum := conf.Conf.CanUsePartitionTotalNum
-	totalKafkaPartitionArr := make([]interface{}, 0, consts.InitPartitionTotalNum)
+	totalKafkaPartitionArr := make([]interface{}, 0, conf.Conf.MachineConfig.InitPartitionTotalNum)
 	for i := 0; i < canUsePartitionTotalNum; i++ {
 		if _, ok := usedPartitionMap[i]; !ok {
 			totalKafkaPartitionArr = append(totalKafkaPartitionArr, i)