Skip to content

Commit

Permalink
3.2407 (#17)
Browse files Browse the repository at this point in the history
* 慢日志扫描更新
* 更新库表扫描
* 更新慢日志图片
* 会话SQL更新
* 库表扫描更新
* 更新百度云使用
* 更新华为云
* 更新会话SQL
* 新增topSQL
* 更新应用程序SQL抓取
* 更新SQL管控
* 更新功能说明
* 更新配置文件
* 更新topsql对于PG数据源的限制
* 更新功能对比
* 新增全局数据源管理页面
* 页面预览问题调整
  • Loading branch information
Gygkimo95 authored Aug 14, 2024
1 parent 58b20e1 commit 87bca9a
Show file tree
Hide file tree
Showing 22 changed files with 258 additions and 252 deletions.
2 changes: 1 addition & 1 deletion docs/deploy-manual/config.md
Original file line number Diff line number Diff line change
Expand Up @@ -41,7 +41,7 @@ dms:
- db_type: MySQL
logo_path: "/logo/mysql.png"
params:
- db_type: Postgres
- db_type: PostgreSQL
logo_path: "/static/logo/pg.png"
params:
- db_type: Oracle
Expand Down
44 changes: 22 additions & 22 deletions docs/support/compare.md
Original file line number Diff line number Diff line change
Expand Up @@ -580,10 +580,10 @@ title: 功能对比
<tr>
<td>MyBatis</td>
<td>√</td>
<td> </td>
<td> </td>
<td>√</td>
<td> </td>
<td>√</td>
<td>√</td>
<td>√</td>
</tr>
<tr>
<td>阿里RDS MySQL慢日志</td>
Expand Down Expand Up @@ -636,11 +636,11 @@ title: 功能对比
<tr>
<td>其他</td>
<td>规则数量</td>
<td>155</td>
<td>122</td>
<td>175</td>
<td>146</td>
<td>117</td>
<td>119</td>
<td>162</td>
<td>150</td>
<td>153</td>
</tr>
</table>

Expand All @@ -662,7 +662,7 @@ title: 功能对比
<td>√</td>
<td>√</td>
<td>√</td>
<td> </td>
<td></td>
<td>√</td>
<td>√</td>
</tr>
Expand All @@ -671,7 +671,7 @@ title: 功能对比
<td>√</td>
<td>√</td>
<td>√</td>
<td> </td>
<td></td>
<td>√</td>
<td>√</td>
</tr>
Expand All @@ -680,7 +680,7 @@ title: 功能对比
<td> </td>
<td>√</td>
<td>√</td>
<td> </td>
<td></td>
<td> </td>
<td>√</td>
</tr>
Expand All @@ -689,7 +689,7 @@ title: 功能对比
<td>√</td>
<td>√</td>
<td>√</td>
<td> </td>
<td></td>
<td> </td>
<td>√</td>
</tr>
Expand All @@ -698,7 +698,7 @@ title: 功能对比
<td>√</td>
<td>√</td>
<td> </td>
<td> </td>
<td></td>
<td> </td>
<td>√</td>
</tr>
Expand All @@ -708,7 +708,7 @@ title: 功能对比
<td> </td>
<td> </td>
<td>√</td>
<td> </td>
<td></td>
<td> </td>
<td>√</td>
</tr>
Expand All @@ -735,7 +735,7 @@ title: 功能对比
<td>√</td>
<td>√</td>
<td>√</td>
<td> </td>
<td></td>
<td> </td>
<td>√</td>
</tr>
Expand All @@ -750,12 +750,12 @@ title: 功能对比
</tr>
<tr>
<td>MyBatis</td>
<td> </td>
<td> </td>
<td> </td>
<td> </td>
<td> </td>
<td> </td>
<td></td>
<td></td>
<td></td>
<td></td>
<td></td>
<td></td>
</tr>
<tr>
<td>阿里RDS MySQL慢日志</td>
Expand Down Expand Up @@ -814,10 +814,10 @@ title: 功能对比
<tr>
<td>其他</td>
<td>规则数量</td>
<td>85</td>
<td>114</td>
<td>83</td>
<td>60</td>
<td>21</td>
<td>72</td>
<td>23</td>
<td>83</td>
</tr>
Expand Down
15 changes: 15 additions & 0 deletions docs/user-manual/allinstance.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,15 @@
---
title: 全局数据源管理
---
# 全局数据源管理

* 当需要对多个项目中的数据源进行统一修改或查看时,此功能可以帮助迅速定位并进行操作。
* 当需要进行跨项目管理工作时,可以使用该功能,确保对数据源的分布和配置情况一目了然,实现更高效的数据源管理和项目协调。


## 使用步骤

* 导航至全局设置,选择数据源管理页面,以访问平台管理的所有数据源列表。
* 利用提供的筛选工具,根据项目需求或特定条件,精确筛选出您关注的数据源。

![instancelist](img/instancelist.png)
Binary file added docs/user-manual/img/instancelist.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
32 changes: 17 additions & 15 deletions docs/user-manual/project/audit_task/baiduyunrds.md
Original file line number Diff line number Diff line change
@@ -1,38 +1,40 @@
---
title: 百度云RDS慢日志扫描
---
本节介绍如何在SQLE平台监管百度云RDS实例上产生的慢SQL。
当使用百度云RDS实例,并且想要监管实例上产生的慢SQL,可以通过创建一个百度云RDS慢日志扫描任务来实现。该任务将会定期扫描百度云RDS实例上的慢日志,并将扫描结果发送到SQLE中进行分析。


### 支持的数据源类型
* MySQL

### 使用场景
如果用户使用百度云RDS实例,并且想要监管实例上产生的慢SQL,可以通过创建一个百度云RDS慢日志扫描任务来实现。该任务将会定期扫描百度云RDS实例上的慢日志,并将扫描结果发送到SQLE中进行分析。

### 前置操作
* 用户需创建双机高可用版本的百度云RDS实例;
* 对该实例开通慢日志;
* 已在平台添加对应数据源。

![baiduyunrds](img/baiduyunrds.png)

### 操作步骤
新建智能扫描任务

* 任务名称:输入审核任务名称,必须以字母开头;
* 数据源名称:指定扫描任务实施的数据源;
* 数据库:填写需要审核的目标库,若不填则仅进行静态分析不会连库;
* 数据库类型:根据选取的数据源呈现;
* 任务类型:选择需要执行的审核任务类型,选择`百度云RDS MySQL慢日志`
### 步骤一 开启百度云慢日志扫描类型

在SQL管控配置中为数据源开启智能扫描,扫描类型选择“百度云慢日志扫描”,并填写以下字段信息:

* 实例ID:填写百度云RDS实例的ID。
* Access Key:为账号安全认证中的Access Key,用于登录百度云RDS,需要与Secret Key一同使用。
* Access Secret Key:账号安全认证中Access Key对应的Secret Key。
* 启动任务时拉取慢日志时间范围(单位:小时,最大7天):扫描任务读取慢日志的时间范围,单位为小时,最大范围为7天。
* 审核过去时间段内抓取的SQL(分钟): 审核该时间段内抓取到的慢SQL。
* RDS Open API地址:RDS的地址前缀,用以调用RDS服务,需根据实例所在区域进行填写。如当前实例在华东-上海范围,则应填写rds.fsh.baidubce.com
* 审核规则模板:选择对应的审核规则模板;


以下为百度云RDS Open API地址参考:
![baiduyunrdsurl](img/baiduyunrdsurl.png)

点击`提交`,完成扫描任务创建。
点击`提交`,完成数据源上的百度云慢日志SQL扫描任务配置。


### 步骤二 获取采集结果及审核结果
在扫描详情中查看采集的百度云慢日志SQL信息及审核结果。


### 执行结果
* 用户进入扫描任务详情,可以查看扫描任务抓取到的慢SQL。
* 点击`立即审核`,可查看对慢SQL的审核结果。
35 changes: 14 additions & 21 deletions docs/user-manual/project/audit_task/huaweiyunrds.md
Original file line number Diff line number Diff line change
Expand Up @@ -2,44 +2,37 @@
title: 华为云RDS慢日志扫描
---

当使用华为云RDS实例,并且希望监管实例上产生的慢SQL时,可以通过创建华为云RDS慢日志扫描任务实现。该任务会定期扫描华为云RDS实例上的慢日志,并将扫描结果发送到SQLE平台进行分析。

本节介绍如何通过华为云SQLE平台监管华为云RDS实例上产生的慢SQL,并进行相应的分析和审核。

## 支持的数据源类型
### 支持的数据源类型
* MySQL

## 使用场景

如果用户正在使用华为云RDS实例,并且希望监管实例上产生的慢SQL,可以通过创建华为云RDS慢日志扫描任务实现。该任务会定期扫描华为云RDS实例上的慢日志,并将扫描结果发送到SQLE平台进行分析。

## 前置操作
### 前置操作

在进行以下操作之前,请确保已完成以下步骤:

* 创建华为云RDS实例,并获取实例的项目ID和实例ID。
* 开启慢日志明文显示,并设置慢查询时间阈值。参考[华为云用户手册](https://support.huaweicloud.com/usermanual-rds/rds_mysql_slow_query_log.html)
* 获取访问密钥。访问密钥文件需要下载至本地查看。参考[华为云用户手册](https://support.huaweicloud.com/usermanual-ca/zh-cn_topic_0046606340.html)
* 在平台添加对应数据源。



### 步骤一 开启华为云慢日志扫描类型

## 操作步骤
新建智能扫描任务
在SQL管控配置中为数据源开启智能扫描,扫描类型选择“华为云慢日志扫描”,并填写以下字段信息:

* 任务名称:输入审核任务名称,必须以字母开头;
* 数据源名称:指定扫描任务实施的数据源;
* 数据库:填写需要审核的目标库,若不填则仅进行静态分析不会连库;
* 数据库类型:根据选取的数据源呈现;
* 任务类型:选择需要执行的审核任务类型,选择`华为云RDS MySQL慢日志`
* 项目ID:实例所在项目ID;
* 实例ID:实例ID;
* Access Key ID:在步骤3中获取的访问密钥 ID;
* Access Key Secret:在步骤3中获取的访问密钥Secret;
* 启动慢日志时拉取慢日志时间范围(小时):由于开启明文显示后,华为云平台会自动删除30天前的日志,所以时间范围上限是30天;
* 当前API开放的地区:参考[华为云用户手册](https://developer.huaweicloud.com/endpoint?RDS)
* 当前RDS实例所在实例:参考[华为云用户手册](https://developer.huaweicloud.com/endpoint?RDS)
* 审核规则模板:选择对应的审核规则模板;

点击`提交`完成扫描任务创建
点击`提交`完成数据源上的华为云慢日志SQL扫描任务配置

## 执行结果
* 用户进入扫描任务详情,可以查看扫描任务抓取到的慢SQL。
* 点击`立即审核`,可查看对慢SQL的审核结果。

以下是华为云RDS慢日志扫描示意图:
![huaweiyunrds](./img/huaweiyunrds.png)
### 步骤二 获取采集结果及审核结果
在扫描详情中查看采集的华为云慢日志SQL信息及审核结果。
Binary file not shown.
Binary file modified docs/user-manual/project/audit_task/img/metadata-list.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file not shown.
Binary file modified docs/user-manual/project/audit_task/img/processlist-audit.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file not shown.
Binary file not shown.
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
48 changes: 18 additions & 30 deletions docs/user-manual/project/audit_task/intro.md
Original file line number Diff line number Diff line change
Expand Up @@ -3,34 +3,22 @@ title: 功能说明
---

# 功能介绍
### 背景
在审核工单中我们介绍了如何通过 SQLE 进行 SQL 审核并上线的流程。审核工单管理,主要解决 SQL 上线的规范化流程化的问题,它能够帮助 DBA 自动化处理整个 SQL 上线过程中一些重复繁琐的工作。

不过审核工单管理也有它的局限性。

* 第一,通常工单中的审核是一次性操作。上线后,通常还会有业务 SQL访问数据库。这时可能会遇到一些执行效率较低的业务 SQL 造成数据库的性能问题,因而这类业务型SQL同样需要审核。
* 第二,临近发版,如果这时审核出 SQL 存在一些问题,是否修复这些问题,可能会受到很多因素的影响(如 SQL 问题的影响面大小,项目发版的紧急程度等),因而需要对即将上线的SQL做全量扫描。

因而,需要引入扫描任务,进行周期性的SQL审核,用以补充工单审核覆盖不到的场景。

### SQLE扫描任务支持的采集模式
#### 1.SQLE 自动抓取
* 功能说明
* 使用SQLE自动抓取,将由SQLE获取指定的SQL文件,传输至指定审核池后,由SQLE进行审核并展示审核结果。
* 支持的任务类型
* 库表元数据
* TopSQL
* processlist列表
#### 2.Scanner 抓取
* 功能说明
* 使用Scanner抓取,可利用scanner插件获取指定的SQL文件,传输至指定审核池后,由SQLE进行审核并展示审核结果。
* 支持的任务类型
* 慢日志
* Mybatis扫描
#### 3.OpenAPI 推送
* 功能说明
* 使用应用程序SQL抓取,可利用api接口动态获取指定应用程序中的SQL,传输至指定审核池后,由SQLE进行审核并展示审核结果。
* 支持的任务类型
* openapi推送
* 自定义


我们通过SQLE工具实现了SQL审核与上线的标准化流程。这一流程不仅提升了数据库管理的效率,而且通过自动化手段减轻了数据库管理员(DBA)在SQL上线过程中处理重复性任务的负担。

尽管审核工单在规范化SQL上线流程方面发挥了重要作用,但它也存在一些局限性:

* 一次性审核的局限:审核工单通常只针对单次操作进行审核。然而,上线后的SQL可能在实际业务运行中遇到性能瓶颈,这要求对业务SQL进行持续的审核与优化。
* 发版前的挑战:在临近版本发布时,如果发现SQL存在问题,决策过程可能会受到多种因素的制约,例如问题的影响范围和项目紧急程度。这要求我们在SQL上线前,针对测试环境针对数据库运行性能进行全面的扫描和审核。

为了弥补审核工单管理的不足,我们还引入了周期性的SQL审核任务。这种持续的审核机制可以:

* 补充审核盲区:覆盖工单审核未能触及的业务场景,确保SQL的持续优化和性能监控。
* 提前发现问题:在SQL上线前进行全面扫描,以便及时发现并解决潜在的性能问题,减少上线后的风险。

通过这种综合的审核策略,我们可以更有效地维护数据库的稳定性和正确性,同时提高SQL上线的质量和效率。

此外,企业版用户还可以通过SQL管控功能,对采集到的SQL做集中统一的处理,追溯问题SQL的产生及后续解决方式,从而实现高效的SQL管理。


13 changes: 5 additions & 8 deletions docs/user-manual/project/audit_task/java_agent_audit.md
Original file line number Diff line number Diff line change
Expand Up @@ -4,13 +4,7 @@ title: Java探针版应用程序SQL抓取【企业版】
本节介绍如何利用SQLE平台抓取java应用中的SQL,选取的例子是一个[开源的问卷调查java应用](https://gitee.com/surveyking/surveyking),架构简单,上手相对容易。

## 支持的数据源类型
* MySQL
* Oracle
* DB2
* OceanBase for MySQL
* PostgreSQL
* TiDB
* SQL Server
* All

## 前置准备

Expand Down Expand Up @@ -51,7 +45,10 @@ total 55652

## 使用方式
### 创建扫描任务
进入智能扫描任务列表,点击新建,扫描任务类型选择应用程序SQL抓取。
在SQL管控配置中为数据源开启智能扫描,扫描类型选择“应用程序SQL抓取”,并填写以下字段信息:
* 审核规则模板:选择对应的审核规则模板;

点击`提交`,完成数据源上的应用程序SQL抓取扫描任务配置。

### 启动Java应用
:::tip
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -65,7 +65,10 @@ rm -rf jar/

## 使用方式
### 创建扫描任务
进入智能扫描任务列表,点击新建,扫描任务类型选择应用程序SQL抓取。
在SQL管控配置中为数据源开启智能扫描,扫描类型选择“应用程序SQL抓取”,并填写以下字段信息:
* 审核规则模板:选择对应的审核规则模板;

点击`提交`,完成数据源上的应用程序SQL抓取扫描任务配置。

### 启动Java应用
:::tip
Expand Down
Loading

0 comments on commit 87bca9a

Please sign in to comment.