Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[Doc]Optimized deployment documentation #3191

Merged
merged 9 commits into from
Feb 28, 2024
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
6 changes: 3 additions & 3 deletions dinky-web/src/locales/en-US/pages.ts
Original file line number Diff line number Diff line change
Expand Up @@ -361,12 +361,12 @@ export default {
* */

'pages.datastudio.editor.check': 'Check',
'pages.datastudio.editor.debug': 'Preview',
'pages.datastudio.editor.debug': 'Search',
'pages.datastudio.editor.exec': 'Execute',
'pages.datastudio.editor.exec.error': 'Task [{jobName}] execution failed',
'pages.datastudio.editor.debug.error': 'Task [{jobName}] debug failed',
'pages.datastudio.editor.exec.success': 'Execution succeeded',
'pages.datastudio.editor.debug.success': 'Debug succeeded',
'pages.datastudio.editor.exec.success': 'Submit succeeded',
'pages.datastudio.editor.debug.success': 'Search succeeded',
'pages.datastudio.editor.execute.warn':
'The execution mode of this task is [{type}], which does not support SQL query, please save it manually and use the button on the right - job submission',
'pages.datastudio.editor.explan': 'Get the current FlinkSql execution graph',
Expand Down
6 changes: 3 additions & 3 deletions dinky-web/src/locales/zh-CN/pages.ts
Original file line number Diff line number Diff line change
Expand Up @@ -348,12 +348,12 @@ export default {
* */

'pages.datastudio.editor.check': '检查',
'pages.datastudio.editor.debug': '预览',
'pages.datastudio.editor.debug': '查询',
'pages.datastudio.editor.exec': '运行',
'pages.datastudio.editor.exec.error': '任务【{jobName}】执行失败',
'pages.datastudio.editor.debug.error': '任务【{jobName}】调试失败',
'pages.datastudio.editor.debug.success': '调试成功',
'pages.datastudio.editor.exec.success': '执行成功',
'pages.datastudio.editor.debug.success': '查询成功',
'pages.datastudio.editor.exec.success': '提交成功',
'pages.datastudio.editor.execute.warn':
'该任务执行模式为【{type}】,不支持 SQL 查询,请手动保存后使用右侧按钮——作业提交',
'pages.datastudio.editor.explan': '获取当前的 FlinkSql 的执行图',
Expand Down
21 changes: 7 additions & 14 deletions docs/docs/deploy_guide/normal_deploy.mdx
Original file line number Diff line number Diff line change
Expand Up @@ -131,9 +131,9 @@ Dinky 需要具备内置的 Flink 环境,该 Flink 环境的实现需要用户

:::warning 注意事项
1. Dinky 并没有内置的 mysql/postgres 数据库驱动,需要用户自己上传 mysql-connector-java-xxx.jar/postgresql-xxx.jar 等jdbc 驱动到 lib 下/extends 下
2. Dinky 当前版本的 yarn 的 per-job 与 application 执行模式依赖 flink-shaded-hadoop ,如果你的 Hadoop 版本为 2+ 或 3+,需要额外添加 flink-shaded-hadoop-uber-3 包,请手动删除该包内部的 javax.servlet 等冲突内容。
2. Dinky 当前版本的 yarn 的 per-job 与 application 执行模式依赖 flink-shaded-hadoop ,需要额外添加 flink-shaded-hadoop-uber 包,如果您使用的是`flink-shaded-hadoop-uber-3`请手动删除该包内部的 javax.servlet 等冲突内容。
当然如果你的 Hadoop 为 3+ 也可以自行编译对于版本的 dinky-client-hadoop.jar 以替代 uber 包,
3. Dinky所有监控相关功能目前强依赖hadoop,即使你不需要任何hadoop功能,也需要上传hadoop相关依赖,否则会导致监控功能无法正常使用,建议添加`flink-shaded-hadoop`
3. Dinky所有监控相关功能目前强依赖hadoop,即使你不需要任何hadoop功能,也需要上传flink-shaded-hadoop-uber,否则会导致监控功能无法正常使用
:::

将 flink-shaded-hadoop 上传到到 plugins 文件目录下,使用 flink-shaded-hadoop-3 地址如下:
Expand All @@ -142,8 +142,6 @@ Dinky 需要具备内置的 Flink 环境,该 Flink 环境的实现需要用户
https://mvnrepository.com/artifact/org.apache.flink/flink-shaded-hadoop-3-uber?repo=cloudera-repos
```

dinky默认不包含mysql,postgres等数据库驱动,请自行下载相关依赖到lib或extends目录下

如果是 CDH 及 HDP 使用开源 flink-shaded 对 Dinky 目前没有影响,其他用到的依赖取决于 CDH 或者 HDP 与开源版本的兼容性,需要自行根据兼容性添加依赖即可正常使用 Dinky 的所有功能。

最终项目根目录如下,仅供参考:
Expand Down Expand Up @@ -200,31 +198,26 @@ dinky默认不包含mysql,postgres等数据库驱动,请自行下载相关
```
对应 `Flink` 版本的依赖,放在Dinky 安装目录下 extends/flink${FLINK_VERSION} 下,例如:
```shell
clickhouse-jdbc-0.2.6.jar
flink-cep-1.16.1.jar
flink-connector-files-1.16.1.jar
flink-connector-jdbc-1.16.1.jar
flink-csv-1.16.1.jar
flink-dist-1.16.1.jar
flink-doris-connector-1.16-1.3.0.jar
flink-json-1.16.1.jar
flink-scala_2.12-1.16.1.jar
flink-shaded-hadoop-2-uber-2.7.5-8.0.jar
flink-shaded-zookeeper-3.5.9.jar
flink-sql-connector-hbase-1.4-1.16.1.jar
flink-sql-connector-kafka-1.16.1.jar
flink-sql-connector-mysql-cdc-2.4.1.jar
flink-sql-connector-oracle-cdc-2.4.1.jar
flink-table-api-java-uber-1.16.1.jar
flink-table-planner_2.12-1.16.1.jar !!!特别注意,flink自带lib里的planner是带loader的,比如:flink-table-planner-loader-1.16.1.jar, 此处需要一个不带loader的jar, 可前往flink根下的opt目录中找到
# !!!特别注意,flink自带lib里的planner是带loader的,比如:flink-table-planner-loader-1.16.1.jar,
# 需要删除带loader的jar包,换一个不带loader的jar, 可前往flink根下的opt目录中找到
# 对于standalone,hdfs,k8s等集群上的flink集群同样要做此操作
flink-table-planner_2.12-1.16.1.jar

flink-table-runtime-1.16.1.jar
log4j-1.2-api-2.17.1.jar
log4j-api-2.17.1.jar
log4j-core-2.17.1.jar
log4j-slf4j-impl-2.17.1.jar
mssql-jdbc-8.2.2.jre8.jar
mysql-connector-java-8.0.13.jar
orai18n-19.7.0.0.jar
```
:::tip
1.0.0 之前的版本 Flink 相关依赖是放在 plugins 目录下,1.0.0 及之后是放在 extends 目录下。(目前做了 plugins 目录的兼容,即放在 plugins 下也会生效)
Expand Down
6 changes: 6 additions & 0 deletions docs/docs/get_started/quick_experience.md
Original file line number Diff line number Diff line change
Expand Up @@ -5,6 +5,12 @@ title: 快速体验
---
## Docker 快速开始

:::danger 注意

Dinky v1.0.0 的 Docker 镜像正在开发中,敬请期待。以下步骤目前由于镜像未发布,无法使用。请耐心等待。如您对 Docker 镜像有兴趣,欢迎加入我们的开发群,一起参与开发。

:::

如果您是第一次接触 Dinky,我们推荐您使用 Docker 快速体验 Dinky 的功能。

### 环境准备
Expand Down
Loading