Skip to content
This commit does not belong to any branch on this repository, and may belong to a fork outside of the repository.

Commit cef36bb

Browse files
committedMar 1, 2024
[doc][taier-website] update doc
1 parent 5d54c0e commit cef36bb

File tree

11 files changed

+139
-19
lines changed

11 files changed

+139
-19
lines changed
 

‎k8s/README.md

Lines changed: 4 additions & 4 deletions
Original file line numberDiff line numberDiff line change
@@ -30,11 +30,11 @@ k8s-n1 Ready,SchedulingDisabled master 165d v1.19.4
3030

3131
快速部署的组件
3232

33-
| 服务 | 版本 |
34-
| ----------------- |--------|
35-
| mysql(单机版) | 5.7 |
33+
| 服务 | 版本 |
34+
|---------------|--------|
35+
| mysql(单机版) | 5.7 |
3636
| zookeeper(集群) | 3.5.7 |
37-
| taier 前后端 | master |
37+
| Taier 前后端 | master |
3838

3939
## 2. 快速部署
4040

‎taier-ui/pom.xml

Lines changed: 2 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -39,7 +39,7 @@
3939
<yarnVersion>${yarn.version}</yarnVersion>
4040

4141
<!-- If it is inconvenient to visit the official website, you can use the domestic Taobao mirror-->
42-
<nodeDownloadRoot>https://npm.taobao.org/dist/</nodeDownloadRoot>
42+
<nodeDownloadRoot>https://mirrors.aliyun.com/nodejs-release/</nodeDownloadRoot>
4343
<yarnDownloadRoot>https://mirrors.huaweicloud.com/yarn/</yarnDownloadRoot>
4444
</configuration>
4545
</execution>
@@ -51,7 +51,7 @@
5151
<goal>yarn</goal>
5252
</goals>
5353
<configuration>
54-
<arguments>config set registry https://registry.npm.taobao.org</arguments>
54+
<arguments>config set registry https://registry.npmmirror.com</arguments>
5555
</configuration>
5656
</execution>
5757

‎website/docs/expand/task.md

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -49,7 +49,7 @@ OCEANBASE_SQL(8, "OceanBaseSQL", EJobType.SQL.getType(), 4, EComponentType.OCEAN
4949
:::
5050

5151
### 保存任务
52-
在taier页面上配置好对应的属性参数和任务内容之后,点击保存即可
52+
在Taier页面上配置好对应的属性参数和任务内容之后,点击保存即可
5353
默认会对sqlText内容去除注释
5454
:::tip
5555
如果需要对任务保存做自定义的参数拼接或处理

‎website/docs/functions/component/datax.md

Lines changed: 0 additions & 4 deletions
Original file line numberDiff line numberDiff line change
@@ -19,10 +19,6 @@ DataX 计算组件用于运行 DataX 脚本任务,DataX不依赖任务前置组
1919
:::tip
2020
DataX任务运行在Taier本地服务器,通过Taier来执行,并获取执行结果信息
2121

22-
```shell
23-
python datax.py task.temp/task.json
24-
```
25-
2622
:::
2723

2824
:::caution

‎website/docs/functions/component/flink-on-standalone.md

Lines changed: 13 additions & 3 deletions
Original file line numberDiff line numberDiff line change
@@ -9,14 +9,16 @@ sidebar_label: Flink On Standalone
99

1010
* flink官网下载 [release 1.12.7](https://flink.apache.org/downloads.html)
1111

12+
:::tip
13+
如果不了解Flink Standalone 可以参考官网文档 [Flink Standalone](https://nightlies.apache.org/flink/flink-docs-release-1.18/docs/deployment/resource-providers/standalone/overview/#standalone-cluster-reference)
14+
:::
1215
**2、chunjun的插件**
1316

1417
* 编译1.12版本的chunjun [master](https://github.com/DTStack/chunjun)插件,将生成的chunjun-dist 拷贝至 $FLINK_HOME/lib
1518

1619
:::tip
17-
chunjun 有些依赖包依赖是provided,需要将缺省的jar放到$FLINK_HOME/lib
18-
例如:在chunjun-core最新版本中将logback的依赖改为了provided, 需要将以下logback包放到$FLINK_HOME/lib logback-core-1.2.11.jar
19-
logback-classic-1.2.11.jar
20+
chunjun 有些依赖包依赖是provided,需要将缺省的jar放到$FLINK_HOME/lib
21+
例如:在chunjun-core最新版本中将logback的依赖改为了provided,需要将以下logback包放到$FLINK_HOME/lib logback-core-1.2.11.jar logback-classic-1.2.11.jar
2022
:::
2123

2224
**3、flink1.12 standalone服务参数**
@@ -78,6 +80,14 @@ lib/
7880

7981
```
8082

83+
部署完Flink Standalone 打开Flink Web页面
84+
确认部署正常
85+
1. 页面正常打开
86+
2. chunjun的插件包 在`jobmanger`的log中显示正常加载
87+
88+
![Flink Standalone](../../../static/img/readme/flink-standalone.png)
89+
90+
8191

8292
## Standalone 控制台参数
8393

‎website/docs/functions/multi-cluster.md

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -5,7 +5,7 @@ sidebar_label: 集群配置
55

66
## 集群配置
77
1. 集群配置按照`公共组件`-->`资源调度组件`-->`存储组件`-->`计算组件`的顺序进行配置
8-
2. 不同厂商Hadoop集群环境各不一样,遇到适配问题,可以尝试修改taier源码支持
8+
2. 不同厂商Hadoop集群环境各不一样,遇到适配问题,可以尝试修改Taier源码支持
99

1010
## 环境依赖
1111
- [x] SFTP服务器

‎website/docs/quickstart/build.md

Lines changed: 4 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -51,7 +51,9 @@ oracle 插件因为商业版本原因,官方没有提供 ojdbc 的驱动,开
5151
```shell
5252
$ yarn install
5353
$ yarn run build
54-
# or
54+
```
55+
或者使用
56+
- ```shell
5557
$ pnpm install
5658
$ pnpm run build
5759
```
@@ -60,6 +62,6 @@ oracle 插件因为商业版本原因,官方没有提供 ojdbc 的驱动,开
6062
- taier-ui/dist
6163

6264
:::tip
63-
编译前端代码,建议node版本为`v16.14.0`,包管理工具为`pnpm` / `yarn`
65+
编译前端代码,建议node版本为`v16.16.0`,包管理工具为`pnpm` / `yarn`
6466
源码中包含部分scala的代码,通过idea源码启动需要添加scala的sdk 建议scala版本为`2.11.1`
6567
:::

‎website/docs/quickstart/faq.md

Lines changed: 64 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -5,6 +5,55 @@ sidebar_label: 常见问题
55

66

77
## 常见问题
8+
### 任务运行 直接报错
9+
```java
10+
com.dtstack.taier.common.exception.ClientAccessException: Client access exception.
11+
at com.dtstack.taier.common.client.ClientCache.getClient(ClientCache.java:114)
12+
at com.dtstack.taier.common.client.ClientOperator.judgeSlots(ClientOperator.java:155)
13+
at com.dtstack.taier.scheduler.WorkerOperator.judgeSlots(WorkerOperator.java:93)
14+
at com.dtstack.taier.scheduler.WorkerOperator$$FastClassBySpringCGLIB$$b285a6bd.invoke(<generated>)
15+
at org.springframework.cglib.proxy.MethodProxy.invoke(MethodProxy.java:218)
16+
at org.springframework.aop.framework.CglibAopProxy$CglibMethodInvocation.invokeJoinpoint(CglibAopProxy.java:769)
17+
at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:163)
18+
at org.springframework.aop.framework.CglibAopProxy$CglibMethodInvocation.proceed(CglibAopProxy.java:747)
19+
at org.springframework.aop.framework.adapter.AfterReturningAdviceInterceptor.invoke(AfterReturningAdviceInterceptor.java:55)
20+
at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:186)
21+
at org.springframework.aop.framework.CglibAopProxy$CglibMethodInvocation.proceed(CglibAopProxy.java:747)
22+
at org.springframework.aop.interceptor.ExposeInvocationInterceptor.invoke(ExposeInvocationInterceptor.java:95)
23+
at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:186)
24+
at org.springframework.aop.framework.CglibAopProxy$CglibMethodInvocation.proceed(CglibAopProxy.java:747)
25+
at org.springframework.aop.framework.CglibAopProxy$DynamicAdvisedInterceptor.intercept(CglibAopProxy.java:689)
26+
at com.dtstack.taier.scheduler.WorkerOperator$$EnhancerBySpringCGLIB$$9dd74da7.judgeSlots(<generated>)
27+
at com.dtstack.taier.scheduler.jobdealer.JobSubmitDealer.submitEngineJob(JobSubmitDealer.java:340)
28+
at com.dtstack.taier.scheduler.jobdealer.JobSubmitDealer.submitJob(JobSubmitDealer.java:329)
29+
at com.dtstack.taier.scheduler.jobdealer.JobSubmitDealer.lambda$run$0(JobSubmitDealer.java:220)
30+
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
31+
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
32+
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
33+
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
34+
at java.lang.Thread.run(Thread.java:748)
35+
```
36+
37+
:::tip
38+
taier部署目录下没有worker-plugins
39+
:::
40+
41+
### 新建任务下拉框为空 或者 没有数据同步任务类型
42+
:::tip
43+
任务下拉框为空 查看初始化SQL是否正常执行 `dict`表中type = 30 是否正常 不包含重复数据
44+
没有数据同步任务类型 或者没有其他任务类型 确认前置组件是否正常配置 [组件任务依赖关心](./functions/multi-cluster.md)
45+
:::
46+
47+
48+
### 不依赖hadoop 可以实现异构数据源之间的数据同步吗
49+
:::tip
50+
可以本地部署`Flink Standalone``DataX` 通过数据同步任务或者DataX来实现同步
51+
:::
52+
53+
### 数据同步版本可以用其他版本吗
54+
:::tip
55+
不行 Chunjun对接的版本为1.12_release Taier项目依赖的也为1.12 建议使用Flink版本1.12.7
56+
:::
857

958
### 任务提交报错 提示找不到core-jar
1059
```java
@@ -94,7 +143,7 @@ Spark组件`sparkSqlProxyPath` 配置的路径下上传对应依赖jar包
94143
### 本地部署登录之后提示未登录
95144
![login_error](../../static/img/example/login_error.png)
96145
:::tip
97-
本地通过访问http://localhost:8090/
146+
本地通过访问http://ip:8090/
98147
:::
99148

100149

@@ -113,6 +162,13 @@ com.dtstack.taier.datasource.api.exception.InitializeException: get classloader
113162
确保taier部署环境存在同级目录datasource-plugins
114163
:::
115164

165+
### 数据同步任务一直等待运行
166+
:::tip
167+
session 模式 确认 flink session是否拉起 可以参考github issue
168+
standalone 默认 确认 standalone是否正常启动 组件参数配置是否正常
169+
等待运行的信息可以在`taier.log`日志中查看
170+
:::
171+
116172
### 数据同步任务运行class not found
117173

118174
![login_error](../../static/img/example/class_not_find.png)
@@ -153,7 +209,7 @@ chunjun的connector更换过之后,需要重启Taier和Flink Session
153209
### Taier-UI编译失败
154210

155211
:::tip
156-
手动通过npm等方式编译或者删除Taier-ui下node_modules目录再次编译
212+
手动通过npm等方式编译或者删除Taier-ui下node_modules目录再次编译 npm版本建议v16.16
157213
:::
158214

159215
### Taier等插件包编译失败
@@ -194,4 +250,10 @@ application.properties 配置hadoop.user.name=hdfs 重启Taier 更多参数参
194250
### 任务提交显示资源不足
195251
:::tip
196252
确认集群的cpu、内存或flink slot数量是否足够
253+
:::
254+
255+
### 如果访问页面提示空白
256+
:::tip
257+
![img.png](/img/readme/no_dist.png)
258+
如果访问页面提示空白 原因为前端dist文件不存在 需要编译后在启动 参考本地启动文档
197259
:::

‎website/docs/quickstart/idea.md

Lines changed: 50 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -26,11 +26,61 @@ $ build/mvn-build-plugins.sh
2626
|-- datasource-plugins
2727
```
2828

29+
- 构建前端项目文件
30+
前端文件默认指向到data-develop模块下的/resource/static/ 下 需要构建出来才能正常访问页面
31+
```java
32+
public void addResourceHandlers(ResourceHandlerRegistry registry) {
33+
registry.addResourceHandler("/static/**").addResourceLocations("classpath:/static/static/");
34+
registry.addResourceHandler("/images/**").addResourceLocations("classpath:/static/images/");
35+
registry.addResourceHandler("/assets/**").addResourceLocations("classpath:/static/assets/");
36+
registry.addResourceHandler("swagger-ui.html").addResourceLocations(
37+
"classpath:/META-INF/resources/");
38+
registry.addResourceHandler("/webjars/**").addResourceLocations(
39+
"classpath:/META-INF/resources/webjars/");
40+
registry.addResourceHandler("/taier/**").addResourceLocations("classpath:/static/");
41+
registry.addResourceHandler("/**").addResourceLocations("classpath:/static/");
42+
super.addResourceHandlers(registry);
43+
}
44+
```
45+
46+
- 前端文件构建分为2种方式
47+
1. 通过datadevelop.sh脚本构建
48+
datadevelop.sh会构建前端脚本文件并复制到data-develop模块下的/resource/static/的目录下
49+
```shell
50+
$ build/mvn-build-datadevelop.sh
51+
```
52+
53+
static目录结构
54+
```shell
55+
static/
56+
├── assets
57+
├── images
58+
├── static
59+
├── **.js
60+
├── **.js
61+
```
62+
:::tip
63+
如果datadevelop.sh脚本构建失败 请检查是否是node代理仓库无法访问导致
64+
:::
65+
2. 手动通过npm构建
66+
参考 [源码编译](./quickstart/build.md)
67+
编译完成之后 将taier-ui下`dist`目录拷贝至data-develop模块下的`/resource/`
68+
`dist`文件目录重命名为`static`即可
69+
70+
71+
72+
2973
- 在conf/application.properties配置好正确的Zookeeper、MySQL信息
3074
- IDEA选择TaierApplication启动项目
3175
![idea-run](/img/readme/idea-run.png)
3276

77+
3378
:::tip
3479
源码中包含部分scala的代码,通过idea源码启动需要添加scala的sdk 建议scala版本为`2.11.1`
3580
Module Setting > Global Libraries > scala sdk
81+
:::
82+
83+
:::tip
84+
![img.png](/img/readme/no_dist.png)
85+
如果访问页面提示空白 原因为前端文件不存在 需要编译后在启动
3686
:::
117 KB
Loading

‎website/static/img/readme/no_dist.png

51.6 KB
Loading

0 commit comments

Comments
 (0)
Please sign in to comment.