File tree 1 file changed +5
-5
lines changed
1 file changed +5
-5
lines changed Original file line number Diff line number Diff line change 2
2
3
3
## 简介
4
4
5
- ` rscheduler ` 本质为在` hiplotlib ` 之上搭建的一个R语言会话层,进行多会话的任务调度,提供会话管理功能,替代原有的` plumber ` +` pm2 ` 的调度方案
5
+ ` rscheduler ` 本质为在` hiplotlib ` 之上搭建的一个R语言会话层,进行多会话的任务调度,提供会话管理功能,替代原有的` plumber ` +` pm2 ` 的调度方案
6
6
7
- 工作流由原先的` 前端提交任务->后端处理->plmber执行 ` 改为` 前端提交任务->后端处理->消息队列<-rscheduler拉取任务->hicli执行 ` ,引入的消息队列解耦了后端逻辑与任务调度与执行逻辑,使` hiplotlib ` 得以水平拓展,大大提高任务处理效率,并且通过拉模式主动从消息队列中消费任务,可根据自身状态动态调整拉取任务数量,一定程度上防止了CPU负载过高和内存溢出
7
+ 工作流由原先的` 前端提交任务->后端处理->plmber执行 ` 改为` 前端提交任务->后端处理->消息队列<-rscheduler拉取任务->hicli执行 ` ,引入的消息队列解耦了后端逻辑与任务调度与执行逻辑,使` hiplotlib ` 得以水平拓展,大大提高任务处理效率,并且通过拉模式主动从消息队列中消费任务,可根据自身状态动态调整拉取任务数量,一定程度上防止了CPU负载过高和内存溢出
8
8
9
9
## QuickStart
10
10
29
29
30
30
` rscheduler ` 的配置项从三个维度出发,分别对应上面的三个核心概念
31
31
32
- ` scheduler ` 支持配置` maxCPU ` 允许创建新任务的最大CPU使用率和` maxMem ` 允许创建新任务的最大内存使用率,在达到最大内存使用率时,会自动触发` scheduler ` 的` gc ` 功能清除空闲的` processor ` 。另外还支持配置` maxBusyProcessor最大繁忙处理器数量 ` 和` maxIdleProcessor最大空闲处理器数量 ` 。
32
+ * ` scheduler ` 支持配置` maxCPU ` 允许创建新任务的最大CPU使用率和` maxMem ` 允许创建新任务的最大内存使用率,在达到最大内存使用率时,会自动触发` scheduler ` 的` gc ` 功能清除空闲的` processor ` 。另外还支持配置` maxBusyProcessor最大繁忙处理器数量 ` 和` maxIdleProcessor最大空闲处理器数量 ` 。
33
33
34
- ` pocessor ` 支持配置` maxBusyProcessorMem繁忙处理器最大内存使用量 ` 和` maxIdleProcessorMem空闲处理器最大内存使用量 ` ,自动杀死超限任务,防止大型任务占用服务器所有资源,并且避免了会话长期复用累积的内存消耗问题
34
+ * ` pocessor ` 支持配置` maxBusyProcessorMem繁忙处理器最大内存使用量 ` 和` maxIdleProcessorMem空闲处理器最大内存使用量 ` ,自动杀死超限任务,防止大型任务占用服务器所有资源,并且避免了会话长期复用累积的内存消耗问题
35
35
36
- ` task ` 支持配置` taskTimeout ` 任务超时时间,防止任务异常阻塞等情况的发生
36
+ * ` task ` 支持配置` taskTimeout ` 任务超时时间,防止任务异常阻塞等情况的发生
37
37
38
38
## 已实现功能
39
39
You can’t perform that action at this time.
0 commit comments