仿真中AllReduce和AllGather产生的流量完全一致

[nuctrace]

拓扑文件如下：

Spectrum-X_128g_8gps_100Gbps_A100.txt

负载文件的内容如下图所示：

我希望运行负载文件中的不同的集合通信元语，以验证每种集合通信操作生成流是否符合预期
每次运行结束后我通过解析/etc/astra-sim/simulation/llama_hpn7_fct.txt文件来观察集合通信操作生成的流情况
在分别运行Allgather和Allreduce后生成的流情况如下图所示

可见两种集合通信操作生成的流完全一致，这令我感到困惑

[tianhao909]

你看看 SimAI.conf里面的log能不能对得上， 这个llama_hpn7_fct.txt文件我好像不常用，不确定功能是不是正确的，可能需要定位这个llama_hpn7_fct.txt文件的生成的地方是不是真正生效

可以试试 SimAI.conf，看看仿真中AllReduce和AllGather产生的流量是不是也是完全一致？

具体操作方法：

运行命令前面加AS_LOG_LEVEL=DEBUG

AS_LOG_LEVEL=DEBUG AS_SEND_LAT=3 AS_NVLS_ENABLE=1 ./bin/SimAI_simulator -t 16 -w ./example/xxx.txt -n ./xxxtopo -c astra-sim-alibabacloud/inputs/config/SimAI.conf运行之后

从 /etc/astra-sim/SimAI.log
这个文件里面查看

如果想修改这个路径， 改这个文件
/SimAI/astra-sim-alibabacloud/astra-sim/system/MockNcclLog.h
#define LOG_PATH "/etc/astra-sim/"

源码里可以搜索NcclLog->writeLog，用全局的单例维护，可以修改需要的flow和trace采集信息和采集点

[nuctrace]

llama_hpn7_fct.txt是仿真平台运行时生成的流完成文件，当有一条流传输完毕时会输出其完成信息，包含两端节点编号、启动时间、结束时间、流大小等信息。其有效性我认为是没有问题的。
执行流完成后输出的函数在common.h中如下代码传入device对象中

具体执行函数可以在entry.h中找到

通过观察AllReduce和AllGather产生的流量，SimAI似乎都是通过ring算法来做AllReduce和AllGather的集合通信，那么SimAI是否有非ring算法来启动AllReduce和AllGather。

[tianhao909]

llama_hpn7_fct.txt是仿真平台运行时生成的流完成文件，当有一条流传输完毕时会输出其完成信息，包含两端节点编号、启动时间、结束时间、流大小等信息。其有效性我认为是没有问题的。 执行流完成后输出的函数在common.h中如下代码传入device对象中 具体执行函数可以在entry.h中找到

通过观察AllReduce和AllGather产生的流量，SimAI似乎都是通过ring算法来做AllReduce和AllGather的集合通信，那么SimAI是否有非ring算法来启动AllReduce和AllGather。

目前AllReduce和AllGather的集合通信的实现相关的代码应该是写在astra-sim-alibabacloud/astra-sim/system/MockNcclGroup.cc 还有MockNcclGroup.h这边，你可以定位核实一下，这部分应该是simccl的作用，但是目前写在的simai的主仓库里面

然后可以搜genAllReduceTreeFlowModels等函数, gdb看看类似这些函数调用栈调用的触发条件，能不能work，比如用tree算法来启动AllReduce

simccl之后应该是要把simai库中的MockNccl里面的逻辑和代码拆出来，放到simccl单独的库中， 然后补全一些信息应该

你也可以对比看看simccl那个仓库的代码和simai主库相关
AllReduce和AllGather的集合通信算法的异同
https://github.com/aliyun/SimAI/tree/SimCCL