提交笔记

Author: hackerHiJu

source/_posts/ai/Pytorch基础入门到实践.md

@@ -0,0 +1,17 @@
+---
+title: 
+date: 2025-04-02 03:26:19
+updated: 2025-04-02 03:26:19
+tags:
+  - AI
+  - Pytorch
+comments: true
+categories:
+  - AI
+  - 深度神经网络
+  - Pytorch
+thumbnail: https://images.unsplash.com/photo-1614308457932-e16d85c5d053?crop=entropy&cs=srgb&fm=jpg&ixid=M3w2NDU1OTF8MHwxfHJhbmRvbXx8fHx8fHx8fDE3NDM1Nzg3Nzl8&ixlib=rb-4.0.3&q=85&w=1920&h=1080
+published: false
+---
+# 1. Pytorch基础入门
+

source/_posts/ai/显卡性能对比.md

@@ -2,9 +2,12 @@
 title: 显卡性能对比
 date: 2025-04-01 10:30:37
 updated: 2025-04-01 10:30:37
-tags: 
-comments: false
-categories: 
+tags:
+  - AI
+comments: true
+categories:
+  - AI
+  - 显卡
 thumbnail: https://images.unsplash.com/photo-1500485035595-cbe6f645feb1?crop=entropy&cs=srgb&fm=jpg&ixid=M3w2NDU1OTF8MHwxfHJhbmRvbXx8fHx8fHx8fDE3NDM0NzQ2Mzd8&ixlib=rb-4.0.3&q=85&w=1920&h=1080
 published: false
 ---
@@ -123,6 +126,7 @@ GPU的数量选择与训练任务有关。一般我们认为模型的一次训
 | NVIDIA Volta  |            配备第一代张量核心，支持低精度计算加速。             | 中等规模模型训练和推理。 |
 | NVIDIA Ampere | 第三代张量核心，支持TensorFloat32格式，显著提升单精度和混合精度训练性能。 | 大规模模型训练和推理。  |
 | NVIDIA Hopper | 新增Transformer引擎，专为AI和深度学习设计，大幅提升大模型训练和推理效率。 |     超大规模     |
+|               |                                             |              |
 
 ### 4. 显卡性能对比
 
@@ -142,14 +146,85 @@ GPU的数量选择与训练任务有关。一般我们认为模型的一次训
 | A100 SXM4 | 40/80GB | 19.5 T   | 312 T    | [查看](https://www.techpowerup.com/gpu-specs/a100-sxm4-80-gb.c3746)        | 新一代专业计算卡皇，除了贵没缺点。显存大，非常适合做半精计算，因为有NVLink加持，多卡并行加速比非常高。需要使用cuda11.x |
 | 4090      | 24G     | 82.58 T  | 165.2 T  | [查看](https://www.techpowerup.com/gpu-specs/geforce-rtx-4090.c3889)       | 新一代游戏卡皇，除显存比较小和多机多卡并行效率低的缺点外，性价比非常高                                |
 
-#### 4.1 L40
+#### 4.1 RTX 4090 24G x 2
 
+**注意：多模态的推理速度以图片为基础，从请求发起到结束时对图片处理的时间**
+
+CPU：30 vCPU Intel(R) Xeon(R) Platinum 8474C
+##### 单线程
+
+|           大模型名称            | 部署框架 |    推理速度    | 启动时显存使用 | 显存使用量 | 推理显存使用量 |
+| :------------------------: | :--: | :--------: | :-----: | :---: | :-----: |
+| 通义千问2.5-VL-7B-Instruct-AWQ | vllm | 10秒-12秒/张  |   32G   |  16G  |   18G   |
+|  通义千问2.5-7B-Instruct-Int4  | vllm | 11 token/s |   32G   |  38G  |   38G   |
+##### 多线程
+
+
+|           大模型名称            | 部署框架 | 线程数 |    推理速度    | 显存使用量 | 推理显存使用量 |
+| :------------------------: | :--: | :-: | :--------: | :---: | :-----: |
+| 通义千问2.5-VL-7B-Instruct-AWQ | vllm | 20  | 平均耗时11秒/张  |  16G  |   40G   |
+|  通义千问2.5-7B-Instruct-Int4  | vllm | 20  | 204token/s |  16G  |   40G   |
+
+|           大模型名称            | 部署框架 | 线程数 |    推理速度    | 显存使用量 | 推理显存使用量 |
+| :------------------------: | :--: | :-: | :--------: | :---: | :-----: |
+| 通义千问2.5-VL-7B-Instruct-AWQ | vllm | 50  | 平均耗时11秒/张  |  17G  |   40G   |
+|  通义千问2.5-7B-Instruct-Int4  | vllm | 50  | 471token/s |  38G  |   40G   |
+#### 4.2 L20 48G
+
+CPU：25 vCPU AMD EPYC 7T83 64-Core Processor
+
+##### 单线程
+
+|           大模型名称            | 部署框架 |    推理速度    | 显存使用量 | 推理显存使用量 |
+| :------------------------: | :--: | :--------: | :---: | :-----: |
+| 通义千问2.5-VL-7B-Instruct-AWQ | vllm |  5秒-6秒/张   |  23G  |   24G   |
+|  通义千问2.5-7B-Instruct-Int4  | vllm | 20 token/s |  40G  |   40G   |
+##### 多线程
+
+
+|            大模型名称            | 部署框架 | 线程数 |    推理速度    | 显存使用量 | 推理显存使用量 |
+| :-------------------------: | :--: | :-: | :--------: | :---: | :-----: |
+| 通义千问2.5-VL-7B-Instruct-AWQ  | vllm | 20  |  平均耗时5秒/张  |  23G  |   24G   |
+|  通义千问2.5-7B-Instruct-Int4   | vllm | 20  | 364token/s |  40G  |   40G   |
+
+
+|           大模型名称            | 部署框架 | 线程数 |     推理速度     | 显存使用量 | 推理显存使用量 |
+| :------------------------: | :--: | :-: | :----------: | :---: | :-----: |
+| 通义千问2.5-VL-7B-Instruct-AWQ | vllm | 50  | 平均耗时16-17秒/张 |  23G  |   24G   |
+|  通义千问2.5-7B-Instruct-Int4  | vllm | 50  |  798token/s  |  40G  |   40G   |
+#### 4.3 L40 48G
+
+CPU：25 vCPU AMD EPYC 7T83 64-Core Processor
+
+##### 单线程
+
+|           大模型名称            | 部署框架 |    推理速度     | 启动显存使用 | 显存使用量 | 推理显存使用量 |
+| :------------------------: | :--: | :---------: | :----: | :---: | :-----: |
+| 通义千问2.5-VL-7B-Instruct-AWQ | vllm | 平均耗时3秒-7秒/张 |  36G   |  16G  |   17G   |
+|    通义千问2.5-7B-Instruct     | vllm | 12.7token/s |  40G   |  40G  |   40G   |
+
+##### 多线程
+
+|           大模型名称            | 部署框架 | 线程数 |    推理速度    | 启动显存使用 | 显存使用量 | 推理显存使用量 |
+| :------------------------: | :--: | :-: | :--------: | :----: | :---: | :-----: |
+| 通义千问2.5-VL-7B-Instruct-AWQ | vllm | 20  | 平均16-17秒/张 |  36G   |  17G  |   37G   |
+|    通义千问2.5-7B-Instruct     | vllm | 20  | 240token/s |  40G   |  40G  |   40G   |
+#### 总结
+
+L20得益于计算卡的架构优势，在推理速度方便要比4090显卡的性能高，而L20在使用同样的测试环境下，L40性能低于L20
+
+注：所有的测试方式均为使用代码的方式进行API调用，通过vllm记录token的生成速度和显存占用量
 
-|            大模型名称            | 模型启动时间 | 模型大小 | 部署框架 | 推理速度 | 显存使用量 | 推理显存使用量 |
-| :-------------------------: | :----: | :--: | :--: | :--: | ----- | ------- |
-|     通义千问2.5-Omni-7B全模态      |        |      | vllm |      |       |         |
-|   通义千问2.5-VL-7B-Instruct    |        |      | vllm |      |       |         |
-| DeepSeek-R1-Distill-Qwen-7B |        |      | vllm |      |       |         |
-|     通义千问2.5-7B-Instruct     |        |      |      |      |       |         |
 
 ### 5. 大模型微调速度
+
+#### 5.1 RTX 4090
+
+使用2 x RTX4090显卡进行模型推理测试
+
+|            大模型名称            |     微调框架     | 微调速度 | 显存使用量 |
+| :-------------------------: | :----------: | :--: | ----- |
+|     通义千问2.5-Omni-7B全模态      | llamafactory |      |       |
+|   通义千问2.5-VL-7B-Instruct    | llamafactory |      |       |
+| DeepSeek-R1-Distill-Qwen-7B | llamafactory |      |       |
+|     通义千问2.5-7B-Instruct     | llamafactory |      |       |

source/_posts/摄影/色彩原理（一）.md

@@ -0,0 +1,15 @@
+---
+title: 色彩原理（一）
+date: 2025-04-02 03:31:47
+updated: 2025-04-02 03:31:47
+tags:
+  - 摄影
+  - 颜色
+comments: true
+categories:
+  - 摄影
+  - 颜色
+  - 配色
+thumbnail: https://images.unsplash.com/photo-1683009427540-c5bd6a32abf6?crop=entropy&cs=srgb&fm=jpg&ixid=M3w2NDU1OTF8MHwxfHJhbmRvbXx8fHx8fHx8fDE3NDM1NzkxMDd8&ixlib=rb-4.0.3&q=85&w=1920&h=1080
+published: false
+---