sync support set resume v2 part size & change some doc

Author: YangSen-qn

cmd/asyncfetch.go

@@ -36,7 +36,7 @@ func asyncFetchCmdBuilder(cfg *iqshell.Config) *cobra.Command {
 	cmd.Flags().IntVarP(&info.FileType, "storage-type", "g", 0, "storage type, same to --file-type")
 	_ = cmd.Flags().MarkDeprecated("storage-type", "use --file-type instead") // 废弃 storage-type
 
-	cmd.Flags().BoolVarP(&info.Overwrite, "overwrite", "w", false, "overwrite the file of same key in bucket")
+	cmd.Flags().BoolVarP(&info.Overwrite, "overwrite", "", false, "overwrite the file of same key in bucket")
 	cmd.Flags().StringVarP(&info.BatchInfo.InputFile, "input-file", "i", "", "input file with urls")
 	cmd.Flags().IntVarP(&info.BatchInfo.WorkerCount, "thread-count", "c", 20, "thread count")
 	cmd.Flags().BoolVarP(&info.BatchInfo.EnableRecord, "enable-record", "", false, "record work progress, and do from last progress while retry")

cmd/download.go

@@ -29,7 +29,7 @@ have already in local disk and need to skip download or not.`,
 		},
 	}
 	cmd.Flags().StringVarP(&info.SuccessExportFilePath, "success-list", "s", "", "specifies the file path where the successful file list is saved")
-	cmd.Flags().StringVarP(&info.FailExportFilePath, "failure-list", "f", "", "specifies the file path where the failure file list is saved")
+	cmd.Flags().StringVarP(&info.FailExportFilePath, "failure-list", "e", "", "specifies the file path where the failure file list is saved")
 
 	cmd.Flags().IntVarP(&info.WorkerCount, "thread-count", "c", 5, "num of threads to download files")
 	cmd.Flags().IntVarP(&info.WorkerCount, "thread", "", 5, "num of threads to download files")
@@ -65,7 +65,7 @@ have already in local disk and need to skip download or not.`,
 		},
 	}
 	cmd.Flags().StringVarP(&info.SuccessExportFilePath, "success-list", "s", "", "specifies the file path where the successful file list is saved")
-	cmd.Flags().StringVarP(&info.FailExportFilePath, "failure-list", "f", "", "specifies the file path where the failure file list is saved")
+	cmd.Flags().StringVarP(&info.FailExportFilePath, "failure-list", "e", "", "specifies the file path where the failure file list is saved")
 
 	cmd.Flags().IntVarP(&info.WorkerCount, "thread-count", "c", 5, "num of threads to download files")
 	cmd.Flags().IntVarP(&info.WorkerCount, "thread", "", 5, "num of threads to download files")
@@ -120,7 +120,7 @@ var getCmdBuilder = func(cfg *iqshell.Config) *cobra.Command {
 	cmd.Flags().StringVarP(&info.Domain, "domain", "", "", "domain of request")
 	cmd.Flags().StringVarP(&info.Domain, "cdn-domain", "", "", "set the CDN domain name for downloading, the default is empty, which means downloading from the storage source site")
 	_ = cmd.Flags().MarkDeprecated("domain", "use --cdn-domain instead")
-	
+
 	cmd.Flags().BoolVarP(&info.CheckHash, "check-hash", "", false, "check the consistency of the hash between the local file and the server file. the download fails while the file is inconsistent.")
 	cmd.Flags().BoolVarP(&info.CheckSize, "check-size", "", false, "check the consistency of the file size between the local file and the server file. the download fails while the file is inconsistent.")
 	cmd.Flags().BoolVarP(&info.UseGetFileApi, "get-file-api", "", false, "public storage cloud not support, private storage cloud support when has getfile api.")

cmd/rs.go

@@ -111,6 +111,8 @@ var moveCmdBuilder = func(cfg *iqshell.Config) *cobra.Command {
 		},
 	}
 	cmd.Flags().BoolVarP(&info.Force, "overwrite", "w", false, "overwrite mode")
+	_ = cmd.Flags().MarkShorthandDeprecated("overwrite", "deprecated and use --overwrite instead")
+
 	cmd.Flags().StringVarP(&info.DestKey, "key", "k", "", "filename saved in bucket")
 	return cmd
 }
@@ -141,6 +143,8 @@ you can check if B.png has exists by:
 		},
 	}
 	cmd.Flags().BoolVarP(&info.Force, "overwrite", "w", false, "overwrite mode")
+	_ = cmd.Flags().MarkShorthandDeprecated("overwrite", "deprecated and use --overwrite instead")
+
 	return cmd
 }
 
@@ -169,6 +173,8 @@ you can check if B.png has exists by:
 		},
 	}
 	cmd.Flags().BoolVarP(&info.Force, "overwrite", "w", false, "overwrite mode")
+	_ = cmd.Flags().MarkShorthandDeprecated("overwrite", "deprecated and use --overwrite instead")
+
 	cmd.Flags().StringVarP(&info.DestKey, "key", "k", "", "filename saved in bucket, use <SrcKey> while omitted")
 	return cmd
 }

cmd/rsbatch.go

@@ -311,6 +311,7 @@ func setBatchCmdFailExportFileFlags(cmd *cobra.Command, info *batch.Info) {
 }
 func setBatchCmdOverwriteFlags(cmd *cobra.Command, info *batch.Info) {
 	cmd.Flags().BoolVarP(&info.Overwrite, "overwrite", "w", false, "overwrite mode")
+	_ = cmd.Flags().MarkShorthandDeprecated("overwrite", "deprecated and use --overwrite instead")
 }
 
 func init() {

cmd/upload.go

@@ -28,7 +28,7 @@ var uploadCmdBuilder = func(cfg *iqshell.Config) *cobra.Command {
 		},
 	}
 	cmd.Flags().StringVarP(&info.SuccessExportFilePath, "success-list", "s", "", "specifies the file path where the successful file list is saved")
-	cmd.Flags().StringVarP(&info.FailExportFilePath, "failure-list", "f", "", "specifies the file path where the failure file list is saved")
+	cmd.Flags().StringVarP(&info.FailExportFilePath, "failure-list", "e", "", "specifies the file path where the failure file list is saved")
 	cmd.Flags().StringVarP(&info.OverwriteExportFilePath, "overwrite-list", "w", "", "specifies the file path where the overwrite file list is saved")
 	cmd.Flags().IntVarP(&info.Info.WorkerCount, "worker", "c", 1, "worker count")
 	cmd.Flags().StringVarP(&info.CallbackUrl, "callback-urls", "l", "", "upload callback urls, separated by comma")
@@ -62,16 +62,16 @@ var upload2CmdBuilder = func(cfg *iqshell.Config) *cobra.Command {
 			operations.BatchUpload2(cfg, info)
 		},
 	}
-	cmd.Flags().StringVar(&info.SuccessExportFilePath, "success-list", "", "upload success file list")
-	cmd.Flags().StringVar(&info.FailExportFilePath, "failure-list", "", "upload failure file list")
-	cmd.Flags().StringVar(&info.OverwriteExportFilePath, "overwrite-list", "", "upload success (overwrite) file list")
+	cmd.Flags().StringVarP(&info.SuccessExportFilePath, "success-list", "s", "", "upload success file list")
+	cmd.Flags().StringVarP(&info.FailExportFilePath, "failure-list", "e", "", "upload failure file list")
+	cmd.Flags().StringVarP(&info.OverwriteExportFilePath, "overwrite-list", "w", "", "upload success (overwrite) file list")
 	cmd.Flags().IntVar(&info.Info.WorkerCount, "thread-count", 1, "multiple thread count")
 	cmd.Flags().IntVar(&info.UploadConfig.WorkerCount, "worker-count", 3, "the number of concurrently uploaded parts of a single file in resumable upload")
 
 	cmd.Flags().BoolVarP(&info.ResumableAPIV2, "resumable-api-v2", "", false, "use resumable upload v2 APIs to upload")
 	cmd.Flags().Int64Var(&info.ResumableAPIV2PartSize, "resumable-api-v2-part-size", data.BLOCK_SIZE, "the part size when use resumable upload v2 APIs to upload")
 	cmd.Flags().BoolVar(&info.IgnoreDir, "ignore-dir", false, "ignore the dir in the dest file key")
-	cmd.Flags().BoolVarP(&info.Overwrite, "overwrite", "w", false, "overwrite the file of same key in bucket")
+	cmd.Flags().BoolVarP(&info.Overwrite, "overwrite", "", false, "overwrite the file of same key in bucket")
 	cmd.Flags().BoolVar(&info.CheckExists, "check-exists", false, "check file key whether in bucket before upload")
 	cmd.Flags().BoolVar(&info.CheckHash, "check-hash", false, "check hash")
 	cmd.Flags().BoolVar(&info.CheckSize, "check-size", false, "check file size")
@@ -126,13 +126,14 @@ var syncCmdBuilder = func(cfg *iqshell.Config) *cobra.Command {
 	}
 	cmd.Flags().StringVarP(&info.SaveKey, "key", "k", "", "save as <key> in bucket")
 	cmd.Flags().BoolVarP(&info.UseResumeV2, "resumable-api-v2", "", false, "use resumable upload v2 APIs to upload")
+	cmd.Flags().Int64VarP(&info.ChunkSize, "resumable-api-v2-part-size", "", data.BLOCK_SIZE, "the part size when use resumable upload v2 APIs to upload, default 4M")
 	cmd.Flags().StringVarP(&info.UpHost, "up-host", "u", "", "upload host")
 
 	cmd.Flags().IntVarP(&info.FileType, "file-type", "", 0, "set storage type of file, 0:STANDARD storage, 1:IA storage, 2:ARCHIVE storage, 3:DEEP_ARCHIVE storage")
 	cmd.Flags().IntVarP(&info.FileType, "storage", "s", 0, "set storage type of file, same to --file-type")
 	_ = cmd.Flags().MarkDeprecated("storage", "use --file-type instead") // 废弃 storage
 
-	cmd.Flags().BoolVarP(&info.Overwrite, "overwrite", "w", false, "overwrite the file of same key in bucket")
+	cmd.Flags().BoolVarP(&info.Overwrite, "overwrite", "", false, "overwrite the file of same key in bucket")
 
 	return cmd
 }
@@ -159,7 +160,7 @@ var formUploadCmdBuilder = func(cfg *iqshell.Config) *cobra.Command {
 			operations.UploadFile(cfg, info)
 		},
 	}
-	cmd.Flags().BoolVarP(&info.Overwrite, "overwrite", "w", false, "overwrite the file of same key in bucket")
+	cmd.Flags().BoolVarP(&info.Overwrite, "overwrite", "", false, "overwrite the file of same key in bucket")
 	cmd.Flags().StringVarP(&info.MimeType, "mimetype", "t", "", "file mime type")
 
 	cmd.Flags().IntVarP(&info.FileType, "file-type", "", 0, "set storage type of file, 0:STANDARD storage, 1:IA storage, 2:ARCHIVE storage, 3:DEEP_ARCHIVE storage")
@@ -196,7 +197,7 @@ var resumeUploadCmdBuilder = func(cfg *iqshell.Config) *cobra.Command {
 	}
 
 	cmd.Flags().StringVarP(&info.MimeType, "mimetype", "t", "", "file mime type")
-	cmd.Flags().BoolVarP(&info.Overwrite, "overwrite", "w", false, "overwrite the file of same key in bucket")
+	cmd.Flags().BoolVarP(&info.Overwrite, "overwrite", "", false, "overwrite the file of same key in bucket")
 	cmd.Flags().BoolVarP(&info.UseResumeV2, "resumable-api-v2", "", false, "use resumable upload v2 APIs to upload")
 
 	cmd.Flags().Int64VarP(&info.ChunkSize, "resumable-api-v2-part-size", "", data.BLOCK_SIZE, "the part size when use resumable upload v2 APIs to upload, default 4M")

cmd_test/download_test.go

@@ -292,7 +292,7 @@ func TestDownload2WithKeyFile(t *testing.T) {
 		"--log-file", logPath,
 		"--log-level", "debug",
 		"-s", successLogPath,
-		"-f", failLogPath,
+		"-e", failLogPath,
 		"-c", "4",
 		"-d")
 	if test.FileCountInDir(destDir) < 2 {

docs/abfetch.md

@@ -9,7 +9,7 @@
 
 # 格式
 ```
-qshell abfetch [-i <URLList>][-b <CallbackBody>][-T <CallbackHost>][-a <CallbackUrl>][-e <FailureList>][-t <DownloadHostHeader>][-g <FileType>][-s <SuccessList>][-c <ThreadCount>] <Bucket>
+qshell abfetch [-i <URLList>][-b <CallbackBody>][-T <CallbackHost>][-a <CallbackUrl>][-e <FailureList>][-t <DownloadHostHeader>][--file-type <FileType>][-s <SuccessList>][-c <ThreadCount>] <Bucket>
 ```
 
 # 帮助文档
@@ -37,9 +37,9 @@ $ qshell abfetch --doc
 - -b/--callback-body：回调的 http Body。 【可选】          
 - -T/--callback-host：回调时的 HOST 头。 【可选】
 - -a/--callback-url：回调的请求地址。 【可选】
-- -t/--host：下载资源时使用的 HOST 头。 【可选】
 - --file-type：抓取的资源存储在七牛存储空间的类型，0:普通存储 1:低频存储 2:归档存储 3:深度归档, 默认为: 0。 【可选】
 - -c/--thread-count：指定抓取时使用的线程数目，默认：20。 【可选】
+- --overwrite：是否覆盖空间已有文件，默认为 `false`。 【可选】
 - -s/--success-list：指定一个文件的路径，如果资源抓取成功，则将资源信息写入此文件；默认不导出。 【可选】
 - -e/--failure-list：指定一个文件的路径，如果资源抓取失败，则将资源信息写入此文件；默认不导出。 【可选】
 - --disable-check-fetch-result：不检测异步 fetch 是否成功；检测方式是查询目标 bucket 是否存在 fetch 的文件；默认检测。【可选】  

docs/copy.md

@@ -30,8 +30,8 @@ $ qshell copy --doc
 - DestBucket: 目标空间名称，可以和源空间名称相同【必选】
 
 # 选项
-- -k: 目标文件名称(DestKey)，如果是 `DestBucket` 和 `SrcBucket` 不同的情况下，这个参数可以不填，默认和 `SrcKey` 相同。【可选】
-- -w/--overwrite: 当保存的文件已存在时，强制用新文件覆盖原文件，如果无此选项操作会失败。【可选】
+- -k/--key: 目标文件名称(DestKey)，如果是 `DestBucket` 和 `SrcBucket` 不同的情况下，这个参数可以不填，默认和 `SrcKey` 相同。【可选】
+- --overwrite: 当保存的文件已存在时，强制用新文件覆盖原文件，如果无此选项操作会失败。【可选】
 
 ##### 备注：
 1 如果复制的副本和原文件在同一个空间，那么必须提供不同于原文件的副本文件名，或者加上覆盖选项 `--overwrite`

docs/get.md

@@ -25,7 +25,7 @@ $ qshell get --doc
 
 # 选项
 - -o/--outfile：保存在本地的文件路径；不指定，保存在当前文件夹，文件名使用存储空间中的名字【可选】
-- --domain：下载请求的 domain，qshell 下载使用 domain 优先级：1.domain(此选项) 2.bucket 绑定域名(qshell 内部查询，无需配置) ，当优先级高的 domain 下载失败后会尝试使用优先级低的 domain 进行下载。【可选】
+- --cdn-domain：下载请求的 domain，qshell 下载使用 domain 优先级：1.domain(此选项) 2.bucket 绑定域名(qshell 内部查询，无需配置) ，当优先级高的 domain 下载失败后会尝试使用优先级低的 domain 进行下载。【可选】
 - --get-file-api: 当存储服务端支持 getfile 接口时才有效。【可选】
 - --public：空间是否为公开空间；为 `true` 时为公有空间，公有空间下载时不会对下载 URL 进行签名，可以提升 CDN 域名性能，默认为 `false`（私有空间）【可选】
 - --check-size: 下载后检测本地文件和服务端文件 size 的一致性。【可选】

docs/listbucket2.md

@@ -32,7 +32,7 @@ $ qshell listbucket2 --doc
 # 选项
 - --prefix： 七牛空间中文件名的前缀，该参数为可选参数，如果不指定则获取空间中所有的文件列表。 【可选】
 - --limit：最多列条目的数量；当设置了此选项，输出的 marker 会有误差，不能使用； 默认输出所有条目。【可选】
-- --out：获取的文件列表保存在本地的文件名，如果不指定该参数，则会把结果输出到终端，一般可用于获取小规模文件列表测试使用。 【可选】
+- -o/--outfile：获取的文件列表保存在本地的文件名，如果不指定该参数，则会把结果输出到终端，一般可用于获取小规模文件列表测试使用。 【可选】
 - --output-file-max-lines：每个输出文件的最大行数，大于此行数会自动创建新的文件（新文件的文件名规律示例，源文件：/x/x/a.txt，新建文件为：/x/x/a-${index}.txt，index 为创建文件的序列号，从 0 开始），0：不限制单个输出文件的行数，默认：0。 【可选】
 - --output-file-max-size：每个输出文件的最大尺寸，大于此值会自动创建新的文件（新文件的文件名规律示例，源文件：/x/x/a.txt，新建文件为：/x/x/a-${index}.txt，index 为创建文件的序列号，从 0 开始），0：不限制单个输出文件的尺寸，单位：B，默认：0。 【可选】
 - --start：列举整个空间，然后从中筛选出文件上传日期在 <StartDate> 之后的文件；格式：yyyy-mm-dd-hh-MM-ss eg:2022-01-10-08-30-20 。【可选】
@@ -117,7 +117,7 @@ qshell listbucket if-pbl --prefix '2014/10/07/' -o if-pbl.prefix.list.txt
 hello.jpg	1710619	FlUqUK7zqbqm3NPwzq2q7TMZ-Ijs	14209629320769140	image/jpeg  1
 hello.mp4	8495868	lns2dAHvO0qYseZFgDn3UqZlMOi-	14207312835630132	video/mp4   0
 hhh	1492031	FjiRl_U0AeSsVCHXscCGObKyMy8f	14200176147531840	image/jpeg  1
-jemygraw.jpg	1900176	FtmHAbztWfPEqPMv4t4vMNRYMETK	14208960018750329	application/octet-stream	1   QiniuAndroid
+jemygraw.jpg	1900176	FtmHAbztWfPEqPMv4t4vMNRYMETK	14208960018750329	application/octet-stream	1
 ```
 
 # FAQ

docs/move.md

@@ -6,7 +6,7 @@
 
 # 格式
 ```
-qshell move [--overwrite] <SrcBucket> <SrcKey> <DestBucket> <DestKey>
+qshell move [--overwrite] <SrcBucket> <SrcKey> <DestBucket> [-k DestKey]
 ```
 
 # 帮助文档
@@ -26,7 +26,10 @@ $ qshell move --doc
 - SrcBucket: 源空间名称
 - SrcKey: 源文件名称
 - DestBucket: 目标空间名称
-- DestKey: 目标文件名称
+
+# 选项
+- -k/--key: 目标文件名称(DestKey)，如果是 `DestBucket` 和 `SrcBucket` 不同的情况下，这个参数可以不填，默认和 `SrcKey` 相同。【可选】
+- --overwrite: 当保存的文件已存在时，强制用新文件覆盖原文件，如果无此选项操作会失败。【可选】
 
 # 示例
 1 将空间 `if-pbl` 中的 `qiniu.jpg` 移动到 `if-pri` 中

docs/pfop.md

@@ -27,7 +27,7 @@ $ qshell pfop --doc
 # 选项
 - -p/--pipeline：处理队列名称, 如果没有制定该选项，默认使用公有队列【可选】
 - -u/--notify-url：处理结果通知接收 URL，七牛将会向你设置的 URL 发起 Content-Type: application/json 的 POST 请求。【可选】
-- -f/--force：强制执行数据处理。当服务端发现 fops 指定的数据处理结果已经存在，那就认为已经处理成功，避免重复处理浪费资源。 增加此选项（--force），则可强制执行数据处理并覆盖原结果。【可选】
+- -y/--force：强制执行数据处理。当服务端发现 fops 指定的数据处理结果已经存在，那就认为已经处理成功，避免重复处理浪费资源。 增加此选项（--force），则可强制执行数据处理并覆盖原结果。【可选】
 
 # 示例
 1 把 qiniutest 空间下的文件 `test.avi` 转码成 `mp4` 文件，转码后的结果保存到 `qiniutest` 空间中

docs/qdownload.md

@@ -34,9 +34,9 @@ $ qshell qdownload --doc
 其中 `ThreadCount` 表示支持同时下载多个文件。
 
 # 选项
-- -c/--thread：配置下载的并发协程数量，表示支持同时下载多个文件（ThreadCount）, 大小必须在 1~2000，如果不在这个范围内，默认为 5。
+- -c/--thread-count：配置下载的并发协程数量，表示支持同时下载多个文件（ThreadCount）, 大小必须在 1~2000，如果不在这个范围内，默认为 5。
 - -s/--success-list：指定一个文件名字，导入下载成功的文件列表到该文件。
-- -f/--failure-list：指定一个文件名字， 导入下砸失败的文件列表到该文件。
+- -e/--failure-list：指定一个文件名字， 导入下砸失败的文件列表到该文件。
 
 `qdownload` 功能需要配置文件的支持，配置文件的内容如下：
 ```

docs/qdownload2.md

@@ -23,7 +23,7 @@ Flags:
       --check-hash                                 whether to verify the hash, if it is enabled, it may take a long time
       --dest-dir string                            local storage path, full path. default current dir
       --enable-slice --slice-file-size-threshold   whether to enable slice download, you need to pay attention to the configuration of --slice-file-size-threshold slice threshold option. Only when slice download is enabled and the size of the downloaded file is greater than the slice threshold will the slice download be started
-  -f, --failure-list string                        specifies the file path where the failure file list is saved
+  -e, --failure-list string                        specifies the file path where the failure file list is saved
       --get-file-api                               public storage cloud not support, private storage cloud support when has getfile api.
   -h, --help                                       help for qdownload2
       --io-host string                             io host of request
@@ -42,5 +42,5 @@ Flags:
       --slice-size int                             slice size; when using slice download, the size of each slice; unit:B (default 4194304)
   -s, --success-list string                        specifies the file path where the successful file list is saved
       --suffixes string                            only download files with the specified suffixes
-  -c, --thread int                                 num of threads to download files (default 5)
+  -c, --thread-count int                                 num of threads to download files (default 5)
 ```