[pull] master from iwestlin:master

aria2.js

@@ -0,0 +1,97 @@
+#!/usr/bin/env node
+
+const fs = require('fs')
+const crypto = require('crypto')
+
+const { format_size } = require('./src/summary')
+const { get_name_by_id, get_sa_token, get_access_token, walk_and_save, validate_fid } = require('./src/gd')
+
+const ID_DIR_MAPPING = {}
+const FOLDER_TYPE = 'application/vnd.google-apps.folder'
+
+const { argv } = require('yargs')
+  .usage('用法: ./$0 <folder-id> [options]')
+  .alias('o', 'output')
+  .describe('output', '指定输出文件，不填默认为uri.txt')
+  .alias('u', 'update')
+  .describe('u', '不使用本地缓存，强制从线上获取源文件夹信息')
+  .alias('S', 'service_account')
+  .describe('S', '使用service account进行操作，前提是必须在 ./sa 目录下放置sa授权json文件')
+  .alias('k', 'hashkey')
+  .describe('k', '使用 https://github.com/iwestlin/gdshare 部署的网站所设置的hashkey，用于生成合法的下载链接')
+  .alias('c', 'cf')
+  .describe('cf', '使用 gdshare 部署的网站网址')
+  .alias('e', 'expire')
+  .describe('e', 'gdshare 直链过期时间，单位小时，默认值24')
+  .help('h')
+  .alias('h', 'help')
+
+const [fid] = argv._
+if (validate_fid(fid)) {
+  let { update, service_account, output, hashkey, cf, expire } = argv
+  output = output || 'uri.txt'
+  gen_input_file({ fid, update, service_account, output, hashkey, cf, expire })
+    .then(cmd => {
+      console.log('已生成', output)
+      console.log('执行命令即可下载：\n', cmd)
+    })
+    .catch(console.error)
+} else {
+  console.warn('目录ID缺失或格式错误')
+}
+
+async function gen_input_file ({ fid, service_account, update, output, hashkey, cf, expire }) {
+  const root = await get_name_by_id(fid, service_account)
+  const data = await walk_and_save({ fid, service_account, update })
+  const files = data.filter(v => v.mimeType !== FOLDER_TYPE)
+  const folders = data.filter(v => v.mimeType === FOLDER_TYPE)
+  let result
+  if (hashkey && cf) {
+    result = [`# aria2c -c --enable-rpc=false -i ${output}`]
+  } else {
+    const access_token = service_account ? (await get_sa_token()).access_token : await get_access_token()
+    result = [`# aria2c -c --enable-rpc=false --header "Authorization: Bearer ${access_token}" -i ${output}`]
+  }
+  result = result.concat(files.map(file => {
+    const { id, name, parent, size } = file
+    const dir = get_dir(parent, folders)
+    const download_uri = (hashkey && cf) ? gen_direct_link({ file, hashkey, cf, expire }) : `https://www.googleapis.com/drive/v3/files/${id}?alt=media`
+    return `# 文件大小：${format_size(size)}
+${download_uri}
+  dir=${root}${dir}
+  out=${name}`
+  }))
+  fs.writeFileSync(output, result.join('\n\n'))
+  return result[0].replace('# ', '')
+}
+
+function gen_direct_link ({ file, hashkey, cf, expire }) {
+  const { name, id } = file
+  const expired = Date.now() + (Number(expire) || 24) * 3600 * 1000
+  const str = `expired=${expired}&id=${id}`
+  const sig = hmac(str, hashkey)
+  if (!cf.startsWith('http')) cf = 'https://' + cf
+  return `${cf}/api/download/${name}?${str}&sig=${sig}`
+}
+
+function hmac (str, hashkey) {
+  return crypto.createHmac('sha256', hashkey).update(str).digest('hex')
+}
+
+function get_dir (id, folders) {
+  let result = ID_DIR_MAPPING[id]
+  if (result !== undefined) return result
+  result = ''
+  let temp = id
+  let folder = folders.filter(v => v.id === temp)[0]
+  while (folder) {
+    result = `/${folder.name}` + result
+    temp = folder.parent
+    if (ID_DIR_MAPPING[temp]) {
+      result = ID_DIR_MAPPING[temp] + result
+      return ID_DIR_MAPPING[id] = result
+    }
+    folder = folders.filter(v => v.id === temp)[0]
+  }
+  return ID_DIR_MAPPING[id] = result
+}

bookmark.js

@@ -0,0 +1,28 @@
+const fs = require('fs')
+const {db} = require('./db')
+
+const action = process.argv[2] || 'export'
+const filepath = process.argv[3] || 'bookmarks.json'
+
+if (action === 'export') {
+  const bookmarks = db.prepare('select * from bookmark').all()
+  fs.writeFileSync(filepath, JSON.stringify(bookmarks))
+  console.log('bookmarks exported', filepath)
+} else if (action === 'import') {
+  let bookmarks = fs.readFileSync(filepath, 'utf8')
+  bookmarks = JSON.parse(bookmarks)
+  bookmarks.forEach(v => {
+    const {alias, target} = v
+    const exist = db.prepare('select alias from bookmark where alias=?').get(alias)
+    if (exist) {
+      db.prepare('update bookmark set target=? where alias=?').run(target, alias)
+    } else {
+      db.prepare('INSERT INTO bookmark (alias, target) VALUES (?, ?)').run(alias, target)
+    }
+  })
+  console.log('bookmarks imported', bookmarks)
+} else {
+  console.log('[help info]')
+  console.log('export: node bookmark.js export bm.json')
+  console.log('import: node bookmark.js import bm.json')
+}

changelog.md

@@ -1,10 +1,67 @@
 ## 更新日志
 > 更新方法：在 gd-utils 目录下，执行 `git pull` 拉取最新代码，如果你使用了 pm2 守护进程，执行`pm2 reload server`刷新生效。
 
+### [2020-08-28]
+- 如果统计表格长度超出telegram消息限制，只显示前20行记录（之前是显示概要）
+- 当用机器人统计目录数比较多的链接时，10秒后返回进度详情，且之后每隔10秒更新一次进度信息。
+
+### [2020-08-13]
+- 给命令行 `./count` 添加 [snap2html](https://github.com/rlv-dan/Snap2HTML) 的导出方式，示例用法：
+```bash
+./count folderID -S -t snap -o example.html
+```
+导出html示例：[example.html](https://code.viegg.com/single/snap2html-example.html)
+源文件夹链接：[999](https://drive.google.com/drive/folders/1A35MT6auEHASo3egpZ3VINMOwvA47cJG)
+
+### [2020-08-08]
+- 给机器人添加 `/reload` 指令，表示重启进程，中断所有进行中的任务(前提是进程由pm2守护)
+
+### [2020-08-06]
+- 由于最近`userRateLimitExceeded`的错误越来越频繁出现，看上去Google除了每日750G以外又加上了什么限制。我只好把剔除SA的条件从“连续2次”遇到这种报错消息改成了**连续7次**……这个值也可以自定义，只需要在`config.js`中导出一个 `EXCEED_LIMIT`的变量，具体方法请参考[专家设置](https://github.com/iwestlin/gd-utils/blob/master/readme.md#%E4%B8%93%E5%AE%B6%E8%AE%BE%E7%BD%AE)
+
+- 另外为了用户体验还隐去了包含`rate limit`的报错信息，同时将重置SA（也就是重新启用被剔除的SA）改成了每2小时执行一次（原来是12小时）
+
+### [2020-08-05]
+- 配合[gdshare](https://github.com/iwestlin/gdshare)使用，给 [aria2.js](./aria2.js) 添加 `--hashkey` `--cf` `--expire` 选项，具体含义请执行 `./aria2.js -h` 查看。  
+使用示例：
+```bash
+./aria2.js folderID -k 'your hashkey' -c 'your.domain.com' -S
+```
+这条命令会在当前目录生成一个包含所有文件下载链接的文本文件并输出一条以 `aria2c` 开头的命令，执行这条命令即可调用[aria2c](https://aria2.github.io/)下载整个`folderID`目录，并保留目录结构。
+
+### [2020-08-02] 关于“没有可用的SA”报错信息
+- 最近Google Drive的 API 似乎有点抽风，转存新分享的资源时经常随机遇到`userRateLimitExceeded`（一般这种错误只会在SA用完每日转存流量750G时触发）的接口返回错误导致SA被剔除（即使是新加的SA也会遇到），而对于比较老的分享或者自己团队盘文件对拷则没问题。  
+不得已我只好修改了一下程序的逻辑，只有当SA连续两次遇到`userRateLimitExceeded`的错误时才会被剔除，在这种条件下，据我的观察，拷贝一个新分享的资源时，平均每转存100个文件会被剔除掉一个SA。  
+如果你不希望因为接口返回`userRateLimitExceeded`而剔除掉对应的SA，可以手动修改代码，方法见：https://github.com/iwestlin/gd-utils/issues/138#issuecomment-666156273
+- 命令行添加 `--dncf` 参数，表示`do not copy folders`，即转存资源时不复制任何递归子目录，直接将所有文件拷贝到新生成的文件夹中。
+
+[2020-07-28]  
+- 添加 [aria2.js](https://github.com/iwestlin/gd-utils/blob/master/aria2.js) 脚本，方便利用 `aria2c` 下载google drive目录，使用帮助可执行 `./aria2.js -h` 查看。
+
+相关 issue: [https://github.com/iwestlin/gd-utils/issues/133](https://github.com/iwestlin/gd-utils/issues/133)  
+使用录屏：[https://drive.google.com/file/d/1lzN7R9Klw66C5UttUUDN3_EsN3pNs62q/view](https://drive.google.com/file/d/1lzN7R9Klw66C5UttUUDN3_EsN3pNs62q/view)
+
+[2020-07-21]  
+- 添加数据库clear脚本，只需在`gd-utils`目录下执行`node clear-db.js`就可以删除所有获取的文件信息（但会保留拷贝记录和bookmark）同时减小数据库文件大小了
+- 调整提取分享链接的方法，基本能够识别所有类型消息中的分享ID
+
+[2020-07-17]  
+- 给命令行 `./dedupe` 添加 `--yes` （简写`-y`）选项，表示“若发现重复项，不询问直接删除”
+- 给 `./copy` `./count` `./dedupe` 添加 `--sa` 选项，可指定sa目录位置  
+示例用法 `./count folderID -S --sa test`，表示读取 `./test` 目录下的sa json文件（而不是默认的./sa目录）
+
+[2020-07-15]  
+- 给tg机器人添加「强制刷新」和「清除按钮」按钮。  
+点击「强制刷新」可以无视本地缓存强制从线上获取对应链接的文件信息，省去手动输入 `/count folderID -u` 的麻烦  
+点击「清除按钮」可以清除链接消息下的多个按钮，适合任务完成后清除，防止误触
+
+[2020-07-11]  
+- 给tg机器人添加单文件链接（`https://drive.google.com/file/d/1gfR...`）转存功能
+
 [2020-07-10]  
 - 添加树形导出类型，示例用法： `./count folder-id -S -t tree -o tree.html`
 
-`tree.html`可直接用浏览器打开：
+[tree.html](https://gdurl.viegg.com/api/gdrive/count?fid=1A35MT6auEHASo3egpZ3VINMOwvA47cJG&type=tree)可直接用浏览器打开：
 ![](./static/tree.png)
 
 前端源码：[https://github.com/iwestlin/foldertree/blob/master/app.jsx](https://github.com/iwestlin/foldertree/blob/master/app.jsx)

clear-db.js

@@ -0,0 +1,8 @@
+const { db } = require('./db')
+
+const record = db.prepare('select count(*) as c from gd').get()
+db.prepare('delete from gd').run()
+console.log('已删除', record.c, '条数据')
+
+db.exec('vacuum')
+db.close()

copy

@@ -6,6 +6,8 @@ const { argv } = require('yargs')
   .usage('用法: ./$0 <source id> <target id> [options]\ntarget id可选，不填则使用config.js里的DEFAULT_TARGET')
   .alias('u', 'update')
   .describe('u', '不使用本地缓存，强制从线上获取源文件夹信息')
+  .alias('y', 'yes')
+  .describe('yes', '若发现拷贝记录，不询问直接继续上次的进度')
   .alias('f', 'file')
   .describe('f', '复制单个文件')
   .alias('n', 'name')

count

@@ -15,7 +15,7 @@ const { argv } = require('yargs')
   .alias('s', 'sort')
   .describe('s', '统计结果排序方法，可选值 name 或 size，不填则默认根据文件数量逆序排列')
   .alias('t', 'type')
-  .describe('t', '统计结果输出类型，可选值 html/tree/json/all，all表示输出所有文件json数据，最好搭配 -o 使用。不填则默认输出命令行表格')
+  .describe('t', '统计结果输出类型，可选值 html/tree/snap/json/all，all表示输出所有文件json数据，最好搭配 -o 使用。不填则默认输出命令行表格')
   .alias('o', 'output')
   .describe('o', '统计结果输出文件，适合搭配 -t 使用')
   .help('h')

create-table.sql

@@ -43,3 +43,17 @@ CREATE TABLE "bookmark" (
 CREATE UNIQUE INDEX "bookmark_alias" ON "bookmark" (
   "alias"
 );
+
+CREATE TABLE "hash" (
+  "md5" TEXT NOT NULL,
+  "gid" TEXT NOT NULL UNIQUE,
+  "status"  TEXT NOT NULL DEFAULT 'normal'
+);
+
+CREATE INDEX "hash_md5" ON "hash" (
+  "md5"
+);
+
+CREATE UNIQUE INDEX "hash_gid" ON "hash" (
+  "gid"
+);

db.js

@@ -32,4 +32,20 @@ function create_table_bookmark () {
   db.prepare(create_index).run()
 }
 
+create_table_hash()
+function create_table_hash () {
+  const [exists] = db.prepare('PRAGMA table_info(hash)').all()
+  if (exists) return
+  const create_table = `CREATE TABLE "hash" (
+  "md5" TEXT NOT NULL,
+  "gid" TEXT NOT NULL UNIQUE,
+  "status"  TEXT NOT NULL DEFAULT 'normal'
+);`
+  db.prepare(create_table).run()
+  const create_index = 'CREATE INDEX "hash_md5" ON "hash" ("md5");'
+  db.prepare(create_index).run()
+  const create_index2 = 'CREATE INDEX "hash_gid" ON "hash" ("gid");'
+  db.prepare(create_index2).run()
+}
+
 module.exports = { db }

dedupe

@@ -2,6 +2,8 @@
 
 const { argv } = require('yargs')
   .usage('用法: ./$0 <folder-id> [options]')
+  .alias('y', 'yes')
+  .describe('yes', '若发现重复项，不询问直接删除')
   .alias('u', 'update')
   .describe('u', '不使用本地缓存，强制从线上获取源文件夹信息')
   .alias('S', 'service_account')
@@ -13,8 +15,8 @@ const { dedupe, validate_fid } = require('./src/gd')
 
 const [fid] = argv._
 if (validate_fid(fid)) {
-  const { update, service_account } = argv
-  dedupe({ fid, update, service_account }).then(info => {
+  const { update, service_account, yes } = argv
+  dedupe({ fid, update, service_account, yes }).then(info => {
     if (!info) return
     const { file_count, folder_count } = info
     console.log('任务完成，共删除文件数：', file_count, '目录数：', folder_count)

md5

@@ -0,0 +1,25 @@
+#!/usr/bin/env node
+
+const { argv } = require('yargs')
+  .usage('用法: ./$0 <目录ID> [options]')
+  .example('./$0 1ULY8ISgWSOVc0UrzejykVgXfVL_I4r75', '获取 https://drive.google.com/drive/folders/1ULY8ISgWSOVc0UrzejykVgXfVL_I4r75 内的所有文件信息，并将各文件的md5值和ID存入本地数据库中')
+  .example('./$0 1ULY8ISgWSOVc0UrzejykVgXfVL_I4r75 -s 10mb', '获取指定目录的所有文件信息，将不小于10MB大小的文件的md5值和ID存入本地数据库中')
+  .alias('s', 'size')
+  .describe('s', '不填默认存储所有文件的md5记录，如果设置了这个值，则过滤掉小于这个size的文件，必须以b结尾，比如10mb')
+  .alias('u', 'update')
+  .describe('u', '强制从线上获取信息(无视是否存在本地缓存)')
+  .alias('N', 'not_teamdrive')
+  .describe('N', '如果不是团队盘链接，可以加上此参数以提高接口查询效率，降低延迟')
+  .alias('S', 'service_account')
+  .describe('S', '使用service account获取文件信息，前提是必须在./sa目录下放置SA json文件')
+  .help('h')
+  .alias('h', 'help')
+
+const { save_md5, validate_fid } = require('./src/gd')
+const [fid] = argv._
+if (validate_fid(fid)) {
+  const { update, size, not_teamdrive, service_account } = argv
+  save_md5({fid, size, not_teamdrive, update, service_account}).catch(console.error)
+} else {
+  console.warn('目录ID缺失或格式错误')
+}