完成项目的重构,setup,出新版本

Author: alingse

Diff for: README.md

@@ -1,153 +1,87 @@
-# jsoncsv
-将多层次的json转为一层次的json，再转成csv或者xlsx
+# jsoncsv 
 
-**展开为1层json**
+将多层次的json转为一层次的json，再转成csv或者xlsx 的工具
 
 ```
-echo '{"s":[1,2,{"w":1}]}'|./jsoncsv.py -e |jq -r ''
-{
-  "s.2.w": 1,
-  "s.0": 1,
-  "s.1": 2
-}
+cat raw.json|jsoncsv|mkexcel > output.csv
+cat raw.json|jsoncsv|mkexcel -t xls > output. xls
 ```
-**制作xlsx** 
 
-```
-cat raw.json|./jsoncsv.py -e |./mkexcel.py > test.csv
-cat raw.json|./jsoncsv.py -e |./mkexcel.py -t xls > test.xls
-```
-
-
-
-## 来源说明
-因为做爬虫时，经常数据是json 格式的，而很多**客户需要看excel 的，需要耗费人力去填表格。
-
-这两个文件可以连用，可以从原始json（可以用 `jq` 先做一些处理）到csv/xlsx一步完成。
-
-最后再根据具体含义，更改xlsx文件的标题，使有明确含义
-
-## 功能介绍
-
-jsoncsv.expand 展开 多层json
-jsoncsv.restore 重构 单层json
 
-mkexcel 代码暂时还没有分割清楚
-
-
-### 展开 expand 与 restore 重构
- **jsoncsv.expand** 函数 展开
+## 1. jsoncsv
 
+```bash
+echo '{"s":[1,2,{"w":1}]}'|jsoncsv
+{"s.2.w": 1,"s.0": 1,"s.1": 2}
 ```
-echo '[1,2,3,4]'|./jsoncsv.py -e 
-{"1": 2, "0": 1, "3": 4, "2": 3}
-
-echo '"sss"'|./jsoncsv.py -e    
-{"": "sss"}
-
- echo '1'|./jsoncsv.py -e
-{"": 1}
-
-echo '{"s":[1,2,{"w":1}]}'|./jsoncsv.py -e
-{"s.2.w": 1, "s.0": 1, "s.1": 2}
 
-```  
+### -e -r
 
-**jsoncsv.restore** 恢复
-
-每一组第一行是展开，第二行是对展开的结果重构，注意结果对比原始数据
+`-e`,`--expand` expand 展开 json 数据
 
 ```
-echo '[1,2,3,4]'|./jsoncsv.py -e                            
-{"1": 2, "0": 1, "3": 4, "2": 3}
-echo '[1,2,3,4]'|./jsoncsv.py -e|./jsoncsv.py -r
-[1, 2, 3, 4]
-
-echo '1'|./jsoncsv.py -e
-
-{"": 1}
-echo '1'|./jsoncsv.py -e|./jsoncsv.py -r
-1
-
-echo '"sss"'|./jsoncsv.py -e                        
-{"": "sss"}
-echo '"sss"'|./jsoncsv.py -e|./jsoncsv.py -r
-"sss"
-
-echo '{"s":[1,2,{"w":1}]}'|./jsoncsv.py -e
-
-{"s.2.w": 1, "s.0": 1, "s.1": 2}
-echo '{"s":[1,2,{"w":1}]}'|./jsoncsv.py -e|./jsoncsv.py -r
-{"s": [1, 2, {"w": 1}]}
+jsoncsv -e raw.json
+{"s":[1,2,{"w":1}]} ----> {"s.2.w": 1,"s.0": 1,"s.1": 2}
+```
+`-r`,`--restore` restore 重构被展开的json
 
+```
+jsoncsv -r expand.json
+{"s.2.w": 1,"s.0": 1,"s.1": 2} ----> {"s": [1, 2, {"w": 1}]}
 ```
 
+### -s
 
-如上，将各种类型的json数据转化层单层的 
-####  此版本要求
-1. 原始json 的 各级key不能包含"."，因为`.`是expand后key的连接字符。
-2. 字典key中不能混杂数字。如果全部的key都是数字，恢复重构时会被当成list类型。
+ `-s`,`--separator`  default is `.`
 
-例如
+## 2.mkexcel
 
 ```
-echo '{"0":1,"2":[1,2]}'|./jsoncsv.py -e
-{"0": 1, "2.1": 2, "2.0": 1}
-
-echo '{"0":1,"2":[1,2]}'|./jsoncsv.py -e|./jsoncsv.py -r
-[1, [1, 2]]
+cat expand.json|mkexcel -o output.csv
+cat expnad.json|mkexcel -t xls > output.xls
 ```
-其中恢复重构（`-r`参数）时候，将数字的 "0","2",因为是全是数字，被当成list的恢复了(按照 0，2 排序的结果，没有刻意管理索引值)。
-
-
-## 格式转换
-使用 mkexcel.py 文件，接受一个层次的json文件
 
-即可以使用上面`jsoncsv.py`展开的的json，dump为需要的格式（csv/xls）
 
-`cat raw.json|./jsoncsv.py -e |./mkexcel.py -t xls > test.xls`
+### -t -o
 
-其中 `./jsoncsv.py -e` 中 `-e`参数就是展开为一层数据，mkexcle 读取数据即可得到指定的格式
+`-t`,`--type` dump type `['csv', 'xls']`
 
-### csv
-`csv` 是默认格式
 ```
-cat expand.json|./mkexcel.py > test.csv
-cat expand.json|./mkexcel.py -t csv > test.csv
-./mkexcel.py expand.json text.csv
-./mkexcel.py expand.json > text.csv
+cat expand.json|mkexcel -t csv > output.csv
+cat expand.json|mkexcel -t xls > output.xls
 ```
-  
-### xlsx
 
-使用`-t xls`或`--type xls`，声明dump 为 xls 格式
+`-o`,`--output` 指定输出文件
 
- ```
-cat expand.json|./mkexcel.py -t xls > test.xls
-./mkexcel.py -t xls expand.json text.csv
-./mkexcel.py -t xls  expand.json > text.csv
- ```
 
+##  NOTE
 
-## 实践
- 
- 具体实践样例参考某次[爬虫外包](https://github.com/alingse/crawler/tree/master/projects/sfda.gov)的数据处理过程
- (**旧版本下的，应该需要相应调整**)
- 
-## 测试
+1. 原始json 的 各级key不能包含"."，因为`.`是expand后key的连接字符。
+  
+  key can't contains separator `.` 
+  
+  下个版本会考虑这个问题
+  
+2. 字典key中不能混杂数字。如果全部的key都是数字，恢复重构时会被当成list类型。
 
-简单的 unittest
-```
-python -m unittest test.test
-```
+   example:
+   
+	```
+	echo '{"0":1,"2":[1,2]}'|jsoncsv -e| jsoncsv -r
+	[1, [1, 2]]
+	```
 
 ## TODO
 
 以下按顺序来做，
 
 1. <s>增加unittest</s> 完成，
 2. 更多的出错检查
-3. <s>把文件读写从jsoncsv 中分离出来看</s> 暂时没必要
+3. <s>把文件读写从jsoncsv 中分离出来看</s>
 4. <s>mkexcel 重构</s> 完成
-5. 构建包
+5. <s>构建包</s> 完成
+6. 支持 separator 的转义
+7. mkexcel 的效率
+8. mkexcel csv xls dump 的 重构
+9. dumptool.dump_xls 对 int 日期等支持
 

Diff for: jsoncsv/__init__.py

@@ -1,12 +1,5 @@
-#coding=utf-8
-#author@alingse
-#2016.09.30
+# coding=utf-8
+# author@alingse
+# 2016.09.30
 
-from .jsontool import expand
-from .jsontool import restore
-
-from . import mkexcel
-
-__all__ = ('expand','restore','mkexcel')
-
-__version__ = (0,0,1)
+__version__ = (2, 0, 1)

Diff for: jsoncsv/mkexcel.py renamed to jsoncsv/dumptool.py

@@ -1,22 +1,21 @@
-#!/usr/bin/python
-#coding=utf-8
-#author@alingse
-#2015.10.09
+# coding=utf-8
+# author@alingse
+# 2015.10.09
 
-import argparse
-#import xlwt
 import json
-import sys
+import xlwt
 
 
 def patch_none(row):
     for i in range(len(row)):
-        if row[i] == None:
+        if row[i] is None:
             row[i] = ""
     return row
 
 
-patch_encode = lambda row: [ele.encode('utf-8') for ele in row]
+def patch_encode(row):
+
+    return [ele.encode('utf-8') for ele in row]
 
 
 def patch_str(row):
@@ -26,7 +25,6 @@ def patch_str(row):
     return row
 
 
-#patch
 def patch_datas(datas):
     datas = map(patch_none, datas)
     datas = map(patch_str, datas)
@@ -66,7 +64,6 @@ def dump_csv(headers, datas, fout):
 
 
 def dump_xls(headers, datas, fout):
-    import xlwt
     wb = xlwt.Workbook(encoding='utf-8', style_compression=0)
     ws = wb.add_sheet('Sheet1')
 
@@ -86,39 +83,7 @@ def dump_xls(headers, datas, fout):
     fout.flush()
 
 
-def main(fin, fout, dumpf):
+def dumpfile(fin, fout, dumpf):
     headers, datas = load_files(fin)
     datas = patch_datas(datas)
     dumpf(headers, datas, fout)
-
-
-if __name__ == '__main__':
-    parser = argparse.ArgumentParser()
-    parser.add_argument('-t',
-                        '--type',
-                        choices=['csv', 'xls'],
-                        default='csv',
-                        help='choose dump format')
-    parser.add_argument('input',
-                        nargs='?',
-                        help='input file, default is stdin')
-    parser.add_argument('output',
-                        nargs='?',
-                        help='output file, default is stdout')
-    args = parser.parse_args()
-
-    #default dump
-    dumpf = dump_csv
-    if args.type == 'xls':
-        import xlwt
-        dumpf = dump_xls
-
-    #default
-    fin = sys.stdin
-    fout = sys.stdout
-    if args.input != None:
-        fin = open(args.input, 'r')
-    if args.output != None:
-        fout = open(args.output, 'w')
-
-    main(fin, fout, dumpf)