0.2 (Revised Draft)

Author: linxiaohui

README.md

@@ -1,12 +1,13 @@
 Linux Development FAQs
 =======
 
-  本书介绍了Linux平台下应用开发常用的知识点，结合作者在之前工作遇到的问题及其解决方法。       
-  本书的描述假定读者有一定的Linux开发基础与经验。希望能对读者学习和工作有参考价值。    
-  本书将详细讲述了编译，连接，进程的运行时环境；介绍了进程调试的方法；介绍了C语言开发中可能遇到的内存相关的问题与解决方法、工具。   
-  介绍了SHELL与应用开发中常见的与系统管理、网络等相关的内容。介绍了SYBASE等数据库在开发中需要注意的事项等等内容。    
-  本书将持续更新。     
+  本书以解决具体问题的形式讲述了Linux环境中应用程序开发中的相关知识和工具：包括编译、连接，进程的运行时环境；
+  介绍了进程调试的方法；介绍了C语言开发中可能遇到的内存相关的问题与解决方法、工具；
+  介绍了SHELL与应用开发中常见的与系统管理、网络等相关的内容；介绍了SYBASE等数据库在开发中需要注意的事项等内容。
+  是作者在之前工作遇到的问题及解决办法的笔记与备忘录。
+  
   需要说明的是本书是作者工作中的一些经验的总结，本书中参考了大量的资料。由于时间跨度较长等原因，很多资料没有一一注明原作者和出处，这里一并表示感谢。若有异议，请联系作者。    
+  本书的描述假定读者有一定的Linux开发基础与经验。希望能对读者学习和工作有参考价值。    
 
-  VERSION: 0.1 (Draft)
-  
+  本书将持续更新。     
+  Current VERSION: 0.2 (Revised Draft)

SUMMARY.md

@@ -10,14 +10,12 @@
     * [第三方库](programming/lib.md)
     * [其它工具](programming/tools.md)
 
-* [运行](runtime/README.md)
+* [运行与调试](runtime/README.md)
     * [环境](runtime/env.md)
     * [进程检查](runtime/pcheck.md)
     * [关于coredump](runtime/core.md)
-    
-* [调试](debug/README.md)
-    * [gdb](debug/gdb.md)
-    * [函数调用关系](debug/func.md)
+    * [gdb](runtime/gdb.md)
+    * [函数调用关系](runtime/func.md)
 
 * [内存](memory/README.md)
     * [操作系统命令](memory/linux.md)

database/README.md

@@ -0,0 +1,4 @@
+# 简介
+  本章介绍了数据库编程的知识。
+  
+主要是SYBASE ASE使用过程中的一些问题的记录。另外也介绍了Windows平台DB2预编译的方式和命令。

database/sybase.md

@@ -6,7 +6,7 @@
 ct__string_extended_encryption: user api layer: internal common library error: 
 Client password encryption fails.
 ```
-问题是在 OCS-15_0的lib3p，将其 LD_LIBRARY_PATH下问题解决
+问题是在 OCS-15_0的lib3p，将其配置到LD_LIBRARY_PATH中问题解决
 
 ## 关于sybase的locale
 linux下 locale设置为 zh_CN.gbk后，sybase的 isql 报错

debug/README.md

@@ -0,0 +1,4 @@
+# 简介
+  本章介绍Linux中与内存有关相关知识。
+
+  主要介绍Linux操作系统提供的内存相关命令；Glibc中提供的关于内存维护和检查的函数；以及第三方工具和库。

memory/README.md

@@ -91,32 +91,35 @@ int main()
 }
 ```
 上面的代码编译会报错`warning: '__malloc_hook' is deprecated (declared at /usr/include/malloc.h:153) [-Wdeprecated-declarations]`
-因为其不适用与多线程的环境。若果在单线程环境使用该技术，可以仿照malloc的实现，
+因为其不适用与多线程的环境。   
+若果在单线程环境使用该技术，可以仿照malloc的实现，  
 利用`__builtin_return_address(0)`与`__libc_malloc`实现`__malloc_hook`的功能
 
 ## __libc_malloc等函数
 Glibc中malloc等函数实际上是调用了`__libc_malloc`等函数;
-后者可以用来实现自己的malloc以"重载"标准库中的malloc
-可以测试时使用，结合LD_PRELOAD等。
-需要注意的是free必须支持free(NULL)。否则程序可能尚未执行即coredump。
-使用`__libc_malloc`函数实现malloc，若其中需要读写文件不能使用C标准库函数，需要使用系统调用。
+可以结合LD_PRELOAD用来实现自己的malloc以"重载"标准库中的malloc，可以测试时使用。   
+需要注意的是
+   * free必须支持free(NULL)。否则程序可能尚未执行即coredump。
+   * 使用`__libc_malloc`函数实现malloc，若其中需要读写文件不能使用C标准库函数，需要使用`open`系统调用。
 
 ## mallopt函数
 `MMAP_THRESHOLD`决定malloc时使用sbrt还是mmap
 设置内存分配参数，控制内存分配函数的行为
 
 ## mcheck、mtrace
-使用`mtrace`简单的进行内存泄漏检测，它hook malloc(), realloc(), memalign(), calloc() 和 free() ，
+可以使用`mtrace`简单的进行内存泄漏检测，mtrace hook malloc(), realloc(), memalign(), calloc() 和 free()，
 对分配和释放内存的操作进行配对检测，如果发现有内存泄漏的情况， 会记录导致内存泄漏的分配函数调用所在的位置，
-并将记录保存到环境变量 `MALLOC_TRACE` 指定的文件中，然后就可以使用 mtrace 命令来查看日志了。
-man mtrace
-info mtrace
-查阅`glic manual （info libc）: Memory(Virtual Memory Allocation And Paging):Memory Allocation: Unconstrained Allocation: Heap Consistency Checking`
+并将记录保存到环境变量 `MALLOC_TRACE` 指定的文件中，然后就可以使用 mtrace 命令来查看日志了。   
+`man mtrace`  
+`info mtrace` 查阅`glic manual （info libc）: Memory(Virtual Memory Allocation And Paging):Memory Allocation: Unconstrained Allocation: Heap Consistency Checking`   
 注意使用mtrace函数必须在malloc等函数调用之前调用，需引用头文件`#include <mcheck.h>`
 另，可以`-lmcheck`连接`mcheck`库。
-查阅环境变量`MALLOC_CHECK_ `
+
+环境变量`MALLOC_CHECK_ `提供了类似的功能。
 
 
 ## libmemusage 统计内存使用
-glibc 自带了一个 libmemusage 的库，用于收集应用程序运行时的内存使用情况。使用起来很简单，只要在编译的时候添加 -lmemusage 即可。
-它使用 api hook 技术对 malloc， realloc，calloc和free 的调用进行监视，统计相应大小内存块的使用比率，并可给出简单的内存申请与释放的统计信息，可以用于简单的判断是否有内存泄漏。
+glibc 自带了一个 libmemusage 的库，用于收集应用程序运行时的内存使用情况。  
+使用起来很简单，只要在编译的时候添加 `-lmemusage` 即可。  
+它使用 api hook 技术对 malloc等的调用进行监视，统计相应大小内存块的使用比率，
+并可给出简单的内存申请与释放的统计信息，可以用于简单的判断是否有内存泄漏。

memory/glibc.md

@@ -1,15 +1,19 @@
 #检查内存的第三方库和工具
 
 ## Electric Fence检测内存越界操作
-Electric Fence 使用虚拟内存技术，在 malloc() 分配到的内存块的前后分别放置一个 不能访问的内存页，
+Electric Fence 使用虚拟内存技术，在 malloc() 分配到的内存块的前后分别放置一个不能访问的内存页，
 当应用程序去读写这两个内存页时硬件会引发段错误。
 * 安装（OpenSUSE中）
-```shell
+```bash
 zypper install ElectricFence
 rpm -ql ElectricFence
 ```
 * 使用
-只要添加链接选项 -lefence 链接 libefence.so，它会在程序运行时预先加载 libefence.so Hook 对 malloc(…) 的调用。也可以不用编译程序而通过设置 PRE_LOAD=/usr/lib64/libefence.so 环境变量 来实现或者直接链接 /usr/lib64/libefence.a。默认情况下 Electric Fence 只会检测 读写越下边界和已释放的内存块的违规操作。Electric Fence 不能与其他 内存检测工具 或者内存分配器使用，因为内存检查工具一般都是通过 hook 内存分配函数来实现内存检测的。
+   * 添加链接选项 -lefence 链接 libefence.so，它会在程序运行时预先加载 libefence.so Hook 对 malloc等的调用。
+   * 不用编译程序而通过设置 PRE_LOAD=/usr/lib64/libefence.so 环境变量
+   * 直接链接 /usr/lib64/libefence.a
+   * 默认情况下 Electric Fence 只会检测读写越下边界和已释放的内存块的违规操作
+   * Electric Fence 不能与其他内存检测工具或者内存分配器使用
 * 环境变量
    * EF_ALIGNMENT 变量控制分配到的内存块的对齐大小，值越小越严格。
    * EF_PROTECT_BELOW=1 时在内存块的之前也添加一个无法访问的内存页。检查访问越过内存块上边界的情况。
@@ -18,12 +22,12 @@ rpm -ql ElectricFence
    * EF_FILL,设置指定的值使 Electric Fence 在分配内存之后 将内存块初始化为此值。
 
 ## DUMA 检测内存违规访问和内存泄漏
-D.U.M.A 的全称是 Detect Unintended Memory Access，它是 Electric Fence 的加强版。
-能定位C++程序内存非法访问的位置，与内存泄露。
-为了收集内存分配的语句所在的位置，DUMA 需要对 malloc() 等函数进行“Hook”，这是用宏实现的，
-所以需要包含头文件`#include <duma.h>`（对C++程序`#include <dumapp.h>`）。并链接 libduma.a 和 pthread 库。例如：
+D.U.M.A(Detect Unintended Memory Access)是 Electric Fence 的加强版, 能定位C++程序内存非法访问的位置与内存泄露。  
+为了收集内存分配的语句所在的位置，DUMA 需要对 malloc() 等函数进行“Hook”，这是用宏实现的.  
+* 需要包含头文件`#include <duma.h>`（对C++程序`#include <dumapp.h>`）
+* 需要链接 libduma.a 和 pthread 库。   
 `g++ -g -O0 heap-corruption.cc -o heapC -Wl,-Bstatic,-lduma -Wl,-Bdynamic –pthread`
-* 环境变量
+* 环境变量   
 DUMA和Electric Fence一样，同样支持通过变量来控制其行为，只不过比Electric Fence要多。常用如下：
    * DUMA_ALIGNMENT ：对应 EF_ALIGNMENT。
    * DUMA_PROTECT_BELOW：对应 EF_PROTECT_BELOW。
@@ -58,7 +62,7 @@ DUMA和Electric Fence一样，同样支持通过变量来控制其行为，只
 ## 关于 dmalloc的一些使用经验
 * 安装 
 下载dmalloc源代码，执行
-```
+```bash
 ./configure --enable-threads
 make
 make install
@@ -67,7 +71,7 @@ make install
    * dmalloc的源代码中有文件settings.dist，其中有一些宏定义。 例如，将 ALLOW_FREE_NULL_MESSAGE 设置为 0 可以不输出 WARNING .... FREE 0 .... 的警告
    * 把dmalloc安装后的lib路径加入到/etc/ld.so.conf中，然后执行ldconfig -v
    * 在.bashrc, .profile或.zshrc文件中添加
-```shell
+```bash
 function dmalloc { eval `/usr/local/bin/dmalloc -b $*`; }
 ```
 * 使用
@@ -93,8 +97,36 @@ dmalloc_log_changed(mark,1,0,1);
 必须在 #include <stdlib.h> 之后 #include "dmalloc.h" 否则编译会报错
 
 * 根据结果分析数据
- 若在logfile中出现not freed: '0x400177c8|s1047' (20 bytes) from 'ra=0x0x400618' 则说明程序存在内存泄露；
- 定位内存泄露代码行数（使用命令readelf nm ldd）
+若在logfile中出现
+```
+not freed: '0x400177c8|s1047' (20 bytes) from 'ra=0x0x400618'
+```
+则说明程序存在内存泄露；
+ 
 备注:
-环境变量  DMALLOC_OPTIONS=log=/path/logfile,debug=0x.......
-使用 `dmalloc -DV` 可以显示各个参数的意义
+   * 环境变量  DMALLOC_OPTIONS=log=/path/logfile,debug=0x.......
+   * 使用 `dmalloc -DV` 可以显示各个参数的意义
+
+## 定位内存泄露代码所在行
+使用**addr2line**
+```bash
+#/bin/sh
+loc=$1
+echo "loc=$loc"
+lib=$(echo $loc | awk -F[+\(\)] '{print $1}')
+func=$(echo $loc | awk -F[+\(\)] '{print $2}')
+offset=$(echo $loc | awk -F[+\(\)] '{print $3}')
+echo "lib=$lib"
+echo "func=$func"
+echo "offset=$offset"
+echo "FIND FUNC $(nm $lib | grep -w $func)"
+base=$(nm $lib | grep -w $func | awk '{print $1}')
+echo $base
+let b=0x$base
+let o=offset
+let x=b+o-1
+echo $x
+addr=$(echo "obase=16;$x" | bc)
+echo $addr
+addr2line -e $lib 0x$addr
+```

memory/lib.md

@@ -1,8 +1,7 @@
-# Linux提供的内存相关的技术
+# Linux中内存相关命令与配置
 
 ## 查看进程内存使用情况
-   * top命令
-`top -d 1 -p pid [,pid ...]  //设置为delay 1s，默认是delay 3s`
+   * `top -d 1 -p pid [,pid ...]`  //设置为delay 1s，默认是delay 3s   
 如果想根据内存使用量进行排序，可以shift + m（Sort by memory usage）
    * pmap
    * ps
@@ -23,22 +22,25 @@ optimistic memory allocation stategy
 * /proc/_pid_/oom_adj
    * oom_adj的值越大，该进程被系统选中终止的可能就越高，当oom_adj=-17时oom_score将变为0
 
-Linux 提供了这样一个参数min_free_kbytes，用来确定系统开始回收内存的阈值，控制系统的空闲内存。值越高，内核越早开始回收内存，空闲内存越高。
+Linux 提供了这样一个参数min_free_kbytes，用来确定系统开始回收内存的阈值，控制系统的空闲内存。
+值越高，内核越早开始回收内存，空闲内存越高。   
 `echo 963840 > /proc/sys/vm/min_free_kbytes` 
 
-可以通过修改内核参数禁止OOM机制
+可以通过修改内核参数禁止OOM机制   
 `sysctl -w vm.panic_on_oom=1`
-`vm.panic_on_oom = 1 //1表示关闭，默认为0表示开启OOM`
+`vm.panic_on_oom = 1` //1表示关闭，默认为0表示开启OOM
 `sysctl -p`
 
 ## 关于free
-free -m的结果可以用下图描述：
- 
-![free -m](./free.png "free -m")
-
+`Memory=Used+Free+Buffer+Cache`   
+free -m的结果可以用下面的公式表示  
+```
+Mem:               used=Used+Buffer+Cache / free=Free 
+-/+buffers/cache:  used=Used/free=Free+Buffer+Cache
+```
 
 ## 清空cache:  
-`sudo sysctl vm.drop_caches=3 释放buffer+cache`   
+`sudo sysctl vm.drop_caches=3 `释放buffer+cache   
 `echo 1 > /proc/sys/vm/drop_caches`   
 
 ## 内核空间的内存 

memory/linux.md

@@ -0,0 +1,2 @@
+# 简介
+  本章介绍了桌面或虚拟机使用中一些配置和问题及解决。

misc/README.md

@@ -1,2 +1,3 @@
-# Summary
-  本章将介绍GCC编译相关知识。
+# 简介
+  本章主要介绍Linux环境下GCC的使用，并总结了编译链接过程中常见的问题和解决方法；
+  介绍了信号与网络等应用程序开发中经常用到的系统相关技术与注意事项；介绍对开发有帮助的相关的第三库与工具。

programming/README.md

@@ -1,13 +1,15 @@
 #目标文件与可执行文件的属性
 
-## 查看程序或库的信息
-使用file命令可以查看可执行程序或库文件(.so)的一些信息，例如是32位还是64位的    
-对于.a的库文件，可以使用nm查看里面的.o成员，也可以 ar x 解压处成员 file    
+## 如何检查一个库文件或可执行文件是32位的还是64位的
+`file _a.out_` 或者 `file _libX.so_`   
+对于.a的库文件，可以 ar x 解压出成员文件后使用 `file`命令
+   * 使用nm查看.a里面的.o成员的地址长度也可以判断为32位或64位的
+
 **备注**：    
-`file -i 文本文件` 可以显示文件的编码方式     
-检查文本文件格式，UTF-8格式需要注意是否有BOM标志(EF BB BF)    
-`cat -v` 可以显示不可打印字符     
-注意文件的UNIX格式或DOS格式     
+`file -i _textfilename_` 可以显示文件的编码方式     
+   * 检查文本文件格式，UTF-8格式需要注意是否有BOM标志(EF BB BF)
+   * `cat -v` 可以显示不可打印字符
+   * 注意文件的UNIX格式或DOS格式
 
 ## size
 列出目标文件的各section的大小
@@ -16,51 +18,47 @@
    * BSS段：包含未经初始化的全局变量和静态变量。
 
 ## 查看可执行文件依赖情况
-ldd命令
-Linux上ldd命令是一个 bash 的脚本。
-Linux下执行ldd，设置LD_TRACE_LOADED_OBJECTS，而动态载入器检查该环境变量，
-若设置了则不执行这个程序而是输出这个可执行程序所依赖的动态链接库。下面的命令都可以显示依赖的动态库     
+Linux上`ldd`命令是一个 bash 的脚本，执行ldd，设置环境变量`LD_TRACE_LOADED_OBJECTS`，而动态载入器检查该环境变量，
+若设置了则不执行这个程序而是输出这个可执行程序所依赖的动态链接库。    
+下面的命令都可以显示依赖的动态库:    
   * `ldd /bin/grep`
   * `LD_TRACE_LOADED_OBJECTS=1 /bin/grep`
   * `LD_TRACE_LOADED_OBJECTS=1 /lib/ld-linux.so.2 /bin/grep`
 
 ## ldd注意事项
 如果让别的装载器来取代系统默认的动态链接库（ld-linux.so）的话，
-那么就可以让 ldd来载入并运行程序了——使用不同的载装器并且不处理LD_TRACE_LOADED_OBJECTS 环境变量，
-而是直接运行程序。例如 uClibc C库。修改（ldso/ldso/ldso.c不处理LD_TRACE_LOADED_OBJECTS）并编译它后，
-产生C库与ld-uClibc.so.0。编写程序并使用命令编译：
-```shell
-$ L=/home/you/app/uclibc
+那么就可以让 ldd来载入并运行程序了——使用不处理`LD_TRACE_LOADED_OBJECTS`的载装器
+(例如 uClibc C库（修改`ldso/ldso/ldso.c`不处理`LD_TRACE_LOADED_OBJECTS`）并编译产生C库与ld-uClibc.so.0)
+编写程序并使用命令编译：
+```bash
+$ L=/path2uclibc
 $ gcc -Wl,--dynamic-linker,$L/lib/ld-uClibc.so.0 \
     -Wl,-rpath-link,$L/lib \
     -nostdlib \
-    myapp.c -o myapp \
+    testapp.c -o testapp \
     $L/usr/lib/crt*.o \
     -L$L/usr/lib/ \
     -lc
 ```
-   * -Wl,–dynamic-linker,$L/lib/ld-uClibc.so.0 — 指定一个新的装载器。
-   * -Wl,-rpath-link,$L/lib — 指定一个首要的动态装载器所在的目录，这个目录用于查找动态库。
-   * -nostdlib — 不使用系统标准库。
-   * myapp.c -o myapp — 编译myapp.c 成可执行文件 myapp,
-   * $L/usr/lib/crt*.o — 静态链接runtime 代码
-   * -L$L/usr/lib/ — libc 的目录（静态链接）
+   * -Wl,–dynamic-linker,$L/lib/ld-uClibc.so.0  指定一个新的装载器。
+   * -Wl,-rpath-link,$L/lib : 指定一个首要的动态装载器所在的目录，这个目录用于查找动态库。
+   * -nostdlib : 不使用系统标准库。
+   * $L/usr/lib/crt*.o : 静态链接runtime 代码
+   * -L$L/usr/lib/ : libc 的目录（静态链接）
    * -lc —  C 库
 
-这样若`LD_TRACE_LOADED_OBJECTS=1 /bin/grep` 实际上是以执行的用户的权限执行了这个程序(而不是像设想那样列出其以来的动态库)。
-ldd脚本实际上是执行了`LD_TRACE_LOADED_OBJECTS=1 /lib/ld-linux.so.2 /bin/grep`
-或`LD_TRACE_LOADED_OBJECTS=1 /lib64/ld-linux.so.2 /bin/grep` （取决于可执行文件是32位还是64位的）
+这样若`LD_TRACE_LOADED_OBJECTS=1 /bin/grep` 实际上是以执行的用户的权限执行了这个程序(而不是像设想那样列出其依赖的动态库)。
 
-.interp ELF section为程序的动态加载器。
-`objdump –section=.interp –s ./myapp` 查看.interp段的内容     
-或者   
-`readelf –l ./myapp`
+ELF文件中`.interp`段为程序的动态加载器:
+   * 查看.interp段的内容
+      * `objdump –section=.interp –s ./testapp` 
+      * `readelf –l ./testapp`
 
 静态编译的可执行程序都可以作为动态加载器   
-```shell
-gcc -static myapp.c -o loader
-gcc -Wl,--dynamic-linker,./loader myapp.c -o myapp
+```bash
+gcc -static testapp.c -o loader
+gcc -Wl,--dynamic-linker,./loader testapp.c -o testapp
 ```
-**备注**：在BSD 系统上的ldd 是一个C 程序。
+**备注**：在BSD 系统上的ldd 是一个ELF程序。