基于SQL的日志分析工具myselect

基本介绍

程序开发人员经常要分析程序日志，包括自己打印的日志及使用的其它软件打印的日志，如php,nginx日志等，linux环境下分析日志有一些内置命令可以使用，如grep,sort,uniq,awk等，其中最强大的是awk，是作为一门小巧的文本处理语言存在的，但由于它是一门语言，功能强大，但在命令行下使用并不那么方便，因为awk是面向计算而不是面向统计的。awk可以定义变量，可以进行计算，命令行下就是一个包含隐式for循环的语言。

awk如果很长时间不用，它的一些语法就忘了，要分析线上日志时就想如果能用sql分析该多好，确实，sql(结构化查询语言)是一门真正面向统计的语言，包括HIVE也是用它，于是近期开发了一个基于sql的日志分析器，可以用类sql语法分析日志，下面称它为myselect。

myselect是一个简化日志分析的工具，相信它已经覆盖了大部分awk能完成的日志分析功能，当然特殊情况下还是需要用到awk等。myselect把要分析日志文件当成一个数据库，里面的日志行当然数据库记录，从而对里面的日志数据进行统计分析。下面看看myselect与awk等其它命令在使用上的对比。

以分析ngnix日志为例，下面这条日志是我们线上web机器的一条日志

198.52.103.14 - - [29/Jun/2014:00:17:11 +0800] "GET /q/1403060495509100 HTTP/1.1" 200 26788 "http://wenda.so.com/q/1403060495509100" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727)" 221 0.532

第一个字段是IP，如果要知道来源ip最多的是哪些，用 awk等其它命令实现如下

$ awk ‘{ print $1}‘ accesstest.log | sort | uniq -c | sort -k1nr | less 
14 111.13.65.251 
13 10.141.88.248 
12 10.141.88.239 
10 10.141.88.250 
9 121.226.135.115 
8 10.141.88.241 
8 10.141.88.249 
8 222.74.246.190 
7 211.149.165.150 
6 119.138.167.213

甚至完全单纯使用awk都可以实现以上功能，但有其它更好用的命令这样显得没必要了

myselect如何实现以上功能? myselect将日志行看成多个字段，字段间以空格分隔，在双引号中的所有字符是算作一个字段的，即使其中包括空格，这点与awk纯粹以空格分隔是不同的，这使我们处理日志也更方便。可以通过如下命令查看某一日志行各字段值：

$ myselect -s ‘198.52.103.14 - - [29/Jun/2014:00:17:11 +0800] "GET /q/1403060495509100 HTTP/1.1" 200 26788 "http://wenda.so.com/q/1403060495509100" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727)" 221 0.532‘

**log fields** 
$1   198.52.103.14 
$2   - 
$3   - 
$4   [29/Jun/2014:00:17:11 
$5   +0800] 
$6   GET /q/1403060495509100 HTTP/1.1 
$7   200 
$8   26788 
$9   http://wenda.so.com/q/1403060495509100 
$10   Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727) 
$11   221 
$12   0.532

-s选项将日志行各字段值打印出来，接下来可以根据对应字段进行计算,如下

$ myselect ‘select count($1),$1 from accesstest.log group by $1 order by count($1) desc limit 10‘ 
14 111.13.65.251 
13 10.141.88.248 
12 10.141.88.239 
10 10.141.88.250 
9 121.226.135.115 
8 10.141.88.241 
8 10.141.88.249 
8 222.74.246.190 
7 211.149.165.150 
6 61.174.51.174

结果完全一样

另一个常用的需求是查看每分钟的流量，并观察流量异常的情况，用awk等命令如下：

$ awk ‘{ print gensub(/.*2014:(.+):.*+0800].*/,"\\1","g")}‘ access_wenda.qihoo.com_log | uniq -c | grep -v Windows | less 
1567 00:17 
1597 00:17 
933 00:18 
3045 00:18 
1605 00:19 
294 00:19 
2021 00:19 
1315 00:20 
666 00:20 
1875 00:20 
3679 00:21 
1172 00:22 
479 00:22 
2094 00:22 
1352 00:23 
51 00:23 
37 00:23

grep -v Windows是为了过滤掉一些乱码行，在awk我们需要通过gensub获得子的字段,如这里的分钟值，而在myselect也有同样的功能的函数regsub($1,pattern,replace),用myselect 完成同样的需求如下：

$ myselect ‘select regsub($4, /.*2014:(.+):\d{2}.*/,\1),count($1) from access_wenda.qihoo.com_log group by regsub($4, /.*2014:(.+):\d{2}.*/,\1) order by count($1)desc limit 10‘

regsub($4, /.*2014:(.+):\d{2}.*/,\1),我们对第4个字段使用正则获得分钟值。

再比如我们要计算网络请求平均耗时，用awk可以实现，但过程比较复杂，需要定义变量并进行计算，而用myselect 只需要 利用 avg函数较为简单计算出来，如下

$ myselect ‘select avg($12) from access_wenda.qihoo.com_log‘

从以上的对比中，可以发现myselect是以写sql方法进行统计，不但好记，而且分析思路比较直观，不像awk需要一堆命令进行配合。

也许你会说把日志放到数据库再分析也一样，不过这个过程太麻烦了，不如直接对文件用SQL分析。

myselect 使用

安装myselect 程序后，可以查看使用方法

$ myselect -h 
usage: 
myselect ‘sql sentence‘; 用 sql进行统计分析 
myselect -s ‘log line‘;对日志行按空格进行分割编号 
myselect -n ‘log line‘ ‘sql sentence‘; 对日志行用sql进行解析 
myselect -p ‘sql sentence‘; 查看sql语法解析结果 
myselect -c ‘sql sentence‘; 查看sql计算过程

统计分析基本使用如下

$ myselect ‘sql语句‘

sql语句语法基本与普通数据库查询select语句一致，不区分大小写（当然，文件名是区分大小写的），支持自由格式，只有小部分不同，我们有理由相信sql语言在统计分析上一定是目前最优的语言，基本照着它来实现就行了。

sql语句 = SELECT 
select_expr [, select_expr ...] 
[FROM file_name 
[WHERE where_condition] 
[GROUP BY {col_name | expr } 
[HAVING where_condition] 
[ORDER BY {col_name | expr } 
[ASC | DESC]] 
[LIMIT {[offset,] row_count }]

简单说明如下：

select_expr

可以包括字段编号如$1,$2，字段以空格分隔，也可以包括函数，函数分两类 
字符串处理函数:

• strsub($1,2,3) 截取子字符串
• regsub($1,/(.):(.+):(.)/i,\2) 按正则替换子字符串

字符串函数可以用在任何字段可以出现的地方，它的参数也包括了字段编号

聚合函数：

• count
• sum
• agv
• max
• min

意义与普通sql一样。

where_condition

用and 连接起来的关系表达式，目前还不支持or, 支持如下的操作符 
=,!=,>,<,>=,<=,like,rlike 
like表示是否包括相应字符串，rlike表示正则匹配相应模式

原计划myselect用go语言实现，并看了一遍go手册，但在我们组内技术期刊投稿截止之前的很短时间里无法用一门刚看的语言来实现它，转而先用php实现一个了版本，并且基本可用，目前实现的php版本实现了主要的sql select 语句语法，像as关键字及or逻辑操作符还没有实现，但这不重要。在日志文件很大时，php实现的版本在性能以及内存占用上都无法达到真正实用状态，但相信不久就会有go语言实现的高可用版本。

对于不熟悉awk或一下无法记起awk语法细节的人来说，在需要分析日志时myselect可以很好实现我们的需求，sql语言大家都应该是很熟悉的。

本工具源码已放到到了 github   https://github.com/micweaver/myselect


基本实现算法在里面，接下来要翻译成go语言实现，go语言能很好的满足我们对性能及内存占用的需求，当然极大的日志你要借助于hadoop,hive等分布式计算工具

基于SQL的日志分析工具myselect,古老的榕树,5-wow.com