之前遇到的问题,
怎么统计log中,哪些ip访问的次数最多。
主要思路就是awk+sort
根据第二个字段进行分组计算数量可以使用:
例子:
1 A 1
2 B 2
3 C 1
4 D 1
5 E 3
6 A 2
7 B 1
8 C 2
9 D 3
awk '{a[$2]+=1}END{for (i in a)print i,a[i]}' file
结果:
A 2
B 2
C 2
...
awk的数组
其下标可以是任意字符或者字符串。比如a[bob],表示数组a的一个元素,它的下标是"bob"。
上面例子中就是把$2当数组下标,value是次数。
然后再用sort排序
-k 使用哪个字段排序
-n 按照数值来排序 9 < 10
-r 倒序
-t<分隔字符> 指定排序时所用的栏位分隔字符
sort -n -k 2 filename > 输出结果filename
除了以上方法外,还可以使用uniq
uniq去重复
uniq -c 在输出行前面加上每行在输入文件中出现的次数。
awk '{print $2}'filename| sort | uniq -c | sort -n
分享到:
相关推荐
awk学习awk学习awk学习awk学习awk学习awk学习awk学习
awk测试从nginx查询qps的测试日志
boa-0.94.13:CGI中文问题配套代码
awk小结(by ruson)awk 编程
awk ‘/101/’ file 显示文件file中包含101的匹配行。 awk ‘/101/,/105/’ file awk ‘$1 == 5′ file awk ‘$1 == “CT”‘ file 注意必须带双引号 awk ‘$1 * $2 >100 ‘ file awk ‘$2 >5 && $2<=15' file
AWK 详细使用文档 AWK 详细使用文档 AWK 详细使用文档
《SED_单行脚本快速参考》的_awk_实现.txt ) sed using awk
Awk入门教程。作者 Bruce Barnett 注:英文版。以下是目录 Why learn AWK? Basic Structure Executing an AWK script Which shell to use with AWK? Dynamic Variables The Essential Syntax of AWK ...
此外, awk内建有pipe的功能, 可将处理中的数据传送给外部 的 Shell命令加以处理, 再将Shell命令处理后的数据传回awk程序, 这个特点也使得awk程序很 容易使用系统资源. 由于awk具有上述特色, 在问题处理的过程中, 可...
awk用法小结 - - - by ruson 2006.4 NTU 1. awk非常适合于结构化的文本文件(行、列数据)复杂处理。相对于sed而言,它可进行复杂的编程处理,并且可以产生复杂的报表输出。 2. awk通常有三个版本,旧awk、nawk...
awk参考资料, awk参考资料详情.
因为遇到了awk问题,所以找到这个小结,共享一下
学习和理解AWK的最佳书籍 一致这本书是学习awk的最好书籍,网上下不到的,国内也买不到。国家图书馆和北京大学图书馆都有。强烈建议所有想学awk的同志们阅读(会有很多awk语言之外的启迪) 偶然机会得到,不敢独享...
利用tcpdump抓包和awk处理写的基于端口的流量统计
Sed and awk are tools used by users, programmers, and system administrators - anyone working with text files. Sed, so called because it is a stream editor, is perfect for applying a series of edits to...
awk 是一门编程语言,它的基本操作是在一组文件上查找模式,并在包含这些模式实例的那 些行或字段上进行指定的动作。awk 使得特定数据的选择和变换操作更易于表达
精通awk命令 Unix awk使用手册.htm awk.pdf
awk的详细介绍,awk的使用介绍,awk的使用教程,awk的学习宝典
awk&sed 详解 shell awk&sed 详解 shell awk&sed 详解 shell awk&sed 详解 shell awk&sed 详解 shell awk&sed 详解 shell
awk详解awk详解awk详解awk详解awk详解awk详解awk详解awk详解awk详解