sort

排序、去重

-t  分隔符号，默认是用空白符来分隔
-k  以哪个field来进行排序的意思
-r  反向排序；
-u  去重

-f  忽略大小写的差异
-b  忽略最前面的空白字符部分；
-M      以月份的名字来排序，例如 JAN, DEC 等等的排序方法；
-n  用字符串的数字代表进行排序

-z      行尾用\0字节代替换行符

wc

wc用来统计文件的行数、字节数、字符数

-c  统计字节数。
-l  统计行数。
-m  统计字符数。这个标志不能与 -c 标志一起使用。
-w  统计字数。一个字被定义为由空白、跳格或换行字符分隔的字符串。
-L  打印最长行的长度。

uniq

uniq命令命令用于报告或忽略文件中的重复行

-c     在前面打印重复行出现的次数
-d     只打印重复出现的行，显示一条
-i     忽略大小写
-s N   跳过开头N个字符
-u     只打印唯一的行
-w N   只比较N个字符

常用

# 对某个文件去重(会重新排序原有的文件)
sort old.txt | uniq > new.txt

# 对某个文件去重(不排序实现)
awk '!x[$0]++' old.txt > new.txt