uniq 命令 #

uniq命令用于报告或忽略文件中的重复行。它通常与sort命令一起使用，因为uniq只检测相邻的重复行。

语法 #

uniq [选项] [输入文件 [输出文件]]

选项	描述
`-c, --count`	在每行前面显示重复的次数
`-d, --repeated`	只显示重复的行，每组重复的行只显示一次
`-D, --all-repeated[=分隔方法]`	显示所有重复的行，分隔方法可以是`none`、`prepend`或`separate`
`-f, --skip-fields=N`	忽略前 N 个字段
`-i, --ignore-case`	忽略大小写差异
`-s, --skip-chars=N`	忽略前 N 个字符
`-u, --unique`	只显示不重复的行
`-z, --zero-terminated`	以 NUL 字符而不是换行符分隔行
`-w, --check-chars=N`	只比较每行的前 N 个字符

uniq file.txt

或

sort file.txt | uniq

sort file.txt | uniq -c

输出示例：

      3 apple
      2 banana
      1 cherry
      4 date

sort file.txt | uniq -d

sort file.txt | uniq -D

sort file.txt | uniq -u

sort file.txt | uniq -i

sort file.txt | uniq -f 2

这会忽略每行的前两个字段，然后比较其余部分。

sort file.txt | uniq -s 5

这会忽略每行的前 5 个字符，然后比较其余部分。

sort file.txt | uniq -w 10

这只比较每行的前 10 个字符。

sort file.txt | uniq -D --all-repeated=separate

sort file.txt | uniq -c | sort -nr

这会按出现次数降序排序。

sort file.txt | uniq -u

sort file.txt | uniq -d

sort file.txt | uniq | wc -l

grep "ERROR" logfile.txt | sort | uniq -c

sort file1.txt file2.txt | uniq -d

sort file1.txt file2.txt | uniq -u

awk '{print $1}' access.log | sort | uniq -c | sort -nr | head -10

awk '{print $9}' access.log | sort | uniq -c | sort -nr

find . -type f | sed 's/.*\///' | sort | uniq -d

cut -d: -f1 /etc/passwd | sort | uniq -d

tr ' ' '\n' < file.txt | sort | uniq -c | sort -nr

# 只在file1.txt中出现的行
sort file1.txt file2.txt file2.txt | uniq -u

# 只在file2.txt中出现的行
sort file2.txt file1.txt file1.txt | uniq -u

# 假设第1列是ID
cut -d, -f1 data.csv | sort | uniq -d