现有txt文件，格式如下：
aaa 111 222
aaa 222 111
bbb 111 333
aaa 111 222
ccc 222 222
bbb 111 444

希望去除重复项，最后得到：
aaa 111 222
aaa 222 111
bbb 111 333
ccc 222 222
bbb 111 444


数据很大，好几十个G，我写的脚本感觉运行效率很低：请问有没有什么高效率的方法啊？