识别：
df.duplicated(...)

处理：
df.drop_duplicates(...)
df.unique() --return an np.array
df.value_counts()

--pivot table functions
df.groupby()
df.pivot_table()