淘先锋技术网

首页 1 2 3 4 5 6 7

在数据处理的过程中,去除重复的数据是非常常见的操作。Python提供了多种去重的方法,下面我们将一一介绍。

python消除重复数据

方法一:使用set去重


lst = [1, 1, 2, 3, 3, 4, 5]
unique_lst = list(set(lst))
print(unique_lst)

使用set将列表转化为集合,由于集合是无序且不重复的,因此重复的元素会被去除。将集合再转化为列表即可得到去重后的数据。

方法二:使用字典去重


lst = [1, 1, 2, 3, 3, 4, 5]
temp_dict = {}
for item in lst:
   temp_dict[item] = 1
unique_lst = list(temp_dict.keys())
print(unique_lst)

使用一个字典的keys()函数,将列表中的元素作为字典的键,由于字典的键不可重复,因此重复的元素会被去除。

方法三:使用列表推导式去重


lst = [1, 1, 2, 3, 3, 4, 5]
unique_lst = [i for n, i in enumerate(lst) if i not in lst[0:n]]
print(unique_lst)

该方法使用列表推导式,在列表中枚举每一个元素,判断该元素是否在它之前出现,如果没有出现则添加到新列表中。

以上三种方法均可用于去除重复的数据,选用哪一种方法取决于数据量和处理需求。