数据源仍然使用之前分成多个文件的数据。
要查询数据源中是否存在重复值，可以使用duplicated()函数：
查询区域是否有相同（重复）值返回一组bool值，可用于过滤不重复值或重复值。
需要注意的是，如果duplicated()没有指定area变量，它会比较所有列，只有当每列中的值相同时，才会被标记为重复值。
我们可以尝试过滤掉具有重复值的行：
过滤掉具有重复值的过滤数据的信息过滤掉具有不重复值的行：
具有不重复值的行当然，有时我们可能希望选择两列中具有重复值的数据。这种情况下，我们需要同时选择两列作为过滤的依据。
选择两列之间共有的重复值的另一个常见场景是，我们选择重复值后，是要保留第一个还是最后一个？
我不知道keep="last" 。指定keep="last"。从上图可以看出，keep="last"参数允许系统从后向前开始过滤，这样索引较小的重复行将返回True。
上面是一个duplicated函数，只过滤掉重复值，不处理重复值。
要处理重复值，需要使用drop_duplicates。 Drop_duplicates 效率更高：
【深入探讨：Pandas库中处理重复数据的duplicated和drop方法】相关文章：
2.米颠拜石
3.王羲之临池学书
8.郑板桥轶事十则
用户评论
在处理数据的时候，重复值确实很让人头疼，还好有 PANDAS 的
duplicated来帮我识别。有20位网友表示赞同！
我想尝试一下 `drop_duplicates` 来清理一下我的数据集，希望能提高效率。
有18位网友表示赞同！
学习了 pandas 的
duplicated和drop_duplicates` 之后，感觉数据处理变得简单很多。有19位网友表示赞同！
之前没听说过pandas 的这两个方法，看来需要好好了解一下用法。
有14位网友表示赞同！
要解决重复值的这个问题，这两种方法确实比较实用。
有9位网友表示赞同！
学习编程的过程中发现 pandas 简直是必备工具啊！
有10位网友表示赞同！
使用
duplicated` 去筛掉重复性数据，真的可以大大提高代码的简洁性和效率。有19位网友表示赞同！
感觉Pandas 的 `drop_duplicates` 用起来很方便，直接就能把重复的数据移除。
有6位网友表示赞同！
还在学习Python，今天看到这两种方法，感觉对数据处理很有帮助。
有5位网友表示赞同！
看来学习 pandas 真的可以让我更有效的处理数据文件。
有12位网友表示赞同！
数据的清洗真的很重要，pandas 提供的工具真是太棒了！
有12位网友表示赞同！
之前总是手动去筛选重复值，现在可以用这些方法自动处理了，省时省力不少
有5位网友表示赞同！
duplicated` 和 `drop_duplicates用来解决重复数据问题真是妙啊！有13位网友表示赞同！
在做项目的时候，这些方法应该会派上很大的用场。
有5位网友表示赞同！
希望以后能熟练使用 pandas 的各种工具，提高我的数据处理能力！
有5位网友表示赞同！
学习这两种方法之后，感觉自己离成为数据分析师更近了一步！
有19位网友表示赞同！
学习编程真的是一门很好的技能，Pandas 真是个很棒的工具！
有18位网友表示赞同！
我觉得学习 pandas 是值得投入时间和精力的事。
有8位网友表示赞同！
这两种方法确实为数据处理提供了非常有效的解决方案。
有10位网友表示赞同！