文心博客

　　max 
　　

　　这里面比较复杂的是以下两个方法， 
agg，该方法和下面介绍的类似，可以用于对指定字段进行聚合操作。

pivot

6、distinct

（1）distinct：返回一个不包含重复记录的DataFrame 
　　返回当前DataFrame中不重复的Row记录。该方法和接下来的dropDuplicates()方法不传入指定字段时的结果相同。 
　　示例：

jdbcDF.distinct()1

　　结果， 
　　

（2）dropDuplicates：根据指定字段去重 
　　根据指定字段去重。类似于select distinct a, b操作 
　　示例：

jdbcDF.dropDuplicates(Seq("c1"))1

　　结果： 
　　

7、聚合

　　聚合操作调用的是agg方法，该方法有多种调用方式。一般与groupBy方法配合使用。 
　　以下示例其中最简单直观的一种用法，对id字段求最大值，对c4字段求和。

jdbcDF.agg("id" -> "max", "c4" -> "sum")1

　　结果： 
　　

时间：8年前 (2017/10/04) / 阅读：1010 / 评论：0

DataFrame操作大全