| Stage Id | Description | Submitted | Duration | Tasks: Succeeded/Total | Input | Output | Shuffle Read | Shuffle Write |
|---|---|---|---|---|---|---|---|---|
| 5 | saveAsTextFile at <console>:51 org.apache.spark.rdd.RDD.saveAsTextFile(RDD.scala:1436) $line68.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:51) $line68.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:56) $line68.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:58) $line68.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:60) $line68.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:62) $line68.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:64) $line68.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:66) $line68.$read$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:68) $line68.$read$$iwC$$iwC$$iwC$$iwC.<init>(<console>:70) $line68.$read$$iwC$$iwC$$iwC.<init>(<console>:72) $line68.$read$$iwC$$iwC.<init>(<console>:74) $line68.$read$$iwC.<init>(<console>:76) $line68.$read.<init>(<console>:78) $line68.$read$.<init>(<console>:82) $line68.$read$.<clinit>(<console>) $line68.$eval$.<init>(<console>:7) $line68.$eval$.<clinit>(<console>) $line68.$eval.$print(<console>) sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) | 2022/07/06 10:16:11 | 4 s |
200/200
| 35.2 KB | 272.8 MB | ||
| 4 | rdd at <console>:51 org.apache.spark.sql.DataFrame.rdd(DataFrame.scala:1634) $line68.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:51) $line68.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:56) $line68.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:58) $line68.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:60) $line68.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:62) $line68.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:64) $line68.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:66) $line68.$read$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:68) $line68.$read$$iwC$$iwC$$iwC$$iwC.<init>(<console>:70) $line68.$read$$iwC$$iwC$$iwC.<init>(<console>:72) $line68.$read$$iwC$$iwC.<init>(<console>:74) $line68.$read$$iwC.<init>(<console>:76) $line68.$read.<init>(<console>:78) $line68.$read$.<init>(<console>:82) $line68.$read$.<clinit>(<console>) $line68.$eval$.<init>(<console>:7) $line68.$eval$.<clinit>(<console>) $line68.$eval.$print(<console>) sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) | 2022/07/06 10:16:00 | 10 s |
20/20
| 616.8 MB | 272.7 MB | ||
| 3 | rdd at <console>:51 org.apache.spark.sql.DataFrame.rdd(DataFrame.scala:1634) $line68.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:51) $line68.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:56) $line68.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:58) $line68.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:60) $line68.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:62) $line68.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:64) $line68.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:66) $line68.$read$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:68) $line68.$read$$iwC$$iwC$$iwC$$iwC.<init>(<console>:70) $line68.$read$$iwC$$iwC$$iwC.<init>(<console>:72) $line68.$read$$iwC$$iwC.<init>(<console>:74) $line68.$read$$iwC.<init>(<console>:76) $line68.$read.<init>(<console>:78) $line68.$read$.<init>(<console>:82) $line68.$read$.<clinit>(<console>) $line68.$eval$.<init>(<console>:7) $line68.$eval$.<clinit>(<console>) $line68.$eval.$print(<console>) sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) | 2022/07/06 10:16:00 | 0.8 s |
12/12
| 30.2 KB | 65.6 KB | ||
| 2 | saveAsTextFile at <console>:93 org.apache.spark.rdd.RDD.saveAsTextFile(RDD.scala:1436) $line58.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:93) $line58.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:117) $line58.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:119) $line58.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:121) $line58.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:123) $line58.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:125) $line58.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:127) $line58.$read$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:129) $line58.$read$$iwC$$iwC$$iwC$$iwC.<init>(<console>:131) $line58.$read$$iwC$$iwC$$iwC.<init>(<console>:133) $line58.$read$$iwC$$iwC.<init>(<console>:135) $line58.$read$$iwC.<init>(<console>:137) $line58.$read.<init>(<console>:139) $line58.$read$.<init>(<console>:143) $line58.$read$.<clinit>(<console>) $line58.$eval$.<init>(<console>:7) $line58.$eval$.<clinit>(<console>) $line58.$eval.$print(<console>) sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) | 2022/07/06 10:15:57 | 0.8 s |
12/12
| 30.2 KB | 85.3 KB | ||
| 1 | map at <console>:80 org.apache.spark.rdd.RDD.map(RDD.scala:323) $line58.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:80) $line58.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:117) $line58.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:119) $line58.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:121) $line58.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:123) $line58.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:125) $line58.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:127) $line58.$read$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:129) $line58.$read$$iwC$$iwC$$iwC$$iwC.<init>(<console>:131) $line58.$read$$iwC$$iwC$$iwC.<init>(<console>:133) $line58.$read$$iwC$$iwC.<init>(<console>:135) $line58.$read$$iwC.<init>(<console>:137) $line58.$read.<init>(<console>:139) $line58.$read$.<init>(<console>:143) $line58.$read$.<clinit>(<console>) $line58.$eval$.<init>(<console>:7) $line58.$eval$.<clinit>(<console>) $line58.$eval.$print(<console>) sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) | 2022/07/06 10:15:56 | 1 s |
12/12
| 330.9 MB | 85.3 KB | ||
| 0 | saveAsTextFile at <console>:53
RDD: MapPartitionsRDD
org.apache.spark.rdd.RDD.saveAsTextFile(RDD.scala:1436) $line53.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:53) $line53.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:58) $line53.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:60) $line53.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:62) $line53.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:64) $line53.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:66) $line53.$read$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:68) $line53.$read$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:70) $line53.$read$$iwC$$iwC$$iwC$$iwC.<init>(<console>:72) $line53.$read$$iwC$$iwC$$iwC.<init>(<console>:74) $line53.$read$$iwC$$iwC.<init>(<console>:76) $line53.$read$$iwC.<init>(<console>:78) $line53.$read.<init>(<console>:80) $line53.$read$.<init>(<console>:84) $line53.$read$.<clinit>(<console>) $line53.$eval$.<init>(<console>:7) $line53.$eval$.<clinit>(<console>) $line53.$eval.$print(<console>) sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) | 2022/07/06 10:07:36 | 8.3 min |
12/12
| 82.3 MB | 70.9 MB |
