av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術文章
文章詳情頁

JAVA spark創建DataFrame的方法

瀏覽:7日期:2022-08-25 17:52:40

述說正傳,接下來開始說正事。

以前用Python和Scala操作Spark的時候比較多,畢竟Python和Scala代碼寫起來要簡潔很多。

今天一起來看看Java版本怎么創建DataFrame,代碼寫起來其實差不多,畢竟公用同一套API。測試數據可以參考我之前的文章。

先來總結下Spark的一般流程:

1,先創建Spark基礎變量,spark,sc

2,加載數據,rdd.textFile,spark.read.csv/json等

3,數據處理,mapPartition, map,filter,reduce等一系列transformation操作

4,數據保存,saveAstextFile,或者其他DataFrame方法

祭出代碼

package dev.java;import dev.utils.Utils;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.sql.Dataset;import org.apache.spark.sql.Row;import org.apache.spark.sql.RowFactory;import org.apache.spark.sql.SparkSession;import org.apache.spark.sql.types.StructType;import scala.Tuple2;import java.util.List;public class Spark1 { private static final String fileData = 'seed'; private static final String fileSave = 'result'; private static SparkSession spark = SparkSession.builder().appName('Java-Spark').master('local[*]').config('spark.default.parallelism', 100).config('spark.sql.shuffle.partitions', 100).config('spark.driver.maxResultSize', '3g').getOrCreate(); private static JavaSparkContext sc = JavaSparkContext.fromSparkContext(spark.sparkContext()); public static void main(String[] args) { Utils.delete(fileSave); // t1(); } private static void t1() { JavaRDD<Row> rdd = sc.textFile(fileData).map(v -> { String[] parts = v.split('t'); return RowFactory.create(parts[0], Long.parseLong(parts[1]));}).filter(v -> v.getLong(1) >= 10000).sortBy(v -> v.getLong(1), false, 100).coalesce(2); Dataset<Row> df = spark.createDataFrame(rdd, StructType.fromDDL('title string, qty long')); df.write().csv(fileSave); spark.stop(); }}

以上就是JAVA操作spark創建DataFrame的方法的詳細內容,更多關于JAVA Spark 創建DataFrame的資料請關注好吧啦網其它相關文章!

標簽: Java
相關文章:
主站蜘蛛池模板: 日韩成人久久 | 国产视频三级 | 国产精品爱久久久久久久 | 国产 欧美 日韩 一区 | 国产一级成人 | 欧美精品综合在线 | 国产最新精品视频 | 欧美黄色网 | 天天躁日日躁狠狠很躁 | a在线免费观看视频 | 亚洲精品久久久一区二区三区 | 久久午夜国产精品www忘忧草 | 国产特级毛片 | 日韩视频在线观看中文字幕 | 日韩成人一区 | 亚洲人成在线观看 | www..com18午夜观看 | 伊人免费观看视频 | 天天干天天干 | 久久99深爱久久99精品 | 美女黄频 | 成人在线精品视频 | 91久久精品日日躁夜夜躁国产 | 一区二区三区视频在线免费观看 | 色婷婷av一区二区三区软件 | 在线观看欧美日韩视频 | 亚洲国产精品久久久久久 | 国产成人黄色 | 国产一区二区日韩 | 激情欧美一区二区三区中文字幕 | 久久久久久亚洲精品不卡 | 久草在线中文888 | 伊人网在线播放 | 欧美久久久久久 | 一本一道久久a久久精品综合蜜臀 | 久久久久久毛片免费观看 | 韩日精品一区 | 国产日韩欧美在线播放 | 国产乱码精品一区二区三区五月婷 | 羞羞网站在线免费观看 | 亚洲欧美一区二区三区在线 |