How can I convert a custom Java class to a Spark Dataset(如何将自定义 Java 类转换为 Spark 数据集)
问题描述
我不知道如何将测试对象列表转换为 Spark 中的数据集这是我的课:
I can't figure out a way to convert a List of Test objects to a Dataset in Spark This is my class:
public class Test {
public String a;
public String b;
public Test(String a, String b){
this.a = a;
this.b = b;
}
public List getList(){
List l = new ArrayList();
l.add(this.a);
l.add(this.b);
return l;
}
}
推荐答案
您在注释中创建 DataFrame 的代码是正确的.但是,您定义 Test
的方式存在问题.您只能使用来自 Java Bean 的代码创建 DataFrame.您的 Test
类不是 Java Bean.修复该问题后,您可以使用以下代码创建 DataFrame:
Your code in the comments to create a DataFrame is correct. However, there is a problem with the way you define Test
. You can create DataFrames using your code only from Java Beans. Your Test
class is not a Java Bean. Once you fix that, you can use the following code to create a DataFrame:
Dataset<Row> dataFrame = spark.createDataFrame(listOfTestClasses, Test.class);
这些行来创建一个类型化的数据集:
and these lines to create a typed Dataset:
Encoder<Test> encoder = Encoders.bean(Test.class);
Dataset<Test> dataset = spark.createDataset(listOfTestClasses, encoder);
这篇关于如何将自定义 Java 类转换为 Spark 数据集的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!
本文标题为:如何将自定义 Java 类转换为 Spark 数据集
基础教程推荐
- 如何使用 Java 创建 X509 证书? 2022-01-01
- 设置 bean 时出现 Nullpointerexception 2022-01-01
- Java:带有char数组的println给出乱码 2022-01-01
- 降序排序:Java Map 2022-01-01
- 无法使用修饰符“public final"访问 java.util.Ha 2022-01-01
- FirebaseListAdapter 不推送聊天应用程序的单个项目 - Firebase-Ui 3.1 2022-01-01
- 在 Libgdx 中处理屏幕的正确方法 2022-01-01
- Java Keytool 导入证书后出错,"keytool error: java.io.FileNotFoundException &拒绝访问" 2022-01-01
- “未找到匹配项"使用 matcher 的 group 方法时 2022-01-01
- 减少 JVM 暂停时间 >1 秒使用 UseConcMarkSweepGC 2022-01-01