使用Spark-avro写入数据帧创建topLevelRecord-要使用现有架构

using spark-avro to write dataframe creates topLevelRecord - want to use existing schema(使用Spark-avro写入数据帧创建topLevelRecord-要使用现有架构)

本文介绍了使用Spark-avro写入数据帧创建topLevelRecord-要使用现有架构的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

我正在使用Kryo编码器将GenericRecords编码为Spark DataFrame,并将该数据帧写入Avro文件。一旦我尝试从配置单元中读取文件,我就得到一个错误,说解析器找到的是toplevelRecords而不是预期的字段。这条记录不在我现有的模式中,我认为它是在我使用Spark-Avro编写时创建的。我想知道是否/如何从Avro文件中删除它。

如下所示:

{
    "type":"record",
    "name":"topLevelRecord",
    "fields":[
         {
            "name":"value",
            "type":["bytes","null"]
         }
    ]
} 

推荐答案

名称字段在Avro架构中是必需的(https://jaceklaskowski.gitbooks.io/mastering-spark-sql/spark-sql-AvroOptions.html)

如果架构中未设置值topLevelRecord,则值topLevelRecord是默认值,但是您可以提供一个值以在写入数据框时覆盖它。

Scala: 创建参数映射并将其传递给编写器:

val name = "AvroTest"
val parameters = Map("recordName" -> name)
df.write.options(parameters).format("avro").save("/tmp/output")

引用:https://docs.databricks.com/spark/latest/data-sources/read-avro.html

Python: 将选项传递给编写器,如下所示:

df.write.format("com.databricks.spark.avro").option("recordName", "Uber").save("tmp/output")

这篇关于使用Spark-avro写入数据帧创建topLevelRecord-要使用现有架构的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!

本文标题为:使用Spark-avro写入数据帧创建topLevelRecord-要使用现有架构

基础教程推荐