使用Databricks中的dbutils.fs.ls输出创建数据帧

Create a dataframe out of dbutils.fs.ls output in Databricks(使用Databricks中的dbutils.fs.ls输出创建数据帧)

本文介绍了使用Databricks中的dbutils.fs.ls输出创建数据帧的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

所以,我是一个初学者,在Databricks上学习Spark编程(Pyspark)-

我要做什么?

列出目录中的所有文件并将其保存到数据帧中,以便我能够对此文件列表应用筛选、排序等。为什么?因为我正在尝试查找目录中最大的文件。

为什么下面不起作用?我遗漏了什么?

从pyspk.sql.ypes导入StringType

sklist=dbutils.fs.ls(源文件)

df=spk.createDataFrame(sklist,StringType())

推荐答案

好吧,实际上,我想通了:)。我只想把问题留在这里,以防有人从中受益。

所以基本上,问题出在模式上。并不是列表中的所有元素都是字符串类型。因此,我显式创建了一个架构,并在createDataFrame函数中使用它。

工作代码-

from pyspark.sql.types import StructType, StructField, IntegerType, StringType

ddlSchema = StructType([
StructField('path',StringType()),
StructField('name',StringType()),
StructField('size',IntegerType())
])

sklist = dbutils.fs.ls(sourceFile)
df = spark.createDataFrame(sklist,ddlSchema)

这篇关于使用Databricks中的dbutils.fs.ls输出创建数据帧的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!

本文标题为:使用Databricks中的dbutils.fs.ls输出创建数据帧

基础教程推荐