将python模块导入Databricks中的python脚本

Import python module to python script in databricks(将python模块导入Databricks中的python脚本)

本文介绍了将python模块导入Databricks中的python脚本的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

我正在Azure DataFactory中处理一个项目,并且我有一个运行Databricks python脚本的管道。这个特定的脚本位于Databricks文件系统中,由ADF管道运行,它从位于同一文件夹(两个脚本都位于dbfs:/FileStore/code中)的另一个Python脚本导入模块。

下面的代码可以将python模块导入Databricks笔记本,但在导入python脚本时不起作用。

sys.path.insert(0,'dbfs:/FileStore/code/')
import conn_config as Connect

在集群日志中,我得到: Import Error: No module named conn_config

我猜这个问题与python文件无法识别Databricks环境有关。有什么帮助吗?

推荐答案

我终于用电光完成了。创建电光会话后(如果您的集群集成了电光会话,则无需发起会话):

spark.sparkContext.addPyFile("dbfs:/FileStore/code/conn_config.py")
import conn_config as C

此语法可以将python模块导入到从Azure DataFactory运行的python脚本。

这篇关于将python模块导入Databricks中的python脚本的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!

本文标题为:将python模块导入Databricks中的python脚本

基础教程推荐