DataProc不解压缩作为存档传递的文件

Dataproc does not unpack files passed as Archive(DataProc不解压缩作为存档传递的文件)

本文介绍了DataProc不解压缩作为存档传递的文件的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

我正在尝试使用.NET电光作业提交数据过程。

命令行如下所示:

gcloud dataproc jobs submit spark 
    --cluster=<cluster> 
    --region=<region> 
    --class=org.apache.spark.deploy.dotnet.DotnetRunner 
    --jars=gs://bucket/microsoft-spark-2.4.x-0.11.0.jar 
    --archives=gs://bucket/dotnet-build-output.zip 
    -- find

此命令行应调用find函数以显示当前目录中的文件。

我只看到2个文件:

././microsoft-spark-2.4.x-0.11.0.jar
././microsoft-spark-2.4.x-0.11.0.jar.crc
最终,GCP不会从指定为--archives的存储中解压该文件。指定的文件存在,并且路径是从GCP UI复制的。此外,我还尝试从存档文件(存在)中运行确切的程序集文件,但失败的原因是File does not exist

推荐答案

正如@daang提到的--archives--files参数不会将zip文件复制到驱动程序实例,因此这是错误的方向。

我使用此方法:

gcloud dataproc jobs submit spark 
        --cluster=<cluster> 
        --region=<region> 
        --class=org.apache.spark.deploy.dotnet.DotnetRunner 
        --jars=gs://<bucket>/microsoft-spark-2.4.x-0.11.0.jar 
        -- /bin/sh -c "gsutil cp gs://<bucket>/builds/test.zip . && unzip -n test.zip && chmod +x ./Spark.Job.Test && ./Spark.Job.Test"

这篇关于DataProc不解压缩作为存档传递的文件的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!

本文标题为:DataProc不解压缩作为存档传递的文件

基础教程推荐