如何在私有网络上运行Dataflow Python?

How to run Dataflow python on a private subnetwork?(如何在私有网络上运行Dataflow Python?)

本文介绍了如何在私有网络上运行Dataflow Python?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

ApacheBeam2.1.0添加了对在专用子网络上没有公共IP的数据流运行器上提交作业的支持,这是我们满足防火墙规则所需的。我计划使用Squid代理访问apt-getpip等来安装python依赖项;一个代理实例已经在运行,并且我们在setup.py脚本中设置了代理。

python $DIR/submit.py 
       --runner DataflowRunner 
       --no_use_public_ips 
       --subnetwork regions/us-central1/subnetworks/$PRIVATESUBNET 
       --staging_location $BUCKET/staging 
       --temp_location $BUCKET/temp 
       --project $PROJECT 
       --setup_file $DIR/setup.py 
       --job_name $JOB_NAME

当我尝试通过pythonAPI运行时,在我有机会启用代理之前,在Worker启动期间出错。在我看来,每个工作人员都会首先尝试安装数据流SDK:

在此期间,它尝试更新requests,但无法连接到pip

目前还没有执行我的任何代码,因此在设置代理之前,我看不到避免此错误的方法。有没有办法在专用子网上启动数据流Python工作进程?

推荐答案

我设法用NAT网关而不是代理解决了这个问题。按照special configurations下的说明-我必须编辑其中一个步骤,以通过网关自动路由数据流工作实例:

gcloud compute routes create no-ip-internet-route --network my-network 
    --destination-range 0.0.0.0/0 
    --next-hop-instance nat-gateway 
    --next-hop-instance-zone us-central1-a 
    --tags dataflow --priority 800

我使用了标记dataflow而不是no-ip,后者是所有数据流工作进程的网络标记。

在这种情况下,NAT网关似乎比代理更容易解决问题,因为它无需配置工作进程即可路由流量。

这篇关于如何在私有网络上运行Dataflow Python?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!

本文标题为:如何在私有网络上运行Dataflow Python?

基础教程推荐