使用Pandas AWS Glue Python外壳作业

Using Pandas AWS Glue Python Shell Jobs(使用Pandas AWS Glue Python外壳作业)

本文介绍了使用Pandas AWS Glue Python外壳作业的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

AWS文档 https://docs.aws.amazon.com/glue/latest/dg/add-job-python.html

提到

运行Python外壳作业的环境支持以下各项 库:

...

pandas (需要通过python setupTools安装 配置,setup.py)

但没有提到如何进行安装。

如何在AWS Glue Python外壳作业中使用 pandas ?

推荐答案

  1. 转到https://docs.aws.amazon.com/glue/latest/dg/add-job-python.html#create-python-extra-library。检查部分 为"如何为Python外壳作业创建安装文件"创建一个Python.egg或.whl文件
  2. 在setup.py文件中,添加install_requires=['pandas==0.25.1']行:
setup(name="<module name>",
        version="0.1",
        packages=['<package name if any or ignore>'],
        install_requires=['pandas==0.25.1']
    )

我还编写了一个小的外壳脚本来部署Python外壳作业,而不需要手动创建鸡蛋文件,并通过CloudForms上传到S3和部署。脚本会自动完成所有操作。 您可以在https://github.com/fatangare/aws-python-shell-deploy

找到代码

这篇关于使用Pandas AWS Glue Python外壳作业的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!

本文标题为:使用Pandas AWS Glue Python外壳作业

基础教程推荐