Getting error while doing truncate redshift table using S3ToRedshiftOperator(使用S3ToRedShitOperator执行截断红移表时出错)
本文介绍了使用S3ToRedShitOperator执行截断红移表时出错的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
我想在将CSV文件加载到RedShift表之前截断RedShift表。
错误: airflow.exceptions.AirflowException:传递给S3ToRedshitOperator(task_id:dag_run_s3_to_redshift)的参数无效。无效参数为: **kwargs:{‘method’:‘place’}
以下代码:
task_fail_s3_to_redshift = S3ToRedshiftOperator(
s3_bucket=S3_BUCKET,
s3_key="{{ti.xcom_pull(task_ids='export_db',key='FILE_PATH_1')}}",
schema="dw_stage",
table="task_fail",
copy_options=['csv',"IGNOREHEADER 1"],
redshift_conn_id='redshift',
method='REPLACE',
task_id='task_fail_s3_to_redshift',
)
start >> task_fail_s3_to_redshift >> end
推荐答案
method
参数添加在PR中:
apache-airflow-providers-amazon >= 2.4.0
您遇到的错误意味着您使用的是旧版本的Amazon Provider,这就是它不适用于您的原因。
您的选项包括:
1.升级提供程序
pip install apache-airflow-providers-amazon --upgrade
2.如果不提供升级选项,则使用已弃用的truncate_table
参数:
task_fail_s3_to_redshift = S3ToRedshiftOperator(
s3_bucket=S3_BUCKET,
s3_key="{{ti.xcom_pull(task_ids='export_db',key='FILE_PATH_1')}}",
schema="dw_stage",
table="task_fail",
copy_options=['csv',"IGNOREHEADER 1"],
redshift_conn_id='redshift',
truncate_table=True,
task_id='task_fail_s3_to_redshift',
)
因为您需要截断选项-它将为您提供相同的功能。
这篇关于使用S3ToRedShitOperator执行截断红移表时出错的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!
沃梦达教程
本文标题为:使用S3ToRedShitOperator执行截断红移表时出错
基础教程推荐
猜你喜欢
- 使 Python 脚本在 Windows 上运行而不指定“.py";延期 2022-01-01
- 如何在Python中绘制多元函数? 2022-01-01
- 症状类型错误:无法确定关系的真值 2022-01-01
- 使用Python匹配Stata加权xtil命令的确定方法? 2022-01-01
- 如何在 Python 中检测文件是否为二进制(非文本)文 2022-01-01
- Python 的 List 是如何实现的? 2022-01-01
- 将 YAML 文件转换为 python dict 2022-01-01
- 哪些 Python 包提供独立的事件系统? 2022-01-01
- 使用 Google App Engine (Python) 将文件上传到 Google Cloud Storage 2022-01-01
- 合并具有多索引的两个数据帧 2022-01-01