A way to export psql table (or query) directly to AWS S3 as file (csv, json)(将psql表(或查询)作为文件(csv、json)直接导出到AWS S3的方法)
                            本文介绍了将psql表(或查询)作为文件(csv、json)直接导出到AWS S3的方法的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
                        
                        问题描述
This answer建议使用AWS数据管道,但我想知道是否有一种聪明的方法可以用我自己的机器和Python来做到这一点。
我一直在使用optog2、boto3和pandas库。表格有5到50列和几百万行。我目前的方法不能很好地处理大数据。
推荐答案
我猜我也可以在这里展示我自己的一个版本,它基于
中的copy_expert
import io
import psycopg2
import boto3
resource = boto3.resource('s3')
conn = psycopg2.connect(dbname=db, user=user, password=pw, host=host)
cur = conn.cursor()
def copyFun(bucket, select_query, filename):
    query = f"""COPY {select_query} TO STDIN 
            WITH (FORMAT csv, DELIMITER ',', QUOTE '"', HEADER TRUE)"""
    file = io.StringIO()
    cur.copy_expert(query, file)
    resource.Object(bucket, f'{filename}.csv').put(Body=file.getvalue())
                        这篇关于将psql表(或查询)作为文件(csv、json)直接导出到AWS S3的方法的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!
				 沃梦达教程
				
			本文标题为:将psql表(或查询)作为文件(csv、json)直接导出到AWS S3的方法
				
        
 
            
        基础教程推荐
             猜你喜欢
        
	     - 在同一图形上绘制Bokeh的烛台和音量条 2022-01-01
 - Plotly:如何设置绘图图形的样式,使其不显示缺失日期的间隙? 2022-01-01
 - 修改列表中的数据帧不起作用 2022-01-01
 - 无法导入 Pytorch [WinError 126] 找不到指定的模块 2022-01-01
 - 在Python中从Azure BLOB存储中读取文件 2022-01-01
 - 求两个直方图的卷积 2022-01-01
 - 包装空间模型 2022-01-01
 - 使用大型矩阵时禁止 Pycharm 输出中的自动换行符 2022-01-01
 - PANDA VALUE_COUNTS包含GROUP BY之前的所有值 2022-01-01
 - PermissionError: pip 从 8.1.1 升级到 8.1.2 2022-01-01
 
    	
    	
    	
    	
    	
    	
    	
    	
				
				
				
				