PyArrow: Incrementally using ParquetWriter without keeping entire dataset in memory (large than memory parquet files)(PyArrow:递增地使用ParquetWriter,而无需将整个数据集保存在内存中(大于内存拼接文件))
本文介绍了PyArrow:递增地使用ParquetWriter,而无需将整个数据集保存在内存中(大于内存拼接文件)的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
我正在尝试将一个较大的拼图文件写入磁盘(大于内存)。我天真地认为我可以聪明地使用ParquetWriter和WRITE_TABLE递增地写入文件,比如(POC):
import pyarrow as pa
import pyarrow.parquet as pq
import pickle
import time
arrow_schema = pickle.load(open('schema.pickle', 'rb'))
rows_dataframe = pickle.load(open('rows.pickle', 'rb'))
output_file = 'test.parq'
with pq.ParquetWriter(
output_file,
arrow_schema,
compression='snappy',
allow_truncated_timestamps=True,
version='2.0', # Highest available schema
data_page_version='2.0', # Highest available schema
) as writer:
for rows_dataframe in function_that_yields_data()
writer.write_table(
pa.Table.from_pydict(
rows_dataframe,
arrow_schema
)
)
但是,即使I正在生成块(在我的例子中类似于10,000行)并使用write_table
,它仍然将整个数据集保留在内存中。
原来ParquetWriter将整个数据集保留在内存中,同时以增量方式写入磁盘。
有没有什么办法可以强制ParquetWriter不将整个数据集保存在内存中,或者有充分的理由根本不可能这样做?
推荐答案
根据Arrow bug report中的分析,这可能是由元数据集合导致的,而元数据集合只能在文件关闭时刷新。
这篇关于PyArrow:递增地使用ParquetWriter,而无需将整个数据集保存在内存中(大于内存拼接文件)的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!
沃梦达教程
本文标题为:PyArrow:递增地使用ParquetWriter,而无需将整个数据集保存在内存中(大于内存拼接文件)
基础教程推荐
猜你喜欢
- 使用Python匹配Stata加权xtil命令的确定方法? 2022-01-01
- Python 的 List 是如何实现的? 2022-01-01
- 如何在Python中绘制多元函数? 2022-01-01
- 使用 Google App Engine (Python) 将文件上传到 Google Cloud Storage 2022-01-01
- 哪些 Python 包提供独立的事件系统? 2022-01-01
- 将 YAML 文件转换为 python dict 2022-01-01
- 使 Python 脚本在 Windows 上运行而不指定“.py";延期 2022-01-01
- 合并具有多索引的两个数据帧 2022-01-01
- 如何在 Python 中检测文件是否为二进制(非文本)文 2022-01-01
- 症状类型错误:无法确定关系的真值 2022-01-01