箭/拼花错误地保存大的时间戳

pyarrow/parquet saving large timestamp incorrectly(箭/拼花错误地保存大的时间戳)

本文介绍了箭/拼花错误地保存大的时间戳的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

我在数据库中有一些9999-12-31的时间戳,正在尝试转换为拼花。不知何故,这些时间戳在拼花文件中都以1816-03-29 05:56:08.066结束。

下面是重现该问题的一些代码。

file_path = "tt.parquet"
schema = pa.schema([pa.field("tt", pa.timestamp("ms"))])
table = pa.Table.from_arrays([pa.array([datetime(9999, 12, 31),], pa.timestamp('ms'))], ["tt"])
writer = pq.ParquetWriter(file_path, schema)
writer.write_table(table)
writer.close()

我没有尝试使用 pandas 读取数据,但我尝试了使用 pandas 进行检查,但以pyarrow.lib.ArrowInvalid: Casting from timestamp[ms] to timestamp[ns] would result in out of bounds timestamp:错误告终。

我正在将拼图文件加载到Snowflake中,并得到了错误的时间戳。我也试过用镶木地板工具检查,但这似乎不适用于时间戳。

拼花/箭不支持大时间戳吗?如何存储正确的时间戳?

推荐答案

原来是因为我需要在镶木地板上use_deprecated_int96_timestamps=Falsewriter

它默认情况下会说它是假的,但我已将风味设置为"Spark",所以我认为它会覆盖它。

感谢您的帮助

这篇关于箭/拼花错误地保存大的时间戳的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!

本文标题为:箭/拼花错误地保存大的时间戳

基础教程推荐