xarray.open_mfdataset() doesn#39;t work if dask.distributed client has been created(如果已创建dask.Distributed客户端,则xarray.open_mfdatet()不起作用)
问题描述
我有一个奇怪的问题,我希望能提供一些意见。基本上,我在AWS Pangeo Cloud上运行一台笔记本,并使用xr.open_mfdatase
t在S3(带有s3f)上打开一些GOES-16卫星数据。
如果我根本不使用DASK,这将非常有效,因为数据集在几分钟内就构建好了。
但是,如果我在打开文件之前创建dask.distributed
客户端,open_mfdataset
似乎永远挂起。
我制作了一些简单的笔记本,可以在这里浏览,以及可以用来运行它们的活页夹链接。如有任何意见,我们将不胜感激!
https://github.com/lsterzinger/pangeo-cloud-L2-satellite/tree/main/dask_troubleshooting
推荐答案
以下操作是否能实现您的目标?
ds = xr.open_mfdataset(file_objs, combine='nested', concat_dim='t', data_vars='minimal', coords='minimal', compat='override')
请注意,使用这些设置时,非DASK版本的加载时间约为35秒,而DASK One的加载时间似乎为90秒。我还没有使用过这些数据,所以不知道这里是不是这样,但扩展优势可能会对更大数量的文件发挥作用(目前是24个)。
这是基于docs:
中的指导通常,这些变量中的一小部分需要沿维度(例如时间和时间)串联,而其余变量在数据集中是相等的(忽略浮点差异)。
该命令沿着";time";维连接变量,但只连接那些已经包含";time";维的变量(data_vars=‘Minimum’,COCORDS=‘Minimum’)。缺少时间维度的变量取自第一个数据集(Compat=‘Override’)。
这篇关于如果已创建dask.Distributed客户端,则xarray.open_mfdatet()不起作用的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!
本文标题为:如果已创建dask.Distributed客户端,则xarray.open_mfdatet()不起作用
基础教程推荐
- 哪些 Python 包提供独立的事件系统? 2022-01-01
- 如何在Python中绘制多元函数? 2022-01-01
- Python 的 List 是如何实现的? 2022-01-01
- 使 Python 脚本在 Windows 上运行而不指定“.py";延期 2022-01-01
- 使用Python匹配Stata加权xtil命令的确定方法? 2022-01-01
- 将 YAML 文件转换为 python dict 2022-01-01
- 使用 Google App Engine (Python) 将文件上传到 Google Cloud Storage 2022-01-01
- 合并具有多索引的两个数据帧 2022-01-01
- 症状类型错误:无法确定关系的真值 2022-01-01
- 如何在 Python 中检测文件是否为二进制(非文本)文 2022-01-01