Opening A large JSON file(打开大型JSON文件)
本文介绍了打开大型JSON文件的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
我有一个1.7 GB的JSON文件,当我尝试使用json.load()
打开时,它出现内存错误,如何在python中读取该JSON文件?
我的JSON文件是一个包含特定键的大型对象数组。
编辑:如果它只是一个很大的对象数组,并且事先知道对象的结构,那么就不需要使用工具了,我们可以逐行读取它。一行将只包含数组的一个元素。我注意到这就是存储json文件的方式,对我来说,它的工作方式就是:
>>>for line in open('file.json','r').readline():
... do something with(line)
JSON
您需要一个像yajl这样的增量推荐答案解析器和它的一个Python绑定。增量解析器从输入读取尽可能少的内容,并在解码有意义的内容时调用回调。例如,要仅从大型json文件中提取数字,请执行以下操作:
class ContentHandler(YajlContentHandler):
def yajl_number(self, ctx, val):
list_of_numbers.append(float(val))
parser = YajlParser(ContentHandler())
parser.parse(some_file)
有关详细信息,请参阅http://pykler.github.com/yajl-py/。
这篇关于打开大型JSON文件的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!
沃梦达教程
本文标题为:打开大型JSON文件
基础教程推荐
猜你喜欢
- 使用 Google App Engine (Python) 将文件上传到 Google Cloud Storage 2022-01-01
- Python 的 List 是如何实现的? 2022-01-01
- 症状类型错误:无法确定关系的真值 2022-01-01
- 使 Python 脚本在 Windows 上运行而不指定“.py";延期 2022-01-01
- 将 YAML 文件转换为 python dict 2022-01-01
- 使用Python匹配Stata加权xtil命令的确定方法? 2022-01-01
- 合并具有多索引的两个数据帧 2022-01-01
- 如何在 Python 中检测文件是否为二进制(非文本)文 2022-01-01
- 哪些 Python 包提供独立的事件系统? 2022-01-01
- 如何在Python中绘制多元函数? 2022-01-01