白云岛资源网 Design By www.pvray.com
这篇文章主要介绍了简单了解Python读取大文件代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
通常对于大文件读取及处理，不可能直接加载到内存中，因此进行分批次小量读取及处理
I、第一种读取方式
一行一行的读取，速度较慢
def read_line(path):
with open(path, 'r', encoding='utf-8') as fout:
line = fout.readline()
while line:
line = fout.readline()
print(line)
II、第二种读取方式
设置每次读取大小，从而完成多行快速读取
def read_size(path):
with open(path, "r", encoding='utf-8') as fout:
while 1:
buffer = fout.read(8 * 1024 * 1024)
if not buffer:
break
print(buffer)
III、第三种读取方式
使用itertools模块,islice返回的是一个生成器，可以用list格式化
from itertools import islice
def read_itertools(path):
with open(path, 'r', encoding='utf-8') as fout:
list_gen = islice(fout, 0, 5) # 两个参数分别表示开始行和结束行
for line in list_gen:
print(line)
完成
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。
白云岛资源网 Design By www.pvray.com
广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！
白云岛资源网 Design By www.pvray.com
暂无评论...
