文件和数据格式化

文件和数据格式化分为三个方面,文件的使用、一维数据的格式化处理、二维数据的格式化处理

文件的使用分为四个方面,文件的类型、文件的打开和关闭、文件内容的读取、数据的文件写入

文件的使用

文件的类型:文本文件、二进制文件

  1. 文本文件
    由单一特定编码组成的文件,如UTF-8编码
    由于存在编码,也被看成是存储着的长字符串
    适用于例如:.txt文件、.py文件等

  2. 二进制文件
    直接由比特0和1组成,没有统一字符编码
    一般存在二进制0和1的组织结构,即文件格式
    适用于例如:.png文件、.avi文件等

  3. f.txt文件保存

    f.txt文件保存: "中国是个伟大的国家!"
    #文本形式打开文件
    tf = open("f.txt", "rt")
    print(tf.readline())
    tf.close()
    >>>
    中国是个伟大的国家!
    f.txt文件保存: "中国是个伟大的国家!"
    #二进制形式打开文件
    bf = open("f.txt", "rb")
    print(bf.readline())
    bf.close()
    >>>
    b'\xd6\xd0\xb9\xfa\xca\xc7\xb8\xf6\xce\xb0
    \xb4\xf3\xb5\xc4\xb9\xfa\xbc\xd2\xa3\xa1'

文件的打开和关闭

  1. 文件的打开

    <变量名>=open(<文件名>,<打开模式>)

    打开模式

    文件的打开模式 描述
    ‘r’ 只读模式,默认值,如果文件不存在,返回FileNotFoundError
    ‘w’ 覆盖写模式,文件不存在则创建,存在则完全覆盖
    ‘x’ 创建写模式,文件不存在则创建,存在则返回FileExistsError
    ‘a’ 追加写模式,文件不存在则创建,存在则在文件最后追加内容
    ‘b’ 二进制文件模式
    ‘t’ 文本文件模式,默认值
    ‘+’ 与r/w/x/a一同使用,在原功能基础上增加同时读写功能
    f = open("f.txt")            - 文本形式、只读模式、默认值
    f = open("f.txt", "rt")        - 文本形式、只读模式、同默认值
    f = open("f.txt", "w")        - 文本形式、覆盖写模式
    f = open("f.txt", "a+")        - 文本形式、追加写模式+ 读文件
    f = open("f.txt", "x")        - 文本形式、创建写模式
    f = open("f.txt", "b")        - 二进制形式、只读模式
    f = open("f.txt", "wb")        - 二进制形式、覆盖写模式
  2. 文件的关闭

    <变量名>.close()
  3. 文件的使用

    #文本形式打开文件
    tf = open("f.txt", "rt")
    print(tf.readline())
    tf.close()
    #二进制形式打开文件
    bf = open("f.txt", "rb")
    print(bf.readline())
    bf.close()

文件内容的读取

  1. 操作方法:

    操作方法 描述
    <f>.read(size=-1) 读入全部内容,如果给出参数,读入前size长度
    >>>s = f.read(2)
    中国
    <f>.readline(size=-1) 读入一行内容,如果给出参数,读入该行前size长度
    >>>s = f.readline()
    中国是一个伟大的国家!
    <f>.readlines(hint=-1) 读入文件所有行,以每行为元素形成列表
    如果给出参数,读入前hint行
    >>>s = f.readlines()
    [‘中国是一个伟大的国家!’]
  2. 文件的全文本操作(遍历全文本)

    1. 一次读入,统一处理

      fname = input("请输入要打开的文件名称:")
      fo = open(fname,"r")
      txt = fo.read()
      #对全文txt进行处理
      fo.close()
    2. 按数量读入,逐步处理

      fname = input("请输入要打开的文件名称:")
      fo = open(fname,"r")
      txt = fo.read(2)
      while txt != "":
          #对txt进行处理
          txt = fo.read(2)
      fo.close()
  3. 文件的逐行操作(逐行遍历文件)

    1. 一次读入,分行处理

      fname = input("请输入要打开的文件名称:")
      fo = open(fname,"r")
      for line in fo.readlines():
          print(line)
      fo.close()
    2. 分行读入,逐行处理

      fname = input("请输入要打开的文件名称:")
      fo = open(fname,"r")
      for line in fo:
          print(line)
      fo.close()

数据的文件写入

  1. 操作方法:

    操作方法 描述
    <f>.write(s) 向文件写入一个字符串或字节流
    >>>f.write(“中国是一个伟大的国家!”)
    <f>.writelines(lines) 将一个元素全为字符串的列表写入文件
    >>>ls = [“中国”, “法国”, “美国”]
    >>>f.writelines(ls)
    中国法国美国
    <f>.seek(offset) 改变当前文件操作指针的位置,offset含义如下:
    0 – 文件开头; 1 – 当前位置; 2 – 文件结尾
    >>>f.seek(0)
    #回到文件开头
  2. 举例:

    1. 写入一个字符串列表

      fo = open("output.txt","w+")
      ls = ["中国", "法国", "美国"]
      fo.writelines(ls)
      for line in fo:
          print(line)
      fo.close()
      
      >>> 
      (没有任何输出)
    2. 写入一个字符串列表

      fo = open("output.txt","w+")
      ls = ["中国", "法国", "美国"]
      fo.writelines(ls)
      fo.seek(0)
      for line in fo:
      print(line)
      fo.close()
      
      >>>
      中国法国美国

一维数据的格式化和处理

四个部分:

  • 数据组织的维度
  • 一维数据的表示
  • 一维数据的存储
  • 一维数据的处理

数据组织的维度:略

一维数据的表示:

  1. 如果数据间有序:使用列表类型

    ls = [3.1398, 3.1349, 3.1376]
  2. 如果数据间无序:使用集合类型

    st = {3.1398, 3.1349, 3.1376}

一维数据的存储

  1. 空格分隔

    中国 美国 日本 德国 法国 英国 意大利
  2. 英文半角逗号分隔,不换行

    中国,美国,日本,德国,法国,英国,意大利
  3. 其他方式

    中国$美国$日本$德国$法国$英国$意大利

一维数据的处理

  1. 一维数据的读入处理

    1. 从空格分隔的文件中读入数据

      中国 美国 日本 德国 法国 英国 意大利
      txt = open(fname).read()
      ls = txt.split()
      f.close()
      >>> ls
      ['中国', '美国', '日本', '德国
      ', '法国', '英国', '意大利']
    2. 从特殊符号分隔的文件中读入数据

      中国$美国$日本$德国$法国$英国$意大利
      txt = open(fname).read()
      ls = txt.split("$")
      f.close()
      >>> ls
      ['中国', '美国', '日本', '德国
      ', '法国', '英国', '意大利']
  2. 一维数据的写入处理

    1. 采用空格分隔方式将数据写入文件

      ls = ['中国', '美国', '日本']
      f = open(fname, 'w')
      f.write(' '.join(ls))
      f.close()
    2. 采用特殊分隔方式将数据写入文件

      ls = ['中国', '美国', '日本']
      f = open(fname, 'w')
      f.write('$'.join(ls))
      f.close()

二维数据的格式化和处理

四个部分:

  • 二维数据的表示
  • CSV数据存储格式
  • 二维数据的存储
  • 二维数据的处理

二维数据的表示

  1. 使用列表类型

    [[3.1398, 3.1349, 3.1376],
     [3.1413, 3.1404, 3.1401]]
  2. 小总结:一二维数据的Python表示

    # 一维数据:列表和集合类型
    [3.1398, 3.1349, 3.1376]    数据间有序
    {3.1398, 3.1349, 3.1376}    数据间无序
    # 二维数据:列表类型
     [[3.1398, 3.1349, 3.1376],
      [3.1413, 3.1404, 3.1401]]

CSV数据存储格式(CSV: Comma-Separated Values)

  • 如果某个元素缺失,逗号仍要保留
  • 二维数据的表头可以作为数据存储,也可以另行存储
  • 逗号为英文半角逗号,逗号与数据之间无额外空格

二维数据的存储

  • 按行存或者按列存都可以,具体由程序决定
  • 一般索引习惯:ls[row][column],先行后列
  • 根据一般习惯,外层列表每个元素是一行,按行存

二维数据的处理

  1. 二维数据的读入处理

    从CSV格式的文件中读入数据

    fo = open(fname)
    ls = []
    for line in fo:
    line = line.replace("\n","")
    ls.append(line.split(","))
    fo.close()
  2. 二维数据的写入处理

    将数据写入CSV格式的文件

    ls = [[], [], []] #二维列表
    f = open(fname, 'w')
    for item in ls:
        f.write(','.join(item) + '\n')
    f.close()
  3. 二维数据的逐一处理

    采用二层循环

    ls = [[1,2], [3,4], [5,6]] #二维列表
    for row in ls:
    for column in row:
        print(column)