读csv文件设置low_memory

各位朋友大家好，今天分享的技巧是 csv 格式的 excel 文件需要注意的一些事情，比如说我们从公司软件里面下载下来的数据 都是这种 csv 格式的，那么这是一次要格式的一种，他是可以节省数据库的一个空间而设计的一种格式。他比如我们打开这个 csv 格式的表格，那经常有的小伙伴可能会直接在这个 csv 格式的数据里面进行修改数据，比如说我们可能会做公式金额除以数量 好，然后向下填充，甚至我们可能会进行一些标记，比如标黄色，或者说我们调整他的一个列宽，但是如果我们继续 这种格式进行保存之后，我们保存关闭，然后进行再次打开的时候，你会发现 它里面所有的格式都没有了，然后所有的列宽也回到了原来的样子，那里面的我们之前有输入公式的地方，也自动的变成了文本，把里面的公式全给去除掉了。 那么 csv 格式就相当于我们的文本文档格式，我们只是可以用一次要来进行打开，也是显示成表格的样式，但实际上他还是一个文本文档格式。 然后有的小伙伴可能会用这个数据，然后插入一个数据透视表好，然后我们比如统计了各种商品的一个数量和金额情况，然后同样的我们再次以四 s v 格式进行保存关闭， 然后我们再次打开， 你会发现这个数据透视表他也变成了这种纯文本格式。而且你当时有两个表格的，一个是数据透视表，一个是你的原始数据表， 但是你打开之后发现只有一个表，只有数据透视表，那个原始表格数据都不存在了。所以说以 csv 格式的时候，他只会保留第一个表，后面的表格数据会全部自动的删除。 之前有很多小伙伴都会被这个格式所坑过，那如果没有被坑过的小伙伴也要注意，这个格式是不能进行一些数据操作的，我们必须把它另存为一个 xlsx 格式的，才能进行这样的操作，以防数据的丢失。 但是 csv 格式它也有好处，比如说我们现在下载了很多这种 csv 格式的文件，比如是二月份的数据，三月份的数据，四月份的数据，它的格式是一模一样的， 这里只有三个表格，实际工作中可能有十几个，那我们想快速的合并在一个工作部里面的话，有一个快捷的技巧，比如说我们现在新建一个文本文档，然后打开它，我们输入一行代码 copy 新点 csv 表示复制当前文件夹所有的带 scsv 后缀的，然后 让他生成一个文件名字，可以制定意义。比如说我们生成的是二点 csv， 好，我们把它擦掉保存，然后我们按，然后我们将他的后缀名字 tst 改成 成 bat 文件，然后我们直接双击这个 bat 文件，他会自动的将前三个表格的数据全部汇总到一个工作表当中，但是每个工作表的标题都有，我们进行筛选，进行删除。 同时我们要把这个 csv 文件格式，我们直接另成为一个我们想要的 excel 文件格式就可以了。 好，关于这个小技巧你学会了吗？希望视频可以点个赞，有什么不懂的欢迎在视频下方留言，我们下节再见！

哈喽，大家好，我是三零中午，名列春夏，也叫美琪，今天给大家分享一个 cc 文件，我直接用 excel 打开之后，这个订单号的数字全部变成科学技术的形式了，这是为什么呢？ 因为在一个 siri 单人格数字，它有一定的规范与限制，超过十一位，它自动就显示科学技术了，超过十五位就无效了。因此这个订单号要想每一个数字完整的显示，必须以文本的格式显示出来。我们先关掉这个文件， 点击文件打开。我们先打开这个 csv 文件， 点击下一步，然后这里面 选择风格，发生逗号，点击下一步，这个时候呢，把数字格式改为文本，点击完成，这样子的话，这个订单号的每一位数字就全部显示出来了。 好，今天分享就到此结束，如果想学习更多的一个生日技巧，请关注我的微信公众号，一个生日原来如此简单。

大家好，今天我们来讲一下 csv 文件操作，我们先来讲一下什么是 csv 文件，这里有一个案例，我们可以近次的把 csv 文件看成一个表格， 但是每行以逗号分割一行是一条数据。 这个 csv 文件我们可以看作一个三行系列的表格，它是可以用 excel 打开的，我们右键点它 open in， 右键打开方式， excel 打开，我们发现是乱码，我们点数据，从文本， 然后我们找到 dsv 的文件，点一下它， ctrl shift 加 c， 我们输进去，把文件名给去掉，进入到他文件夹回车来中他， 我们把编码就选成 u f u t f 杠八就好了，加载，这样的话我们就以表格的形式呈现起来了。 那我们今天就讲如何操作这种文件。首先我们讲 csv 文件的写入吧，写入我们需要模拟一些虚假的数据， 我们可以引 pose faker， 这是一个第三方库，它可以用来模拟一些我们常用的一些数据，没有的话我们可以安装一下 p i p install baker， 安装成功。这个库用法很简单，我们先用一个变量 fak faker， 点 faker 括号， 嗯，传一个参数进去，因为要指定是中文嘛， local 等于 z h 杠 c n， 这样我们对象就创建好了。它的用法也很简单，我们尝试一下 faker， 点 name， 打印一下，它就会随机生成一个名字，曲阳，再运行一次。杨桂英， 那我们可以用这个库来模拟大量的数据，然后通过 csv 文件解入， 我们模拟一千条吧。 for i in 认知一千， 我们可以通过它 fake 点 name， 这是名字。再来一个 fak， 点 phone number 这电话号码 fake 点 s s n， 它就是身份证号码。最后我们来一个 faker 点 job 工作， 我们把它当做一个列表，定一个 user 来接受一下。 我们先打印一下，试试 print user， 我们这就有一千条数据， 第一个是姓名，第二个是 电话，第三个身份证号。第四个工作我们要通过 z s v 文件写入，也很简单， 我们可以在 for 循环的外面先打开一个文件， it's open， 起个名我们就叫 user data 吧。 点 c c s v， 我们要写入码为 w w 模式编码，我们指定为 u t f 杠八 as f， 我们打开一个文件之后，我们调用一下 csv 库， csv 等于 c s v 点 writer， 我们把 f 传进去， 这样我们就把 f 传进去，得到一个 csv 的对象，它是用来写呃，写入文件的， 我们 c s v 点 right 入， 直接把 user 列表传进去，那就是一行一行写，用我们一条一个 user， 一个列表，一个列表代表一行的信息。 retro 就是写一行接收一个列表，我们运行一下， 点开这个文件看一下，我们发现数据我们写进去了，但是中间有很多的空行， 可以在 open 的后面加一个参数 new li， 等于一个引号，什么都不加。我们再运行一下，点开，把监控好没了。 接下来我们讲一下如何读取 s v 文件，同样的，我们也是打开一个文件线， 也是 user data。 第二个参数，我们指定读 r 模式编码 还是 u t f 杠八。 这个时候我们用 c s v 点 reader， 我们把前面的线注释了， 把 f 传进去，因为我们要读文件嘛，我们可以直接用 for 循环 for line in c s v print 来，他用方循环取 csv 对象，那就是每次取就是一行，我们来运行一下， 发现数据我们也取到了， 本期的案例，就到这里，谢谢大家。

各位朋友大家好，这一节我们准备演示一下如何使用拍照标准库来创建 csv 文件。 跟读写 csv 文件一样，创建 cs 文件也有两种方法。首先我们看第一种， 我们人就需要使用派上标准库中提供的模块 csv， 我们先导入他 导入 csv， 我们准备把下面这个信息写入到 cs 微文件中。这个信息呢，我们是以列表的形式给出，然后呢这个列表每一个元素是一行信息， 我们列表的第一个元素给出的是我们这个信息的头信息。 第二行呢，可以抽这个列表的具体内容，我们这个列表表示的信息呢，就相当于一个表格， 这个内容跟我们上节讲的这个读取 cs 文件的那个内容是一致的。 好，我们这个准备使用的这个信息已经准备好了，下面呢我们就要把它突出到 写入到这个 csv 文件中。我们 这个 csv 文件呢，起名叫 test 零一 csvcvs， 然后他是以由于我们要把这个刚才的信息要写入这个文件，所以他是以 写的方式打开的，这个同样浏览也是需要给他复制，指定为控制不串。然后我们把这个打开的文件对象付给 f， 我们一会要接下来要在这个卫视语句环境中使用。 接下来我们需要使用 csv 提供的这个模块提供的 right 这个方法。这个方法呢，第一个参数就是我们刚打开的这个文件对象，然后他 需要指定我们这个分割符是什么？ the limiter 我们指定什么，我们准备使用空格，空格作为分割符。好， 我们接下来就需要把这个列表中的信息给他写入我们迭代列表中，信息列表的每一行 以行为单位将他写入， okay， 保存，我们准备看一下结果，我们先把这个当前这个目录打开，这个当前目录放着我们刚才写好的脚本， 然后呢这个创建的这个 cvs 文件也放在当前目录下，我们运行一下，支持一下。 好，这个 csv 文件已经创创建，我们看一下他的内容， 按我们的要求将刚才这个全部写入到 csv 文件，也就是我们创建了这个 csv 文件，并 且把我们刚才的信息写入， ok， 我们把这个删掉，我们接下来介绍第二种方法。第二种方法呢， 他要使用到一个 csv 模块中定义的类， 这个类呢叫 dict， dict right 这个类，当然由于我们使用这个类，我们要做一些调整，刚才这个代码是不能直接跑起来的。 这个 digital writer 呢，他在创建 cs 文件的时候，他会把这个头分出来，比如说其实我们刚才要写的这个信息也是有特定含义的， 刚才说了第一行是表示的这个表格的头，接下来是表格的内容，这个 dictor writer 呢， 就是按照这种逻辑来创建这个 csov 文件。 好，我们看一下我们怎么样使用 director。 首先我们把他的头表示出来， 一行是头，我们的音符，这个缩影是零，然后呢我们把它内容也标识出来，一会要用内容呢是音否从 这个缩影十一的这个元素开始，一直到最后。好，我们把这两个标识出来了， 打开的文件我们还使用这个这个文件名， 这个也需要指定牛奶，这个不变。接下来呢，我们要创建一个 director 的对象，大家刚才注意一下我们刚才用的 right 一个方法，他也是创建了一个 red 对象，这个是这个是一致的，都要创建对象， 我们使用 decorator 呢，除了要指定这个打开的 文文件对象以及 deliberate 这个风格服之外，还需要给他指定这个 foul foult names 这个参数，这个参数呢就是用来指定这个头的，我们给他指定。然后呢 这个用 dictor writer 呢？这种方法需要单独写入头， 然后再处理这个内容，我们把它头先斜入，然后内容呢？怎么处理呢？我们要便利这个内容，这个列表对象。 首先我们要做一下特殊处理，他这个 digit right 呢，写入的每一行，每一行是要求是以 这个字典的形式，字典对象的方式写入的。因此我们需要做一下特殊处理好， 我们将他这个字典对象呢，这个剑直 就是这个头的每一项，他的每一项对应的值呢？就是这个头对应下对应的值。比如说我们写入这个呃这个第二行的内容的时候，他会以这个字典内 冒好作 is， 冒好三十 address， 冒好 begin 这种形式写入好。我们怎么样把它变成这种形式？ 我们首先给他对这个海德根调出这个便利，出来的每一行要用 rap， 然后让他生成一个列表对象，这张呢，这张这个列表对象里面这个每一个元素 数，就是以 hand 的每一项以及这个一的对应的每一项的一个原组组成的。 下面我们把它生成这个字典对象，我们先定一个空的，我们拿着空的来放一会要生成的这个字典对象。 首先我们还需要便利一下这个 tamp 这个类似的对象，然后呢便利出来的每一个 对象，每一个元素呢？我刚才说了是一个元组，我们 原组用是一个二元组，我们用一一跟一二来表示，这样既然已经出来了，我们就可以让他生成一个字典。 ok， 这个相对来说比较简单，然后经过这么这个负循环，便利结束之后，我们这个低呢，现在 就已经变成字典了，变成我们刚才说的符合那种格式的字典。好，我们把这个字典给他写入这个美美在上面的这个， 这个每变了一次 content， 他就可以写入这么一行。 ok， 我们保存，我们准备运行看一下结果，我们打开这个当前目录，现在由于我们上一次产生的这个， 嗯， cvs 文件已经被我们删掉了，所以这次我们直接看他，这次如果产生的话，就是我们这个程序产生的，我们运行一下， ok， 这个也生成了 csvcsv 文件 啊，我们这个按我们的预期已经出来结果了。好，我们的这个 扩展名，扩展名字写的有点问题啊，我们把它改一下叫 csv， 这个是属于笔误，这个这个是这个无所谓的，只要改了以后，他这个结果 是一致的，内容是一致的，我们再跟他执行一下。好，出来了啊，改了以后， 改了以后如果关联这个，如果关联 excel 的话，他这直接可以 识别出来。好，我们关于使用拍上标准库怎么样生成 csv 文件就介绍到这里，谢谢大家。

一次性合并多个 csv 数据表文件，告别重复手工劳动。在合并之前，先简单的介绍 csv 格式文件。 csv 文件是纯文本格式，也是一种通用的数据交换格式，文件没有固定的列数限制。 相对于二进制格式的 excel 文件，它占用的存储空间较少，可以轻松的导入到各种数据处理工具中，完成数据分析和可视化，所以非常适合存储数据。 csv 文件中只有一张表，所以只有合并文件夹下多个 csv 文件的情况。 点击数据获取数据。如果要导入 的是 excel 文件，就选择第一项。导入过程和在 powerpi 视频中介绍的一样，这里导入的是文件夹下所有文件，所以选择文件夹。选中要导入数据的文件夹，点击打开， 因为是合并操作，点击转换数据，进入 power query 中进行数据清洗。先删除不需要的列，注意推荐使用删除其他列的方式。 添加自定义列，准备从 content 中读取表格数据，填写公式。外层函数是将表格数据的第一行提升为标题，内层函数是用来读取表 个数据的第二个参数，表示文件的编码格式，如果编码格式不准确，数据就会出现乱码，点击确定数据就读取出来了。再次删除不要的列，用删除其他列的方式 展开读渠道的表格数据列合并就可以完成了。如果不希望展开的列有前缀，就取消，使用原始列名作为前缀。 修改合并后的表名称， 点击关闭并上载，合并的数据就出现在 excel 中了。 选择表，点击编辑就能再次进入 power query 中。 如果你需要将原数据和表格拷贝到其他电脑上，最好使用参数来保存数据。原文件路径，每次只需要修改参数值，就又能读取到原文件夹下的文件了。 新建好参数就要去日期表的圆中替换文件夹路径值。 如果你不想使用参数，可以直接在原中修改新的路径。但是 如果你有非常多的业务表，那么每次每个合并的业务表都要修改，还是建议使用参数模拟有新增的原数据表。打开 excel， 添加一组新的数据， 保存为 c s 是威格斯。 回到合并表中，点击全部刷新，就可以看到新数据添加进来了。 合并完成后，有时数据可能会出现重复，就得为合并的数据去重。

csv， 全称 comma separated values 及逗号分格值文件，是一种常见的用于存储表格数据的纯文本文件格式。它的特点是以逗号作为字段之间的分格服务， 使得数据呈现出一种清晰易读的表格结构。由于其格式简单通用且易于处理， csv 文件被广泛应用于各种数据处理和分析的场景中。 csv 文件由任意数目的记录组成， 记录间以某种换行符分格，每条记录由字段组成，字段间的分格符通常是逗号或制表符，这使得 csv 文件可以轻松的被各种文本编辑器打开和编辑。同时， csv 文件还支持跨平台使用，无论是 windows micros 还是 linux 系统都可以方便的处理这种文件格式。在数据分析领域， csv 文件可以作为原始数据输入到各种数据处理工具中，进行进一步的清洗、转换和分析。 excel 是一款常用的电子表格软件，可以轻松打开和处理 csv 文件，只需选中要打开的文件，右键选择打开方式，然后选择 excel 即可。打开后， csv 文件中每组数据分别在 excel 中的单元格内，方便对数据进行处理和分析。 csv 文件的优点在于其简单易读和易于处理，它的通用性和兼容性使得它成为数据交换的理想选择。无论是在系统之间传输数据，还是在应用程序之间共享数据， csv 文件都可以轻松完成任务。此外，由于 csv 文件采用纯文本格式存储数据，因此它的文件大小相对较小，适合用于数据备份。在各个领域，如科研、商业、社会调查等 csv 文件都有广泛的应用。例如， 科研人员可以使用 csv 文件存储实验数据，方便进行进一步的数据分析和可视化。企业和机构可以使用 csv 文件交换业务数据，提高工作效率。 社会调查人员可以使用 csv 文件整理和发布调查结果，方便公众查阅和分析。总之， csv 文件作为一种简单实用的数据存储和交换格式，为我们提供了一个高效便捷 的数据处理方式。通过掌握如何创建、编辑和处理 zsv 文件，我们可以更有效的利用这些数据资源，发掘出更多有价值的信息。

今天有网友发了一份数据，说他把这个 csv 后置为 csv 的，改成 dat， 打开显示乱吗？咱们先打开看一下， 打开能看到这个坐标点号和坐标，咱们先复制一个，备份一个，咱们用这个用它的原文件做测试，持续改成 dap， 试一下 出现乱码，出现乱码的原因咱们找一下，咱们打开这个副本， 然后把他领存为四 s 四 s v， 出现这个的原因是因为他这个是假的四 s v， 但只是把后缀改成四 s v 了，他实际上不是真正的四 s v， 可是 看保存类型，它自动跳成一个四个表格，还是一个四个表格格式，咱们把它选成逗号风格的四 sssv 格式，重新给他们一个名，然后关闭， 然后再把这个另重来的，然后把 cs 给它改成第一切， 现在给他打开看一下有没有乱码，现在是标准的 case， 可是他没有乱码，他出现这个乱码的原因就是他这个是 不是标准的第一题格式，他只是把后缀名后缀名改了，不是标准的 csv 格式，把后缀名改了，所以说是假的 csv。

大家好， csv 文件呢，是一种非常常见的电子表格文件，这个视频呢，我们来学习如何用 python 将数据写入到 csv 文件里，导入 csv 模块， 创建名称为 data 的变量。准备需要写入 csv 文件的数据，数据类型呢是列表，将列表数据传递给变量 data， 用位置语句打开名称为 cca 的 csv 本件模式为叠加写入模式，创建变量 fail。 将打开的 csv 数据呢，传递给费在位子层级下调用 csv 库里的写入方法参数里呢，输入变量 fail， 继续调用写入行方法。参数类型呢是列表，这里呢，我们使用上面预先写好的数据执行代码，可以看到，数据呢成功的被写入到了 csv 文件里，再执行一次代码，数据呢，又添加了一行。

两种方法教你将 csv 文件导入 excel 中，数据不发生变化。这里是一份 csv 文件，如果我们直接打开它，我们就会发现 里面的数字自动使用科学技术的方法表示出来了。当我们双击数字时，会发现后面的几位数变为零，这种显示是残缺的，根本就无法使用。 下面我来教给大家使用两种方式将 csv 文件正确导入 excel 中。我们先回到桌面，点击 csv 文件，右键选择打开方式 为记事本，复制打开的内容粘贴到 excel 中。这里面的数据只在 a 列，现在我们需要把它进行分列，点击数据分列，智能分列，分列的依据为逗号，最后点击完成。这就是把 c sv 文件导入 excel 的第一种做法。我们再来看一下第二种做法，先把光标定位在 a 一，点击获取数据，导入数据，这里选择数据源，再选择要导入的 csv 文件。其他编码里面选择简体中文，点击下一步， 下一步。这是微文件，内容是用逗号隔开的，所以这一年的分隔符勾选上逗号，继续点击下一步。这里要特别注意，列数据类型要选择文本，否则卡号后几位依然是零。最后点击完成，你学会了吗？希望对你有所帮助，记得点个赞呦！

大家好，在上一讲视频教程当中，我介绍了如何用 csv 这个库里面的 reader 方法来读取 csv 文件中的数据。 在公众号里我也补充了另一种叫做 dict reader 的方法，来从 csv 文件当中 读取书数据转换成字典数据格式的方式。这一讲我将介绍如何将用 reader 方法读取的数据写入到一个新的四 sv 文件当中。对于如何将 用 dict reader 方法读取的数据写入到四 sv， 我将在我的公众号里面进行补充。首先我们可以先判断 断一下我们要处理的数据是否有内容，那上一节我们生成了一个叫做 my book list 这样一个对象，但是里面就包含了我们所需要的所有的数据的列表，所以在开始的时候，我先用 if 一句来判断一下这个列表的长度， 如果他是大于零的时候，才执行打开一个叫做 book 二零二一这样一个 ssv 文件的操作。这个 book 二零二一就是我们要存储数据的新的 ssv 文件 open 方法里面的第一个参数也就是文件名，而第二个参数则是打开的方式，因为我是要写入这个文件，所以用他的 w 这个 打开的模式， w 也就是代表着写入，如果这个文件不存在的话，他就会新建一个文件，如果这个文件存在的话，他就会覆盖原有的文件，然后把这个打开的文件对象付给叫做 f 的变量。 接着我们就可以在这个 vss 结构里面来调用这个四 sv 库里面的 writer 方法。 writer 方法的参数也就是我们要处理的这个 f 对象，将这个文件封装成一个 writer 对象之后， 我们就可以来用负循环便利买 book list 这个列表，然后通过 writer 对象的 write role 方法来一行一行的将这些数据写入到 这个文件当中。这个 retro 的参数也就是我们要写入的这个肉对象，对应着的是代表一行的列表，然后我们就可以运行来看一下，可以看到这时候就生成了一个叫做 book 二零二一的 csv 文件， 打开我们可以看到，因为他是纯文本文件的，我们可以直接看到里面的内容。 如果想看表格化的数据显示，则可以用 excel 来导入这个四 sv 文件，就可以看到这里面的 数据以表格形式展现出来。如果需要表头，也就是包含着列名的第一行，我们可以直接还是用 right 肉方法在开始的时候就添加进去。 另外我们打开这个新的四 sv 文件的时候，用的是 w 的格式，所以在执行了一次之后，它写入了二十二行的数据，如果我们再执行一遍的话，它里面的数据还会是二十二，因为它是直接覆盖了原有的文件。 而如果我们要把这个模式改变成 a， 也就是啊 pad 的模式的话，他会是在原有的基础上扩展，所以我们再运行看的话， 他会从原来的二十二行变成了四十四行，也就是在二十二行之后又再添加了新的二十二行，再改回 w 模式的写入方式，则又是把原来的文件整个覆盖了，所以又恢复成了二十二行。因此我们在 要用这个 open 方法的时候，一定要注意，你到底是希望要覆盖整个文件或者新建一个文件，还是要在原有文件的基础上进行扩展， 不同的模式可能会对你的文件造成不同的影响。另外补充一点就是 open 这个方法，他如果不输入第二个参数的话，默认应该是指读的方式来打开这个文件。 好，这一讲我们就介绍到这里，对这一讲的补充和源码我会发布到我的公众号退役程序员的茶室，欢迎大家关注。

有时候当我们打开 excel 表格时，会出现乱码，就像这样子的，而且当我们打开 csv 文件时，也会出现这样的乱码，这时候怎么办呢？如何解决呢？ 我们可以通过以下方法来解决。在我们的电脑硬盘里创建一个新的 xl 表格，然后打开这个新的 xl 表格，点击数据，点击获取外部数据，点击自文本，然后选择有乱码的 csv 文件，点击导入， 这个时候我们点击文件原始格式右边的下拉三角形，选择这种格式，这个格式我们是需要拉到差不多最后倒数的时候找到的，然后选择一下，再点下一步，这个时候我们可以选择 号或者是起空格等进行分裂，然后点击下一步，再点完成，再点确定，这个时候原来的乱码就恢复成正常的文字显示了。