目录

问题描述

假设文件夹下有n个csv文件，需要将其合并后存入一个新的csv文件之中。

解决思路

获得文件绝对地址列表（每个元素是一个文件的绝对地址）后，循环读取csv文件，把读入数据暂存到df数据框中。之后把df追加写入的新的csv文件。在下一个循环中重置df并覆盖。这样可以实现内存数据df在每一次循环都放在外存，不会导致内存占用过多出bug。

如果要批量读取csv文件，只需对下面的代码稍加修改。

代码

library(readr)library(data.table)dir = "……" # 搜索指定文件夹下文件，……填写为你的文件夹路径，注意使用/做目录分隔符#获得csv文件列表file_list = list.files(path = dir, pattern = "*.csv$",recursive = TRUE,full.names = TRUE) #获得csv文件列表#生成新的存储地址，用于csv文件存储。为dir的上层目录，也可以自行修改paste(dir,"new.csv")部分为绝对路径store_csv = paste(dir,"new.csv") for(i in 1:length(file_list))#循环绝对地址的列表{df = fread(file = file_list[i],encoding = 'UTF-8') #读取csv文件#如果不存在csv文件则创建，追加写入新csv文件write_csv(df,path = store_csv,append = TRUE, col_names = FALSE) }

特别解释list.files()函数

list.files(path = ".", pattern = NULL, all.files = FALSE,full.names = FALSE, recursive = FALSE,ignore.case = FALSE, include.dirs = FALSE, no.. = FALSE)

pattern = "*.csv$"表示搜索以.csv后缀名结束的所有文件

full.names 为True，返回全路径；反之只返回文件名