当需要将较大的数据上传到服务器，或从服务器下载较大的日志文件时，往往会因为网络或其它原因而导致传输中断而不得不重新传输。这种情况下，可以先将大文件分割成小文件后分批传输，传完后再合并文件。

备份文件时常常涉及到大文件传输的问题，遇到网络质量不佳或者其他问题常常会导致传输中断，而不得不进行重传。如果采用先将大文件拆分成多个小文件进行传输、待全部传输完成后合并所有文件的方式，往往可以改善传输体验。

拆分，顾名思义，就是将一个大的文件分割成若干个较小的文件，这些小文件按次序拼接后可以还原大文件。通常情况下，根据文件大小进行拆分是较为常见的方式；但由于文本文件具有行数特征，所以除了按大小拆分之外，也可以按行数拆分。

合并，就是将若干个较小的文件拼接成一个较大文件。通常只需要按次序连接即可，相对比较简单。 通常情况下，为确保拆分前和合并后的两个文件相同，需要进行验证。

分割文件

split 是 Linux 环境提供的文件拆分实用程序，同时支持二进制文件和文本文件。通常情况下已经随 coreutils 内置于系统中，无需另行安装。 文件分割可以使用split命令，该即支持文本文件分割，又支持二进制文件分割；而合并文件可以使用cat命令。 默认按 1000 行为单位进行切分，前缀 PREFIX 默认为 x。 如果没有文件，或者当文件是 -，从标准输入读取。 二进制文件和文本文件按大小拆分时使用的选项不同： ? 二进制文件使用 -b 选项指定分割后的文件大小。 ? 文本文件则使用 -C 选项指定分割后的文件大小。

文本文件分割

分割文本文件时，可以按文件大小分割，也可以按文本行数分割。

按文件大小分割

按文件大小分割文件时，需要以-C参数指定分割后的文件大小：

split -C 100M large_file.txt stxt

如上所示，我们将大文件large_file.txt按100M大小进行分割，并指定了分割后文件前缀stxt；当不指定前缀时，split会自动对分割文件进行命名，一般会以x开头。

split -l 5 test.txt test.txt 的结果是 test.txtaa test.txtab

split -l 5 test.txt 的结果是 xaa xab

按行分割

默认按 1000 行为单位进行切分，前缀 PREFIX 默认为 x。 文本文件还可以以行为单位进行分割，以行数进行分割时会忽略文件大小，并以-l参数指定分割后文件的行数：

split -l 1000 large_file.txt stxt

按 10 行分割文件，每个文件的后缀从 000 开始。

split -a3 -d -10 /etc/passwd lvlv

将 文件 BLM.txt 分成若干个小文件，每个文件2482行(-l 2482)，文件前缀为BLM_ ，系数不是字母而是数字（-d），后缀系数为四位数（-a 4）

split -l 2482 ../BLM/BLM.txt -d -a 4 BLM_

二进制文件分割

二进制文件分割类似于按大小分割文本文件，不同的是以-b参数来指定分割后的文件大小：

split -b 100M data.bak sdata

文件合并

文件合并使用cat命令，上面几种方式分割的文件都可以使用cat命令合并。 cat命令合并分割文件： cat stxt* > new_file.txt

cat 是 linux 环境提供的文件连接实用程序，能够连接文件并将其输出到标准输出。通常情况下已经随 coreutils 内置于系统中，无需另行安装。 值得注意的是，为了保证合并后的文件和原始文件一致，在有条件的情况下，可以用 diff 命令验证。

使用 cat 合并文件可以采用 cat [文件...] > [合并后的文件名]的格式，此方法对二进制文件和文本文件均有效。

使用 diff 验证文件 只需要按 diff [原文件] [现文件] 的格式执行即可。如果没有输出，则证明两个文件之间没有差异。

命令格式

split命令说明

split命令格式如下：

split [选项]... [要切割的文件 [输出文件前缀]] 命令参数 -a, --suffix-length=N 使用长度为 N 的后缀 (默认 2) 指定分割后文件名的后缀字符数目（后缀长度），默认是 2 -b, --bytes=SIZE 设置输出文件的大小。支持单位：m,k 指定每一子输出文件的大小，单位 byte -C, --line-bytes=SIZE 设置输出文件的最大行数。与 -b 类似，但会尽量维持每行的完整性 子文件中，单行的最大字节数 -d, --numeric-suffixes 使用数字后缀代替字母 使用数字作为后缀，从 0 开始 --numeric-suffixes[=FROM] 作用同-d，但可以设置起始数字 -l, --lines=NUMBER 设备输出文件的行数 指定多少行分割成一个小文件 -t, --separator=SEP 使用 SEP 替代换行符作为记录分隔符 --verbose 分割文件时输出冗余信息 --help 显示版本信息 --version 输出版本信息

cat命令说明

cat是Linux下使用频率较高的命令之一，该令详细介绍： cat连接文件并打印到标准输出设备上 cat命令的常见使用场景有： 显示文件内容： cat filename 创建一个空文件： cat > filename 文件合并： cat file1 file2 > file 将a.txt的内容输入到b.txt的末尾 cat a.txt >> b.txt

应用实例

Linux 大文件快速处理小的办法

1.背景

工作中使用MapReduce任务导出一批含有路径的文件，共计行数300W+，需要检测文件是否在对应的服务器中存在，而文件所在的服务器并非hadoop集群的服务器，因此打算采用bash脚本进行。具体的方法如下(可直接看方法2,方法1效率较低)：

2. 采用的方法

a. 方法1

原本打算使用如下脚本，进行简单验证：

!/bin/bashbrcount=0brcat oriTest.txt | while read databrdobrcount=$(( $count+1 ))brecho $countbrdir=echo "$data" | awk -F "\t" '{print $5}'brif [ -e $dir ];thenbrecho "$data" >> exist.txtbrelsebrecho "$data" >> noexist.txtbrfibrdone

原始数据格式如下： name mark id dir 运行时发现处理5000行需要将近4、5分钟的时间(机器为8核)，果断不行啊，随后打算采用多进程的方法来执行，见方法2

b. 方法2

主要是通过将大文件分为小文件，然后对小文件进行后台遍历读取，脚本如下：

!/bin/bashbrsource ~/.bashrc

判断路径是否存在

readdata(){brcat $1 | while read databrdobrdir=echo "$data" | awk -F "\t" '{print $5}'brif [ -e $dir ];thenbrecho "$data" >> "exist_$1.txt"brelsebrecho "$data" >> "noexist_$1.txt"brfibrdonebr}

大文件切分为小文件，生成文件名为xaa,axb等(可以自己命名文件)

split -l 10000 oriTest.txtbrdeclare -a files # 声明数组brfiles=($(ls x*)) # 分割后的小文件名保存数组

遍历，并后台执行

for i in ${files[@]};dobrecho $ibrreaddata $i &brdone

Linux下日志文件过大的解决方案

不知道大家有没有遇到过，系统突然出现了问题，系统疯狂打日志，导致磁盘出现问题，或者日志过多根本没办法阅读。 往往会想到，对日志文件切分，这样可以留下重要的日志，而删掉不必要的日志。下面就来详细介绍这种方法。 我们可以每天都进行切分日志的操作，那要这样的话，为了避免混淆，我们切分出来的日志都应该带上日期。当然日期我们可以通过以下语句获取：

current_date=`date -d "-1 day" "+%Y%m%d"` 

date -d "-1 day"表示获取前一天的日期，就是说我们今天操作的话是切割昨天的日志。+%Y%m%d是具体的日期格式，也就是年月日格式，比如：20181005。

接下来，我们再切割日志。

split  -b 65535000 -d -a 4  myout.txt  ./log/log_${current_date}_ 

其中，65535000是60M，也就是日志文件按60M大小进行切割，可自定义大小。-d -a 4表示文件后缀是4位。我们将文件切割后要按次序进行编号，比如0000，0001，0002……这个4就代表编号的位数。

再之后的./log/log${current_date}就是切割后日志文件的前缀，里面就带入了当前日期。所以，最终的输出格式类似于：log_20181005_0001。

日志文件切割完之后，就可以将日志文件删除了，否则就失去切割文件的意义了。删除的方法可以用以下方式： cat /dev/null > nohup.out 将以上这些命令写在一个脚本里，每天运行它，就可以将日志文件切割成若干份，便于我们排查。完整的代码如下：

#!/bin/bash brcurrent_date=`date -d "-1 day" "+%Y%m%d"` brsplit -b 65535000 -d -a 4 /home/alvin/myout.txt   /home/alvin/log/log_${current_date}_ brcat /dev/null > nohup.out