У меня есть файл размером 100 ГБ, и я хочу разбить его на 100 файлов по 1 ГБ каждый (путем разрыва строки)
например
split --bytes=1024M /path/to/input /path/to/output
Для созданных 100 файлов я хочу применить gzip / zip к каждому из этих файлов.
Можно ли использовать одну команду?
Используйте "--filter":
split --bytes=1024M --filter='gzip > $FILE.gz' /path/to/input /path/to/output
Функция bash для сжатия на лету с помощью pigz
function splitreads(){
# add this function to your .bashrc or alike
# split large compressed read files into chunks of fixed size
# suffix is a three digit counter starting with 000
# take compressed input and compress output with pigz
# keeps the read-in-pair suffix in outputs
# requires pigz installed or modification to use gzip
usage="# splitreads <reads.fastq.gz> <reads per chunk; default 10000000>\n";
if [ $# -lt 1 ]; then
echo;
echo ${usage};
return;
fi;
# threads for pigz (adapt to your needs)
thr=8
input=$1
# extract prefix and read number in pair
# this code is adapted to paired reads
base=$(basename ${input%.f*.gz})
pref=$(basename ${input%_?.f*.gz})
readn="${base#"${base%%_*}"}"
# 10M reads (4 lines each)
binsize=$((${2:-10000000}*4))
# split in bins of ${binsize}
echo "# splitting ${input} in chuncks of $((${binsize}/4)) reads"
cmd="zcat ${input} \
| split \
-a 3 \
-d \
-l ${binsize} \
--numeric-suffixes \
--additional-suffix ${readn} \
--filter='pigz -p ${thr} > \$FILE.fq.gz' \
- ${pref}_"
echo "# ${cmd}"
eval ${cmd}
}
Используя эту команду с -d
опция позволяет вам генерировать числовые суфиксы.
split -d -b 2048m "myDump.dmp" "myDump.dmp.part-" && gzip myDump.dmp.part*
Созданные файлы:
myDump.dmp.part-00
myDump.dmp.part-01
myDump.dmp.part-02
...
Однострочный вариант с условным выражением максимально приближен к вам.
cd /path/to/output && split --bytes=1024M /path/to/input/filename && gzip x*
gzip
будет работать только если split
успешен из-за условного &&
который также находится между cd
и split
убедившись, что cd
тоже успешно .. Обратите внимание, что split
и gzip
вывод в текущий каталог вместо возможности указать выходной каталог. При необходимости каталог можно сделать:
mkdir -p /path/to/output && cd /path/to/output && split --bytes=1024M /path/to/input/filename && gzip x*
Чтобы собрать все вместе:
gunzip /path/to/files/x* && cat /path/to/files/x* > /path/to/dest/filename