У меня есть два дерева каталогов с похожими макетами, т.е.
.
|-- dir1
| |-- a
| | |-- file1.txt
| | `-- file2.txt
| |-- b
| | `-- file3.txt
| `-- c
| `-- file4.txt
`-- dir2
|-- a
| |-- file5.txt
| `-- file6.txt
|-- b
| |-- file7.txt
| `-- file8.txt
`-- c
|-- file10.txt
`-- file9.txt
Я хотел бы объединить деревья каталогов dir1 и dir2 для создания:
merged/
|-- a
| |-- file1.txt
| |-- file2.txt
| |-- file5.txt
| `-- file6.txt
|-- b
| |-- file3.txt
| |-- file7.txt
| `-- file8.txt
`-- c
|-- file10.txt
|-- file4.txt
`-- file9.txt
Я знаю, что могу сделать это с помощью команды «cp», но я хочу переместить файлы вместо копирования, потому что фактические каталоги, которые я хочу объединить, действительно большие и содержат много файлов (миллионы). Если я использую «mv», я получаю ошибку «Файл существует» из-за конфликта имен каталогов.
ОБНОВЛЕНИЕ: можно предположить, что между двумя деревьями каталогов нет повторяющихся файлов.
rsync -ax --link-dest=dir1/ dir1/ merged/
rsync -ax --link-dest=dir2/ dir2/ merged/
Это создаст жесткие ссылки, а не перемещает их, вы можете убедиться, что они были перемещены правильно, затем удалите dir1/
и dir2/
.
Странно, что никто не заметил, что cp
есть возможность -l
:
-l, --link hard link files instead of copying
Вы можете сделать что-то вроде
% mkdir merge % cp -rl dir1/* dir2/* merge % rm -r dir* % tree merge merge ├── a │ ├── file1.txt │ ├── file2.txt │ ├── file5.txt │ └── file6.txt ├── b │ ├── file3.txt │ ├── file7.txt │ └── file8.txt └── c ├── file10.txt ├── file4.txt └── file9.txt 13 directories, 0 files
Для этого вы можете использовать переименование (также известное как prename из пакета perl). Помните, что это имя не обязательно относится к команде, которую я описываю вне debian / ubuntu (хотя это единственный переносимый файл perl, если он вам нужен).
mv -T dir1 merged
rename 's:^dir2/:merged/:' dir2/* dir2/*/*
find dir2 -maxdepth 1 -type d -empty -delete
У вас также есть возможность использовать vidir (из moreutils) и редактировать пути к файлам из вашего предпочтительного текстового редактора.
я люблю rsync и предварительное имя решения, но если вы действительно хотите сделать мв делать работу и
-print0
и -depth
,-0
,тогда можно обрабатывать большое количество файлов, имена которых могут содержать случайные пробелы, и все это с помощью сценария оболочки в стиле Борна:
#!/bin/sh
die() {
printf '%s: %s\n' "${0##*/}" "$*"
exit 127
}
maybe=''
maybe() {
if test -z "$maybe"; then
"$@"
else
printf '%s\n' "$*"
fi
}
case "$1" in
-h|--help)
printf "usage: %s [-n] merge-dir src-dir [src-dir [...]]\n" "${0##*/}"
printf "\n Merge the <src-dir> trees into <merge-dir>.\n"
exit 127
;;
-n|--dry-run)
maybe=NotRightNow,Thanks.; shift
;;
esac
test "$#" -lt 2 && die 'not enough arguments'
mergeDir="$1"; shift
if ! test -e "$mergeDir"; then
maybe mv "$1" "$mergeDir"
shift
else
if ! test -d "$mergeDir"; then
die "not a directory: $mergeDir"
fi
fi
xtrace=''
case "$-" in *x*) xtrace=yes; esac
for srcDir; do
(cd "$srcDir" && find . -print0) |
xargs -0 sh -c '
maybe() {
if test -z "$maybe"; then
"$@"
else
printf "%s\n" "$*"
fi
}
xtrace="$1"; shift
maybe="$1"; shift
mergeDir="$1"; shift
srcDir="$1"; shift
test -n "$xtrace" && set -x
for entry; do
if test -d "$srcDir/$entry"; then
maybe false >/dev/null && continue
test -d "$mergeDir/$entry" || mkdir -p "$mergeDir/$entry"
continue
else
maybe mv "$srcDir/$entry" "$mergeDir/$entry"
fi
done
' - "$xtrace" "$maybe" "$mergeDir" "$srcDir"
maybe false >/dev/null ||
find "$srcDir" -depth -type d -print0 | xargs -0 rmdir
done
Грубая сила bash
#! /bin/bash
for f in $(find dir2 -type f)
do
old=$(dirname $f)
new=dir1${old##dir2}
[ -e $new ] || mkdir $new
mv $f $new
done
тест делает это
# setup
for d in dir1/{a,b,c} dir2/{a,b,c,d} ; do mkdir -p $d ;done
touch dir1/a/file{1,2} dir1/b/file{3,4} dir2/a/file{5,6} dir2/b/file{7,8} dir2/c/file{9,10} dir2/d/file11
# do it and look
$ find dir{1,2} -type f
dir1/a/file1
dir1/a/file2
dir1/a/file5
dir1/a/file6
dir1/b/file3
dir1/b/file7
dir1/b/file8
dir1/c/file4
dir1/c/file9
dir1/c/file10
dir1/d/file11
Мне приходилось делать это несколько раз для деревьев исходного кода на разных этапах разработки. Я решил использовать Git следующим образом:
Вы можете усовершенствовать его с помощью ветвления и т. Д., Но это общая идея. И у вас меньше страха перед заполнением, потому что у вас есть полный снимок каждого состояния.