දේශීයව විශාල නාමාවලි ගසක් පිටපත් කිරීම? cp හෝ rsync?

මට විශාල ඩිරෙක්ටරි ගසක් පිටපත් කිරීමට සිදුවේ, 1.8 ටී.බී. ඒ සියල්ල දේශීය ය. මම භාවිතා කරන පුරුද්දෙන් rsync, කෙසේ වෙතත් බොහෝ දේ තිබේදැයි මම කල්පනා කරමි cp.

අවසරය සහ uid / gid ගැන මම කනස්සල්ලට පත්ව සිටිමි, මන්ද ඒවා පිටපතෙහි සංරක්ෂණය කළ යුතු බැවිනි (rsync මෙය කරන බව මම දනිමි). සිම්ලින්ක් වැනි දේවල්.

ගමනාන්තය හිස් බැවින් සමහර ලිපිගොනු කොන්දේසි සහිතව යාවත්කාලීන කිරීම ගැන මට කරදර විය යුතු නැත. මේ සියල්ල දේශීය තැටිය, එබැවින් මට ssh හෝ ජාලය ගැන කරදර විය යුතු නැත.

මම rsync වලින් be ත් වීමට හේතුව, rsync මට අවශ්‍ය ප්‍රමාණයට වඩා කළ හැකි බැවිනි. rsync චෙක්සම් ගොනු. මට එය අවශ්‍ය නොවන අතර එය cp ට වඩා වැඩි කාලයක් ගතවනු ඇතැයි මම සිතමි.

ඒ නිසා ඔබ කුමන මල්කඩ නැහැ, rsyncහෝ cp?

මම rsync භාවිතා කරමි, එයින් අදහස් වන්නේ එය කිසියම් හේතුවක් නිසා බාධා කළහොත් ඔබට ඉතා සුළු පිරිවැයකින් පහසුවෙන් නැවත ආරම්භ කළ හැකි බවයි. Rsync වීම නිසා එයට විශාල ගොනුවක් හරහා නැවත ආරම්භ කළ හැකිය. අනෙක් අය සඳහන් කරන පරිදි, එය පහසුවෙන් ගොනු බැහැර කළ හැකිය. බොහෝ දේ ආරක්ෂා කර ගත හැකි සරලම ක්‍රමය වන්නේ -aධජය භාවිතා කිරීමයි - 'සංරක්ෂිතය.' ඒ නිසා:

rsync -a source dest

UID / GID සහ symlinks ආරක්ෂා කර ඇතත් -a(බලන්න -lpgo), ඔබේ ප්‍රශ්නයෙන් ඇඟවෙන්නේ ගොනු පද්ධති තොරතුරු වල සම්පූර්ණ පිටපතක් ඔබට අවශ්‍ය විය හැකි බවයි ; හා -aදෘඪ-සබැඳි, දීර්ඝ ලක්ෂණ ෙහෝ ACLs (ලිනක්ස් මත) හෝ ඉහත ඇතුලත් නැත හෝ සම්පත් හැඳි (OS X. මත) මේ අනුව, ගොනු පද්ධතිය පිළිබඳ ශක්තිමත් පිටපතක් සඳහා, ඔබ එම කොඩි ඇතුළත් කිරීමට ඔබට අවශ්ය විය හැකිය:

rsync -aHAX source dest # Linux
rsync -aHE source dest  # OS X

-uධජය "පිටපත් කරනු ලබන්නේ ගමනාන්ත ගොනුවට වඩා SOURCE ගොනුව අළුත් වූ විට හෝ ගමනාන්ත ගොනුව අස්ථානගත වූ විට පමණි" යන්න පෙරනිමි cp නැවත ආරම්භ වේ . සහ -aඔබ අවසර නැවත ආරම්භ සහ සංරක්ෂණය කිරීමට තිබේ නම් (archive) ධජය නොවන ආවර්තනික, recopy ගොනු වනු ඇත. ඒ නිසා:

cp -au source dest

දේශීය ගොනු පද්ධතියට පිටපත් කිරීමේදී මම පහත විකල්ප සමඟ rsync භාවිතා කිරීමට නැඹුරු වෙමි:

# rsync -avhW --no-compress --progress /src/ /dst/

මෙන්න මගේ තර්කය:

-a is for archive, which preserves ownership, permissions etc.
-v is for verbose, so I can see what's happening (optional)
-h is for human-readable, so the transfer rate and file sizes are easier to read (optional)
-W is for copying whole files only, without delta-xfer algorithm which should reduce CPU load
--no-compress as there's no lack of bandwidth between local devices
--progress so I can see the progress of large files (optional)

වෙනත් පිළිතුරකින් යෝජනා කර ඇති පරිදි පහත දැක්වෙන තාර විධානය හරහා ඉහත rsync සැකසුම් භාවිතා කරමින් 17% වේගවත් මාරුවීම් මම දැක ඇත්තෙමි.

# (cd /src; tar cf - .) | (cd /dst; tar xpf -)

මට විශාල දත්ත ප්‍රමාණයක් පිටපත් කිරීමට සිදු වූ විට, මම සාමාන්‍යයෙන් තාර සහ rsync සංයෝජනයක් භාවිතා කරමි. පළමු අවසර පත්‍රය තාර දැමීම, මේ වගේ දෙයක්:

# (cd /src; tar cf - .) | (cd /dst; tar xpf -)

සාමාන්‍යයෙන් ලිපිගොනු විශාල ප්‍රමාණයක් ඇති අතර, ඕනෑම හේතුවක් නිසා තාර හැසිරවිය නොහැකි ඒවා තිබේ. නැතහොත් ක්‍රියාවලිය අඩාල වනු ඇත, නැතහොත් එය ගොනු පද්ධති සංක්‍රමණය නම්, සත්‍ය සංක්‍රමණ පියවරට පෙර ආරම්භක පිටපත කිරීමට ඔබට අවශ්‍ය විය හැකිය. කෙසේ වෙතත්, ආරම්භක පිටපතෙන් පසුව, මම ඒ සියල්ල සමමුහුර්ත කිරීමට rsync පියවරක් කරමි:

# cd /dst; rsync -avPHSx --delete /src/ .

පසුපස කප්පාදුව /src/වැදගත් බව සලකන්න .

rsync

මෙන්න මම භාවිතා කරන rsync, මම කැමතියි සරල විධානයන් සඳහා cp, මෙය නොවේ.

$ rsync -ahSD --ignore-errors --force --delete --stats $SRC/ $DIR/

cpio

මෙන්න ඊටත් වඩා ආරක්ෂිත ක්‍රමයක්, cpio. එය තාර තරම් වේගවත්, සමහර විට ටිකක් ඉක්මන් විය හැකිය.

$ cd $SRC && find . -mount -depth -print0 2>/dev/null | cpio -0admp $DEST &>/dev/null

තාර

මෙයද යහපත් වන අතර කියවීමේ අසාර්ථකත්වයන් මත දිගටම පවතී.

$ tar --ignore-failed-read -C $SRC -cf - . | tar --ignore-failed-read -C $DEST -xf -

ඒවා සියල්ලම දේශීය පිටපත් සඳහා පමණක් බව සලකන්න.

ඔබ කැමති ඕනෑම දෙයක්. ඔබ -aභාවිතා කිරීමට තීරණය කළ විට ස්විචය අමතක නොකරන්න cp.

ඔබට සැබවින්ම පිළිතුරක් අවශ්‍ය නම්: මම වඩාත් නම්‍යශීලී බැවින් rsync භාවිතා කරමි. පිටපත් කිරීම අවසන් වීමට පෙර වසා දැමිය යුතුද? Ctrl-c යන්තම් ඔබේ පිටුපසට ගිය වහාම නැවත ආරම්භ කරන්න. සමහර ලිපිගොනු බැහැර කිරීමට අවශ්‍යද? භාවිතා කරන්න --exclude-from. හිමිකාරිත්වය හෝ අවසර වෙනස් කිරීමට අවශ්‍යද? rsync ඔබ වෙනුවෙන් එය කරනු ඇත.

මෙම නූල ඉතා ප්‍රයෝජනවත් වූ අතර ප්‍රති result ලය ලබා ගැනීම සඳහා බොහෝ විකල්ප ඇති බැවින් ඒවායින් කිහිපයක් මිණුම් සලකුණු කිරීමට මම තීරණය කළෙමි. මගේ ප්‍රති results ල අන් අයට ප්‍රයෝජනවත් විය හැකි බව මම විශ්වාස කරමි.

ගමන් 532Gb අතර බෙදා දත්ත ගොනු 1.753.200 අපි ඒ කාලයේ තිබුණා:

• rsync මිනිත්තු 232 ක් ගතවිය
• tar මිනිත්තු 206 ක් ගතවිය
• cpio මිනිත්තු 225 ක් ගතවිය
• rsync + parallel මිනිත්තු 209 ක් ගතවිය

මගේ නඩුවේදී මම භාවිතා කිරීමට කැමැත්තක් දැක්වුවෙමි rsync + parallel. මෙම විකල්පයන් අතර තීරණ ගැනීමට මෙම තොරතුරු වැඩි පිරිසකට උපකාරී වනු ඇතැයි මම බලාපොරොත්තු වෙමි.

සම්පූර්ණ මිණුම් ලකුණ මෙහි ප්‍රකාශයට පත් කෙරේ

මෙම rsyncවිධානය සෑම විටම එය මාරු කර යවයි සෑම බයිට මත චෙක්සම් ගණනය කෙරේ.

විධාන රේඛා විකල්පය --checksumසම්බන්ධ වන්නේ කුමන ගොනු මාරු කළ යුතුද නැද්ද යන්න තීරණය කිරීම සඳහා ගොනු වල චෙක්සම් භාවිතා කරන්නේද යන්නට පමණි, එනම්:

-c, --checksum චෙක්සම් මත පදනම්ව මඟ හරින්න, මෝඩ් ටයිම් සහ ප්‍රමාණය නොවේ "

මෑන්පේජ් ද මෙය පවසයි:

මාරු කරන ලද සෑම ගොනුවක්ම එහි සම්පූර්ණ ගොනු චෙක්සමය පරික්ෂා කිරීමෙන් නිවැරදිව ප්‍රතිනිර්මාණය කර ඇති බව rsync සැමවිටම සනාථ කරන බව සලකන්න, නමුත් මාරුවීමෙන් පසු ස්වයංක්‍රීයව සත්‍යාපනය මෙම විකල්පයට මාරුවීමට පෙර කිසිදු සම්බන්ධයක් නැත "මෙම ගොනුවට අවශ්‍යද? යාවත්කාලීන කළ යුතුද? චෙක් පත.

ඒ නිසා rsyncද, හැම විටම, පැමිණිම පැත්තේ මුළු ගොනුවේ චෙක්සම්, ගණනය විට පවා -c/ --checksumවිකල්පය "ලකුණු" වේ.

rsync -aPhW --protocol=28RSYNC සමඟ එම විශාල පිටපත් වේගවත් කිරීමට උපකාරී වේ. මම සෑම විටම rsync වෙත යන්නේ 90GiB හරහා ගමන් කිරීමේ සිතුවිල්ල සහ එය බිඳ දැමීම මා CP වෙතින් away ත් කරන බැවිනි

rsync විශිෂ්ටයි, නමුත් ඇත්ත වශයෙන්ම විශාල නාමාවලි ගස් සමඟ ගැටළු ඇති බැවින් එය මතකයේ ගස් ගබඩා කරයි. මම මේ ත්‍රෙඩ් එක සොයාගත් විට ඔවුන් මෙම ගැටලුව විසඳනු ඇත්දැයි බැලීමට මම බලා සිටියෙමි.

මම ද සොයා ගතිමි:

http://matthew.mceachen.us/geek/gigasync/

ඔබට අතින් ගස කැඩී ගොස් rsync කිහිපයක් ධාවනය කළ හැකිය.

දේශීය ඩිරෙක්ටරි පිටපතක් දේශීයව කරන විට, මගේ අත්දැකීම නම් "cp -van src dest" rsync ට වඩා 20% වේගවත් බවයි. නැවත ආරම්භ කළ හැකි තාක් දුරට "-n" කරන්නේ එයයි. ඔබට අවශ්‍ය වන්නේ අර්ධ වශයෙන් පිටපත් කළ ගොනුව rm කිරීමයි. එය අයිඑස්ඕ හෝ එවැනි සමහරක් මිස වේදනාකාරී නොවේ.

ARJ IS OLD SCHOOL !! ARJ සහ / හෝ rsync මඟින් කාර්ය සාධනය ලබා දෙනු ඇතැයි මම සැබවින්ම සැක කරමි.

අනිවාර්යයෙන්ම මම නිතරම කරන්නේ cpio භාවිතා කිරීමයි:

find . -print | cpio -pdm /target/folder

මෙය සීපී වලට වඩා බොහෝ සෙයින් වේගවත් වන අතර අනිවාර්යයෙන්ම තාර වලට වඩා වේගවත් වන අතර කිසිවක් නල රහිතව සිදු කරයි.

ඔබට අනිවාර්යෙන්ම rclone උත්සාහ කර බලන්න. මෙම දෙය වේගයෙන් පිස්සු ය:

sudo rclone sync /usr /home/fred/temp -P -L --transfers 64

Transferred:       17.929G / 17.929 GBytes, 100%, 165.692 MBytes/s, ETA 0s
Errors:                75 (retrying may help)
Checks:            691078 / 691078, 100%
Transferred:       345539 / 345539, 100%
Elapsed time:     1m50.8s

මෙය LITEONIT LCS-256 (256GB) SSD වෙතින් සහ දේශීය පිටපතකි.

--ignore-checksumඑය වඩාත් වේගවත් කිරීම සඳහා ඔබට පළමු ධාවනයේදී එකතු කළ හැකිය .

දෙකම හොඳින් ක්‍රියාත්මක වේ.

tar එම කාර්යය ද කරනු ඇත, නමුත් rsync මෙන් බාධා කිරීමෙන් නැවත ආරම්භ නොවේ.

ඔබ ARJ භාවිතා කරන්නේ නම් කුමක් කළ යුතුද?

arj a -jm -m1 -r -je filepack /source

එහිදී -jm -m1සම්පීඩන මට්ටම් හා -jeඑය ක්රියාත්මක කරයි. දැන් ඔබ සතුව ලිපිගොනු කොටා ඇත.

ඉලක්ක සිතියමට නිස්සාරණය සඳහා

filepack -y  

ප්‍රභව සිතියම සාදන තැන ( -yසැමවිටම පිළිගන්නේ, නැවත ලිවීම, මඟ හැරීම ආදිය)

යමෙකුට ගොනු කොටුව ඉලක්කගත ප්‍රදේශයට ගොස් එය කළ හැකි නම් එය ක්‍රියාත්මක කළ හැකිය.

යෙදිය හැකි වේගවත් කිරීම් කිහිපයක් තිබේ rsync:

වළකින්න

• -z/ --compress: සම්පීඩනය මඟින් CPU පටවනු ලබන්නේ හුවමාරුව ජාලයක් හරහා නොව RAM හරහා පමණි.
• --append-verify: බාධා කළ මාරුවක් නැවත ආරම්භ කරන්න. මෙය හොඳ අදහසක් සේ පෙනේ, නමුත් එයට භයානක අසාර්ථක නඩුවක් ඇත: ඕනෑම ගමනාන්ත ගොනුවක් ප්‍රභවයට වඩා එකම ප්‍රමාණයෙන් (හෝ ඊට වැඩි) IGNORED වනු ඇත. එසේම, එය සම්පූර්ණ ගොනුව අවසානයේ පරික්ෂා කරයි, එයින් අදහස් --no-whole-fileකරන්නේ භයානක අසාර්ථක නඩුවක් එකතු කරන අතරතුර සැලකිය යුතු වේගයක් වේගවත් නොවන බවයි.

භාවිත

• -S/ --sparse: ශුන්‍ය අනුපිළිවෙල විරල කුට්ටි බවට හරවන්න
• --partialහෝ -Pයනු --partial --progress: අනාගත නැවත ආරම්භ කිරීම සඳහා අර්ධ වශයෙන් මාරු කරන ලද ගොනු සුරකින්න. සටහන: ලිපිගොනු වලට තාවකාලික නමක් නොතිබෙනු ඇත, එබැවින් සම්පූර්ණ පිටපත අවසන් වන තුරු ගමනාන්තය භාවිතා කිරීමට වෙනත් කිසිවක් අපේක්ෂා නොකරන බවට සහතික වන්න.
• --no-whole-fileඅමනාප වීමට අවශ්‍ය ඕනෑම දෙයක් ඩෙල්ටා හුවමාරුව භාවිතා කරයි. අර්ධ වශයෙන් මාරු කරන ලද ගොනුවකින් අඩක් කියවීම බොහෝ විට එය නැවත ලිවීමට වඩා ඉක්මන් වේ.
• --inplace ගොනු පිටපත වළක්වා ගැනීමට (නමුත් සම්පූර්ණ හුවමාරුව අවසන් වන තුරු කිසිවක් ගමනාන්තය කියවන්නේ නැතිනම් පමණි)

දේශීය සවි කිරීම් දෙකක් අතර කුඩා ලිපිගොනු විශාල ප්‍රමාණයක් පිටපත් කිරීමට අවශ්‍ය ඕනෑම අයෙකුට (මගේ නඩුවේ එය වලාකුළු සැපයුම්කරුවෙකුගෙන් NAS සේවාවක NFS සවි කිරීම් දෙකක් විය):

cpවේදනාකාරී ලෙස මන්දගාමී විය. ජාල ප්‍රතිදානය නරඹන විට, එය කලාප පළල 1 mbps පමණ සංතෘප්ත කළ හැකි බව මම දුටුවෙමි. පසුව මම තාර සමඟ උත්සාහ කළෙමි:

tar -pc /mnt/old-nas | tar -xpf - -C /mnt/new-nas

250-300 mbps අතර රේඛාව සම්පුර්ණයෙන්ම සංතෘප්ත කළ හැකි.

සවිකිරීමේ ස්ථාන දෙකක් අතර ඉහළ ප්‍රමාදයකින් පිටපත් කිරීමේදී තාර වඩා හොඳින් ක්‍රියා කරන බව පෙනේ.

ගබඩාවන් දෙකම දේශීය නම්, සීපී විසින් හැකි උපරිම වේගයෙන් දත්ත මාරු කළ යුතුය. ඉලක්කගත නාමාවලිය හිස් නම් සමමුහුර්තකරණය භාවිතා කිරීම අවශ්‍ය නොවේ, නමුත් එය නැවත ආරම්භ කිරීමේ හැකියාව, ඇතැම් ලිපිගොනු බැහැර කිරීමේ හැකියාව වැනි ප්‍රතිලාභ ගෙන එයි.

ජාලය හරහා පිටපත් කිරීමේදී rsync ශක්තිමත් (විශාල ගොනු ඩෙල්ටා මාරු කිරීම). නමුත් rsync එහි අභ්‍යන්තර දත්ත මතකයේ තබා ගන්නා අතර එමඟින් විශාල නාමාවලි ගස් සමඟ ගැටලු ඇති විය හැකිය.

ඔබ වෙනත් සමමුහුර්තකරණය ගැන උනන්දුවක් දක්වන්නේ නම්, ඔබට Fitus / Zaloha.sh දෙස බැලිය හැකිය . එය ඩිරෙක්ටරි දෙකෙහිම සොයාගත හැකි අතර cp විධාන සමඟ ස්ක්‍රිප්ට් සකස් කරයි . එය එහි අභ්‍යන්තර දත්ත මතකයේ නොව ලිපිගොනු වල තබා ගනී. එය පහත පරිදි භාවිතා වේ:

$ Zaloha.sh --sourceDir="test_source" --backupDir="test_backup"

ඔබට එය සීපී ස්ක්‍රිප්ට් උත්පාදනය කිරීමට අවශ්‍ය නම් (නමුත් එය ක්‍රියාත්මක නොකිරීමට, පුළුල් සංදර්ශනයක් සහ අන්තර්ක්‍රියාකාරිත්වයක් අවශ්‍ය වේ), --noExec විකල්පය භාවිතා කරන්න.

ඔබගේ භාවිත නඩුවේ ප්‍රතිස්ථාපන ස්ක්‍රිප්ට් උත්පාදනය කිරීම අවශ්‍ය නොවේ: --noRestore විකල්පය භාවිතා කරන්න. අවසාන වශයෙන්, ඔබ වේගවත් mawk ස්ථාපනය කර ඇත්නම්, --mawk විකල්පය හරහා එය භාවිතා කරන්න.