මම rsyncලිපිගොනු විශාල ප්‍රමාණයක් පිටපත් කිරීමට භාවිතා කළ නමුත් මගේ මෙහෙයුම් පද්ධතිය (උබුන්ටු) අනපේක්ෂිත ලෙස නැවත ආරම්භ විය.

නැවත පණගැන්වීමෙන් පසු, මම rsyncනැවත දිව්වා , නමුත් පර්යන්තයේ ප්‍රතිදානයෙන්, rsyncකලින් පිටපත් කළ ඒවා තවමත් පිටපත් කර ඇති බව මට පෙනී ගියේය. නමුත් rsyncප්‍රභවය සහ ගමනාන්තය අතර වෙනස්කම් සොයාගත හැකි බවත්, එම නිසා වෙනස්කම් පිටපත් කළ හැකි බවත් මම අසා ඇත්තෙමි . ඉතින් මගේ කාරණයේදී මම කල්පනා rsyncකරන්නේ අවසන් වරට ඉතිරි වූ දේ නැවත ආරම්භ කළ හැකිද?

පළමුවෙන්ම, ඔබේ ප්‍රශ්නයේ "නැවත ආරම්භ කිරීම" කොටස සම්බන්ධයෙන්, --partialයැවීමේ අවසානය අතුරුදහන් වුවහොත් ඒවා සම්පුර්ණයෙන්ම මාරු වූවාක් මෙන් අතුරුදහන් වුවහොත් අර්ධ වශයෙන් මාරු කරන ලද ලිපිගොනු තබා ගන්නා ලෙස ලැබීමේ අවසානයට කියන්න.

ලිපිගොනු මාරු කරන අතරතුර, ඒවා තාවකාලිකව ඔවුන්ගේ ඉලක්ක ෆෝල්ඩර වල සැඟවුණු ගොනු ලෙස සුරකිනු ඇත (උදා .TheFileYouAreSending.lRWzDC), හෝ ඔබ --partial-dirස්විචය සකසන්නේ නම් විශේෂයෙන් තෝරාගත් ෆෝල්ඩරයක් . මාරුවක් අසමත් වූ විට සහ --partialසකසා නොමැති විට, මෙම සැඟවුණු ගොනුව මෙම ගුප්ත නාමය යටතේ ඉලක්ක ෆෝල්ඩරයේ පවතිනු ඇත, නමුත් --partialඑය සකසා ඇත්නම් , ගොනුව සත්‍ය ඉලක්ක ඉලක්ක නාමයට නැවත නම් කරනු ලැබේ (මෙම අවස්ථාවේදී, TheFileYouAreSending) සම්පූර්ණ නැත. කාරණය වන්නේ ඔබට පසුව --appendහෝ නැවත වරක් rsync ධාවනය කිරීමෙන් මාරුව සම්පූර්ණ කළ හැකිය --append-verify.

ඒ නිසා, --partialනැත ම අසාර්ථක හෝ අවලංගු මාරු නැවත ආරම්භ. එය නැවත ආරම්භ කිරීම සඳහා, ඊළඟ ධාවනයේදී ඉහත සඳහන් කළ ධජ වලින් එකක් භාවිතා කිරීමට ඔබට සිදුවේ. එබැවින්, ඉලක්කය කිසි විටෙකත් යහපත් යැයි පෙනෙන නමුත් ඇත්ත වශයෙන්ම අසම්පූර්ණ යැයි පෙනෙන ලිපිගොනු අඩංගු නොවන බවට වග බලා ගැනීමට ඔබට අවශ්‍ය නම්, ඔබ භාවිතා නොකළ යුතුය --partial. අනෙක් අතට, ඉලක්කගත නාමාවලියෙහි සඟවා ඇති අසාර්ථක ලිපිගොනු කිසි විටෙකත් ඔබ අතහැර නොයන බවට සහතික කර ගැනීමට ඔබට අවශ්‍ය නම්, පසුව ඔබට මාරුවීම සම්පූර්ණ කළ හැකි බව ඔබ දනී නම්, ඔබට --partialඋදව් කිරීමට තිබේ.

--appendඉහත සඳහන් කළ ස්විචය සම්බන්ධයෙන් , මෙය සත්‍ය "නැවත ආරම්භ කිරීම" ස්විචය වන අතර, ඔබ භාවිතා කරන්නේද නැද්ද යන්න ඔබට භාවිතා කළ හැකිය --partial. ඇත්ත වශයෙන්ම, ඔබ භාවිතා කරන විට --append, කිසිඳු තාවකාලික ලිපිගොනු නිර්මාණය නොවේ. ලිපිගොනු ඔවුන්ගේ ඉලක්ක වෙත කෙලින්ම ලියා ඇත. මේ සම්බන්ධයෙන්, අසාර්ථක මාරුවකට --appendසමාන ප්‍රති result ලයක් ලබා දෙයි --partial, නමුත් එම සැඟවුණු තාවකාලික ලිපිගොනු නිර්මාණය නොකර.

සාරාංශයක් ලෙස, ඔබ විශාල ලිපිගොනු ගෙනයන්නේ නම් සහ අවලංගු වූ හෝ අසාර්ථක වූ rsync මෙහෙයුම rsyncනැවතී ඇති නිශ්චිත ස්ථානයෙන් නැවත ආරම්භ කිරීමට ඔබට අවශ්‍ය නම්, ඔබ ඊළඟ උත්සාහය භාවිතා කිරීම --appendහෝ --append-verifyමාරු කිරීම අවශ්‍ය වේ .

Lex ඇලෙක්ස් පහත පෙන්වා ඇති පරිදි, 3.0.0 අනුවාදයට rsyncදැන් නව විකල්පයක් ඇත --append-verify, එය --appendඑම ස්විචය පැවතීමට පෙර මෙන් ක්‍රියා කරයි. ඔබට සැමවිටම හැසිරීම අවශ්‍ය වේ --append-verify, එබැවින් ඔබේ අනුවාදය සමඟ පරීක්ෂා කරන්න rsync --version. ඔබ මැක්හි rsyncසිට භාවිතා නොකරන්නේ නම් homebrew, ඔබට (අවම වශයෙන් එල් කැපිටන් ඇතුළු) පැරණි අනුවාදයක් ඇති අතර ඒ --appendවෙනුවට භාවිතා කිරීමට අවශ්‍ය වේ --append-verify. ඔවුන් හැසිරීම නොකියන්නේ මන්ද --appendසහ ඒ වෙනුවට නවකයා --append-no-verifyනම් කිරීම ටිකක් ප්‍රහේලිකාවක්. කොහොම උනත්, --appendමත rsyncවන අනුවාදය සහ 3 වන අනුවාදය පෙර හා සමාන වේ --append-verifyයන නවතම අනුවාද මත.

--append-verifyභයානක නොවේ: එය සෑම විටම දෙපැත්තේම දත්ත කියවා සංසන්දනය කරනු ඇති අතර ඒවා සමාන යැයි උපකල්පනය නොකරයි. එය චෙක්සම් භාවිතා කරමින් මෙය සිදු කරයි, එබැවින් එය ජාලයට පහසුය, නමුත් ඉලක්කයට එකතු කිරීමෙන් මාරුව නැවත ආරම්භ කිරීමට පෙර කම්බියේ දෙපසම බෙදාගත් දත්ත ප්‍රමාණය කියවීම අවශ්‍ය වේ.

දෙවනුව, ඔබ කියා සිටියේ "ප්‍රභවය සහ ගමනාන්තය අතර වෙනස්කම් සොයා ගැනීමට rsync හට හැකි බව ඔබ අසා ඇති අතර එම නිසා වෙනස්කම් පිටපත් කිරීමට පමණි."

එය නිවැරදියි, එය ඩෙල්ටා හුවමාරුව ලෙස හැඳින්වේ, නමුත් එය වෙනස් දෙයක්. මෙය සක්‍රිය කිරීම සඳහා, ඔබ එකතු කරන්න -c, නැතහොත් --checksumමාරු කරන්න. මෙම ස්විචය භාවිතා කළ පසු, කම්බියේ දෙපස ඇති ගොනු rsync විසින් පරීක්ෂා කරනු ඇත. එය කුට්ටි වලින් මෙය සිදු කරයි, චෙක්සම් දෙකම කෙළවරේ සංසන්දනය කරයි, ඒවා එකිනෙකට වෙනස් නම්, එය ගොනුවේ වෙනස් කොටස් පමණක් මාරු කරයි. @ ජොනතන් පහත පෙන්වා ඇති පරිදි, සැසඳීම සිදු කරනුයේ ලිපිගොනු දෙකේම එකම ප්‍රමාණයේ ගොනු ඇති විට පමණි - විවිධ ප්‍රමාණවලින් rsync මුළු ගොනුවම උඩුගත කිරීමට හේතු වන අතර ඉලක්කය එකම නමකින් නැවත ලියයි.

මේ සඳහා මුලදී දෙපැත්තෙන්ම මඳක් ගණනය කිරීම අවශ්‍ය වේ, නමුත් උදාහරණයක් ලෙස ඔබ බොහෝ විට සුළු වෙනස්කම් අඩංගු විශාල ප්‍රමාණයේ ස්ථාවර ප්‍රමාණයේ ගොනු උපස්ථ කරන්නේ නම් ජාල බර අඩු කිරීම සඳහා අතිශයින්ම කාර්යක්ෂම විය හැකිය. මතකයට එන උදාහරණ වන්නේ අතථ්‍ය යන්ත්‍ර හෝ iSCSI ඉලක්ක වල භාවිතා වන අථත්‍ය දෘ hard තැටි රූප ගොනු ය.

--checksumඉලක්කගත පද්ධතියට සම්පූර්ණයෙන්ම අළුත් ලිපිගොනු සමූහයක් මාරු කිරීමට ඔබ භාවිතා කරන්නේ නම් , ඒවා මාරු කිරීමට පෙර rsync ප්‍රභව පද්ධතියේ ඔවුන්ගේ චෙක්සම් ගණනය කරනු ඇත. ඇයි මම නොදන්නේ :)

ඉතින්, කෙටියෙන්:

ඔබ බොහෝ විට "A සිට B දක්වා පියවර දේවල්" නිකම් rsync භාවිතා කරන්නේ නම් සහ එම මෙහෙයුම අවලංගු කිරීමට හා පසුව එය නැවත ආරම්භ එම විකල්පය අවශ්ය නැහැ භාවිතා --checksum, නමුත් කරන්න භාවිතය --append-verify.

ඔබ බොහෝ විට දේවල් උපස්ථ කිරීම සඳහා rsync භාවිතා කරන්නේ නම්, --append-verifyවිශාල ප්‍රමාණයේ ලිපිගොනු යැවීමේ පුරුද්දක් ඔබට නොමැති නම්, දිගින් දිගටම ප්‍රමාණයෙන් වැඩෙන නමුත් ලිවීමෙන් පසු කලාතුරකින් වෙනස් කරනු ලැබේ. ප්‍රසාද දීමනාවක් ලෙස, ඔබ වැනි ස්නැප්ෂොට් කිරීම සඳහා සහය දක්වන ගබඩාවට උපස්ථ කරන්නේ නම් btrfsහෝ zfs, --inplaceස්විචය එක් කිරීමෙන් ඔබට වෙනස් කළ ලිපිගොනු ප්‍රතිනිර්මාණය නොකෙරෙන නමුත් වෙනස් කළ කොටස් කෙලින්ම පැරණි ඒවා මත ලියා ඇති බැවින් ස්නැප්ෂොට් ප්‍රමාණය අඩු කිරීමට උපකාරී වේ. සුළු වෙනස්කම් පමණක් සිදු වූ විට ඉලක්කය මත ලිපිගොනු පිටපත් කිරීම rsync වළක්වා ගැනීමට ඔබට අවශ්‍ය නම් මෙම ස්විචය ද ප්‍රයෝජනවත් වේ.

භාවිතා කරන විට --append-verify, rsync සෑම විටම එකම ප්‍රමාණයේ සියලුම ගොනු වල ක්‍රියා කරන ආකාරයටම ක්‍රියා කරයි. ඒවා වෙනස් කිරීම් හෝ වෙනත් කාලරාමු වලින් වෙනස් නම්, එම ලිපිගොනු තවදුරටත් සෝදිසි නොකර මූලාශ්‍රය සමඟ ඉලක්කය නැවත ලියනු ඇත. --checksumසෑම ගොනු යුගලයකම සමාන නම සහ ප්‍රමාණයන්හි අන්තර්ගතයන් (චෙක්සම්) සංසන්දනය කරනු ඇත.

යාවත්කාලීන කරන ලද්දේ 2015-09-01 lex ඇලෙක්ස් විසින් කරන ලද කරුණු පිළිබිඹු වන පරිදි වෙනස් කරන ලදි (ස්තූතියි!)

යාවත්කාලීන කරන ලද්දේ 2017-07-14 on ජොනතන් විසින් කරන ලද කරුණු පිළිබිඹු වන පරිදි වෙනස් කරන ලදි (ස්තූතියි!)

ටීඑල්; ඩීආර්:

Rsync man පිටු නිර්දේශ කරන පරිදි අර්ධ නාමාවලියක් සඳහන් කරන්න:

--partial-dir=.rsync-partial

දිගු පැහැදිලි කිරීම:

--partial-dirවිකල්පය භාවිතා කරමින් මෙය සිදු කිරීම සඳහා සැබවින්ම සාදන ලද අංගයක් ඇත , එය --partialසහ --append-verify/ --appendවිකල්පයට වඩා වාසි කිහිපයක් ඇත .

Rsync man පිටු වලින් උපුටා ගැනීම:

--partial-dir=DIR
      A  better way to keep partial files than the --partial option is
      to specify a DIR that will be used  to  hold  the  partial  data
      (instead  of  writing  it  out to the destination file).  On the
      next transfer, rsync will use a file found in this dir  as  data
      to  speed  up  the resumption of the transfer and then delete it
      after it has served its purpose.

      Note that if --whole-file is specified (or  implied),  any  par-
      tial-dir  file  that  is  found for a file that is being updated
      will simply be removed (since rsync  is  sending  files  without
      using rsync's delta-transfer algorithm).

      Rsync will create the DIR if it is missing (just the last dir --
      not the whole path).  This makes it easy to use a relative  path
      (such  as  "--partial-dir=.rsync-partial")  to have rsync create
      the partial-directory in the destination file's  directory  when
      needed,  and  then  remove  it  again  when  the partial file is
      deleted.

      If the partial-dir value is not an absolute path, rsync will add
      an  exclude rule at the end of all your existing excludes.  This
      will prevent the sending of any partial-dir files that may exist
      on the sending side, and will also prevent the untimely deletion
      of partial-dir items on the receiving  side.   An  example:  the
      above  --partial-dir  option would add the equivalent of "-f '-p
      .rsync-partial/'" at the end of any other filter rules.

පෙරනිමියෙන්, rsync අහඹු තාවකාලික ගොනු නාමයක් භාවිතා කරයි, එය මාරුවීමක් අසමත් වූ විට මැකෙනු ඇත. සඳහන් කළ පරිදි, --partialඔබ භාවිතා කිරීමෙන් rsync අසම්පූර්ණ ගොනුව සාර්ථකව මාරු කළ ආකාරයට තබා ගත හැකිය , එවිට --append-verify/ --appendවිකල්ප භාවිතා කර පසුව එය එකතු කළ හැකිය . කෙසේ වෙතත් මෙය උප ප්‍රශස්ත වීමට හේතු කිහිපයක් තිබේ.

1. ඔබගේ උපස්ථ ලිපිගොනු සම්පුර්ණ නොවිය හැකි අතර, තවමත් වෙනස් නොවන දුරස්ථ ගොනුව පරික්ෂා නොකර, දැන ගැනීමට ක්‍රමයක් නොමැත.

2. ඔබ භාවිතා කිරීමට උත්සාහ කරන්නේ නම් --backupසහ --backup-dir, ඔබ මෙම ගොනුවේ නව අනුවාදයක් ඔබගේ අනුවාද ඉතිහාසයට පෙර කිසි විටෙකත් පිටව ගොස් නැත.

කෙසේ වෙතත්, අපි භාවිතා කරන්නේ නම් --partial-dir, rsync තාවකාලික අර්ධ ගොනුව ආරක්ෂා කරනු ඇති අතර, ඊළඟ වතාවේ ඔබ එය ක්‍රියාත්මක කරන විට එම අර්ධ ගොනුව භාවිතා කර නැවත බාගත කිරීම ආරම්භ කරනු ඇත, තවද අපි ඉහත ගැටළු වලින් පීඩා විඳින්නේ නැත.

-Pඔබේ විධානයට විකල්පය එක් කිරීමට ඔබට අවශ්‍ය විය හැකිය .

සිට manපිටුව:

--partial By default, rsync will delete any partially transferred file if the transfer
         is interrupted. In some circumstances it is more desirable to keep partially
         transferred files. Using the --partial option tells rsync to keep the partial
         file which should make a subsequent transfer of the rest of the file much faster.

  -P     The -P option is equivalent to --partial --progress.   Its  pur-
         pose  is to make it much easier to specify these two options for
         a long transfer that may be interrupted.

එබැවින් ඒ වෙනුවට:

sudo rsync -azvv /home/path/folder1/ /home/path/folder2

කරන්න:

sudo rsync -azvvP /home/path/folder1/ /home/path/folder2

ඇත්ත වශයෙන්ම, ඔබට ප්‍රගති යාවත්කාලීන කිරීම් අවශ්‍ය නැතිනම්, ඔබට භාවිතා කළ හැකිය --partial, එනම්:

sudo rsync --partial -azvv /home/path/folder1/ /home/path/folder2

මේ සඳහා ප්‍රමාද වී පැමිණීම, නමුත් මට එකම ප්‍රශ්නය ඇති අතර මට වෙනත් පිළිතුරක් හමු විය.

මෙම --partialධජය (දී "අර්ධ වශයෙන් මාරු ගොනු තබා" rsync -h) ලෙස වන අතර, විශාල ගොනු සඳහා ප්රයෝජනවත් වේ --append( "ඇතුලත් කෙටි ගොනු මතට දත්ත"), නමුත් ප්රශ්නය එය ගැන විශාල සංඛ්යාවක් ගොනු.

දැනටමත් පිටපත් කර ඇති ලිපිගොනු වලක්වා ගැනීම සඳහා -u(හෝ --update: "ග්‍රාහකයේ නවතම ගොනු මඟ හරින්න").

මම හිතන්නේ ඔබ බලහත්කාරයෙන් අමතන්නේ rsyncඒ නිසා ඔබ එය නැවත සිහිපත් කරන විට සියලු දත්ත බාගත වේ. --progressපිටපත් නොකරන ලද ගොනු පමණක් පිටපත් කිරීමට විකල්පයක් භාවිතා කරන්න --deleteසහ දැනටමත් පිටපත් කර ඇත්නම් ඕනෑම ගොනුවක් මකාදැමීමේ විකල්පය භාවිතා කරන්න, දැන් එය ප්‍රභව ෆෝල්ඩරයේ නොපවතී ...

rsync -avz --progress --delete -e  /home/path/folder1/ /home/path/folder2

ඔබ වෙනත් පද්ධතියකට ප්‍රවේශ වී ගොනු පිටපත් කිරීමට ssh භාවිතා කරන්නේ නම්,

rsync -avz --progress --delete -e "ssh -o UserKnownHostsFile=/dev/null -o \
StrictHostKeyChecking=no" /home/path/folder1/ /home/path/folder2

මෙම සංකල්පය පිළිබඳ මගේ අවබෝධයේ යම් වැරැද්දක් තිබේ නම් මට දන්වන්න ...

මම මෙම සරල පිටපත භාවිතා කරමි. සමහර ධජ සැකසීමට සහ / හෝ පරාමිතිකරණය කිරීමට නිදහස් වන්න.

#!/bin/bash

while [ 1 ]
do
    rsync -avz --partial [source] [dest]:
    if [ "$?" = "0" ] ; then
        echo "rsync completed normally"
        exit
    else
        echo "Rsync failure. Backing off and retrying..."
        sleep 180
    fi
done