විශාල (යෝධ, දැවැන්ත, විශාල) පෙළ ගොනු විවෘත කිරීමට පෙළ සංස්කාරකය [වසා ඇත]


1023

මම කිව්වේ 100+ MB ලොකුයි; එවැනි පෙළ ගොනු වලට සංස්කාරකවරුන්ගේ ලියුම් කවරය තල්ලු කළ හැකිය.

මට විශාල XML ගොනුවක් හරහා බැලීමට අවශ්‍යයි, නමුත් සංස්කාරකය දෝෂ සහිත නම් එය කළ නොහැක.

යෝජනා තිබේද?


166
ඇත්ත වශයෙන්ම, 100+ MB හෝ 1+ GB වැනි පෙළ ලිපිගොනු ඔබ සිතන තරම් සාමාන්‍ය දෙයක් නොවේ (එනම් කාර්යබහුල සේවාදායකයන්ගෙන් ලොග් ගොනු).
ඇන්ඩර්ස් සැන්ඩ්විග්

15
හොරකම: හරියටම පෙළ නොවේ. පෙළ ලිපිගොනු කියවීමේ හා ද්විමය ලිපිගොනු කියවීමේ අවශ්‍යතා තරමක් වෙනස් යැයි මම සිතමි. ඔබට එය base64 හෝ uuencode හරහා යැවිය හැක.
ජෝයි

2
මෙය අවම වශයෙන් සමාන ප්‍රශ්නයක් විය යුතුය හෝ එය මාස 18 කට පෙර ඇසූ පරිදි සම්බන්ධ කළ යුතුය ... stackoverflow.com/questions/102829/…
ONDEV

1
මා විසින් ජනනය කරන ලද විශාල ලොග් ලිපිගොනු කිහිපයක් කියවීම සඳහා මෙම නිශ්චිත ප්‍රශ්නයට පිළිතුරක් ද මම සොයමින් සිටියෙමි!
අශ්වාරෝහක ෆැට්

1
La බ්ලෙයාර්හිපෝ මටත් එලෙසම දැනේ, ප්‍රශ්නයක් ඇසීමේදී මම බොහෝ සෙයින් නොසන්සුන් වන බැවින් යමෙකු "මෙය වසා දමන්න, එය ඒ වෙනුවට ඕනෑම
රොඩොල්ෆෝ

Answers:


1408

නොමිලේ කියවීමට පමණක් නරඹන්නන්:

  • විශාල පෙළ ගොනු නරඹන්නා (වින්ඩෝස්) - සම්පූර්ණයෙන්ම අභිරුචිකරණය කළ හැකි තේමාවන් (වර්ණ, අකුරු, වචන එතුම, ටැබ් ප්‍රමාණය). තිරස් හා සිරස් බෙදීම් දර්ශනයට සහය දක්වයි. ලිපිගොනු පහත දැක්වෙන සහ රීජෙක්ස් සෙවුමට සහාය වන්න. ඉතා වේගවත්, සරල, සහ ක්‍රියාත්මක කළ හැකි කුඩා ප්‍රමාණයක් ඇත.
  • klogg (වින්ඩෝස්, මැකෝස් , ලිනක්ස්) - ග්ලෝග් නඩත්තු කරන ලද දෙබලක, එහි ප්‍රධාන ලක්ෂණය වන්නේ නිත්‍ය ප්‍රකාශන සෙවීමයි . එයට ලිපිගොනු නැරඹිය හැකිය, පරිශීලකයාට රේඛා සලකුණු කිරීමට ඉඩ සලසයි, සහ බරපතල ප්‍රශස්තිකරණයන් ගොඩනගා ඇත.
  • ලොග්එක්ස්පර්ට් (වින්ඩෝස්) - "GUI වෙනුවට ආදේශ කිරීමtail." එය සැබවින්ම ලොග් ගොනු විශ්ලේෂකයක් මිස විශාල ගොනු නරඹන්නෙකු නොවන අතර එක් පරීක්ෂණයකදී 250 MB ගොනුවක් පැටවීමට තත්පර 10 ක් සහ 700 MB RAM අවශ්‍ය විය. නමුත් එහි ler ාතක ලක්ෂණ වන්නේ තීරුකාරකය (CSV, JSONL, ආදියෙහි විග්‍රහ කරන ල logs ු-සටහන් සහ පැතුරුම්පත් ආකෘතියකින් පෙන්වීම) සහ හයිලයිටරය (ඇතැම් වර්ණවලින් යම් වචන සහිත රේඛා පෙන්වන්න). ලිපිගොනු, ටැබ්, බහුකාර්ය, පිටු සලකුණු, සෙවුම්, ප්ලගීන සහ බාහිර මෙවලම් සඳහාද සහාය දක්වයි.
  • ලිස්ටර් (වින්ඩෝස්) - ඉතා කුඩා හා අවම. එය ක්‍රියාත්මක කළ හැකි යන්තම් 500 KB, නමුත් එය තවමත් සෙවීම (රීජෙක්ස් සමඟ), මුද්‍රණය, හෙක්ස් සංස්කාරක මාදිලිය සහ සැකසුම් සඳහා සහය දක්වයි.
  • loxx (වින්ඩෝස්) - පහත දැක්වෙන ලිපිගොනු, ඉස්මතු කිරීම, රේඛා අංක, දැවැන්ත ලිපිගොනු, රීජෙක්ස්, බහු ලිපිගොනු සහ දර්ශන සහ තවත් බොහෝ දේ සඳහා සහය දක්වයි. නිදහස් අනුවාදයට නොහැකි ය: රීජෙක්ස් සැකසීම, ගොනු පෙරීම, කාලරාමු සමමුහුර්ත කිරීම සහ වෙනස් කළ ගොනු සුරකින්න.

නොමිලේ සංස්කාරකවරු:

  • ඔබේ සාමාන්‍ය සංස්කාරකය හෝ IDE. නවීන සංස්කාරකවරුන්ට පුදුම සහගත ලෙස විශාල ගොනු හැසිරවිය හැකිය. විශේෂයෙන්, Vim (Windows, macOS, Linux), Emacs (Windows, macOS, Linux), Notepad ++ (Windows), Sublime Text (Windows, macOS, Linux), සහ VS Code (Windows, macOS, Linux) විශාල (~ 4 GB) ගොනු, ඔබට RAM ඇතැයි උපකල්පනය කරන්න.
  • විශාල ගොනු සංස්කාරකය (වින්ඩෝස්) - ටීබී + ගොනු විවෘත කර සංස්කරණය කරයි, යුනිකෝඩ් සඳහා සහය දක්වයි, සුළු මතකයක් භාවිතා කරයි, එක්ස්එම්එල්-විශේෂිත විශේෂාංග ඇත, සහ ද්විමය මාදිලියක් ඇතුළත් වේ.
  • ගිගා එඩිට් (වින්ඩෝස්) - සෙවීම, චරිත සංඛ්‍යාන සහ අකුරු අභිරුචිකරණයට සහය දක්වයි. නමුත් එය දෝෂ සහිතයි - විශාල ලිපිගොනු සමඟ, එය අක්ෂර නැවත ලිවීමට පමණක් ඉඩ දෙයි, ඒවා ඇතුළත් නොකරයි; එය රේඛීය පර්යන්තයක් ලෙස එල්එෆ්ට ගරු නොකරයි, සීආර්එල්එෆ් පමණි; එය මන්දගාමී ය.

බිල්ටින් වැඩසටහන් (ස්ථාපනය අවශ්‍ය නොවේ):

  • less (macOS, Linux) - සාම්ප්‍රදායික යුනික්ස් විධාන රේඛා පේජර් මෙවලම. ප්‍රායෝගිකව ඕනෑම ප්‍රමාණයක පෙළ ගොනු බැලීමට ඔබට ඉඩ දෙයි. වින්ඩෝස් වලද ස්ථාපනය කළ හැකිය.
  • නොට්පෑඩ් (වින්ඩෝස්) - විශාල ලිපිගොනු සහිත විනීත, විශේෂයෙන් වචන එතීම අක්‍රිය කර ඇත.
  • තවත් (වින්ඩෝස්) - මෙය යොමු දක්වන්නේMOREයුනික්ස් නොවවින්ඩෝස්වෙතයmore. ගොනුවක් බැලීමට ඔබට ඉඩ සලසන කොන්සෝල වැඩසටහනක්, වරකට එක තිරයක්.

වෙබ් නරඹන්නන්:

ගෙවූ සංස්කාරකවරු:

  • 010 සංස්කාරක (වින්ඩෝස්, මැකෝස්, ලිනක්ස්) - යෝධ (50 GB තරම් විශාල) ගොනු විවෘත කරයි.
  • SlickEdit (Windows, macOS, Linux) - විශාල ගොනු විවෘත කරයි.
  • UltraEdit (Windows, macOS, Linux) - 6 GB ට වඩා වැඩි ගොනු විවෘත කරයි, නමුත් මෙය ප්‍රායෝගික වීමට වින්‍යාසය වෙනස් කළ යුතුය: මෙනුව »උසස්» වින්‍යාසය »ගොනු හැසිරවීම» තාවකාලික ලිපිගොනු temp තාවකාලික ගොනුවක් නොමැතිව ගොනුව විවෘත කරන්න ...
  • EmEditor (Windows) - ඉතා විශාල පෙළ ලිපිගොනු මනාව හසුරුවයි (නිල වශයෙන් GB 248 දක්වා, නමුත් එක් වාර්තාවකට අනුව 900 GB තරම්).

60
VIM, හෝ Emacs ... ඔබේ වස තෝරා ගන්න, දෙකම ඔබ ඔවුන් වෙතට විසි කරන ඕනෑම ගොනුවක් හසුරුවනු ඇත. මම පුද්ගලිකව ඊමාක්ස් වලට කැමතියි, නමුත් දෙදෙනාම ඉක්කාවකින් තොරව නොට්පෑඩ් පරාජය කරනු ඇත.
මයික් ස්ටෝන්

25
Emacs හි උපරිම ස්වාරක්ෂක ප්‍රමාණයක් ඇත, එය යටින් පවතින ගෘහ නිර්මාණ ශිල්පය මත රඳා පවතී (බිටු 32 හෝ 64). බිට් 32 පද්ධති වලදී 128 MB ට වඩා විශාල ලිපිගොනු වල "උපරිම බෆරයේ ප්‍රමාණය ඉක්මවා" දෝෂයක් ලැබෙනු ඇතැයි මම සිතමි.
රෆා ඩව්ගර්ඩ්

85
මම 561MB ලොග් ගොනුවක් සමඟ නොට්පෑඩ් ++ උත්සාහ කළ අතර එය ඉතා විශාල බව පැවසුවා
බාර්ෆූන්

9
Af රාෆල් සිත්ගන්නාසුළුයි! 64bit මත එය ඩොලර් 1024 ක් බව පෙනේ. හේතුව
ඊමාක්ස්

79
නමුත් ප්‍රවේශම් වන්න, vim ක්‍රියා කරන්නේ සැක සහිත ලිපිගොනු වලට ප්‍රමාණවත් රේඛා බිඳීම් පවතින තාක් පමණි. මට වරක් ca. රේඛීය කඩාවැටීමකින් තොරව 150 MB ගොනුවක් වන අතර, එය හැසිරවිය නොහැකි නිසා gedit වෙත යොමුවීමට සිදුවිය.
බෙනෝ

194

ඉඟි සහ උපක්‍රම

අඩු

ඇයි ඔබ භාවිතා කරන සංස්කාරකවරුන් නිකමට බලන්න අ (විශාල) ගොනු දී?

* නික්ස් හෝ සිග්වින් යටතේ , අඩුවෙන් භාවිතා කරන්න . . Vim, නමුත් swap ගොනුවක් නොමැති අතර කුඩා RAM භාවිතා කරයි.

Win32 GNU වරායක් අඩුයි. ඉහත පිළිතුරේ "අඩු" කොටස බලන්න.

පර්ල්

පර්ල් ඉක්මන් ස්ක්‍රිප්ට් සඳහා හොඳ වන අතර, එහි ..(පරාසය ෆ්ලිප්-ෆ්ලොප්) ක්‍රියාකරු ඔබට තෝරා ගත යුතු ගොරෝසු ප්‍රමාණය සීමා කිරීම සඳහා හොඳ තේරීමේ යාන්ත්‍රණයක් නිර්මාණය කරයි.

උදාහරණයක් වශයෙන්:

$ perl -n -e 'print if ( 1000000 .. 2000000)' humongo.txt | less

මෙය මිලියනයක පේළියේ සිට මිලියන 2 පේළිය දක්වා සියල්ල උකහා ගන්නා අතර ප්‍රතිදානය අතින් අඩු කිරීමට ඔබට ඉඩ සලසයි.

තවත් උදාහරණයක්:

$ perl -n -e 'print if ( /regex one/ .. /regex two/)' humongo.txt | less

මෙය “නිත්‍ය ප්‍රකාශනය” යමක් සොයාගත් විට මුද්‍රණය කිරීම ආරම්භ කරන අතර “නිත්‍ය ප්‍රකාශන දෙක” සිත්ගන්නා කොටසක අවසානය සොයාගත් විට නතර වේ. එය බහු කුට්ටි සොයා ගත හැකිය. ප්‍රතිදානය වෙනස් කරන්න ...

ලොග්පාර්සර්

මෙය ඔබට භාවිතා කළ හැකි තවත් ප්‍රයෝජනවත් මෙවලමකි. විකිපීඩියා ලිපිය උපුටා දැක්වීමට :

ලොග්පාර්සර් යනු නම්‍යශීලී විධාන රේඛා උපයෝගීතාවයක් වන අතර එය මුලින් මයික්‍රොසොෆ්ට් සේවකයෙකු වන ගේබ්‍රියෙල් ගුසෙපිනි විසින් IIS ල ging ු-සටහන් සඳහා පරීක්ෂණ ස්වයංක්‍රීය කිරීම සඳහා ලියා ඇත. එය වින්ඩෝස් මෙහෙයුම් පද්ධතිය සමඟ භාවිතය සඳහා අදහස් කරන ලද අතර IIS 6.0 සම්පත් කට්ටල මෙවලම් සමඟ ඇතුළත් විය. විධාන රේඛාවේ SQL ප්‍රකාශනයක් ලබා ගැනීමෙන් සහ SQL ප්‍රකාශනය සඳහා ගැලපීම් අඩංගු රේඛා ප්‍රතිදානය කිරීමෙන් ලොග්පාර්සර් හි පෙරනිමි හැසිරීම "දත්ත සැකසුම් නල මාර්ගයක්" ලෙස ක්‍රියා කරයි.

මයික්‍රොසොෆ්ට් ලොග්පාර්සර් විස්තර කරන්නේ ලොග් ලිපිගොනු, එක්ස්එම්එල් ලිපිගොනු සහ සීඑස්වී ලිපිගොනු වැනි පෙළ පදනම් කරගත් දත්ත සඳහා විශ්වීය විමසුම් ප්‍රවේශය මෙන්ම වින්ඩෝස් මෙහෙයුම් පද්ධතියේ ප්‍රධාන දත්ත ප්‍රභවයන් වන සිදුවීම් ලොග්, රෙජිස්ට්‍රි, ගොනු පද්ධතිය සහ ක්‍රියාකාරී නාමාවලිය. ආදාන විමසුමේ ප්‍රති results ල පෙළ මත පදනම් වූ නිමැවුමකින් අභිරුචිකරණය කළ හැකිය, නැතහොත් ඒවා SQL, SYSLOG හෝ ප්‍රස්ථාරයක් වැනි විශේෂිත ඉලක්ක වෙත යොමු කළ හැකිය.

උදාහරණ භාවිතය:

C:\>logparser.exe -i:textline -o:tsv "select Index, Text from 'c:\path\to\file.log' where line > 1000 and line < 2000"
C:\>logparser.exe -i:textline -o:tsv "select Index, Text from 'c:\path\to\file.log' where line like '%pattern%'"

ප්‍රමාණවල සාපේක්ෂතාවාදය

100 MB ඉතා විශාල නොවේ. 3 GB විශාලයි. මම එක්සත් ජනපදයේ පළමු පන්තියේ තැපැල් වලින් 2% ක් පමණ නිර්මාණය කළ මුද්‍රිත හා තැපැල් පහසුකමක වැඩ කළෙමි. මම තාක්ෂණික ඊයම් වූ එක් පද්ධතියක් තැපැල් කෑලි වලින් 15 +% ක් පමණ විය. අපට මෙහි සහ එහි නිදොස් කිරීමට විශාල ලිපිගොනු කිහිපයක් තිබුණි.

සහ තවත්...

මෙහි තවත් මෙවලම් සහ තොරතුරු එක් කිරීමට නිදහස් වන්න. මෙම පිළිතුර ප්‍රජා විකියකි! විශාල දත්ත ප්‍රමාණයක් සමඟ ගනුදෙනු කිරීම සඳහා අප සැමට තවත් උපදෙස් අවශ්‍යයි ...


8
+1, මෑතකදී මට බැලීමට අවශ්‍ය විශාල xml ගොනු (+1 ගිගාබයිට්) මා සතුව තිබුණි. මම කවුළුවල සිටින අතර, vim, emacs, notepad ++ සහ තවත් සංස්කාරකවරුන් කිහිපදෙනෙක් ගොනුව සම්පූර්ණයෙන්ම යටපත් කර ගොනුව විවෘත කිරීමට උත්සාහ කරන විට මගේ පද්ධතිය පාහේ භාවිතයට ගත නොහැකි තත්වයට පත්විය. ටික වේලාවකට පසු මට වැටහුණා ඇත්ත වශයෙන්ම ගොනුව -එඩිටර් එකක විවෘත කිරීමට උත්සාහ කිරීම කොතරම් අනවශ්‍යද- මට එය බැලීමට අවශ්‍ය වූ විට. සිග්වින් භාවිතා කිරීම (සහ සමහර දක්ෂ ග්‍රෙප් / අඩු / සෙඩ්-මැජික්) මා උනන්දු වූ කොටස පහසුවෙන් සොයා ගත් අතර කිසිදු කරදරයකින් තොරව එය කියවිය හැකිය.
wasatz

8
ඔබට අඩුවෙන් සිග්වින් අවශ්‍ය නොවේ, ඔබට එය කවුළු යටතේද භාවිතා කළ හැකිය: gnuwin32.sourceforge.net/packages/less.htm
ChristophK

2
මෙහි ඇති මෙම XML සංස්කාරකයට විශාල ගොනු නරඹන්නන්ගේ අංගයක් ද ඇති අතර විශාල ගොනු සඳහා සින්ටැක්ස් වර්ණ ගැන්වීම ද සපයයි. ලිපිගොනු සම්පුර්ණයෙන්ම මතකයට පටවා නැති නිසා බහු-ජීබී ලේඛනයක් ගැටළුවක් නොවිය යුතුය. ඊට අමතරව මෙම මෙවලමට එම විශාල XML ලේඛන වලංගු කළ හැකිය ... මගේ මතය අනුව විශාල XML දත්ත සමඟ වැඩ කිරීමට හොඳම ප්‍රවේශයකි.
lichtfusion

9
හරි ඉතින් මම මගේ ප්‍රශ්නය විසඳුවා. lessවචන එතීම සමඟ මන්දගාමී වේ. less -Sවචන එතුමකින් තොරව විශාල රේඛාවල පවා වේගයෙන් අකුණු සැර වැදී ඇත. මට නැවතත් සතුටුයි!
ඇන්ඩි බ්‍රවුන්

7
නියම පිළිතුර. ඔබ වින්ඩෝස් සඳහා Git ස්ථාපනය කර ඇත්නම්, ඔබට බොහෝ විට Git bash ද ඇති බව සටහන් කිරීමට මට අවශ්‍යය less.
ට්‍රාන්සිස්ටර් 1
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.