මම ලැසෝ එදිරිව රිජ් භාවිතා කළ යුත්තේ කවදාද?


177

මට පරාමිති විශාල සංඛ්‍යාවක් තක්සේරු කිරීමට අවශ්‍ය යැයි පවසන්න, ඒවායින් සමහරක් ද ize ුවම් කිරීමට මට අවශ්‍ය වන්නේ ඒවා අනෙක් ඒවාට සාපේක්ෂව අඩු බලපෑමක් ඇති කළ යුතු යැයි මා විශ්වාස කරන බැවිනි. කුමන ද penal ුවම් ක්‍රමයක් භාවිතා කළ යුතුදැයි මා තීරණය කරන්නේ කෙසේද? රිජ් ප්‍රතිගාමීත්වය වඩාත් සුදුසු වන්නේ කවදාද? මම ලැසෝ භාවිතා කළ යුත්තේ කවදාද?


1
"මට පරාමිති විශාල සංඛ්‍යාවක් තක්සේරු කිරීමට අවශ්‍ය යැයි පවසන්න" මෙය වඩාත් නිවැරදිව කළ හැකිය: රාමුව යනු කුමක්ද? මම හිතන්නේ එය රේඛීය ප්‍රතිගාමී වීමක්ද?
රොබින් ජිරාඩ්

2
මෙටාඕප්ටිමයිස් කිරීම හා සමාන ප්‍රශ්නයක් දැන් විමසා ඇත (l1 = LASSO සහ l2 = රිජ් බව මතක තබා ගනිමින්): metaoptimize.com/qa/questions/5205/…
Gael Varoquaux

ඔබ "ලස්සෝ එදිරිව රිජ්" යැයි කියන්නේ ඒවා එකම විකල්ප දෙක ලෙසය - සාමාන්‍යකරණය කළ ද්විත්ව පැරේටෝ, අශ්ව කරත්ත, බීඑම්ඒ, පාලම සහ වෙනත් දේ ගැන කුමක් කිව හැකිද?
probisislogic

A ගේල් වරොක්වෝ සබැඳිය කැඩී ඇත.
Idonknow

DIdoknow: metaoptimize වසා ඇත. අද භාවිතා කිරීමට ඇති වෙබ් අඩවිය or.stackexchange.com
kjetil b halvorsen

Answers:


113

රිජ් ප්‍රතිගාමීත්වයට සංගුණක ශුන්‍ය කළ නොහැකි බව මතක තබා ගන්න; මේ අනුව, ඔබ එක්කෝ ආකෘතියේ ඇති සියලුම සංගුණක ඇතුළත් වේ, නැතහොත් ඒවා කිසිවක් නැත. ඊට වෙනස්ව, LASSO විසින් පරාමිති හැකිලීම සහ විචල්‍ය තේරීම යන දෙකම ස්වයංක්‍රීයව කරයි. ඔබගේ සමහර කෝවරියට් ඉතා ඉහළ සහසම්බන්ධයක් තිබේ නම්, ඔබට ලාසෝ වෙනුවට ප්‍රත්‍යාස්ථ ජාලය [3] බැලීමට අවශ්‍ය විය හැකිය.

තක්සේරු කිරීම සහ විචල්ය වරණය [2] අනුව අනුකූල වන බැවින් සෘණ නොවන ගරොට් (එන්එන්ජී) [1] භාවිතා කිරීමට මම පුද්ගලිකව නිර්දේශ කරමි. ලාසෝ සහ රිජ් ප්‍රතිගාමීත්වය මෙන් නොව, එන්එන්ජී හට මූලික ඇස්තමේන්තුවක් අවශ්‍ය වන අතර එය ආරම්භය දෙසට හැකිලී යයි. මුල් පත්‍රිකාවේ, බ්‍රේමන් විසින් මූලික ඇස්තමේන්තුව සඳහා අවම-වර්ග විසඳුමක් නිර්දේශ කරයි (කෙසේ වෙතත් ඔබට රිජ් ප්‍රතිගාමී විසඳුමකින් සෙවීම ආරම්භ කිරීමට අවශ්‍ය වන අතර ද penalty ුවම් පරාමිතිය තෝරා ගැනීමට GCV වැනි දෙයක් භාවිතා කරන්න).

පවතින මෘදුකාංග සම්බන්ධයෙන් ගත් කල, මම මුල් එන්එන්ජී මැට්ලබ් හි ක්‍රියාත්මක කර ඇත්තෙමි (බ්‍රෙයිමන්ගේ මුල් ෆෝට්‍රාන් කේතය මත පදනම්ව). ඔබට එය මෙතැනින් බාගත හැකිය:

http://www.emakalic.org/blog/wp-content/uploads/2010/04/nngarotte.zip

BTW, ඔබ බේසියානු විසඳුමක් කැමති නම්, [4,5] බලන්න.

යොමුව:

[1] බ්‍රීමන්, එල්. වඩා හොඳ උපසිරැසි ප්‍රතිගාමීත්වය භාවිතා කිරීම.

[2] යුවාන්, එම්.

[3] සූ, එච්. සහ හස්ටි, ටී. රාජකීය සංඛ්‍යාලේඛන සංගමයේ (බී ශ්‍රේණිය), 2005, 67, 301-320

[4] පාක්, ටී. සහ කැසෙල්ලා, ජී. ඇමරිකානු සංඛ්‍යාන සංගමයේ බේසියානු ලැසෝ ජර්නලය, 2008, 103, 681-686

[5] කියුං, එම් .; ගිල්, ජේ .; ගොෂ්, එම්. සහ කැසෙල්ලා, ජී. දණ්ඩනීය ප්‍රතිගාමීත්වය, සම්මත දෝෂ සහ බේසියානු ලැසෝස් බේසියානු විශ්ලේෂණය, 2010, 5, 369-412


2
රිජ් එදිරිව ලැසෝ ගැන ඔබට වඩාත් නිශ්චිත විය හැකිද? ලැසෝට වැඩි කැමැත්තක් දැක්වීමට එකම හේතුව ස්වයංක්‍රීය විචල්‍ය තේරීමද?
චොග්

46

රිජ් හෝ ලැසෝ යනු විධිමත් රේඛීය ප්‍රතිගාමී ආකාර වේ. නියාමනය කිරීම පෙර පශ්චාත් තක්සේරුකරණ ක්‍රමයකට පෙර ලෙස අර්ථ දැක්විය හැකිය. මෙම අර්ථ නිරූපණය යටතේ, රිජ් සහ ලැසෝ ආදාන සහ ප්‍රතිදාන දත්ත සම්බන්ධ කිරීම සඳහා අනුමාන කරන රේඛීය පරිවර්තනයේ පන්තිය පිළිබඳ විවිධ උපකල්පන සිදු කරයි. කඳු මුදුනේ, රේඛීය පරිණාමනයේ සංගුණක සාමාන්‍යයෙන් බෙදා හරින අතර ලැසෝ තුළ ඒවා ලැප්ලේස් බෙදා හරිනු ලැබේ. ලැසෝ තුළ, මෙය සංගුණක ශුන්‍ය වීම පහසු කරවන අතර එම නිසා ප්‍රතිදානයට දායක නොවන ලෙස ඔබේ ආදාන විචල්‍යය ඉවත් කිරීම පහසු කරයි.

සමහර ප්‍රායෝගික සලකා බැලීම් ද තිබේ. රිජ් ක්‍රියාත්මක කිරීමට ටිකක් පහසු වන අතර ගණනය කිරීමට වේගවත් වේ, එය ඔබ සතුව ඇති දත්ත වර්ගය අනුව වැදගත් වේ.

ඔබ දෙකම ක්‍රියාවට නංවා ඇත්නම්, රිජ් සහ ලැසෝ සොයා ගැනීමට ඔබේ දත්තවල උප කුලක භාවිතා කර ඒවා ඉතිරි වී ඇති දත්ත මත කොතරම් හොඳින් ක්‍රියා කරනවාද යන්න සංසන්දනය කරන්න. කුමන දෝෂ භාවිතා කළ යුතුද යන්න පිළිබඳ අදහසක් ඔබට ලබා දිය යුතුය.


8
මට එය තේරුණේ නැත - ඔබේ සංගුණක ස්ථානගත වී තිබේද නැතිනම් සාමාන්‍ය ලෙස බෙදා හැර තිබේදැයි ඔබ දැන ගන්නේ කෙසේද?
ihadanny

2
රිජ් ප්‍රතිගාමීත්වය ගණනය කිරීමට වේගවත් වන්නේ ඇයි?
ආචී

4
Ar හබාර්: "නියාමනය කිරීම පෙර පශ්චාත් තක්සේරුකරණ ක්‍රමයකට පෙර අර්ථ දැක්විය හැකිය.": කරුණාකර ඔබට මෙම කොටස ගණිතමය සංකේත සමඟ වඩාත් විස්තරාත්මකව පැහැදිලි කළ හැකිද, නැතහොත් අවම වශයෙන් යොමු කිරීමක් කළ හැකිද? ස්තූතියි!
ගණිතය

2
haihadanny ඔබ බොහෝ විට නොදන්නවා විය හැකිය, එය කාරණයකි. ඔබට තීරණය කළ හැක්කේ කුමන පෝස්ටරයක් තබා ගත යුතුද යන්න පමණි .
ෆයර්බග්

1
Ri ආචී OLS මෙන් රිජ් ප්‍රතිගාමීත්වය සඳහා සංවෘත ආකෘති විසඳුමක් ඇත, නමුත් ප්‍රශස්තිකරණ ක්‍රියා පටිපාටි භාවිතා කරමින් ලාසෝ ගණනය කළ යුතුය.
ෆෙරස්

33

සාමාන්‍යයෙන්, ඔබට කුඩා / මධ්‍යම ප්‍රමාණයේ බලපෑම් රාශියක් ඇති විට ඔබ රිජ් සමඟ යා යුතුය. ඔබට මධ්‍යම / විශාල බලපෑමක් ඇති විචල්‍යයන් කිහිපයක් පමණක් තිබේ නම්, ලැසෝ සමඟ යන්න. හස්ටි, ටිබ්ෂිරානි, ෆ්‍රීඩ්මන්


5
නමුත් ඔබට විචල්‍යයන් කිහිපයක් ඇති විට, ඒවා මධ්‍යම / විශාල ප්‍රති effects ල නම් ඒවා සියල්ලම ඔබේ මාදිලිවල තබා ගැනීමට ඔබට අවශ්‍ය විය හැකිය, එය ඒවායින් එකක් ඉවත් කළ හැකි බැවින් එය ලස්සෝ හි සිදු නොවේ. කරුණාකර මෙය විස්තරාත්මකව පැහැදිලි කළ හැකිද? ඔබට බොහෝ විචල්‍යයන් ඇති විට මට දැනෙන්නේ අපි ලාසෝ භාවිතා කරන්නේ අනවශ්‍ය විචල්‍යයන් ඉවත් කිරීමට මිස රිජ් නොවේ.
ආදිත්‍ය භන්දාරි
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.