සම්මත අපගමනයෙහි නිරපේක්ෂ අගය ගැනීම වෙනුවට වෙනස වර්ගීකරණය කරන්නේ ඇයි?

සම්මත අපගමනය අර්ථ දැක්වීම තුළ, ඇයි අපි කල්පනා කර වර්ග මධ්යන්ය (E) ලබා ගැනීමට හා ලබා ගැනීමට මධ්යන්යයේ සිට වෙනස වර්ග මූලය ආපසු අවසානයේ? අපට හුදෙක් නිරපේක්ෂ වටිනාකම ගත නොහැකිද? ඒ වෙනුවට ගෙන ඒවායින් අපේක්ෂිත අගය (මධ්‍යන්‍යය) ලබා ගත නොහැකි අතර එය දත්තවල විචලනය ද පෙන්වන්නේ නැද්ද? අංකය වර්ග ක්‍රමයට වඩා වෙනස් වනු ඇත (නිරපේක්ෂ අගය ක්‍රමය කුඩා වනු ඇත), නමුත් එය තවමත් දත්ත පැතිරීම පෙන්විය යුතුය. මෙම වර්ග ප්‍රවේශය අප සම්මතයක් ලෙස ගන්නේ මන්දැයි කිසිවෙකු දන්නවාද?

සම්මත අපගමනය පිළිබඳ අර්ථ දැක්වීම:

$\sigma = \sqrt{E\left[\left(X - \mu\right)^2\right]}.$

අපට ඒ වෙනුවට නිරපේක්ෂ වටිනාකම ගෙන තවමත් හොඳ මිනුමක් විය නොහැකිද?

$\sigma = E\left[|X - \mu|\right]$

සම්මත අපගමනයෙහි පරමාර්ථය වන්නේ සමමිතික දත්ත කට්ටලයක පැතිරීම සාරාංශ කිරීමයි (එනම් පොදුවේ සෑම දත්තයක් මධ්යන්යයෙන් කොතරම් දුරද යන්න), එවිට අපට එම පැතිරීම මැනිය යුතු ආකාරය නිර්වචනය කිරීමේ හොඳ ක්රමයක් අවශ්ය වේ.

වර්ග කිරීමේ වාසි අතර:

• වර්ග කිරීම සැමවිටම ධනාත්මක අගයක් ලබා දෙයි, එබැවින් එකතුව ශුන්‍ය නොවේ.
• වර්ග කිරීම විශාල වෙනස්කම් අවධාරණය කරයි - එය හොඳ සහ නරක යන දෙකටම හැරෙන ලක්ෂණයකි (පිටස්තරයින්ට ඇති වන බලපෑම ගැන සිතන්න).

කෙසේ වෙතත් වර්ග කිරීම ව්‍යාප්තියේ මිනුමක් ලෙස ගැටළුවක් ඇති අතර එය ඒකක සියල්ලම වර්ග කොට ඇති අතර, පැතිරීම මුල් දත්ත වලට සමාන ඒකකවල පැවතීමට අපි කැමති විය හැකිය (වර්ග පවුම්, වර්ග ඩොලර් හෝ වර්ග ඇපල් ගැන සිතන්න) . එබැවින් වර්ග මූල අපට මුල් ඒකක වෙත ආපසු යාමට ඉඩ දෙයි.

නිරපේක්ෂ වෙනස දත්ත ව්‍යාප්තියට සමාන බරක් ලබා දෙන බව ඔබට පැවසිය හැකි යැයි මම සිතමි. තාක්ෂණික වශයෙන්, අනෙක් අය පෙන්වා දී ඇති පරිදි, වර්ග කිරීම වීජ ගණිතය සමඟ වැඩ කිරීමට වඩා පහසු කරවන අතර නිරපේක්ෂ ක්‍රමයට නොගැලපෙන ගුණාංග ඉදිරිපත් කරයි (නිදසුනක් ලෙස, විචලනය බෙදාහැරීමේ වර්ගයේ අපේක්ෂිත අගයට සමාන වේ. බෙදා හැරීමේ මධ්‍යන්‍යය)

කෙසේ වෙතත්, ඔබ 'පැතිරීම' නැරඹීමට කැමති ආකාරය පිළිබඳ ඔබේ මනාපය නම් ඔබට නිරපේක්ෂ වෙනසක් කිරීමට නොහැකි වීමට හේතුවක් නොමැති බව සැලකිල්ලට ගැනීම වැදගත්ය (සමහර අය 5% ක්-valuesසඳහා යම් ඉන්ද්‍රජාලික එළිපත්තක් ලෙස දකින ආකාරය, ඇත්ත වශයෙන්ම එය තත්වය මත රඳා පවතී). ඇත්ත වශයෙන්ම, පැතිරීම මැනීම සඳහා ඇත්ත වශයෙන්ම තරඟකාරී ක්‍රම කිහිපයක් තිබේ.$p$

පයිතගරස් සංඛ්‍යාලේඛන ප්‍රමේයයට එය සම්බන්ධ වන්නේ කෙසේදැයි සිතා බැලීමට මා කැමති නිසා වර්ග අගයන් භාවිතා කිරීම මගේ අදහසයි: … මෙය ස්වාධීන අහඹු විචල්‍යයන් සමඟ වැඩ කරන විට මතක තබා ගැනීමට ද උපකාරී වේ , විචල්‍යතා එකතු කරයි, සම්මත අපගමනයන් සිදු නොවේ. නමුත් එය මගේ පෞද්ගලික ආත්මීය මනාපය පමණක් වන අතර එය මම බොහෝ විට භාවිතා කරන්නේ මතක ආධාරකයක් ලෙස පමණි, මෙම ඡේදය නොසලකා හැරීමට නිදහස් වන්න.$c = \sqrt{a^2 + b^2}$

වඩාත් ගැඹුරු විශ්ලේෂණයක් මෙහි කියවිය හැකිය .

වර්ග වෙනස වඩා හොඳ ගණිතමය ගුණ ඇත; එය අඛණ්ඩව අවකලනය කළ හැකි ය (ඔබට එය අවම කිරීමට අවශ්‍ය වූ විට හොඳයි), එය ගවුසියානු බෙදා හැරීම සඳහා ප්‍රමාණවත් සංඛ්‍යාලේඛනයක් වන අතර, එය (සංස්කරණයක්) L2 ප්‍රමිතිය අභිසාරී බව ඔප්පු කිරීම සඳහා ප්‍රයෝජනවත් වේ.

මධ්යන්ය නිරපේක්ෂ අපගමනය (ඔබ යෝජනා කරන නිරපේක්ෂ අගය අංකනය) ද විසුරුවා හැරීමේ මිනුමක් ලෙස භාවිතා කරයි, නමුත් එය වර්ග දෝෂය ලෙස "හොඳින් හැසිරුණු" නොවේ.

ඔබට මෙය සිතිය හැකි එක් ක්‍රමයක් නම් සම්මත අපගමනය “මධ්‍යන්‍යයෙන් distance ත්වීම” ට සමාන වීමයි.

මෙය යුක්ලීඩියානු අවකාශයේ දුර සමඟ සසඳන්න - මෙය ඔබට නියම දුර ලබා දෙයි, එහිදී ඔබ යෝජනා කළ දෙය (btw, නිරපේක්ෂ අපගමනය ) මෑන්හැටන් දුර ගණනය කිරීමකට සමාන වේ.

මෙම හේතුව අපි ඒ වෙනුවට පරම දෝෂයක් සම්මත අපගමනය ගණනය බව අපි සිටින බව ය සාමාන්යයෙන් බෙදා හැරීම සඳහා වැරදි උපකල්පනය . එය ආකෘතියේ කොටසකි.

ඔබ පාලකයෙකු සමඟ ඉතා කුඩා දිගක් මනින්නේ යැයි සිතමු, එවිට සම්මත අපගමනය වැරදි සඳහා නරක මෙට්‍රික් එකක් වන්නේ ඔබ කිසි විටෙකත් අහම්බෙන් negative ණ දිගක් මනින්නේ නැති බව ඔබ දන්නා බැවිනි. ඔබේ මිනුම්වලට ගැමා බෙදාහැරීමක් සකස් කිරීමට වඩා හොඳ මෙට්‍රික් එකක් වනු ඇත:

$\log(E(x)) - E(\log(x))$

සම්මත අපගමනය මෙන් මෙයද negative ණාත්මක නොවන අතර අවකලනය කළ හැකි නමුත් එය මෙම ගැටළුව සඳහා වඩා හොඳ දෝෂ සංඛ්‍යාලේඛනයකි.

මට වඩාත්ම තෘප්තිමත් වූ පිළිතුර නම් එය ස්වාභාවිකවම නියැදියක් සාමාන්‍යකරණය කිරීමේ සිට n-මාන යුක්ලීඩියානු අවකාශය දක්වා වැටීමයි. එය කළ යුතු දෙයක්ද යන්න නිසැකවම විවාදාත්මක ය, නමුත් ඕනෑම අවස්ථාවක:

$n$$X_i$$\mathbb R^n$$x_i$$\bf x$$\mu$$X_i=\mu$$\hat\mu=\bar x$$\hat\mu\bf 1$$\sqrt{\frac{n-1} n}\hat\sigma=\|\bf x-\hat\mu\bf 1\|$

සහසම්බන්ධය සඳහා ජ්‍යාමිතික අර්ථ නිරූපණයක් මෙම ප්‍රවේශය මඟින් ඔබට ලැබේ .$\hat\rho=\cos \angle(\vec{\bf\tilde x},\vec{\bf\tilde y})$

මධ්යන්යයෙන් වෙනස වර්ග කිරීමට හේතු කිහිපයක් තිබේ.

• විචල්‍යතාවය අපගමනයෙහි 2 වන මොහොත ලෙස අර්ථ දැක්වේ (මෙහි RV ) මේ අනුව චතුරස්රය යනු අහඹු විචල්‍යයේ ඉහළ බලයන්ගේ අපේක්ෂාවන්ය.$(x-\mu)$

• නිරපේක්ෂ අගය ශ්‍රිතයට ප්‍රතිවිරුද්ධව චතුරස්රයක් තිබීම හොඳ අඛණ්ඩ හා අවකලනය කළ හැකි ශ්‍රිතයක් ලබා දෙයි (නිරපේක්ෂ අගය 0 ට වෙනස් නොවේ) - එමඟින් එය ස්වාභාවික තේරීමක් බවට පත් කරයි, විශේෂයෙන් තක්සේරු කිරීමේ හා ප්‍රතිගාමී විශ්ලේෂණයේ සන්දර්භය තුළ.

• වර්ග සැකසීම ස්වාභාවිකවම සාමාන්‍ය බෙදාහැරීමේ පරාමිතීන්ගෙන් බැහැර වේ.

සම්මත අපගමනය නිරපේක්ෂ අපගමනයට වඩා “කාර්යක්ෂම” බව පෙන්වූ ෆිෂර් විසින්ම තවත් හේතුවක් (ඉහත විශිෂ්ට ඒවාට අමතරව) පැමිණේ. ජනගහනයෙන් විවිධ නියැදි වල සංඛ්‍යාලේඛනවල වටිනාකම කොතරම් උච්චාවචනය වේද යන්න මෙහිදී කාර්යක්ෂම වේ. ඔබේ ජනගහනය සාමාන්‍යයෙන් බෙදා හරිනු ලැබුවහොත්, එම ජනගහනයෙන් විවිධ සාම්පලවල සම්මත අපගමනය සාමාන්‍යයෙන් ඔබට එකිනෙකට සමාන අගයන් ලබා දීමට නැඹුරු වන අතර නිරපේක්ෂ අපගමනය මඟින් ඔබට තව ටිකක් ව්‍යාප්ත වන සංඛ්‍යා ලබා දෙනු ඇත. දැන්, පැහැදිලිවම මෙය පරිපූර්ණ තත්වයන් තුළ පවතී, නමුත් මෙම හේතුව නිසා බොහෝ දෙනෙකුට ඒත්තු ගැන්වී ඇත (ගණිතය පිරිසිදු වීමත් සමඟ), එබැවින් බොහෝ අය සම්මත අපගමනය සමඟ වැඩ කළහ.

මිනිසුන් දන්නා පරිදි, එකම මාතෘකාව පිළිබඳ ගණිත පිටාර ගැලීමේ ප්‍රශ්නයක් තිබේ.

සම්මත-අපගමනය සොයා ගැනීමේදී-එය-එතරම්-සිසිල්-වර්ග-සංඛ්‍යා-ඇයි?

රැගෙන යාමේ පණිවිඩය නම් විචල්‍යයේ වර්ගමූලය භාවිතා කිරීම පහසු ගණිතයකට මඟ පෙන්වන බවයි. ඒ හා සමාන ප්‍රතිචාරයක් ඉහත පොහොසත් සහ රීඩ් විසින් දෙනු ලැබේ.

$\newcommand{\var}{\operatorname{var}}$ විචල්‍යතා ආකලන වේ: ස්වාධීන අහඹු විචල්‍යයන් සඳහා , var ( X 1 + ⋯ + X n ) = var ( X 1 ) + ⋯ + var ( X n ) $X_1,\ldots,X_n$

$$\var(X_1+\cdots+X_n)=\var(X_1)+\cdots+\var(X_n).$$

මෙය කළ හැකි දේ සැලකිල්ලට ගන්න: මම සාධාරණ කාසියක් 900 වතාවක් විසි කළ බව පවසන්න. මට ලැබෙන හිස් ගණන 440 ත් 455 ත් අතර විය හැකි සම්භාවිතාව කුමක්ද? අපේක්ෂිත හිස් සංඛ්‍යාව ( ) සහ හිස් සංඛ්‍යාවේ විචලනය ( ) සොයා ගන්න, ඉන්පසු සාමාන්‍ය (හෝ ගවුසියානු) බෙදාහැරීමක් සමඟ අපේක්ෂාව සමඟ සම්භාවිතාව සොයා ගන්න සහ සම්මත අපගමනය අතර සහ . 18 වන ශතවර්ෂයේදී ආබ්‍රහම් ඩි මොයිව්රේ කාසි කාසි මගින් මෙය සිදු කළ අතර, එමඟින් මුලින්ම පෙන්වූයේ සීනුව හැඩැති වක්‍රය යම්කිසි වටිනාකමක් ඇති බවයි.225 = 15 2 450 15 439.5 $450$$225=15^2$$450$$15$$439.5$$455.5$

ඔබ තනි විචල්‍යයකින් ඔබ්බට ගොස් රේඛීය ප්‍රතිගාමීත්වය ගැන සිතන විට නිරපේක්ෂ අපගමනය හා වර්ග අපගමනය භාවිතා කිරීම අතර වෙනස පැහැදිලි වනු ඇතැයි මම සිතමි. එහි දී හොඳ සාකච්ඡාවක් තියෙන්නේ http://en.wikipedia.org/wiki/Least_absolute_deviations , විශේෂයෙන් කොටස ඇප්ලට් ක පිළිවෙළකට කට්ටලයක් සමග සමහර ශිෂ්ය අභ්යාස හා සම්බන්ධ, "ඌන නිරපේක්ෂ වීම් සමග අවම කොටු සැසඳිය" // www: http .math.wpi.edu / Course_Materials / SAS / lablets / 7.3 / 73_choices.html .

සාරාංශගත කිරීම සඳහා, අවම නිරපේක්ෂ අපගමනය සාමාන්‍ය අවම චතුරස්රයන්ට වඩා පිටස්තරයින්ට වඩා ශක්තිමත් ය, නමුත් එය අස්ථායී විය හැකිය (එක් දත්තයක පවා කුඩා වෙනසක් මඟින් සුදුසු රේඛාවේ විශාල වෙනසක් ලබා දිය හැකිය) සහ සෑම විටම අද්විතීය විසඳුමක් නොමැත - තිබිය හැකිය සවි කර ඇති රේඛා වල මුළු පරාසය. අවම වශයෙන් නිරපේක්ෂ අපගමනයන්ට පුනරාවර්තන ක්‍රම අවශ්‍ය වන අතර සාමාන්‍ය අවම චතුරස්රයන්ට සරල සංවෘත ආකෘති විසඳුමක් ඇත. ඇත්ත වශයෙන්ම එය ගෝස් සහ ලෙජෙන්ඩ්‍රේගේ කාලයේ දී මෙන් එතරම් විශාල ගනුදෙනුවක් නොවේ.

හේතු බොහොමයක් ඇත; බොහෝ විට ප්රධාන දෙය නම් එය සාමාන්ය බෙදාහැරීමේ පරාමිතිය ලෙස හොඳින් ක්රියා කිරීමයි.

බෙදාහැරීමක සම්මත අපගමනය තක්සේරු කිරීම සඳහා දුරක් තෝරා ගැනීම අවශ්‍ය වේ.
පහත දැක්වෙන ඕනෑම දුරක් භාවිතා කළ හැකිය:

$$d_n((X)_{i=1,\ldots,I},\mu)=\left(\sum | X-\mu|^n\right)^{1/n}$$

අපි සාමාන්‍යයෙන් ස්වාභාවික යුක්ලීඩියානු දුර ( ) භාවිතා කරන අතර එය සෑම කෙනෙකුම එදිනෙදා ජීවිතයේදී භාවිතා කරයි. ඔබ යෝජනා කරන දුර සමඟ ඇති දුර වේ . දෙදෙනාම හොඳ අපේක්ෂකයින් නමුත් ඔවුන් වෙනස් ය.$n=2$$n=1$

කෙනෙකුට ද භාවිතා කිරීමට තීරණය කළ හැකිය .$n=3$

ඔබ මගේ පිළිතුරට කැමති වනු ඇතැයි මට විශ්වාස නැත, අනෙක් අයට වඩා මගේ අදහස නම් වඩා හොඳ බව නිරූපණය කිරීම නොවේ . බෙදාහැරීමක සම්මත අපගමනය තක්සේරු කිරීමට ඔබට අවශ්‍ය නම්, ඔබට නියත වශයෙන්ම වෙනස් දුරක් භාවිතා කළ හැකි යැයි මම සිතමි.$n=2$

බොහෝ ආකාරවලින්, විසරණය සාරාංශ කිරීම සඳහා සම්මත අපගමනය භාවිතා කිරීම නිගමනයකට එළඹේ. SD යනු සමමිතික ව්‍යාප්තියක් උපකල්පනය කරන බව ඔබට පැවසිය හැකිය. එස්ඩී යනු සංඛ්‍යාන නොවන අයට අර්ථ නිරූපණය කිරීම පුදුම සහගතය. ගිනිගේ මධ්‍යන්‍ය වෙනස වඩා පුළුල් යෙදුමක් ඇති අතර සැලකිය යුතු ලෙස අර්ථ නිරූපණය කළ හැකි යැයි කෙනෙකුට තර්ක කළ හැකිය. එස්ඩී භාවිතය මධ්යන්යය සඳහා කරන ආකාරයට මධ්යම ප්රවණතාවයේ මිනුමක් තෝරා ගැනීම ප්රකාශ කිරීමට කෙනෙකුට අවශ්ය නොවේ. ගිනිගේ මධ්‍යන්‍ය වෙනස යනු ඕනෑම වෙනස් නිරීක්ෂණ දෙකක් අතර සාමාන්‍ය නිරපේක්ෂ වෙනසයි. ශක්තිමත් හා අර්ථ නිරූපණය කිරීමට අමතරව, බෙදා හැරීම ඇත්ත වශයෙන්ම ගෝස්සියානු නම් එය එස්ඩී මෙන් 0.98 කාර්යක්ෂම වේ.

එය "දත්ත පැතිරීම" යැයි ඔබ පවසන විට ඔබ කතා කරන දේ මත රඳා පවතී. මට මෙය කරුණු දෙකක් අදහස් කළ හැකිය:

1. නියැදි බෙදාහැරීමක පළල
2. දී ඇති ඇස්තමේන්තුවක නිරවද්‍යතාවය

$E(|X-\mu|)$$E(X^2)$$E(|X|)$

$D$$I$$\theta$

$$p(\theta\mid DI)=\frac{\exp\left(h(\theta)\right)}{\int \exp\left(h(t)\right)\,dt}\;\;\;\;\;\;h(\theta)\equiv\log[p(\theta\mid I)p(D\mid\theta I)]$$

$t$$\theta$$\theta_\max$

$$h(\theta)\approx h(\theta_\max)+(\theta_\max-\theta)h'(\theta_\max)+\frac{1}{2}(\theta_\max-\theta)^{2}h''(\theta_\max)$$

නමුත් අපට මෙහි ඇත්තේ යනු “හොඳින් වටකුරු” උපරිමයක් වන නිසා, , එබැවින් අපට ඇත්තේ:$\theta_\max$$h'(\theta_\max)=0$

$$h(\theta)\approx h(\theta_\max)+\frac{1}{2}(\theta_\max-\theta)^{2}h''(\theta_\max)$$

අපි මෙම ඇස්තමේන්තුව ඇතුල් කළහොත් අපට ලැබෙන්නේ:

$$p(\theta\mid DI)\approx\frac{\exp\left(h(\theta_\max)+\frac{1}{2}(\theta_\max-\theta)^{2}h''(\theta_\max)\right)}{\int \exp\left(h(\theta_\max)+\frac{1}{2}(\theta_\max-t)^{2}h''(\theta_\max)\right)\,dt}$$

$$=\frac{\exp\left(\frac{1}{2}(\theta_\max-\theta)^{2}h''(\theta_\max)\right)}{\int \exp\left(\frac{1}{2}(\theta_\max-t)^{2}h''(\theta_\max)\right)\,dt}$$

කුමන, නමුත් අංකනය සඳහා සාමාන්‍ය බෙදාහැරීමක් වන අතර මධ්‍යන්‍යය ට සමාන වන අතර විචලනය සමාන වේ$E(\theta\mid DI)\approx\theta_\max$

$$V(\theta\mid DI)\approx \left[-h''(\theta_\max)\right]^{-1}$$

( සැමවිටම ධනාත්මක වන්නේ අපට හොඳින් වටකුරු උපරිමයක් ඇති බැවිනි). එබැවින් මෙයින් අදහස් වන්නේ “නිත්‍ය ගැටලු” (ඒවායින් බොහොමයක්), විචලනය යනු සඳහා ඇස්තමේන්තු වල නිරවද්‍යතාවය තීරණය කරන මූලික ප්‍රමාණයයි . එබැවින් දත්ත විශාල ප්‍රමාණයක් මත පදනම් වූ ඇස්තමේන්තු සඳහා, සම්මත අපගමනය න්‍යායාත්මකව බොහෝ අර්ථවත් කරයි - එය මූලික වශයෙන් ඔබ දැනගත යුතු සියල්ල ඔබට කියයි. with සමඟ බහු-මාන නඩුවේදී එකම තර්කය අදාළ වේ (එකම කොන්දේසි සහිතව). හෙසියන් අනුකෘතියකි. විකර්ණ ඇතුළත් කිරීම් ද මෙහි අත්‍යවශ්‍යයෙන්ම විචල්‍ය වේ.$-h''(\theta_\max)$$\theta$$h''(\theta)_{jk}=\frac{\partial h(\theta)}{\partial \theta_j \, \partial \theta_k}$

එම්එල්ඊ දත්තවල බර සංයෝජනයක් වන බැවින් විශාල සම්භාවිතාව පිළිබඳ ක්‍රමවේදය නිතර භාවිතා කරන්නා එකම නිගමනයකට එළඹෙනු ඇති අතර විශාල සාම්පල සඳහා මධ්‍යම සීමිත ප්‍රමේයය අදාළ වන අතර අපි මූලික වශයෙන් එකම ප්‍රති result ලය ලබා ගන්නේ අපි take නමුත් සහ හුවමාරු කර ඇත: (මා කැමති කුමන ආදර්ශයදැයි ඔබට අනුමාන කළ හැකිදැයි බලන්න: P). එබැවින් කෙසේ හෝ පරාමිති තක්සේරු කිරීමේදී සම්මත අපගමනය පැතිරීමේ වැදගත් න්‍යායාත්මක මිනුමකි.θ θ උපරිම පි ( θ උපරිම | θ ) ≈ එන් ( θ , [ - h " ( θ උපරිම ) ] - 1$p(\theta\mid I)=1$$\theta$$\theta_\max$

$$p(\theta_\max\mid\theta)\approx N\left(\theta,\left[-h''(\theta_\max)\right]^{-1}\right)$$

“නිරපේක්ෂ වටිනාකම ගැනීම” වෙනුවට “වෙනස වර්ග කරන්නේ ඇයි”? ඉතා නිවැරදිව පිළිතුරු දීමට නම්, එය සම්මත කර ගැනීමට හේතු සහ එම හේතු බොහොමයක් නොපැවැත්වීමට හේතුව සපයන සාහිත්‍යයක් ඇත. "අපට නිරපේක්ෂ වටිනාකම ගත නොහැකිද ...?". සාහිත්‍යය ගැන මම දනිමි, පිළිතුර ඔව් එය සිදු කෙරෙමින් පවතින අතර එසේ කිරීමෙන් වාසිදායක යැයි තර්ක කෙරේ.

කර්තෘ ගෝරාඩ් පවසන්නේ, පළමුව, චතුරස්රයන් භාවිතා කිරීම ගණනය කිරීමේ සරල බව හේතු කොට ගෙන කලින් සම්මත කර ගත් නමුත් එම මුල් හේතු තවදුරටත් නොපවතින බවයි. දෙවනුව, OLS සම්මත කර ගත් බව ගෝරාඩ් ප්‍රකාශ කරයි. OLS භාවිතා කළ විශ්ලේෂණ සාම්පලවල ප්‍රති results ලවල නිරපේක්ෂ වෙනස්කම් (දළ වශයෙන් ප්‍රකාශිත) වලට වඩා කුඩා අපගමනයන් ඇති බව ෆිෂර් විසින් සොයා ගන්නා ලදී. මේ අනුව, සමහර පරිපූර්ණ තත්වයන් තුළ OLS හට ප්‍රතිලාභ තිබිය හැකි බව පෙනේ; කෙසේ වෙතත්, ගෝරාඩ් සඳහන් කරන්නේ සැබෑ ලෝක තත්වයන් යටතේ (නිරීක්ෂණ අසම්පූර්ණ ලෙස මැනීම, ඒකාකාරී නොවන බෙදාහැරීම්, නියැදියකින් අනුමාන කිරීමකින් තොරව ජනගහනයක් පිළිබඳ අධ්‍යයනයන්), චතුරස්රයන් භාවිතා කිරීම වඩා නරක බව යම් එකඟතාවයක් ඇති බව (ඔහු ෆිෂර් එකඟ වූ බවයි) නිරපේක්ෂ වෙනස්කම්.

ඔබගේ ප්‍රශ්නයට ගෝරාඩ්ගේ ප්‍රතිචාරය "අපට ඒ වෙනුවට වෙනසෙහි නිරපේක්ෂ වටිනාකම ගෙන ඒවායින් අපේක්ෂිත වටිනාකම (මධ්‍යන්‍යය) ලබා ගත නොහැකිද?" ඔව්. තවත් වාසියක් නම්, වෙනස්කම් භාවිතා කිරීමෙන් අප ජීවිතයේ එම අදහස් අත්විඳින ආකාරය හා සම්බන්ධ මිනුම් (දෝෂ සහ විචලනයේ මිනුම්) නිපදවීමයි. ගෝරාඩ් පවසන්නේ අවන්හල් බිල්පත ඒකාකාරව බෙදූ අය සිතන අතර එම ක්‍රමය අසාධාරණ බව සමහරු සිතාමතාම දකිනු ඇත. එහි කිසිවෙකු වැරදි මඟහරවා නොගනී; වෙනස්කම් කාරණයයි.

අවසාන වශයෙන්, නිරපේක්ෂ වෙනස්කම් භාවිතා කරමින්, ඔහු එක් එක් නිරීක්‍ෂණයට එක හා සමානව සලකන අතර, වෙනස වර්ග කිරීම මගින් නිරීක්‍ෂණයන් හොඳින් පුරෝකථනය කරන ලද නිරීක්ෂණවලට වඩා දුර්වල ලෙස පුරෝකථනය කරයි, එය ඇතැම් නිරීක්ෂණ කිහිප වතාවක් අධ්‍යයනයට ඇතුළත් කිරීමට ඉඩ දීම වැනි ය. සාරාංශයක් ලෙස, ඔහුගේ සාමාන්‍ය තෙරපුම නම්, අද දින චතුරස්රයන් භාවිතා කිරීමට බොහෝ ජයග්රහණ හේතු නොමැති බවත්, ඊට වෙනස්ව නිරපේක්ෂ වෙනස්කම් භාවිතා කිරීමෙන් වාසි ඇති බවත් ය.

යොමුව:

• ගෝරාඩ්, එස්. (2005). වසර 90 ක් පැරණි විවාදය යොදාගැනීම: මධ්යන්ය අපගමනය ඇති වාසි , අධ්යාපන අධ්යයන, 53 පිළිබඳ බ්රිතාන්ය සඟරාව ., 4, පි 417-430.
• ගෝරාඩ්, එස්. (2013). මධ්යන්ය නිරපේක්ෂ අපගමනය 'බලපෑම' ප්රමාණයේ ඇති වාසි , සමාජ පර්යේෂණ යාවත්කාලීන කිරීම , 65: 1.

නිරපේක්ෂ අගයන්ට වඩා පහසුවෙන් ගණිතමය ක්‍රියාකාරකම් හෝ කාර්යයන් භාවිතා කිරීමට චතුරස්රයන්ට ඉඩ දිය හැකි බැවිනි.

උදාහරණය: චතුරස්රයන් ඒකාබද්ධ කළ හැකිය, අවකලනය කළ හැකිය, ත්රිකෝණමිතික, ල ar ු ගණකය සහ වෙනත් කාර්යයන් සඳහා පහසුවෙන් භාවිතා කළ හැකිය.

සසම්භාවී විචල්යයන් එකතු කරන විට, ඒවායේ විචලනයන් සියලු බෙදාහැරීම් සඳහා එකතු වේ. විචලනය (සහ එබැවින් සම්මත අපගමනය) සෑම බෙදාහැරීමකටම පාහේ ප්‍රයෝජනවත් මිනුමක් වන අතර එය කිසිසේත් ගෝස්සියානු ("සාමාන්‍ය") බෙදාහැරීම් වලට සීමා නොවේ. එය අපගේ දෝෂ මිනුම ලෙස භාවිතා කිරීමට කැමැත්තක් දක්වයි. අද්විතීයභාවය නොමැතිකම නිරපේක්ෂ වෙනස්කම් සමඟ බරපතල ගැටළුවක් වන අතර බොහෝ විට අසීමිත සමාන මිනුම් “ගැලපීම්” ඇති අතර පැහැදිලිවම “මැද සිටින තැනැත්තා” වඩාත් යථාර්ථවාදීව අනුග්‍රහය දක්වයි. එසේම, වර්තමාන පරිගණක සමඟ වුවද, පරිගණක කාර්යක්ෂමතාව වැදගත් වේ. මම විශාල දත්ත කට්ටල සමඟ වැඩ කරන අතර CPU කාලය වැදගත් වේ. කෙසේ වෙතත්, පෙර පිළිතුරු වලින් පෙන්වා දී ඇති පරිදි, අවශේෂවල නිරපේක්ෂ “හොඳම” මිනුමක් නොමැත. විවිධ තත්වයන් සමහර විට විවිධ ක්‍රියාමාර්ග ඉල්ලා සිටී.

ස්වාභාවිකවම ඔබට ඕනෑම ආකාරයකින් අර්ථවත් ලෙස බෙදාහැරීමක් විසුරුවා හැරිය හැකිය (නිරපේක්ෂ අපගමනය, ප්‍රමාණ, ආදිය).

එක් හොඳ කරුණක් නම්, විචලනය දෙවන කේන්ද්‍රීය මොහොත වන අතර, සෑම බෙදාහැරීමක්ම පවතින්නේ නම් එහි අවස්ථාවන් අනුව අද්විතීය ලෙස විස්තර කෙරේ. තවත් හොඳ කරුණක් නම්, විචල්‍යතාව ගණිතමය වශයෙන් ඕනෑම සංසන්දනාත්මක මෙට්‍රික් එකකට වඩා බොහෝ සෙයින් පත්‍රිකා ගත හැකි වීමයි. තවත් කරුණක් නම්, විචල්‍යතාවය සාමාන්‍ය පරාමිතිකරණය සඳහා වන සාමාන්‍ය බෙදාහැරීමේ පරාමිති දෙකෙන් එකක් වන අතර සාමාන්‍ය බෙදාහැරීමෙහි ඇත්තේ ශුන්‍ය නොවන කේන්ද්‍රීය අවස්ථා 2 ක් පමණි. සාමාන්‍ය නොවන බෙදාහැරීම් සඳහා වුවද සාමාන්‍ය රාමුවක් තුළ සිතීම ප්‍රයෝජනවත් වේ.

මා දකින පරිදි, සම්මත අපගමනය පැවතීමට හේතුව යෙදුම්වල විචල්‍යයේ වර්ග මූල නිතිපතා දිස්වීමයි (අහඹු විචල්‍යතාවයක් ප්‍රමිතිකරණය කිරීම වැනි), ඒ සඳහා නමක් අවශ්‍ය විය.

සම්මත අපගමනයෙහි නිරපේක්ෂ අගය ගැනීම වෙනුවට වෙනස වර්ගීකරණය කරන්නේ ඇයි?

අපි x හි වෙනස මධ්යන්යයෙන් වර්ග කරමු, මන්ද යුක්ලීඩියානු දුර ප්රමාණයේ නිදහසේ අංශක වර්ග මූලයට සමානුපාතික වේ (x හි සංඛ්යාව, ජනගහන මිනුමක) විසුරුවා හැරීමේ හොඳම මිනුමයි.

එනම්, x හි ශුන්‍ය මධ්යන්ය ඇති විට :$\mu = 0$

$$\sigma = \sqrt{\frac{\displaystyle\sum_{i=1}^{n}(x_i - \mu)^2} {n}} = \frac{\sqrt{\displaystyle\sum_{i=1}^{n}(x_i)^2}} {\sqrt{n}} = \frac{distance}{\sqrt{n}}$$

චතුරස්රවල එකතුවෙහි වර්ග මූලය යනු එක් එක් දත්ත ලක්ෂ්යයෙන් දැක්වෙන ඉහළ මානයන්හි අවකාශයේ මධ්යන්යයේ සිට ලක්ෂ්යයට ඇති බහුවිධ දුරයි.

දුර ගණනය කිරීම

ලක්ෂ්යයේ සිට 5 වන ස්ථානය දක්වා ඇති දුර කුමක්ද?

• $5-0 = 5$ ,
• $|0-5| = 5$ , සහ
• $\sqrt{5^2} = 5$

හරි, එය සුළු දෙයක් නිසා එය තනි මානයක්.

ලක්ෂ්‍යය (0, 0) සිට ලක්ෂ්‍යය (3, 4) දක්වා ඇති දුර කෙසේද?

අපට වරකට 1 මානයකින් පමණක් යා හැකි නම් (නගර කුට්ටි මෙන්) එවිට අපි සංඛ්‍යා එකතු කරමු. (මෙය සමහර විට මෑන්හැටන් දුර ලෙස හැඳින්වේ).

නමුත් එකවර මානයන් දෙකකින් ගමන් කිරීම ගැන කුමක් කිව හැකිද? ඉන්පසුව (අප සියල්ලන්ම උසස් පාසලේ ඉගෙන ගත් පයිතගරස් ප්‍රමේයයෙන්), අපි එක් එක් මානයන්හි දුර ප්‍රමාණය වර්ග කර, චතුරස්රයන් එකතු කර, පසුව මූලයේ සිට ලක්ෂ්‍යය දක්වා දුර සොයා ගැනීමට වර්ග මූලය ගනිමු.

$$\sqrt{3^2 + 4^2} = \sqrt{25} = 5$$

දෘශ්‍යමය වශයෙන් (කේතය ජනනය කිරීම සඳහා පිළිතුරේ සලකුණු ප්‍රභවය බලන්න):

ඉහළ මානයන්ගෙන් දුර ගණනය කිරීම

දැන් අපි ත්‍රිමාන නඩුව සලකා බලමු, උදාහරණයක් ලෙස, ලක්ෂ්‍යය (0, 0, 0) සිට ලක්ෂ්‍යය (2, 2, 1) දක්වා ඇති දුර කෙසේද?

මෙය සාධාරණයි

$$\sqrt{\sqrt{2^2 + 2^2}^2 + 1^2} = \sqrt{2^2 + 2^2 + 1^2} = \sqrt9 = 3$$

පළමු x දෙක සඳහා ඇති දුර අවසාන x සමඟ මුළු දුර ගණනය කිරීම සඳහා කකුල සාදයි.

$$\sqrt{\sqrt{x_1^2 + x_2^2}^2 + x_3^2} = \sqrt{x_1^2 + x_2^2 + x_3^2}$$

දෘශ්‍යමය වශයෙන් නිරූපණය කර ඇත:

එක් එක් මානයන්හි දුර වර්ග කිරීමේ නියමය අපට දිගින් දිගටම දීර් can කළ හැකිය, මෙය අපි යුක්ලීඩියානු දුරක් ලෙස හඳුන්වන දෙයට සාමාන්‍යකරණය කරයි, අධිමාන මාන අවකාශයේ විකලාංග මිනුම් සඳහා, එසේ ය:

$$distance = \sqrt{ \sum\nolimits_{i=1}^n{x_i^2} }$$

විකලාංග චතුරස්රවල එකතුව වර්ග දුර වේ:

$$distance^2 = \sum_{i=1}^n{x_i^2}$$

විකලාංග (හෝ සෘජු කෝණවලින්) මැනීම තවත් කෙනෙකුට කරන්නේ කුමක්ද? කොන්දේසිය නම් මිනුම් දෙක අතර සම්බන්ධයක් නොමැති වීමයි. අප අපගේ මෙම මිනුම් බලන ස්වාධීන සහ තනි තනිව බෙදා , ( iid ).

විචලනය

දැන් ජනගහන විචලනය සඳහා වූ සූත්‍රය සිහිපත් කරන්න (එයින් අපට සම්මත අපගමනය ලැබෙනු ඇත):

$$\sigma^2 = \frac{\displaystyle\sum_{i=1}^{n}(x_i - \mu)^2} {n}$$

මධ්යන්යය අඩු කිරීමෙන් අපි දැනටමත් 0 හි දත්ත කේන්ද්රගත කර ඇත්නම්, අපට ඇත්තේ:

$$\sigma^2 = \frac{\displaystyle\sum_{i=1}^{n}(x_i)^2} {n}$$

එබැවින් විචලතාව යනු වර්ග ප්‍රමාණය හෝ (ඉහත බලන්න), නිදහසේ අංශක ගණනින් බෙදනු ලැබේ (විචල්‍යයන් වෙනස් වීමට ඉඩ ඇති මානයන් ගණන). මෙය මිනුම් සඳහා ක සාමාන්‍ය දායකත්වය ද වේ. “මධ්‍ය වර්ග විචල්‍යතාව” ද සුදුසු යෙදුමකි.$distance^2$$distance^2$

සම්මත අපගමනය

එවිට අපට සම්මත අපගමනය ඇත, එය විචල්‍යයේ වර්ග මූලය පමණි:

$$\sigma = \sqrt{\frac{\displaystyle\sum_{i=1}^{n}(x_i - \mu)^2} {n}}$$

නිදහසේ අංශකවල වර්ග මූලයෙන් බෙදී ඇති දුර සමාන වේ .

$$\sigma = \frac{\sqrt{\displaystyle\sum_{i=1}^{n}(x_i)^2}} {\sqrt{n}}$$

මධ්යන්ය අපගමනය

මධ්යන්ය නිරපේක්ෂ අපගමනය (MAD) යනු මෑන්හැටන් දුර භාවිතා කරන විසරණයක මිනුමකි, නැතහොත් මධ්යන්යයේ වෙනස්කම් වල නිරපේක්ෂ අගයන්ගේ එකතුවකි.

$$MAD = \frac{\displaystyle\sum_{i=1}^{n}|x_i - \mu|} {n}$$

නැවතත්, දත්ත කේන්ද්‍රගත වී ඇතැයි උපකල්පනය කිරීම (මධ්‍යන්‍යය අඩු කිරීම) අපට මෑන්හැටන් දුර ප්‍රමාණය මිනුම් ගණනින් බෙදනු ලැබේ:

$$MAD = \frac{\displaystyle\sum_{i=1}^{n}|x_i|} {n}$$

සාකච්ඡා

• සාමාන්‍යයෙන් බෙදා හරින ලද දත්ත කට්ටලයක් සඳහා සම්මත අපගමනයෙහි මධ්‍යන්‍ය නිරපේක්ෂ අපගමනය .8 ගුණයක් ( ඇත්ත වශයෙන්ම$\sqrt{2/\pi}$ ) පමණ වේ.
• බෙදා හැරීම කුමක් වුවත්, මධ්‍යන්‍ය නිරපේක්ෂ අපගමනය සම්මත අපගමනයට වඩා අඩු හෝ සමාන වේ. සම්මත අපගමනයට සාපේක්ෂව ආන්තික අගයන් සහිත දත්ත කට්ටලයක් විසුරුවා හැරීම MAD අඩු කරයි.
• මධ්යන්ය නිරපේක්ෂ අපගමනය පිටස්තරයින්ට වඩා ශක්තිමත් ය (එනම් පිටස්තරයින් සම්මත අපගමනය කෙරෙහි කරන ආකාරයටම සංඛ්යා ලේඛන කෙරෙහි විශාල බලපෑමක් ඇති නොකරයි.
• ජ්‍යාමිතික වශයෙන් ගත් කල, මිනුම් එකිනෙකට විකලාංග නොවේ නම් (iid) - නිදසුනක් ලෙස, ඒවා ධනාත්මකව සහසම්බන්ධ වී ඇත්නම්, මධ්‍යන්‍ය නිරපේක්ෂ අපගමනය යුක්ලීඩියානු දුර මත රඳා පවතින සම්මත අපගමනයට වඩා හොඳ විස්තරාත්මක සංඛ්‍යාලේඛනයක් වනු ඇත (මෙය සාමාන්‍යයෙන් සිහින් යැයි සැලකේ) ).

මෙම වගුව ඉහත තොරතුරු වඩාත් සංක්ෂිප්ත ආකාරයකින් පිළිබිඹු කරයි:

$$\begin{array}{lll} & MAD & \sigma \\ \hline size & \le \sigma & \ge MAD \\ size, \sim N & .8 \times \sigma & 1.25 \times MAD \\ outliers & robust & influenced \\ not\ i.i.d. & robust & ok \end{array}$$

අදහස්:

“මධ්යන්ය නිරපේක්ෂ අපගමනය සාමාන්‍යයෙන් බෙදා හරින ලද දත්ත කට්ටලයක් සඳහා සම්මත අපගමනය මෙන් 8 ගුණයක් පමණ වේ” යන්න සඳහා ඔබට සඳහනක් තිබේද? මා ධාවනය කරන අනුකරණයන් මෙය වැරදි බව පෙන්වයි.

සම්මත සාමාන්‍ය බෙදාහැරීමෙන් සාම්පල මිලියනයක අනුකරණ 10 ක් මෙන්න:

>>> from numpy.random import standard_normal
>>> from numpy import mean, absolute
>>> for _ in range(10):
...     array = standard_normal(1_000_000)
...     print(numpy.std(array), mean(absolute(array - mean(array))))
... 
0.9999303226807994 0.7980634269273035
1.001126461808081 0.7985832977798981
0.9994247275533893 0.7980171649802613
0.9994142105335478 0.7972367136320848
1.0001188211817726 0.798021564315937
1.000442654481297 0.7981845236910842
1.0001537518728232 0.7975554993742403
1.0002838369191982 0.798143108250063
0.9999060114455384 0.797895284109523
1.0004871065680165 0.798726062813422

නිගමනය

විසුරුවා හැරීමේ මිනුමක් ගණනය කිරීමේදී වර්ග වෙනස්කම් වලට අපි වැඩි කැමැත්තක් දක්වන්නේ අපට යුක්ලීඩියානු දුර සූරාකෑමට හැකි නිසා විසරණය පිළිබඳ වඩා හොඳ විචාරාත්මක සංඛ්‍යාලේඛනයක් අපට ලබා දෙන බැවිනි. වඩා සාපේක්ෂව ආන්තික අගයන් ඇති විට, සංඛ්‍යාලේඛනවලට අනුව යුක්ලීඩියානු දුර ප්‍රමාණය ගණනය කරන අතර මෑන්හැටන් දුර සෑම මිනුමකටම සමාන බරක් ලබා දෙයි.

රේඛීය ප්‍රතිවර්තනයට එදිරිව මධ්‍ය ප්‍රතිගාමීත්වය ගැන සිතන විට වෙනස් හා සමහර විට වඩාත් බුද්ධිමත් ප්‍රවේශයකි.

අපගේ ආකෘතිය යැයි සිතමු . එවිට අපේක්ෂිත වර්ගවල අවශේෂ අවම කිරීමෙන් b සොයා ගනිමු, .arg = arg min b E ( y - x b ) $\mathbb{E}(y|x) = x\beta$$\beta = \arg \min_b \mathbb{E} (y - x b)^2$

ඒ වෙනුවට අපගේ ආකෘතිය මධ්යන්ය , නිරපේක්ෂ අවශේෂ අවම කිරීමෙන් අපගේ පරාමිති ඇස්තමේන්තු සොයා ගනී ,.arg = arg min b E | y - x b $(y|x) = x\beta$$\beta = \arg \min_b \mathbb{E} |y - x b|$

වෙනත් වචන වලින් කිවහොත්, නිරපේක්ෂ හෝ වර්ග දෝෂයක් භාවිතා කරන්නේද යන්න රඳා පවතින්නේ ඔබට අපේක්ෂිත අගය හෝ මධ්‍ය අගය ආදර්ශනය කිරීමට අවශ්‍යද යන්න මතය.

බෙදා හැරීම නම්, උදාහරණයක් ලෙස, ප්රදර්ශනය ඇලව ලියූ heteroscedasticity, එසේ නම් අපේක්ෂිත අගය ආකාරය බෑවුම ලොකු වෙනසක් තිබෙනවා කට වෙනස්කම් බෑවුම සඳහා කළ හැකි ආකාරය මධ්යම තරමේ වටිනාකම .x $y$$x$$y$

කොයින්කර් සහ හැලොක් සතුව ප්‍රමාණාත්මක ප්‍රතිගාමීත්වය පිළිබඳ හොඳ කෑල්ලක් ඇත, එහිදී මධ්‍ය ප්‍රතිගාමීත්වය විශේෂ අවස්ථාවකි: http://master272.com/finance/QR/QRJEP.pdf .

මගේ අනුමානය මෙයයි: බොහෝ ජනගහනය (බෙදාහැරීම්) මධ්‍යන්‍යය වටා එක්රැස් වීමට නැඹුරු වේ. Value ත දුරක් මධ්යන්යයෙන්, එය දුර්ලභ ය. වටිනාකමක් “සීමාවෙන් බැහැර” වන්නේ කෙසේද යන්න ප්‍රමාණවත් ලෙස ප්‍රකාශ කිරීම සඳහා, මධ්‍යන්‍යයෙන් ඇති දුර සහ එහි (සාමාන්‍යයෙන් කථා කරන) දුර්ලභත්වය යන දෙකම සැලකිල්ලට ගත යුතුය. කුඩා අපගමනයන් ඇති අගයන් හා සසඳන විට මධ්‍යන්‍යයෙන් වෙනස වර්ග කිරීම මෙය කරයි. සියලු විචල්‍යයන් සාමාන්‍ය වූ පසු, වර්ග මූලය ගැනීම හරි, එමඟින් ඒකක ඒවායේ මුල් මානයන් වෙත යවයි.

වර්ග කිරීම විශාල අපගමනයන් වැඩි කරයි.

ඔබේ නියැදිය ප්‍රස්ථාරයේ ඇති අගයන් තිබේ නම් 68.2% පළමු සම්මත අපගමනය තුළට ගෙන ඒමට ඔබේ සම්මත අපගමනය මඳක් පුළුල් විය යුතුය. ඔබේ දත්ත සියල්ල මධ්යන්යයට වැටේ නම් σ දැඩි විය හැකිය.

සමහරු පවසන්නේ එය ගණනය කිරීම් සරල කිරීම බවයි. චතුරස්රයේ ධනාත්මක වර්ග මූලය භාවිතා කිරීමෙන් එම තර්කය පාවී නොයනු ඇත.

$|x| = \sqrt{x^{2}}$

එබැවින් වීජීය සරල බව ඉලක්කය වූයේ නම් එය මේ ආකාරයෙන් පෙනෙනු ඇත:

$\sigma = \text{E}\left[\sqrt{(x-\mu)^{2}}\right]$$\text{E}\left[|x-\mu|\right]$

නිසැකවම මෙය වර්ග කිරීම බාහිර දෝෂ (දෝ!) විශාල කිරීමේ බලපෑමක් ඇති කරයි.