බෙදීම සඳහා බුද්ධිමය පැහැදිලි කිරීම

සම්මත අපගමනය ගණනය කිරීමේදී ඔබ වර්ග දෝෂයේ එකතුව සමඟ වෙනුවට මගින් බෙදන්නේ මන්දැයි අද පන්තියේදී මගෙන් විමසන ලදි .$n-1$$n$

මම කිව්වේ මම පන්තියේදී එයට පිළිතුරු දීමට යන්නේ නැති බවයි (මට අපක්ෂපාතී තක්සේරුකරුවන් වෙත යාමට අවශ්‍ය නැති නිසා), නමුත් පසුව මම කල්පනා කළා - මේ සඳහා බුද්ධිමත් පැහැදිලි කිරීමක් තිබේද ?

හි බෙදුම්කරු සමඟ ගණනය කරන ලද සම්මත අපගමනය $n-1$නියැදිය ඇද ගන්නා ලද ජනගහනයේ සම්මත අපගමනය පිළිබඳ තක්සේරුවක් ලෙස නියැදියෙන් ගණනය කරන ලද සම්මත අපගමනයකි. නිරීක්ෂණය කරන ලද අගයන් සාමාන්‍යයෙන් ජනගහනයට වඩා නියැදි මධ්‍යයට වඩා පහත වැටෙන හෙයින්, නියැදියෙන් අපගමනය උපයෝගී කරගනිමින් ගණනය කරනු ලබන සම්මත අපගමනය ජනගහනයේ අපේක්ෂිත සම්මත අපගමනය අවතක්සේරු කරයි. භාවිතා කිරීම$n-1$ වෙනුවට $n$ ප්‍රති the ලය ටිකක් විශාල කිරීමෙන් බෙදුම්කරු ඒ සඳහා නිවැරදි කරයි.

නිවැරදි කිරීම විට විශාල සමානුපාතික බලපෑමක් ඇති බව සලකන්න $n$ එය විශාල වන විට වඩා කුඩා වන අතර එය අපට අවශ්‍ය වන්නේ n විශාල වන විට නියැදි මධ්‍යන්‍යය ජනගහනයේ මධ්‍යන්‍යයේ හොඳ තක්සේරුකරුවෙකු විය හැකි බැවිනි.

නියැදිය මුළු ජනගහනය වන විට අපි සම්මත අපගමනය භාවිතා කරමු $n$භාජකය ලෙස නියැදි ලක්ෂ්ය නිසා ය ජනගහනය අදහස්.

("දන්නා, නිශ්චිත මධ්යන්යයක් වටා මෑත කාලීනව සිදු වූ දෙවන මොහොත" සමඟ ආරම්භ වන කිසිවක් ප‍්‍රශ්න කරන්නාගේ බුද්ධිමය පැහැදිලි කිරීමක් සඳහා වන ඉල්ලීම ඉටු නොකරන බව මම වර්‍ගිකව සටහන් කරමි.)

අර්ථ දැක්වීම අනුව, විචලනය ගණනය කරනු ලබන්නේ මධ්‍යන්‍යයෙන් වර්ගවල වෙනස්කම් එකතුවෙන් සහ ප්‍රමාණයෙන් බෙදීමෙනි. අපට පොදු සූත්‍රය ඇත

$\sigma^2= \frac{\sum_{i}^{N}(X_i-\mu)^2}{N}$ කොහෙද $\mu$ මධ්යන්ය සහ $N$ යනු ජනගහනයේ ප්‍රමාණයයි.

මෙම අර්ථ දැක්වීම අනුව, නියැදියක විචලනය (උදා: නියැදිය $t$) ද මේ ආකාරයෙන් ගණනය කළ යුතුය.

$\sigma^2_t= \frac{\sum_{i}^{n}(X_i-\overline{X})^2}{n}$ කොහෙද $\overline{X}$ මධ්යන්ය සහ $n$ මෙම කුඩා නියැදියේ ප්‍රමාණයයි.

කෙසේ වෙතත්, නියැදි විචලනය අනුව $S^2$, අපි අදහස් කරන්නේ ජනගහන විචල්‍යතාව තක්සේරු කරන්නෙකු ලෙස ය $\sigma^2$. අපි තක්සේරු කරන්නේ කෙසේද?$\sigma^2$ නියැදියෙන් අගයන් භාවිතා කිරීමෙන් පමණක්ද?

ඉහත සූත්‍ර වලට අනුව, අහඹු විචල්‍යය $X$ නියැදි මධ්‍යන්‍යයෙන් බැහැර වේ $\overline{X}$ විචලනය සමඟ $\sigma^2_t$. නියැදියෙහි තේරුම$\overline{X}$ ද වෙනස් වේ $\mu$ විචලනය සමඟ $\frac{\sigma^2}{n}$ නියැදි මධ්යන්ය නියැදියේ සිට නියැදියට වෙනස් අගයන් ලබා ගන්නා අතර එය මධ්යන්ය සමඟ අහඹු විචල්යයකි $\mu$ සහ විචලනය $\frac{\sigma^2}{n}$. (කෙනෙකුට පහසුවෙන් ඔප්පු කළ හැකිය.)

එබැවින් දළ වශයෙන්, $X$ වෙතින් බැහැර විය යුතුය $\mu$ විචල්‍යයන් දෙකක් ඇතුළත් විචල්‍යතාවයකින් මෙම දෙක එකතු කර ලබා ගන්න $\sigma^2=\sigma^2_t+\frac{\sigma^2}{n}$. මෙය විසඳීමෙන් අපට ලැබේ$\sigma^2=\sigma^2_t \times\frac{n}{n-1}$. ප්රතිස්ථාපනය කිරීම$\sigma^2_t$ ජනගහන විචලනය සඳහා අපගේ ඇස්තමේන්තුව ලබා දෙයි:

$S^2= \frac{\sum_{i}^{n}(X_i-\overline{X})^2}{n-1}$.

කෙනෙකුට එය ඔප්පු කළ හැකිය $E[S^2]=\sigma^2$ ඇත්ත.

පොදු එකක් නම්, විචල්‍යතාවයේ අර්ථ දැක්වීම (බෙදාහැරීමක) යනු දන්නා, නිශ්චිත මධ්යන්යයක් වටා මෑත කාලීනව සිදු කළ දෙවන මොහොත වන අතර තක්සේරුකරු ඇස්තමේන්තුගත මධ්යන්යයක් භාවිතා කරයි . මෙම නිදහසේ තරම අහිමි වීම (මධ්යන්යය අනුව, ඔබට යුක්තිසහගත දැනුමෙන් දත්ත කට්ටලය නැවත සකස් කළ හැකිය$n-1$ දත්ත අගයන් සඳහා) භාවිතය අවශ්‍ය වේ $n-1$ ඊට වඩා $n$ ප්‍රති .ලය "වෙනස් කිරීමට".

එවැනි පැහැදිලි කිරීමක් ANOVA සහ විචල්‍යතා සංරචක විශ්ලේෂණයේ ඇස්තමේන්තුගත විචල්‍යතාවන්ට අනුරූප වේ. එය ඇත්තෙන්ම විශේෂ අවස්ථාවක් පමණි.

කිරීමේ අවශ්යතාව ඇතැම් විචලතාව පුම්බාලීය බව ගැලපුම්, මම හිතන්නේ, පමණක් ම නො වේ නම් වලංගු තර්කය සමඟ අවිවාදයෙන්ම පිළිගැනීමට පැහැදිලි කළ හැකි හිටපු පශ්චාත් තත්වාකාර අතින් වනමින්. (මට මතකයි ශිෂ්‍යයා 1908 දී ටී-ටෙස්ට් පත්‍රයෙහි එවැනි තර්කයක් ඉදිරිපත් කර ඇති බව.) විචල්‍යතාවයට ගැලපීම හරියටම සාධකයක් විය යුත්තේ ඇයි?$n/(n-1)$සාධාරණීකරණය කිරීම දුෂ්කර ය, විශේෂයෙන් ඔබ විසින් සකස් කරන ලද SD අපක්ෂපාතී තක්සේරුකරුවෙකු නොවන බව සලකන විට . (එය හුදෙක් විචලතාව අපක්ෂපාතී estimator වර්ග මූල වේ. අපක්ෂපාතී වීම සාමාන්යයෙන් එකක් අනිකට සම්බන්ධව පරිවර්තනය ජීවත් වන්නේ නැත.) ඒ නිසා, ඇත්තටම, එහි නැඹුරුව ඉවත් කිරීමට SD සඳහා නිවැරදි ගැළපීමක් නැති ද සාධකයක්$\sqrt{n/(n-1)}$ කොහෙත්ම නැහැ!

සමහර හඳුන්වාදීමේ පෙළපොත් මඟින් සකස් කරන ලද එස්ඩී හඳුන්වා දීමට පවා කරදර වන්නේ නැත: ඒවා එක් සූත්‍රයක් උගන්වයි (බෙදන්න $n$). එවැනි පොතකින් උගන්වන විට මම මුලින්ම ඊට නිෂේධාත්මකව ප්‍රතිචාර දැක්වුවද ප්‍ර wisdom ාව අගය කිරීමට පටන් ගතිමි: සංකල්ප හා යෙදුම් කෙරෙහි අවධානය යොමු කිරීම සඳහා කතුවරුන් අත්‍යවශ්‍ය ගණිතමය ගුණාංග ඉවත් කරයි. කිසිම දෙයකට හානියක් නොවන බවත් කිසිවෙකු නොමඟ නොයන බවත් පෙනේ.

This is a total intuition, but the simplest answer is that is a correction made to make standard deviation of one-element sample undefined rather than 0.

ඔබට ඒ පිළිබඳ ගැඹුරු අවබෝධයක් ලබා ගත හැකිය $n-1$ එය ජ්‍යාමිතිය හරහා පමණක් වන අතර එය එසේ නොවන්නේ මන්ද යන්න පමණක් නොවේ $n$ but why it takes exactly this form, but you may first need to build up your intuition cope with $n$-dimensional geometry. From there, however, it's a small step to a deeper understanding of degrees of freedom in linear models (i.e. model df & residual df). I think there's little doubt that Fisher thought this way. Here's a book that builds it up gradually:

Saville DJ, Wood GR. Statistical methods: the geometric approach. 3rd edition. New York: Springer-Verlag; 1991. 560 pages. 9780387975177

(Yes, 560 pages. I did say gradually.)

The estimator of the population variance is biased when applied on a sample of the population. In order to adjust for that bias on needs to divide by n-1 instead of n. One can show mathematically that the estimator of the sample variance is unbiased when we divide by n-1 instead of n. A formal proof is provided here:

https://economictheoryblog.com/2012/06/28/latexlatexs2/

Initially it was the mathematical correctness that led to the formula, I suppose. However, if one wants to add intuition to a formula the already mentioned suggestions appear reasonable.

First, observations of a sample are on average closer to the sample mean than to the population mean. The variance estimator makes use of the sample mean and as a consequence underestimates the true variance of the population. Dividing by n-1 instead of n corrects for that bias.

Furthermore, dividing by n-1 make the variance of a one-element sample undefined rather than zero.

Why divide by $n-1$ rather than $n$? Because it is customary, and results in an unbiased estimate of the variance. However, it results in a biased (low) estimate of the standard deviation, as can be seen by applying Jensen's inequality to the concave function, square root.

So what's so great about having an unbiased estimator? It does not necessarily minimize mean square error. The MLE for a Normal distribution is to divide by $n$ rather than $n-1$. Teach your students to think, rather than to regurgitate and mindlessly apply antiquated notions from a century ago.

It is well-known (or easily proved) that the quadratic $\alpha z^2 + 2\beta z + \gamma$ has an extremum at $z = -\frac{\beta}{\alpha}$ which point is midway between the roots $\frac{-\beta - \sqrt{\beta^2-\alpha\gamma}}{\alpha}$ and $\frac{-\beta + \sqrt{\beta^2-\alpha\gamma}}{\alpha}$ of the quadratic. This shows that, for any given $n$ real numbers $x_1, x_2, \ldots, x_n$, the quantity

$$G(a) = \sum_{i=1}^n (x_i-a)^2 = \left(\sum_{i=1}^n x_i^2\right) -2a\left(\sum_{i=1}^n x_i\right) + na^2,$$ has minimum value when $\displaystyle a = \frac 1n \sum_{i=1}^n x_i =\bar{x}$.

Now, suppose that the $x_i$ are a sample of size $n$ from a distribution with unknown mean $\mu$ and unknown variance $\sigma^2$. We can estimate $\mu$ as $\frac 1n \sum_{i=1}^n x_i = \bar{x}$ which is easy enough to calculate, but an attempt to estimate $\sigma^2$ as $\frac 1n \sum_{i=1}^n (x_i-\mu)^2 = n^{-1}G(\mu)$ encounters the problem that we don't know $\mu$. We can, of course, readily compute $G(\bar{x})$ and we know that $G(\mu) \geq G(\bar{x})$, but how much larger is $G(\mu)$? The answer is that $G(\mu)$ is larger than $G(\bar{x})$ by a factor of approximately $\frac{n}{n-1}$, that is,

$$G(\mu) \approx \frac{n}{n-1}G(\bar{x})\tag{1}$$ and so the estimate $\displaystyle n^{-1}G(\mu)= \frac 1n\sum_{i=1}^n(x_i-\mu)^2$ for the variance of the distribution can be approximated by $\displaystyle \frac{1}{n-1}G(\bar{x}) = \frac{1}{n-1}\sum_{i=1}^n (x_i-\bar{x})^2.$

So, what is an intuitive explanation of $(1)$? Well, we have that

$$\begin{align} G(\mu) &= \sum_{i=1}^n (x_i-\mu)^2\\ &= \sum_{i=1}^n (x_i-\bar{x} + \bar{x}-\mu)^2\\ &= \sum_{i=1}^n \left((x_i-\bar{x})^2 + (\bar{x}-\mu)^2 + 2(x_i-\bar{x})(\bar{x}-\mu)\right)\\ &= G(\bar{x}) + n(\bar{x}-\mu)^2 + (\bar{x}-\mu)\sum_{i=1}^n(x_i-\bar{x})\\ &= G(\bar{x}) + n(\bar{x}-\mu)^2 \tag{2} \end{align}$$ since $\sum_{i=1}^n (x_i-\bar{x}) = n\bar{x}-n\bar{x} = 0$. Now, $$\begin{align} n(\bar{x}-\mu)^2 &= n\frac{1}{n^2}\left(\sum_{i=1}^n(x_i-\mu)\right)^2\\ &= \frac 1n \sum_{i=1}^n(x_i-\mu)^2 + \frac 2n \sum_{i=1}^n\sum_{j=i+1}^n(x_i-\mu)(x_j-\mu)\\ &= \frac 1n G(\mu) + \frac 2n \sum_{i=1}^n\sum_{j=i+1}^n(x_i-\mu)(x_j-\mu)\tag{3} \end{align}$$ Except when we have an extraordinarily unusual sample in which all the $x_i$ are larger than $\mu$ (or they are all smaller than $\mu$), the summands $(x_i-\mu)(x_j-\mu)$ in the double sum on the right side of $(3)$ take on positive as well as negative values and thus a lot of cancellations occur. Thus, the double sum can be expected to have small absolute value, and we simply ignore it in comparison to the $\frac 1nG(\mu)$ term on the right side of $(3)$. Thus, $(2)$ becomes $$G(\mu) \approx G(\bar{x}) + \frac 1nG(\mu) \Longrightarrow G(\mu) \approx \frac{n}{n-1}G(\bar{x})$$ as claimed in $(1)$.

Sample variance can be thought of to be the exact mean of the pairwise "energy" $(x_i-x_j)^2/2$ between all sample points. The definition of sample variance then becomes

$$s^2 = \frac{2}{n(n-1)}\sum_{i< j}\frac{(x_i-x_j)^2}{2} = \frac{1}{n-1}\sum_{i=1}^n(x_i-\bar{x})^2 .$$

This also agrees with defining variance of a random variable as the expectation of the pairwise energy, i.e. let $X$ and $Y$ be independent random variables with the same distribution, then

$$V(X) = E\left(\frac{(X-Y)^2}{2}\right) = E((X-E(X))^2) .$$

To go from the random variable defintion of variance to the defintion of sample variance is a matter of estimating a expectation by a mean which is can be justified by the philosophical principle of typicality: The sample is a typical representation the distribution. (Note, this is related to, but not the same as estimation by moments.)

Suppose that you have a random phenomenon. Suppose again that you only get one $N=1$ sample, or realization, $x$. Without further assumptions, your "only" reasonable choice for a sample average is $\overline{m}=x$. If you do not subtract $1$ from your denominator, the (uncorrect) sample variance would be

$$V=\frac{\sum_N (x_n - \overline{m} )^2}{N}$$ , or:

$$\overline{V}=\frac{(x-\overline{m})^2}{1} = 0\,.$$

Oddly, the variance would be null with only one sample. And having a second sample $y$ would risk to increase your variance, if $x\neq y$. This makes no sense. Intuitively, an infinite variance would be a sounder result, and you can recovered it only by "dividing by $N-1=0$".

Estimating a mean is fitting a polynomial with degree $0$ to the data, having one degree of freedom (dof). This Bessel's correction applies to higher degrees of freedom models too: of course you can fit perfectly $d+1$ points with a $d$ degree polynomial, with $d+1$ dofs. The illusion of a zero-squared-error can only be counterbalanced by dividing by the number of points minus the number of dofs. This issue is particularly sensitive when dealing with very small experimental datasets.

At the suggestion of whuber, this answer has been copied over from another similar question.

Bessel's correction is adopted to correct for bias in using the sample variance as an estimator of the true variance. The bias in the uncorrected statistic occurs because the sample mean is closer to the middle of the observations than the true mean, and so the squared deviations around the sample mean systematically underestimates the squared deviations around the true mean.

To see this phenomenon algebraically, just derive the expected value of a sample variance without Bessel's correction and see what it looks like. Letting $S_*^2$ denote the uncorrected sample variance (using $n$ as the denominator) we have:

$$\begin{equation} \begin{aligned} S_*^2 &= \frac{1}{n} \sum_{i=1}^n (X_i - \bar{X})^2 \\[8pt] &= \frac{1}{n} \sum_{i=1}^n (X_i^2 - 2 \bar{X} X_i + \bar{X}^2) \\[8pt] &= \frac{1}{n} \Bigg( \sum_{i=1}^n X_i^2 - 2 \bar{X} \sum_{i=1}^n X_i + n \bar{X}^2 \Bigg) \\[8pt] &= \frac{1}{n} \Bigg( \sum_{i=1}^n X_i^2 - 2 n \bar{X}^2 + n \bar{X}^2 \Bigg) \\[8pt] &= \frac{1}{n} \Bigg( \sum_{i=1}^n X_i^2 - n \bar{X}^2 \Bigg) \\[8pt] &= \frac{1}{n} \sum_{i=1}^n X_i^2 - \bar{X}^2. \end{aligned} \end{equation}$$

Taking expectations yields:

$$\begin{equation} \begin{aligned} \mathbb{E}(S_*^2) &= \frac{1}{n} \sum_{i=1}^n \mathbb{E}(X_i^2) - \mathbb{E} (\bar{X}^2) \\[8pt] &= \frac{1}{n} \sum_{i=1}^n (\mu^2 + \sigma^2) - (\mu^2 + \frac{\sigma^2}{n}) \\[8pt] &= (\mu^2 + \sigma^2) - (\mu^2 + \frac{\sigma^2}{n}) \\[8pt] &= \sigma^2 - \frac{\sigma^2}{n} \\[8pt] &= \frac{n-1}{n} \cdot \sigma^2 \\[8pt] \end{aligned} \end{equation}$$

So you can see that the uncorrected sample variance statistic underestimates the true variance $\sigma^2$. Bessel's correction replaces the denominator with $n-1$ which yields an unbiased estimator. In regression analysis this is extended to the more general case where the estimated mean is a linear function of multiple predictors, and in this latter case, the denominator is reduced further, for the lower number of degrees-of-freedom.

The sample mean is defined as $\bar{X} = \frac{1}{n}\sum_{i=1}^{n} X_i$, which is quite intuitive. But the sample variance is $S^2 = \frac{1}{n-1}\sum_{i=1}^{n} (X_i - \bar{X})^2$. Where did the $n - 1$ come from ?

To answer this question, we must go back to the definition of an unbiased estimator. An unbiased estimator is one whose expectation tends to the true expectation. The sample mean is an unbiased estimator. To see why:

$$E[\bar{X}] = \frac{1}{n}\sum_{i=1}^{n} E[X_i] = \frac{n}{n} \mu = \mu$$

Let us look at the expectation of the sample variance,

$$S^2 = \frac{1}{n-1} \sum_{i=1}^{n} (X_i^2) - n\bar{X}^2$$

$$E[S^2] = \frac{1}{n-1} \left( n E[(X_i^2)] - nE[\bar{X}^2] \right).$$

Notice that $\bar{X}$ is a random variable and not a constant, so the expectation $E[\bar{X}^2]$ plays a role. This is the reason behind the $n-1$.

$$E[S^2] = \frac{1}{n-1} \left( n (\mu^2 + \sigma^2) - n(\mu^2 + Var(\bar{X})) \right).$$ $$Var(\bar{X}) = Var(\frac{1}{n}\sum_{i=1}^{n} X_i) = \sum_{i=1}^{n} \frac{1}{n^2} Var(X_i) = \frac{\sigma^2}{n}$$

$$E[S^2] = \frac{1}{n-1} \left( n (\mu^2 + \sigma^2) - n(\mu^2 + \sigma^2/n) \right). = \frac{(n-1)\sigma^2}{n-1} = \sigma^2 \\ $$

As you can see, if we had the denominator as $n$ instead of $n-1$, we would get a biased estimate for the variance! But with $n-1$ the estimator $S^2$ is an unbiased estimator.

Generally using "n" in the denominator gives smaller values than the population variance which is what we want to estimate. This especially happens if the small samples are taken. In the language of statistics, we say that the sample variance provides a “biased” estimate of the population variance and needs to be made "unbiased".

If you are looking for an intuitive explanation, you should let your students see the reason for themselves by actually taking samples! Watch this, it precisely answers your question.

https://www.youtube.com/watch?v=xslIhnquFoE

I think it's worth pointing out the connection to Bayesian estimation. Suppose you assume your data is Gaussian, and so you measure the mean $\mu$ and variance $\sigma^2$ of a sample of $n$ points. You want to draw conclusions about the population. The Bayesian approach would be to evaluate the posterior predictive distribution over the sample, which is a generalized Student's T distribution (the origin of the T-test). This distribution has mean $\mu$, and variance

$$\sigma^2 \left(\frac{n+1}{n-1}\right),$$

which is even larger than the typical correction. (It has $2n$ degrees of freedom.)

The generalized Student's T distribution has three parameters and makes use of all three of your statistics. If you decide to throw out some information, you can further approximate your data using a two-parameter normal distribution as described in your question.

From a Bayesian standpoint, you can imagine that uncertainty in the hyperparameters of the model (distributions over the mean and variance) cause the variance of the posterior predictive to be greater than the population variance.

My goodness it's getting complicated! I thought the simple answer was... if you have all the data points you can use "n" but if you have a "sample" then, assuming it's a random sample, you've got more sample points from inside the standard deviation than from outside (the definition of standard deviation). You just don't have enough data outside to ensure you get all the data points you need randomly. The n-1 helps expand toward the "real" standard deviation.