උත්පාදක එදිරිව

උත්පාදක මාධ්‍යයන් " $P(x,y)$ මත පදනම්ව" සහ වෙනස් කොට සැලකීම " මත පදනම්ව $P(y|x)$" ඇති බව මම දනිමි, නමුත් මම කරුණු කිහිපයක් මත ව්‍යාකූල වී සිටිමි:

• විකිපීඩියාව (+ වෙබයේ තවත් බොහෝ පහරවල්) SVM සහ තීරණ ගැනීමේ ගස් වැනි දේවල් වෙනස් කොට සැලකීම ලෙස වර්ගීකරණය කරයි. නමුත් මේවාට සම්භාවිතා අර්ථකථන පවා නොමැත. වෙනස් කොට සැලකීම යන්නෙන් අදහස් කරන්නේ කුමක්ද? වෙනස්කම් කිරීම යනු උත්පාදනය නොවන කිසිවක් අදහස් කිරීමට පැමිණ තිබේද?

• නයිව් බේස් (එන්බී) උත්පාදනය වන්නේ එය $P(x|y)$ සහ ග්‍රහණය කර ගන්නා නිසා ඔබට (මෙන්ම ) ඇත. සමාන ආකාරයකින් ගණනය කිරීමෙන් ලොජිස්ටික් රෙග්‍රේෂන් (වෙනස් කොට සැලකීමේ ආකෘතිවල පෝස්ටර් බෝයි) “උත්පාදක” කිරීම සුළුපටු නොවේද? හා සමාන ස්වාධීන උපකල්පනය, එනම් , එහිදී සඳහා MLE යනු සංඛ්‍යාත පමණක්ද?$P(y)$$P(x,y)$$P(y|x)$$P(x)$$P(x) = P(x_0) P(x_1) ... P(x_d)$$P(x_i)$

• වෙනස් කොට සැලකීමේ ආකෘතීන් උත්පාදක ඒවා අභිබවා යන බව මම දනිමි. උත්පාදක ආකෘති සමඟ වැඩ කිරීමේ ප්‍රායෝගික භාවිතය කුමක්ද? දත්ත ජනනය කිරීමට / අනුකරණය කිරීමට හැකි වීම උපුටා දක්වා ඇත, නමුත් මෙය පැමිණෙන්නේ කවදාද? මට පෞද්ගලිකව ඇත්තේ ප්‍රතිගාමීත්වය, වර්ගීකරණය, කොලබ් පිළිබඳ අත්දැකීම් පමණි. ව්‍යුහාත්මක දත්ත පෙරීම, එබැවින් මෙහි භාවිතයන් මට අදාල නොවේද? ඇති "අතුරුදහන් දත්ත" තර්කය ( අතුරුදන් සඳහා ) පුහුණු දත්ත සමඟ ඔබ අද්දර දෙන්න පමණක් බව පෙනේ (ඔබ සැබවින්ම දන්නේ විට හා හා පුරා කොන් කිරීම අවශ්ය නැහැ සාපේක්ෂ වශයෙන් ගොළු ලබා ගැනීමට ඔබට කෙසේ හෝ කෙලින්ම තක්සේරු කළ හැකි , එවිට පවා ආවේගය වඩාත් නම්‍යශීලී වේ ( මත පමණක් නොව පුරෝකථනය කළ හැකිය$P(x_i|y)$$x_i$$y$$P(y)$$P(x_i)$$y$නමුත් අනෙක් ).$x_i$

• විකිපීඩියාවෙන් සම්පූර්ණයෙන්ම පරස්පර විරෝධී උපුටා දැක්වීම් සමඟ ඇත්තේ කුමක්ද? "සංකීර්ණ ඉගෙනුම් කාර්යයන්හි පරායත්තතා ප්‍රකාශ කිරීමේදී වෙනස් කිරීමේ ආකෘතිවලට වඩා උත්පාදක ආකෘති සාමාන්‍යයෙන් වඩා නම්‍යශීලී වේ" එදිරිව. "වෙනස් කොට සැලකීමේ ආකෘතිවලට සාමාන්‍යයෙන් නිරීක්ෂණය කරන ලද සහ ඉලක්කගත විචල්‍යයන් අතර වඩාත් සංකීර්ණ සම්බන්ධතා ප්‍රකාශ කළ හැකිය".

අදාළ ප්‍රශ්නය මට මේ ගැන සිතීමට හේතු විය.

මෙම මූලික වෙනසක් වෙනස්කම් නොමැති ආකෘති හා generative ආකෘති අතර වේ:

• වෙනස්කම් කිරීමේ ආකෘතීන් පන්ති අතර (දැඩි හෝ මෘදු) මායිම ඉගෙන ගනී
• උත්පාදක ආකෘති තනි පන්ති බෙදා හැරීම ආදර්ශනය කරයි

ඔබේ සෘජු ප්‍රශ්නවලට පිළිතුරු දීමට:

• SVMs සහ තීරණ ගැනීමේ ගස් වෙනස් කොට සැලකීම නිසා ඔවුන් පන්ති අතර පැහැදිලි සීමාවන් ඉගෙන ගනී. SVM යනු උපරිම ආන්තික වර්ගීකරණයක් වන අතර, එයින් අදහස් වන්නේ කර්නලයක් ලබා දී ඇති පන්ති දෙකේ සාම්පල අතර දුර උපරිම කරන තීරණාත්මක සීමාවක් ඉගෙන ගන්නා බවයි. SVM "මෘදු" වර්ගීකරණයක් බවට පත් කිරීම සඳහා නියැදියක් සහ උගත් තීරණ සීමාව අතර ඇති දුර භාවිතා කළ හැකිය. තොරතුරු ලබා ගැනීම (හෝ වෙනත් නිර්ණායකයක්) උපරිම වන අයුරින් අවකාශය පුනරාවර්තනය කිරීමෙන් DTs තීරණ සීමාව ඉගෙන ගනී.

• මේ ආකාරයෙන් ලොජිස්ටික් ප්‍රතිගාමීත්වයේ උත්පාදක ආකාරයක් කළ හැකිය. වර්ගීකරණ තීරණ ගැනීමට ඔබ සම්පූර්ණ උත්පාදක ආකෘතිය භාවිතා නොකරන බව සලකන්න.

• යෙදුම මත පදනම්ව උත්පාදක ආකෘති ලබා දිය හැකි වාසි ගණනාවක් තිබේ. ඔබ ගනුදෙනු කරන්නේ ස්ථිතික නොවන බෙදාහැරීම් සමඟ බව පවසන්න, එහිදී මාර්ගගත පරීක්ෂණ දත්ත පුහුණු දත්තවලට වඩා වෙනස් යටින් පවතින බෙදාහැරීම් මගින් ජනනය කළ හැකිය. SVM හි තීරණ ගැනීමේ සීමාවක් සඳහා මෙය කරනවාට වඩා බෙදාහැරීමේ වෙනස්කම් හඳුනා ගැනීම සහ ඒ අනුව උත්පාදක ආකෘතියක් යාවත්කාලීන කිරීම සාමාන්‍යයෙන් වඩා සරල ය, විශේෂයෙන් මාර්ගගත යාවත්කාලීන කිරීම් අධීක්ෂණය කිරීම අවශ්‍ය නම්. උත්පාදක ආකෘති සාමාන්‍යයෙන් සිදු වුවද, වෙනස් කොට සැලකීමේ ආකෘතීන් සාමාන්‍යයෙන් බාහිර හඳුනාගැනීම සඳහා ක්‍රියා නොකරයි. නිශ්චිත යෙදුමක් සඳහා හොඳම දේ, ඇත්ත වශයෙන්ම, යෙදුම මත පදනම්ව ඇගයීමට ලක් කළ යුතුය.

• . දත්ත සමුදායේ ඇති අංග සහ පන්ති අතර සම්බන්ධතා පිළිබඳ පැහැදිලි නිරූපණයන් වෙනස් කොට සැලකීමේ ආකෘති ඉදිරිපත් නොකරයි. එක් එක් පංතිය මුළුමනින්ම ආදර්ශනය කිරීම සඳහා සම්පත් භාවිතා කරනවා වෙනුවට, ඔවුන් අවධානය යොමු කරන්නේ පන්ති අතර මායිම පොහොසත් ලෙස ආකෘතිකරණය කිරීමට ය. එකම ධාරිතාවයකින් (ආකෘතිය ක්‍රියාත්මක කරන පරිගණක වැඩසටහනක බිටු) සලකන විට, වෙනස් කොට සැලකීමේ ආකෘතියක් මඟින් ජනන ආකෘතියකට වඩා මෙම සීමාවේ වඩාත් සංකීර්ණ නිරූපණයන් ලබා දිය හැකිය.

(හැම්නර්ගේ පිළිතුර විශිෂ්ටයි, එබැවින් සම්පූර්ණත්වය සඳහා මෙටා ඔප්ටිමයිස් වෙතින් මගේ පිළිතුර හරස් පෝස්ට් කරන්න.)

උත්පාදක ඇල්ගොරිතම දත්ත සත්‍ය වශයෙන්ම ජනනය කරන ආකාරය පිළිබඳ ආකෘතියක් සපයන බව මම සිතමි (ඒවා වෙනුවට සහ යන දෙකෙහිම ආකෘතියක් ඔබට ලබා දෙන බව මම සිතමි . එය සමාන යැයි මම අනුමාන කළද), සහ වර්ගීකරණ බෙදීම් සැපයීම ලෙස වෙනස් කොට සැලකීමේ ඇල්ගොරිතම (සහ අනිවාර්යයෙන්ම සම්භාවිතා ආකාරයකින් නොවේ).$P(X|Y)$$P(Y)$$P(X, Y)$

උදාහරණයක් ලෙස ගවුසියානු මිශ්‍රණ ආකෘති සහ කේ-මධ්යන්ය පොකුරුකරණය සසඳා බලන්න. කලින් සඳහන් කළ පරිදි, ලකුණු ජනනය කරන්නේ කෙසේද යන්න පිළිබඳ හොඳ සම්භාවිතා ආකෘතියක් අප සතුව ඇත (යම් සම්භාවිතාවක් සහිත සංරචකයක් තෝරන්න, ඉන්පසු සංරචකයේ ගෝස්සියානු ව්‍යාප්තියෙන් නියැදීමෙන් ලක්ෂ්‍යයක් විමෝචනය කරන්න), නමුත් දෙවැන්න ගැන අපට ඇත්ත වශයෙන්ම කිව හැකි කිසිවක් නැත.

Generative ගණිත ක්රමයක්, වෙනස්කම් නොමැති ගුණ ඇති බව ඔබ විසින් ලබා ගත හැකි බැවින් සටහන වරක් ඔබ හා (Bayes 'ප්රමේයය විසින්), වෙනස්කම් නොමැති ගණිත ක්රමයක් ඇත්තටම generative ගුණ නැහැ නමුත්.$P(Y|X)$$P(X|Y)$$P(Y)$

1: වෙනස්කම් ඇත්ත වශයෙන්ම උත්පාදනය වන ආකාරය පිළිබඳ ආකෘතියක් ලබා නොදී, වෙනස්කම් වර්ගීකරණය කිරීමට ඇල්ගොරිතම මඟින් ඔබට ඉඩ ලබා දේ. එබැවින් මේවා එක්කෝ විය හැකිය:

• සම්භාවිතා ඇල්ගොරිතම ඉගෙන ගැනීමට උත්සාහ කරයි (උදා: ලොජිස්ටික් රෙග්‍රේෂන්);$P(Y|X)$
• හෝ ලකුණු සිට පන්ති දක්වා කෙලින්ම සිතියම් ඉගෙන ගැනීමට උත්සාහ කරන සම්භාවිතා නොවන ඇල්ගොරිතම (උදා: පර්සෙප්ට්‍රෝන් සහ එස්වීඑම් මඟින් ඔබට වෙන් කරන හයිපර් ප්ලේන් එකක් ලබා දෙයි, නමුත් නව ලකුණු උත්පාදනය කිරීමේ ආකෘතියක් නොමැත).

ඉතින් ඔව්, වෙනස් කොට සැලකීමේ වර්ගීකරණයක් යනු උත්පාදක නොවන ඕනෑම වර්ගීකරණයක්.

මේ ගැන සිතීමේ තවත් ක්‍රමයක් නම්, උත්පාදක ඇල්ගොරිතම ඔබේ ආකෘතිය මත යම් ආකාරයක ව්‍යුහ උපකල්පන සිදු කරයි , නමුත් වෙනස් කොට සැලකීමේ ඇල්ගොරිතම මඟින් උපකල්පන අඩු කරයි. නිදසුනක් ලෙස, නයිව් බේස් ඔබේ අංගයන්ගේ කොන්දේසි සහිත ස්වාධීනත්වය උපකල්පනය කරන අතර, ලොජිස්ටික් රෙග්‍රේෂන් (නයිව් බේස්ගේ වෙනස් කොට සැලකීමේ "ප්‍රතිවිරුද්ධ පාර්ශවය") එසේ නොවේ.

2: ඔව්, නයිව් බේස් උත්පාදනය වන්නේ එය සහ අල්ලා ගන්නා බැවිනි . උදාහරණයක් ලෙස, සහ , ඉංග්‍රීසි සහ ප්‍රංශ වචන සම්භාවිතාවන් සමඟ අප දන්නේ නම් , දැන් අපට ලේඛනයේ භාෂාව තෝරා ගැනීමෙන් නව ලේඛනයක් ජනනය කළ හැකිය ( සම්භාවිතාව 0.7 සහිත ඉංග්‍රීසි, සම්භාවිතාව 0.3 සහිත ප්‍රංශ), ඉන්පසු තෝරාගත් භාෂාවේ වචන සම්භාවිතාව අනුව වචන උත්පාදනය කිරීම.$P(X|Y)$$P(Y)$$P(Y = English) = 0.7$$P(Y = French) = 0.3$

$P(Y|X) \propto P(X|Y) P(Y)$$P(X|Y)$$P(Y)$$P(Y|X)$

3: උත්පාදක ආකෘතීන් බොහෝ විට කුඩා දත්ත කට්ටලවල වෙනස් කොට සැලකීමේ ආකෘතීන් අභිබවා යයි . උදාහරණයක් ලෙස, නයිව් බේස් එදිරිව ලොජිස්ටික් රෙග්‍රේෂන් සලකා බලමු. නයිව් බේස් උපකල්පනය ඇත්තෙන්ම සෑහීමකට පත්වන්නේ කලාතුරකිනි, එබැවින් ඔබේ දත්ත කට්ටලය වර්ධනය වන විට ලොජිස්ටික් රෙග්‍රේෂන් නයිව් බේස් අභිබවා යනු ඇත (එයට නයිව් බේස්ට නොහැකි පරායත්තතා ග්‍රහණය කර ගත හැකි බැවින්). නමුත් ඔබ සතුව ඇත්තේ කුඩා දත්ත කට්ටලයක් පමණක් වන විට, ලොජිස්ටික් රෙග්‍රේෂන් මගින් සැබවින්ම නොපවතින ව්‍යාජ රටා තෝරා ගත හැකිය, එබැවින් නයිව් බේස් ඔබේ මාදිලියේ අධික ලෙස ආහාර ගැනීම වළක්වන ආකාරයේ නියාමකයෙකු ලෙස ක්‍රියා කරයි. එය තියෙනවා කඩදාසි වෙනස්කම් නොමැති එදිරිව generative classifiers මත ඇන්ඩෲ න්ග් හා මයිකල් ජෝර්දානය විසින් මේ ගැන සාකච්ඡා වැඩි බව.

4: මම හිතන්නේ එහි තේරුම නම්, ඔබේ ආකෘතිය නිවැරදිව නියම කර, ආකෘතිය ඇත්ත වශයෙන්ම දරන්නේ නම්, ජනක ආකෘතිවලට ඇත්ත වශයෙන්ම දත්තවල යටින් පවතින ව්‍යුහය ඉගෙන ගත හැකි නමුත් ඔබේ උත්පාදක උපකල්පන සෑහීමකට පත් නොවන්නේ නම් වෙනස් කොට සැලකීමේ ආකෘතීන් අභිබවා යා හැකිය (වෙනස් කොට සැලකීමේ ඇල්ගොරිතම බැවින් නිශ්චිත ව්‍යුහයකට වඩා අඩු බැඳීමක් ඇති අතර සැබෑ ලෝකය අවුල් සහගත වන අතර උපකල්පන කලාතුරකින් පරිපූර්ණ ලෙස සෑහීමකට පත්වේ). (මෙම උපුටා දැක්වීම් අවුල් සහගත නම් මම නොසලකා හරිනු ඇත.)

ඉහත පිළිතුරු සඳහා අතිරේක කරුණක් ලෙස, ඇල්ගොරිතමයේ පරමාර්ථය වර්ගීකරණය කිරීම පමණක් වන විට, ආදර්ශ ආදාන බෙදාහැරීම සඳහා උත්පාදක ප්‍රවේශය අනුගමනය කිරීමෙන් ප්‍රති training ල ලබා ගත හැකි වන්නේ උත්පාදක ප්‍රවේශයට වඩා වෙනස් කොට සැලකීමේ ප්‍රවේශය වඩා හොඳ හා මිල අඩු විය හැකිය. තීරණ ගැනීමේදී අවශ්‍ය පෝස්ටර් ගණනය කිරීම සඳහා වැදගත් නොවන බෙදාහැරීමේ ආදර්ශ සංකීර්ණතා.