සංස්කෘතීන් දෙක: සංඛ්‍යාලේඛන එදිරිව යන්ත්‍ර ඉගෙනීම?

පසුගිය වසරේ, මම සිට බ්ලොග් කියවන්න බ්රෙන්ඩන් ඕ කොනර් හිමි "සංඛ්යාලේඛන එදිරිව යන්ත්රය ඉගෙනුම්, සටන්!" එමඟින් ක්ෂේත්‍ර දෙක අතර වෙනස්කම් කිහිපයක් සාකච්ඡා කෙරිණි. ඇන්ඩ rew ගෙල්මන් මේ සඳහා යහපත් ප්‍රතිචාරයක් දැක්වීය .

සයිමන් බ්ලොම්බර්ග්:

R හි වාසනාවන්ත පැකේජයෙන්: ප්‍රකෝපකාරී ලෙස අර්ථ දැක්වීමට නම්, 'යන්ත්‍ර ඉගෙනීම යනු සංඛ්‍යා හා උපකල්පන පරික්ෂා කිරීම us ණ කරයි'. - බ්‍රයන් ඩී. රිප්ලි (යන්ත්‍ර ඉගෙනීම සහ සංඛ්‍යාලේඛන අතර වෙනස ගැන) useR! 2004, වියානා (2004 මැයි) :-) කන්නයේ සුබ පැතුම්!

ඇන්ඩ rew ගෙල්මන්:

එවැනි අවස්ථාවකදී, බොහෝ විට අපි ආකෘති සහ උපකල්පන පරික්ෂා කිරීමෙන් ඉවත් විය යුතුය. එවිට යන්ත්‍ර ඉගෙනීමේ පුද්ගලයින්ට විසඳිය හැකි ගැටළු කිහිපයක් විසඳීමට අපට හැකි වනු ඇත, නමුත් අපට එය කළ නොහැක!

ද ඇති විය : "මෙම සංස්කෘතීන් දෙකක් සංඛ්යාන ආකෘති නිර්මාණ" කඩදාසි සංඛ්යානඥයින් දත්ත ආකෘති නිර්මාණය මත අධික ලෙස රඳා බව තර්ක, සහ ඉගෙන ශිල්පක්රම යන්ත්රය වෙනුවට මත රඳා පවතිමින් ප්රගතියක් ඇති 2001 දී ලියෝ Breiman විසින් අනාවැකි නිවැරදි ආකෘති.

මෙම විවේචනවලට ප්‍රතිචාර වශයෙන් පසුගිය දශකය තුළ සංඛ්‍යාලේඛන ක්ෂේත්‍රය වෙනස් වී තිබේද? මෙම සංස්කෘතීන් දෙක තවමත් පවතීද නැතහොත් ස්නායුක ජාල සහ ආධාරක දෛශික යන්ත්‍ර වැනි යන්ත්‍ර ඉගෙනීමේ ක්‍රමවේදයන් වැලඳ ගැනීම සඳහා සංඛ්‍යාලේඛන වර්ධනය වී තිබේද?

මම හිතන්නේ ඔබේ පළමු ප්‍රශ්නයට පිළිතුර සරලවම සහතික කර ඇත. පසුගිය වසර 10 ක සංඛ්‍යාලේඛන විද්‍යාව, ජාසා, සංඛ්‍යාලේඛන පිළිබඳ වාර්ෂික කරුණු පිළිබඳ ඕනෑම ප්‍රශ්නයක් සලකා බලන්න. මෙම ප්‍රදේශය දැන් ක්‍රියාකාරී නොවූවත්, ඉහළ නැංවීම, එස්වීඑම් සහ ස්නායුක ජාලයන් පිළිබඳ ලිපි ඔබට හමුවනු ඇත. සංඛ්‍යාලේඛන ians යින් විසින් වැලියන්ට් සහ වප්නික්ගේ වැඩ කටයුතු අත්පත් කර ගෙන ඇති නමුත් අනෙක් පැත්තෙන් පරිගණක විද්‍යා scientists යින් ඩොනහෝ සහ තලග්‍රෑන්ඩ්ගේ කෘති උකහා ගෙන ඇත. විෂය පථය හා ක්‍රමවේදයන්හි වැඩි වෙනසක් ඇතැයි මම නොසිතමි. සීඑස් ජනතාව උනන්දු වූයේ ඕනෑම වැඩක් භාවිතා කරමින් පාඩු අවම කර ගැනීමට පමණක් යැයි බ්‍රීමන්ගේ තර්කය මා කිසි විටෙකත් මිල දී ගෙන නැත. ඔහු ස්නායුක ජාල සම්මන්ත්‍රණවලට සහභාගී වීම සහ ඔහුගේ උපදේශන කටයුතු කෙරෙහි බෙහෙවින් බලපා ඇත. නමුත් PAC, SVMs, Boosting යන සියල්ලටම ශක්තිමත් පදනම් ඇත. අද වන විට 2001 මෙන් නොව සංඛ්‍යාලේඛන සීමිත නියැදි ගුණාංග කෙරෙහි වැඩි සැලකිල්ලක් දක්වයි.

නමුත් මම හිතන්නේ වැදගත් වෙනස්කම් තුනක් තවමත් නොපවතින බවයි.

1. ක්‍රමෝපායික සංඛ්‍යාලේඛන පත්‍රිකා තවමත් විධිමත් හා අඩු කළ හැකි ඒවා වන අතර යන්ත්‍ර ඉගෙනීමේ පර්යේෂකයන් සාක්ෂි සමඟ අමුණා නොතිබුණද නව ප්‍රවේශයන් කෙරෙහි වැඩි ඉවසීමක් දක්වයි;
2. එම්එල් ප්‍රජාව මූලික වශයෙන් නව ප්‍රති results ල සහ ප්‍රකාශන සම්මන්ත්‍රණ හා අදාළ කටයුතු වලදී බෙදා ගන්නා අතර සංඛ්‍යාලේඛන ians යින් ජර්නල් පත්‍රිකා භාවිතා කරයි. මෙය සංඛ්‍යාලේඛන හා තරු පර්යේෂකයන් හඳුනා ගැනීමේ ප්‍රගතිය මන්දගාමී කරයි. ජෝන් ලැන්ග්ෆර්ඩ්ට මෙම විෂය පිළිබඳ කදිම ලිපියක් ඇත.
3. සමීක්ෂණ සැලසුම් කිරීම, නියැදීම, කාර්මික සංඛ්‍යාලේඛන වැනි එම්එල් වෙත එතරම් සැලකිල්ලක් නොදක්වන ක්ෂේත්‍ර (තවමත්) සංඛ්‍යාලේඛන තවමත් ආවරණය කරයි.

ප්‍රජාවන් අතර මා දකින ලොකුම වෙනස නම් සංඛ්‍යාලේඛන මගින් අනුමාන කිරීම් අවධාරණය කරන අතර යන්ත්‍ර ඉගෙනීම අනාවැකි අවධාරණය කිරීමයි. ඔබ සංඛ්‍යාලේඛන කරන විට, ඔබ විසින් ජනනය කරන ලද දත්ත මගින් ක්‍රියාවලිය අනුමාන කිරීමට ඔබට අවශ්‍යය . ඔබ යන්ත්‍ර ඉගෙනීම සිදු කරන විට, අනාගත දත්ත සමහර විචල්‍යයන් මෙන් පෙනෙනු ඇතැයි ඔබට දැනගත හැක්කේ කෙසේදැයි දැන ගැනීමට ඔබට අවශ්‍යය .

ඇත්ත වශයෙන්ම දෙක අතිච්ඡාදනය වේ. දත්ත ජනනය කළ ආකාරය දැන ගැනීමෙන් හොඳ පුරෝකථනය කරන්නෙකු යනු කුමක්ද යන්න පිළිබඳ ඉඟි කිහිපයක් ඔබට ලබා දෙනු ඇත. කෙසේ වෙතත්, වෙනස සඳහා එක් උදාහරණයක් නම්, යන්ත්‍ර ඉගෙනීම එහි ළදරු අවධියේ සිටම p >> n ගැටලුව (පුහුණු සාම්පලවලට වඩා වැඩි විශේෂාංග / විචල්‍යයන්) සමඟ කටයුතු කර ඇති අතර සංඛ්‍යාලේඛන මෙම ගැටලුව පිළිබඳව බැරෑරුම් ලෙස සිතීමට පටන් ගෙන ඇත. මන්ද? P >> n වන විට ඔබට තවමත් හොඳ අනාවැකි කිව හැකි නමුත්, ඇත්ත වශයෙන්ම වැදගත් වන්නේ කුමන විචල්‍යයන් සහ ඇයි යන්න පිළිබඳව ඔබට හොඳ නිගමනයන් කළ නොහැක.

බේසියානු: "හෙලෝ, යන්ත්‍ර ඉගෙන ගන්න!"

නිතර නිතර: "හෙලෝ, යන්ත්‍ර ඉගෙන ගන්න!"

යන්ත්‍ර ඉගෙනීම: "මට ඇහෙනවා ඔයාලා හොඳට දක්ෂයි කියලා. මෙන්න දත්ත ටිකක්."

F: "ඔව්, අපි ආකෘතියක් ලියා පසුව MLE ගණනය කරමු."

B: "හේයි, එෆ්, ඔබ ඊයේ මට කී දේ එය නොවේ! මා සතුව අසමාන දත්ත කිහිපයක් තිබී ඇති අතර විචල්‍යතාවය තක්සේරු කිරීමට මට අවශ්‍ය වූ අතර මම එම්එල්ඊ ගණනය කළෙමි. එවිට ඔබ මට පහර දී මට කීවේ ඒ වෙනුවට n - 1 න් බෙදන්න$n-1$$n$ කියාය. විසින් n . "

F: "ආහ්, මට මතක් කිරීම ගැන ස්තූතියි. මම බොහෝ විට සිතන්නේ මම සෑම දෙයක් සඳහාම MLE භාවිතා කළ යුතු යැයි කියාය , නමුත් මම අපක්ෂපාතී ඇස්තමේන්තු සහ වෙනත් දේ ගැන උනන්දු වෙමි ."

එම්.එල්: "එහ්, මේ දාර්ශනිකකරණය කුමක්ද? එය මට උදව් කරයිද?"

F: "හරි, තක්සේරු කරන්නෙක් කළු පෙට්ටියක්, ඔබ දත්ත දැමූ විට එය ඔබට සංඛ්‍යා කිහිපයක් ලබා දෙයි. පෙට්ටිය සෑදූ ආකාරය ගැනත්, එය සැලසුම් කිරීම සඳහා භාවිතා කළ මූලධර්ම ගැනත් අපි නිතරම සැලකිලිමත් නොවෙමු. උදාහරණයක් ලෙස, මම ව්යුත්පන්න කිරීමට කෙසේ දැයි මා දන්නේ නැහැ . පාලනය "$\div(n-1)$

එම්.එල්: "ඉතින්, ඔබ සැලකිලිමත් වන්නේ කුමක් ද?"

F: "ඇගයීම."

එම්.එල්: "මම ඒ ශබ්දයට කැමතියි."

එෆ්: "කළු පෙට්ටිය කළු කොටුව කවුරුහරි යම් estimator සඳහා අපක්ෂපාතී estimator වේ කියා නම්. , ඉන් පසුව අපි බොහෝ දෙනෙක් වටිනාකම් උත්සාහ θ අනෙක් අතට, සමහර උපකල්පනය ආකෘතිය පදනම් එක් එක් බොහෝ සාම්පල ජනනය වන estimator හරහා ඔවුන් තල්ලු , සහ ඇස්තමේන්තුගත සාමාන්‍ය අගය සොයා ගන්න θ . අපේක්ෂිත ඇස්තමේන්තුව සියලු අගයන් සඳහා සත්‍ය වටිනාකමට සමාන බව අපට ඔප්පු කළ හැකි නම්, එය අපක්ෂපාතී යැයි අපි කියමු.$\theta$$\theta$$\theta$

එම්.එල්: "නියමයි! එය නිතර නිතර ප්‍රායෝගික පුද්ගලයන් ලෙස පෙනේ. ඔබ සෑම කළු පෙට්ටියක්ම එහි ප්‍රති results ල අනුව විනිශ්චය කරයි. ඇගයීම ප්‍රධාන ය."

F: "ඇත්ත වශයෙන්ම, මට තේරෙනවා ඔබත් ඒ හා සමාන ප්‍රවේශයක් ගන්නා බව. හරස් වලංගුකරණය හෝ වෙනත් දෙයක්? නමුත් එය මට අවුල් සහගතයි."

එම්.එල්: "අවුල්ද?"

F: "සැබෑ දත්ත පිළිබඳ ඔබේ තක්සේරුකරු පරීක්ෂා කිරීමේ අදහස මට භයානක බව පෙනේ. ඔබ භාවිතා කරන ආනුභවික දත්ත ඒ සමඟ සියලු ආකාරයේ ගැටළු ඇති විය හැකි අතර ඇගයීම සඳහා අප එකඟ වූ ආකෘතියට අනුව ක්‍රියා නොකරනු ඇත."

ML: "? මම ඔබ සැමට, සමහර ප්රතිඵල ඔප්පු දුර්වලම ඔබගේ estimator සෑම විටම අපක්ෂපාතී බවයි කල්පනා ."$\theta$

F: "ඔව්, ඔබේ ක්‍රමය ඔබේ ඇගයීම සඳහා භාවිතා කළ එක් දත්ත කට්ටලයක් (දුම්රිය හා පරීක්ෂණ දත්ත සහිත දත්ත කට්ටලය) මත ක්‍රියා කර ඇති අතර, මගේ සෑම විටම ක්‍රියාත්මක වන බව මට ඔප්පු කළ හැකිය."

එම්එල්: "සියලුම දත්ත කට්ටල සඳහා?"

F: "නැත."

එම්.එල්: "ඉතින් මගේ ක්‍රමය එක් දත්ත කට්ටලයක හරස් වලංගු කර ඇත. ඔබ කිසිදු සත්‍ය දත්ත කට්ටලයක ඔබේ අත්හදා බැලීම් කර නැද්ද?"

F: "ඒක හරි."

එම්.එල්: "එය මට පෙරමුණ ගෙන සිටියි! මගේ ක්‍රමය ඔබට වඩා හොඳය. එය පිළිකා 90% ක් පුරෝකථනය කරයි. ඔබේ 'සාධනය' වලංගු වන්නේ ඔබ උපකල්පනය කළ ආකෘතියට අනුව සමස්ත දත්ත කට්ටලයම හැසිරෙන්නේ නම් පමණි."

F: "එම්, ඔව්, මම හිතන්නේ."

ML: "ඒ පරතරය 95% ක් ඇත ආවරණය එහෙත් එය පමණක් නිවැරදි අගය අඩංගු නම් මම පුදුමයට පත් විය යුතු නැහැ. ? 20% ක කාලයක්"$\theta$

F: "ඒක හරි. දත්ත ඇත්ත වශයෙන්ම සාමාන්‍ය නොවේ නම් (හෝ කුමක් වුවත්), මගේ සාධනය නිෂ් .ල ය."

එම්.එල්: "ඉතින් මගේ ඇගයීම වඩා විශ්වාසදායක හා විස්තීර්ණද? එය ක්‍රියාත්මක වන්නේ මා මෙතෙක් උත්සාහ කර ඇති දත්ත කට්ටල මත පමණි, නමුත් අවම වශයෙන් ඒවා සැබෑ දත්ත කට්ටල, ඉන්නන් සහ සියල්ලම වේ. එහිදී ඔබ උත්සාහ කළේ ඔබ වඩාත් ගතානුගතික යැයි කියා ගැනීමට ය. 'සහ' සවිස්තරාත්මක 'සහ ඔබ ආකෘති පරීක්ෂා කිරීම සහ දේවල් ගැන උනන්දු වූ බව. "

B: (ඇඟිලි ගැසීම්) "හේයි යාලුවනේ, බාධා කිරීමට සමාවෙන්න. මම පියවරෙන් පියවර දේවල් සමබර කර ගැනීමට කැමතියි, සමහර විට වෙනත් කාරණා නිරූපණය කරයි, නමුත් මගේ නිරන්තර සගයා දෙස බැලීමට මම ඇත්තෙන්ම කැමතියි."

එෆ්: "වෝ!"

එම්.එල්: "හරි, ළමයි. ඒ සියල්ල ඇගයීමකි. තක්සේරුකරුවෙකු කළු පෙට්ටියක්. දත්ත ඇතුල් වේ, දත්ත එළියට එයි. ඇස්තමේන්තුවක් ඇගයීම යටතේ එය ක්‍රියාත්මක වන ආකාරය මත පදනම්ව අපි එය අනුමත කරමු, නැතහොත් අනුමත කරමු. අපි ගණන් ගන්නේ නැහැ භාවිතා කරන 'වට්ටෝරුව' හෝ 'සැලසුම් මූලධර්ම' ගැන.

F: "ඔව්, නමුත් කුමන ඇගයීම් වැදගත්ද යන්න පිළිබඳව අපට බෙහෙවින් වෙනස් අදහස් ඇත. එම්එල් විසින් සත්‍ය දත්ත පිළිබඳව දුම්රිය හා පරීක්ෂණ සිදු කරනු ඇත. එහෙත් මම වඩාත් සාමාන්‍ය ඇගයීමක් කරන්නෙමි (එයට පුළුල් ලෙස අදාළ වන සාක්ෂියක් ඇතුළත් වන නිසා) සහ ඊටත් වඩා සීමිතයි (මන්ද මගේ ඇගයීම සැලසුම් කිරීමේදී මා භාවිතා කරන ආකෘති උපකල්පන වලින් ඔබේ දත්ත කට්ටලය සැබවින්ම ලබාගෙන ඇත්දැයි මම නොදනිමි.) "

එම්.එල්: "ඔබ භාවිතා කරන්නේ කුමන ඇගයීමද, බී?"

F: (ඇඟිලි ගැසීම්) "ඒයි, මාව සිනාසෙන්න එපා. ඔහු කිසිවක් තක්සේරු කරන්නේ නැහැ. ඔහු තම ආත්මීය විශ්වාසයන් භාවිතා කර එය සමඟ දුවයි. නැතහොත් යමක්."

B: "එය පොදු අර්ථ නිරූපණයයි. නමුත් කැමති ඇගයීම් මගින් බේසියානුවාදය නිර්වචනය කළ හැකිය. එවිට අපට කිසිවෙකු කළු පෙට්ටියේ ඇති දේ නොසලකයි යන අදහස භාවිතා කළ හැකිය, ඇගයීමට විවිධ ක්‍රම ගැන පමණක් අපි සැලකිලිමත් වෙමු."

බී තවදුරටත් මෙසේ කියයි: "සම්භාව්‍ය උදාහරණය: වෛද්‍ය පරීක්ෂණය. රුධිර පරීක්ෂණයේ ප්‍රති result ලය ධනාත්මක හෝ ative ණාත්මක ය. නිරෝගී අය ගැන නිරන්තරයෙන් උනන්දුවක් දක්වනු ඇත, නිරෝගී ප්‍රති result ල ලැබෙන්නේ කුමන අනුපාතයට ද යන්න. ඒ හා සමානව, අසනීප වූවන්ගේ අනුපාතය ධනාත්මකව ලබා ගන්න. නිතර නිතර සලකා බලනු ලබන සෑම රුධිර පරීක්ෂණ ක්‍රමයක් සඳහාම මේවා ගණනය කරනු ඇති අතර පසුව හොඳම ලකුණු යුගල ලබා ගත් පරීක්ෂණය භාවිතා කරන ලෙස නිර්දේශ කරමු. ”

F: "හරියටම. ඔබට තව කුමක් අවශ්‍යද?"

B: "ධනාත්මක පරීක්ෂණ ප්‍රති result ලයක් ලබාගත් පුද්ගලයින් ගැන කුමක් කිව හැකිද? ඔවුන්ට 'ධනාත්මක ප්‍රති result ලයක් ලැබෙන අය ගැන දැන ගැනීමට අවශ්‍ය වනු ඇත, කීදෙනෙකුට අසනීප වේවිද?' සහ 'සෘණාත්මක ප්‍රති result ලයක් ලබා ගන්නා අයගෙන්, කීදෙනෙක් සෞඛ්‍ය සම්පන්නද?' "

එම්.එල්: "ආ ඔව්, එය ඇසීමට වඩා හොඳ ප්‍රශ්න යුගලයක් සේ පෙනේ."

F: "හෙරසි!"

B: "මෙන්න අපි නැවත යමු. ඔහු යන්නේ කොතැනටද යන්න ඔහු කැමති නැත."

එම්.එල්: "මේක 'ප්‍රියර්ස්' ගැන නේද?"

F: "EVIL".

B: "කෙසේ වෙතත්, ඔව්, ඔබ හරි එම්.එල්. අසනීපයෙන් පෙළෙන ධනාත්මක ප්‍රති result ල ඇති පුද්ගලයින්ගේ අනුපාතය ගණනය කිරීම සඳහා ඔබ කාරණා දෙකෙන් එකක් කළ යුතුය. එක් විකල්පයක් නම් බොහෝ පුද්ගලයින් මත පරීක්ෂණ ක්‍රියාත්මක කර නිරීක්ෂණය කිරීමයි. උදාහරණයක් ලෙස, එම පුද්ගලයින්ගෙන් කීදෙනෙක් රෝගයෙන් මිය යනවාද යන්න.

එම්.එල්: "ඒක මම කරන දේ වගේ. දුම්රිය හා පරීක්ෂණ භාවිතා කරන්න."

B: "නමුත් ජනගහනයේ අසනීප අනුපාතය පිළිබඳව උපකල්පනයක් කිරීමට ඔබ කැමති නම් ඔබට මෙම සංඛ්‍යා කල්තියා ගණනය කළ හැකිය. නිතර නිතර යන අයද ඔහුගේ ගණනය කිරීම් කල්තියාම කරයි, නමුත් මෙම ජනගහණ මට්ටමේ අසනීප අනුපාතය භාවිතා නොකර."

F: "තව දුරටත් නොදැනුවත්වම."

B: "අනේ කට වහගෙන ඉන්න. මීට පෙර ඔබව සොයා ගත්තා. ඔබ ඕනෑම කෙනෙකුට වඩා පදනම් විරහිත උපකල්පනවලට ඇලුම් කරන බව එම්.එල්. සොයා ගත්තා. මගේ පූර්ව උපකල්පනය මෙතරම් වෙනස් වන්නේ ඇයි? ඔබ මට පිස්සු යැයි කියනු ඇත, නමුත් ඔබ සිතන්නේ ඔබේ උපකල්පන ගතානුගතික, solid න, උපකල්පන-රහිත විශ්ලේෂණයක කාර්යයක් බවයි.

බී (දිගටම): "කෙසේ වෙතත්, එල්, මම පවසමින් සිටියදී ඇගයීම පිළිබඳ විවිධ ආකාරයේ වැනි Bayesians අපිට තව නිරීක්ෂිත දත්ත මත සමීකරණ ගැන උනන්දුවක්, ඒ අනුව අපගේ estimator නිරවද්යතාව ගණනය අපි මේ ඉටු කළ නොහැක... ඇගයීම භාවිතා නොකර නමුත් සිත්ගන්නා කරුණ නම්, අපි මෙම ඇගයීම් ක්‍රමය තීරණය කළ පසු සහ අපගේ පෙර තෝරාගත් පසු, සුදුසු තක්සේරුකරුවෙකු නිර්මාණය කිරීම සඳහා ස්වයංක්‍රීය 'වට්ටෝරුවක්' අප සතුව ඇත. නිතර නිතර එවැනි වට්ටෝරුවක් නොමැත. ඔහුට අවශ්‍ය නම් සංකීර්ණ ආකෘතියක් සඳහා අපක්ෂපාතී තක්සේරුකරුවෙකු වන ඔහුට සුදුසු ඇස්තමේන්තුවක් තැනීමට ස්වයංක්‍රීය ක්‍රමයක් නොමැත.

එම්.එල්: "එහෙමද? ඔබට ස්වයංක්‍රීයව ඇස්තමේන්තුවක් සෑදිය හැකිද?"

B: "ඔව්, අපක්ෂපාතී තක්සේරුකරුවෙකු නිර්මාණය කිරීමට මට ස්වයංක්‍රීය ක්‍රමයක් නොමැත, මන්ද තක්සේරුකරුවෙකු තක්සේරු කිරීමට පක්ෂග්‍රාහීත්වය නරක ක්‍රමයක් යැයි මම සිතමි. නමුත් කොන්දේසි සහිත දත්ත තක්සේරුවකට අනුව මා කැමති, සහ ඊට පෙර, මට තක්සේරුකරු ලබා දීමට පෙර සහ සම්භාවිතාව සම්බන්ධ කළ හැකිය. ”

එම්.එල්: "කෙසේ වෙතත්, නැවත කියමු. අපගේ ක්‍රම ඇගයීමට අප සියලු දෙනාටම විවිධ ක්‍රම තිබේ. වඩාත්ම සුදුසු ක්‍රම මොනවාදැයි අපි කිසි විටෙකත් එකඟ නොවෙමු."

B: "හොඳයි, එය සාධාරණ නැහැ. අපට ඒවා මිශ්‍ර කර ගලපන්න පුළුවන්. අපෙන් ඕනෑම කෙනෙකුට හොඳ ලේබල් කරන ලද පුහුණු දත්ත තිබේ නම්, අපි එයට එරෙහිව පරීක්‍ෂා කළ යුතුයි. සාමාන්‍යයෙන් අප සියල්ලන්ම අපට හැකි තරම් උපකල්පන පරික්ෂා කළ යුතුයි. දත්ත උත්පාදනය පිළිබඳ කිසියම් උපකල්පිත ආකෘතියක් යටතේ කාර්ය සාධනය පුරෝකථනය කරමින් සාක්ෂි ද විනෝදජනක විය හැකිය.

F: "ඔව් යාලුවනේ, අපි ඇගයීම ගැන ප්‍රායෝගිකව කටයුතු කරමු. ඇත්ත වශයෙන්ම, මම අසීමිත නියැදි ගුණාංග ගැන සොයා බැලීම නවත්වමි. මම විද්‍යා scientists යින්ගෙන් ඉල්ලා සිටියේ මට අසීමිත නියැදියක් ලබා දෙන ලෙසයි, නමුත් ඔවුන් තවමත් එසේ කර නැත. එය එසේ නොවේ. සීමිත සාම්පල කෙරෙහි නැවත අවධානය යොමු කිරීමට මට කාලයයි.

එම්.එල්: "ඉතින්, අපට ඇත්තේ අවසාන ප්‍රශ්නයක් පමණි. අපගේ ක්‍රම ඇගයීමට ලක් කරන්නේ කෙසේද යන්න පිළිබඳව අපි බොහෝ දේ තර්ක කර ඇත්තෙමු , නමුත් අපි අපගේ ක්‍රම නිර්මාණය කරන්නේ කෙසේද? "

B: "ආහ්, මම කලින් ලබා ගත් පරිදි, අපට වඩා බලවත් පොදු ක්‍රමයක් තිබේ. එය සංකීර්ණ විය හැකි නමුත්, අපට සෑම විටම යම් ආකාරයක ඇල්ගොරිතමයක් ලිවිය හැකිය (සමහර විට MCMC හි බොළඳ ආකාරයක්) එය අපගේ පසුපසින් සාම්පල ලබා ගනී. "

එෆ් (ඇඟිලි ගැසීම්): "නමුත් එයට පක්ෂග්‍රාහී විය හැකිය."

B: "එසේනම් ඔබේ ක්‍රමවේදයන් විය හැකිය. MLE බොහෝ විට පක්ෂග්‍රාහී බව මම ඔබට මතක් කර දිය යුතුද? සමහර විට, අපක්ෂපාතී තක්සේරුකරුවන් සොයා ගැනීමට ඔබට විශාල අපහසුතාවයක් ඇති අතර, ඔබ සතුව මෝඩ ඇස්තමේන්තුවක් (සමහර විට සංකීර්ණ ආකෘතියක් සඳහා) ඇති බව කියනු ඇත. විචලනය negative ණාත්මක වන අතර ඔබ එය අපක්ෂපාතී යැයි කියනු ඇත. අපක්ෂපාතී, ඔව්. නමුත් ප්‍රයෝජනවත්, නැත! "

එම්.

F: "ඔව්, ඇත්ත වශයෙන්ම, මම එය පිළිගැනීමට අකමැතියි, නමුත් B හි ප්‍රවේශය සමහර විට මගේ තක්සේරුකරුට වඩා අඩු නැඹුරුවක් සහ MSE ඇත !"

එම්.එල්: "මෙහි ඇති පාඩම නම්, ඇගයීම සම්බන්ධයෙන් අප තරමක් එකඟ නොවූවත්, අපට අවශ්‍ය දේපල ඇති තක්සේරුකරු නිර්මාණය කරන්නේ කෙසේද යන්න පිළිබඳව අප කිසිවෙකුටත් ඒකාධිකාරයක් නොමැති බවයි."

B: "ඔව්, අපි එකිනෙකාගේ කෘති තව ටිකක් කියවිය යුතුයි. අපට ඇස්තමේන්තුකරුවන් සඳහා එකිනෙකාට ආශ්වාදයක් ලබා දිය හැකිය. අනෙකාගේ ඇස්තමේන්තුකරුවන් අපේම ගැටලු මත විශිෂ්ට ලෙස ක්‍රියා කරන බව අපට පෙනී යනු ඇත."

F: "ඒ වගේම මම පක්ෂග්‍රාහීත්වය ගැන ඇබ්බැහි වීම නැවැත්විය යුතුයි. අපක්ෂපාතී තක්සේරුකරුවෙකුට හාස්‍යජනක විචල්‍යතාවයක් තිබිය හැකිය. අප තක්සේරු කරන ආකාරය සහ අපගේ තක්සේරුකරුවන් තුළ දැකීමට අපේක්ෂා කරන දේපල සම්බන්ධයෙන් අප ගන්නා තේරීම් සම්බන්ධයෙන් අප සියලු දෙනා 'වගකීම ගත යුතු' යැයි මම සිතමි. අපට දර්ශනයක් පසුපස හඹා යා නොහැක. ඔබට කළ හැකි සියලු ඇගයීම් උත්සාහ කරන්න. තවද ඇස්තමේන්තුකරුවන් සඳහා නව අදහස් ලබා ගැනීම සඳහා මම බේසියානු සාහිත්‍යය දෙස බැලුවෙමි. ”

B: "ඇත්ත වශයෙන්ම, බොහෝ දෙනෙක් තමන්ගේ දර්ශනය කුමක්දැයි නොදනිති. මට මා ගැනම විශ්වාස නැත. මම බේසියානු වට්ටෝරුවක් භාවිතා කර හොඳ න්‍යායාත්මක ප්‍රති result ලයක් සනාථ කරන්නේ නම්, එයින් අදහස් කරන්නේ මා නොවේ මම නිතර නිතර ද? "

එම්.එල්: "අපි හැමෝම එක හා සමානයි."

එවැනි සාකච්ඡාවකදී, මම සෑම විටම සුප්‍රසිද්ධ කෙන් තොම්සන් උපුටා දැක්වීම සිහිපත් කරමි

සැකයක් ඇති විට, තිරිසන් බලය භාවිතා කරන්න.

මෙම අවස්ථාවේ දී, උපකල්පන අල්ලා ගැනීමට අපහසු වූ විට යන්ත්‍ර ඉගෙනීම ගැලවීමකි; හෝ අවම වශයෙන් එය වැරදි ලෙස අනුමාන කිරීමට වඩා හොඳය.

තිබිය යුතු ප්‍රමාණයට වඩා වැඩි වෙන්වීමක් බලාත්මක කරන්නේ එක් එක් විනයෙහි ශබ්දකෝෂයයි.

එම්එල් එක් යෙදුමක් භාවිතා කරන අවස්ථා සහ සංඛ්‍යාලේඛන වෙනත් යෙදුමක් භාවිතා කරයි - නමුත් දෙකම එකම දෙයකට යොමු කරයි - හොඳයි, ඔබ එය අපේක්ෂා කරන අතර එය ස්ථිර ව්‍යාකූලත්වයක් ඇති නොකරයි (උදා: විශේෂාංග / ගුණාංග එදිරිව අපේක්ෂාව විචල්යයන්, හෝ ස්නායුක ජාලය / එම්එල්පී එදිරිව ප්රක්ෂේපණ-ලුහුබැඳීම).

වඩාත් කරදරකාරී දෙය නම්, සම්පූර්ණයෙන්ම වෙනස් සංකල්ප වෙත යොමු කිරීම සඳහා විෂයයන් දෙකම එකම පදය භාවිතා කිරීමයි.

උදාහරණ කිහිපයක්:

කර්නල් කාර්යය

එම්එල් හි කර්නල් ශ්‍රිත වර්ගීකරණයේ (උදා: එස්වීඑම්) සහ ඇත්ත වශයෙන්ම කර්නල් යන්ත්‍රවල භාවිතා වේ. මෙම යෙදුම නව ආදාන අවකාශයකට රේඛීය නොවන ලෙස සිතියම් ගත කිරීම සඳහා සරල ශ්‍රිතයක් ( කොසයින්, සිග්මොයිඩල්, ආර්බීඑෆ්, බහුපද ) යොමු කරයි, එවිට දත්ත දැන් මෙම නව ආදාන අවකාශයේ රේඛීයව වෙන් කළ හැකිය. (ආරම්භ කිරීමට රේඛීය නොවන ආකෘතියක් භාවිතා කිරීමට එරෙහිව).

සංඛ්‍යාලේඛන වලදී, කර්නල් ශ්‍රිතයක් යනු ity නත්ව වක්‍රය සුමට කිරීම සඳහා ity නත්වය තක්සේරු කිරීමේදී භාවිතා කරන බර කිරිමේ ශ්‍රිතයකි.

ප්‍රතිගාමී වීම

එම්එල් හි, පුරෝකථන ඇල්ගොරිතම හෝ පන්ති ලේබල් "වර්ගීකරණ" ආපසු ලබා දෙන ඇල්ගොරිතම ක්‍රියාත්මක කිරීම (සමහර විට) යන්ත්‍ර ලෙස හැඳින්වේ - උදා, ආධාරක දෛශික යන්ත්‍රය , කර්නල් යන්ත්‍රය . යන්ත්‍ර සඳහා ප්‍රතිවිරුද්ධ පාර්ශවය වන්නේ ප්‍රතිග්‍රාහක වන අතර එය ලකුණු ලබා දෙයි (අඛණ්ඩ විචල්‍යය) - උදා: ආධාරක දෛශික ප්‍රතිගාමී .

කලාතුරකින් ඇල්ගොරිතම වලට මාදිලිය මත පදනම්ව විවිධ නම් ඇත - උදා: එම්එල්පී යනු පන්ති ලේබලයක් හෝ අඛණ්ඩ විචල්‍යයක් ලබා දෙන්නේද යන්න භාවිතා කරයි.

සංඛ්‍යාලේඛන වලදී, ප්‍රතිගාමීත්වය , ඔබ ආනුභවික දත්ත මත පදනම් වූ ආකෘතියක් තැනීමට උත්සාහ කරන්නේ නම්, පැහැදිලි විචල්‍යයන් එකක් හෝ වැඩි ගණනක් හෝ වැඩි විචල්‍යයන් මත පදනම්ව යම් ප්‍රතිචාර විචල්‍යයක් පුරෝකථනය කිරීමට - එවිට ඔබ කරන්නේ ප්‍රතිගාමී විශ්ලේෂණයකි. ප්‍රතිදානය අඛණ්ඩ විචල්‍යයක්ද නැතිනම් පන්ති ලේබලයක්ද යන්න ගැටළුවක් නොවේ (උදා: ලොජිස්ටික් රෙග්‍රේෂන්). උදාහරණයක් ලෙස, අවම-වර්ග ප්‍රතිවර්තනය යනු අඛණ්ඩ අගයක් ලබා දෙන ආකෘතියකි; අනෙක් අතට ලොජිස්ටික් රෙග්‍රේෂන්, සම්භාවිතා ඇස්තමේන්තුවක් ලබා දෙන අතර එය පන්ති ලේබලයකට වෙන් කරනු ලැබේ.

නැඹුරුව

එම්එල් හි, ඇල්ගොරිතමයේ නැඹුරුව යන පදය ප්‍රතිගාමී ආකෘති නිර්මාණයේදී සංඛ්‍යාලේඛන ians යින් විසින් භාවිතා කරන අන්තර්වාරක යෙදුමට සංකල්පමය වශයෙන් සමාන වේ .

සංඛ්‍යාලේඛන වලදී, නැඹුරුව අහඹු නොවන දෝෂයකි - එනම්, යම් සංසිද්ධියක් සමස්ත දත්ත කට්ටලයම එකම දිශාවකට බලපා ඇති අතර, එයින් අදහස් වන්නේ නියැදි ප්‍රමාණය නැවත සකස් කිරීමෙන් හෝ වැඩි කිරීමෙන් මෙවැනි දෝෂයක් ඉවත් කළ නොහැකි බවයි.

පසුගිය වසර තුළ මා දුටු විශාලතම වෙනස්කම් නම්:

• යන්ත්‍ර ඉගෙනීමේ විශේෂ experts යන් මූලධර්ම සඳහා ප්‍රමාණවත් කාලයක් වැය නොකරන අතර ඔවුන්ගෙන් බොහෝ දෙනෙකුට ප්‍රශස්ත තීරණ ගැනීම සහ නිසි නිරවද්‍යතා ලකුණු කිරීමේ නීති තේරුම් ගත නොහැක. කිසිදු උපකල්පනයක් නොකරන පුරෝකථන ක්‍රමවලට වඩා විශාල නියැදි ප්‍රමාණ අවශ්‍ය බව ඔවුන් තේරුම් නොගනිති.
• සංඛ්‍යාලේඛන ians යින් වන අපි හොඳ ක්‍රමලේඛන පුහුණුවීම් සහ නව පරිගණක භාෂා ඉගෙනීමට අඩු කාලයක් ගත කරමු. සංඛ්යානමය සාහිත්යයෙන් ගණනය කිරීම හා නව ක්රමවේදයන් භාවිතා කිරීමේදී අප වෙනස් කිරීමට ප්‍රමාද වැඩිය.

යන්ත්‍ර ඉගෙනීමට එහි පදනම ප්‍රායෝගික බව පෙනේ - ප්‍රායෝගිකව නිරීක්‍ෂණය කිරීම හෝ යථාර්ථය අනුකරණය කිරීම. සංඛ්‍යාලේඛන තුළ වුවද, සිහියෙන් තොරව “ආකෘති සහ උපකල්පන පරීක්ෂා කිරීම” ප්‍රයෝජනවත් ක්‍රම ඉවතලීමට හේතු වේ.

උදාහරණයක් ලෙස, මීට වසර ගණනාවකට පෙර, ණය කාර්යාංශ විසින් ක්‍රියාවට නංවන ලද වාණිජමය වශයෙන් ලබා ගත හැකි (සහ වැඩ කරන) බංකොලොත්භාවය පිළිබඳ ආකෘතිය 0-1 ප්‍රති .ලයක් ඉලක්ක කර ගනිමින් සරල පැරණි රේඛීය ප්‍රතිගාමී ආකෘතියක් හරහා නිර්මාණය කරන ලදී. තාක්ෂණික වශයෙන්, එය නරක ප්‍රවේශයකි, නමුත් ප්‍රායෝගිකව එය ක්‍රියාත්මක විය.

යන්ත්‍ර ඉගෙනීම සහ සංඛ්‍යාලේඛන වෙනස් හෝ ගැටුම්කාරී විද්‍යාවන් බව යෝජනා කරන බැවින් මම මෙම ප්‍රශ්නයට එකඟ නොවෙමි .... ප්‍රතිවිරුද්ධ දෙය සත්‍ය වූ විට!

යන්ත්‍ර ඉගෙනීම සංඛ්‍යාලේඛන පුළුල් ලෙස භාවිතා කරයි ... ඕනෑම යන්ත්‍ර ඉගෙනීම හෝ දත්ත කැණීමේ මෘදුකාංග පැකේජයක් පිළිබඳ ඉක්මන් සමීක්ෂණයක් මගින් සංඛ්‍යාලේඛනවල ද කේ-මාධ්‍යයන් වැනි පොකුරු ශිල්පීය ක්‍රම අනාවරණය වනු ඇත .... ප්‍රධාන සංරචක විශ්ලේෂණය වැනි මානයන් අඩු කිරීමේ ක්‍රමවේදයන් ද පෙන්වනු ඇත. සංඛ්යානමය තාක්ෂණයක් ද ... ලොජිස්ටික් ප්රතිගාමී වීම තවත් එකකි.

මගේ මතය අනුව ප්‍රධාන වෙනස වන්නේ සම්ප්‍රදායිකව සංඛ්‍යාලේඛන පූර්ව සංකල්පිත න්‍යායක් සනාථ කිරීම සඳහා භාවිතා කිරීම සහ සාමාන්‍යයෙන් විශ්ලේෂණය එම ප්‍රධාන න්‍යාය වටා නිර්මාණය කිරීමයි. දත්ත කැණීම හෝ යන්ත්‍ර ඉගෙනීම සමඟ ප්‍රතිවිරුද්ධ ප්‍රවේශය සාමාන්‍යයෙන් සම්මතය නම්, අපට අවශ්‍ය වන්නේ ප්‍රති come ලය අපට අවශ්‍ය වන්නේ ප්‍රශ්නය ඇසීමට හෝ න්‍යාය සැකසීමට වඩා එය පුරෝකථනය කිරීමට ක්‍රමයක් සෙවීමයි.

ASA Statistical Consulting eGroup හි වෙනත් සංසදයකදී මම මේ පිළිබඳව කතා කර ඇත්තෙමි. මගේ ප්‍රතිචාරය වඩාත් නිශ්චිතවම දත්ත කැණීම සඳහා වූ නමුත් දෙදෙනා අත්වැල් බැඳ ගනී. සංඛ්‍යාලේඛන ians යින් වන අපි දත්ත පතල් කම්කරුවන්, පරිගණක විද්‍යා scientists යින් සහ ඉංජිනේරුවන් වෙත නාසය ගසා ඇත. එය වැරදියි. මම හිතන්නේ එය සිදුවීමට හේතුව එම ක්ෂේත්‍රවල සිටින සමහර පුද්ගලයින් ඔවුන්ගේ ගැටලුවේ ස්ථිතික ස්වභාවය නොසලකා හැරීමයි. සමහර සංඛ්‍යාලේඛන ians යින් දත්ත කැණීමේ දත්ත සෝදිසි කිරීම හෝ දත්ත මසුන් ඇල්ලීම ලෙස හැඳින්වේ. සමහර අය අපයෝජනය හා ක්‍රමවේදයන් අනිසි ලෙස භාවිතා කරන නමුත් සංඛ්‍යාලේඛන ians යින් දත්ත කැණීමේ හා යන්ත්‍ර ඉගෙනීමේ කටයුතුවලදී පසුබසිනුයේ අප ඒවා පුළුල් බුරුසුවකින් පින්තාරු කරන බැවිනි. සමහර විශාල සංඛ්‍යාන ප්‍රති results ල සංඛ්‍යාලේඛන ක්ෂේත්‍රයෙන් පිටත සිට පැමිණ ඇත. වැඩි කිරීම එක් වැදගත් උදාහරණයකි. නමුත් බ්‍රයිමන්, ෆ්‍රීඩ්මන්, හස්ටි, ටිබ්ෂිරානි, එෆ්‍රොන් වැනි සංඛ්‍යාලේඛන ians යින් ජෙල්මන් සහ වෙනත් අය එය ලබා ගත් අතර ඔවුන්ගේ නායකත්වය සංඛ්‍යාලේඛන ians යින් විසින් ක්ෂුද්‍ර කිරණ සහ වෙනත් මහා පරිමාණ අනුමාන ගැටළු විශ්ලේෂණයට ගෙන එනු ලැබීය. එබැවින් සංස්කෘතීන් කිසි විටෙකත් නොගැලපෙන අතර පරිගණක විද්‍යා scientists යින්, ඉංජිනේරුවන් සහ සංඛ්‍යාලේඛන ians යින් අතර දැන් වැඩි සහයෝගයක් හා සහයෝගීතාවයක් පවතී.

සැබෑ ගැටළුව නම් මෙම ප්‍රශ්නය නොමඟ යවා තිබීමයි. එය සංඛ්‍යාලේඛන එදිරිව යන්ත්‍ර ඉගෙනීම නොවේ, එය සැබෑ විද්‍යාත්මක දියුණුවට එරෙහිව යන්ත්‍ර ඉගෙනීමයි. යන්ත්‍ර ඉගෙනීමේ උපකරණයක් 90% ක්ම නිවැරදි අනාවැකි ලබා දෙන නමුත් මට “ඇයි” ​​යන්න තේරුම් ගත නොහැකි නම්, යන්ත්‍රෝපකරණ ඉගෙනීමට විද්‍යාවට විශාල වශයෙන් දායක වන්නේ කුමක් ද? ග්‍රහලෝකවල පිහිටීම අනාවැකි කීමට යන්ත්‍ර ඉගෙනීමේ ක්‍රමවේදයන් භාවිතා කර ඇත්දැයි සිතා බලන්න: ඔවුන්ගේ එස්.වී.එම්. සමඟ බොහෝ දේ නිවැරදිව පුරෝකථනය කළ හැකි යැයි සිතන බොහෝ දුම් පානය කරන්නන් සිටිනු ඇත, නමුත් ඔවුන්ගේ අතේ ඇති ගැටලුව ගැන ඔවුන් සැබවින්ම දැන ගන්නේ කුමක්ද? ? නිසැකවම, විද්‍යාව සංඛ්‍යාත්මක අනාවැකි මගින් සැබවින්ම ඉදිරියට නොයනු ඇත, එය ඉදිරියට යන්නේ ආකෘති (මානසික, ගණිතමය) මගින් ය. ඒවා සංඛ්‍යා වලට වඩා ඔබ්බට බැලීමට ඉඩ සලසයි.

සංඛ්‍යාන ඉගෙනීම (AKA යන්ත්‍ර ඉගෙනීම) එහි මූලාරම්භය ඇත්තේ “උදාහරණ වලින් ඉගෙනීම” මඟින් මෘදුකාංග නිර්මාණය කිරීමේ ගවේෂණයයි. පරිගණක කිරීමට අප කැමති බොහෝ කාර්යයන් ඇත (උදා: පරිගණක දැක්ම, කථන හඳුනාගැනීම, රොබෝ පාලනය) වැඩසටහන් කිරීමට අපහසු නමුත් පුහුණු උදාහරණ සැපයීම පහසුය. යන්ත්‍ර ඉගෙනීම / සංඛ්‍යාන ඉගෙනුම් පර්යේෂණ ප්‍රජාව මෙම උදාහරණ වලින් කාර්යයන් ඉගෙන ගැනීම සඳහා ඇල්ගොරිතම සකස් කරන ලදී. පාඩු ශ්‍රිතය සාමාන්‍යයෙන් කාර්ය සාධන කාර්යයට (දැක්ම, කථන හඳුනාගැනීම) සම්බන්ධ විය. ඇත්ත වශයෙන්ම අපට මෙම කාර්යයන් යටින් සරල "ආකෘතියක්" ඇතැයි විශ්වාස කිරීමට කිසිදු හේතුවක් නොතිබුණි (එසේ නොවුවහොත් අපි එම සරල වැඩසටහන අප විසින්ම කේතනය කරනු ඇත). එබැවින් සංඛ්‍යානමය අනුමාන කිරීම් පිළිබඳ සම්පූර්ණ අදහසම අර්ථවත් නොවීය. ඉලක්කය වන්නේ පුරෝකථන නිරවද්‍යතාවය සහ වෙන කිසිවක් නොවේ.

කාලයාගේ ඇවෑමෙන්, විවිධ බලවේගයන් සංඛ්‍යාලේඛන පිළිබඳ වැඩිදුර දැන ගැනීම සඳහා යන්ත්‍ර ඉගෙනීමේ යන්ත්‍ර ධාවනය කිරීමට පටන් ගත්හ. එකක් නම් ඉගෙනුම් ක්‍රියාවලියට පසුබිම් දැනුම සහ වෙනත් බාධක ඇතුළත් කිරීමේ අවශ්‍යතාවයි. මෙමඟින් මිනිසුන්ට උත්පාදක සම්භාවිතා ආකෘති සලකා බැලීමට මඟ පෑදීය, මන්දයත් මේවා ආකෘතියේ ව්‍යුහය හා ආකෘති පරාමිතීන් සහ ව්‍යුහය පිළිබඳ පූර්ව දැනුම ඇතුළත් කිරීම පහසු කරවන බැවිනි. මෙම ක්ෂේත්‍රයේ පොහොසත් සංඛ්‍යාන සාහිත්‍යය සොයා ගැනීමට මෙම ක්ෂේත්‍රය හේතු විය. තවත් බලවේගයක් වූයේ අධික ලෙස ආහාර ගැනීමේ සංසිද්ධිය සොයා ගැනීමයි. මෙමඟින් එම්එල් ප්‍රජාවට හරස් වලංගුකරණය සහ විධිමත් කිරීම පිළිබඳව ඉගෙන ගැනීමට හැකි වූ අතර නැවතත් අපි මෙම විෂය පිළිබඳ පොහොසත් සංඛ්‍යාන සාහිත්‍යය සොයා ගතිමු.

එසේ වුවද, බොහෝ යන්ත්‍ර ඉගෙනීමේ කාර්යයන්හි කේන්ද්‍රය වන්නේ නොදන්නා ක්‍රියාවලියක් පිළිබඳ නිගමනයන්ට වඩා නිශ්චිත කාර්ය සාධනයක් පෙන්නුම් කරන පද්ධතියක් නිර්මාණය කිරීමයි. එම්එල් සහ සංඛ්‍යාලේඛන අතර මූලික වෙනස මෙයයි.

ඔහුගේ ප්‍රශ්නයට පිළිතුරු දීමට පෙර සංඛ්‍යාලේඛන හා යන්ත්‍ර ඉගෙනීම පිළිබඳ මනා දැනුමක් තිබිය යුතුය. මම එම්.එල්. ට නියෝෆයිට් කෙනෙක්, ඒ නිසා මම බොරු කියනවා නම් මට සමාව දෙන්න.

මට SVM සහ ප්‍රතිගාමී ගස් පිළිබඳ සීමිත අත්දැකීම් තිබේ. සංඛ්‍යාලේඛන දෘෂ්ටි කෝණයකින් එම්එල් හි lack නතාවක් ලෙස මට හැඟෙන දෙය නම් හොඳින් වර්ධනය වූ අනුමානයකි.

(නිදසුනක් ලෙස) මධ්යන්ය වර්ගීකරණ දෝෂය (MCE), හෝ සමතුලිත දෝෂ අනුපාතය (BER) හෝ ඊට සමාන ලෙස මනිනු ලබන පරිදි, එම්එල් හි අනුමානයන් පුරෝකථන නිරවද්‍යතාවයට මුළුමනින්ම පාහේ තම්බා ඇති බව පෙනේ. අහඹු ලෙස දත්ත (සාමාන්‍යයෙන් 2: 1) පුහුණු කට්ටලයකට සහ පරීක්ෂණ කට්ටලයකට බෙදීමේ හොඳ පුරුද්දක් එම්එල් සතුව ඇත. පුහුණු කට්ටලය භාවිතයෙන් ආකෘති සුදුසු වන අතර පරීක්ෂණ කට්ටලය භාවිතයෙන් කාර්ය සාධනය (MCE, BER යනාදිය) තක්සේරු කෙරේ. මෙය විශිෂ්ට භාවිතයක් වන අතර එය ප්‍රධාන ධාරාවේ සංඛ්‍යාලේඛනවලට සෙමෙන් පිවිසෙමින් පවතී.

නැවත සැකසීමේ ක්‍රම (විශේෂයෙන් හරස් වලංගුකරණය) එම්එල් විසින් අධික ලෙස භාවිතා කරයි.

කෙසේ වෙතත්, පුරෝකථන නිරවද්‍යතාවයෙන් ඔබ්බට - එම්එල් පූර්ණ අනුමාන සංකල්පයක් නොමැති බව පෙනේ. මෙය ප්‍රති .ල දෙකක් ඇත.

1) කිසියම් පුරෝකථනයක් (පරාමිති තක්සේරු කිරීම යනාදිය) අහඹු දෝෂයකට හා සමහර විට පද්ධතිමය දෝෂයකට (පක්ෂග්‍රාහී) යටත් වන බවට ඇගයීමක් ඇති බවක් නොපෙනේ. මෙය අනාවැකි වල අනිවාර්ය අංගයක් බව සංඛ්‍යාලේඛන ians යින් පිළිගන්නා අතර දෝෂය තක්සේරු කර තක්සේරු කරනු ඇත. සංඛ්‍යාලේඛන ශිල්පීය ක්‍රම මඟින් අවම නැඹුරුවක් සහ අහඹු දෝෂයක් ඇති ඇස්තමේන්තුවක් සොයා ගැනීමට උත්සාහ කරනු ඇත. ඔවුන්ගේ ශිල්පක්‍රම සාමාන්‍යයෙන් දත්ත ක්‍රියාවලියේ ආකෘතියක් මගින් මෙහෙයවනු ලැබේ, නමුත් සෑම විටම නොවේ (උදා: බූට්ස්ට්‍රැප්).

2) එකම ජනගහනයෙන් නව සාම්පලයකට නව දත්ත සඳහා ආකෘතියක් යෙදවීමේ සීමාවන් පිළිබඳ එම්එල් හි ගැඹුරු අවබෝධයක් ඇති බවක් නොපෙනේ (පුහුණු-පරීක්ෂණ දත්ත කට්ටල ප්‍රවේශය ගැන මා කලින් කී දේ තිබියදීත්). විවිධ සංඛ්‍යාලේඛන ශිල්පීය ක්‍රම, ඒවා අතර හරස් වලංගුකරණය සහ ද penalty ුවම් නියමයන් සම්භාවිතාව මත පදනම් වූ ක්‍රමවේදයන්ට අදාළ වේ. එම්එල් හි එවැනි මාර්ගෝපදේශ වඩාත් තාවකාලික බව පෙනේ.

පුහුණු දත්ත කට්ටලයක බොහෝ මාදිලි ගැලපීම ප්‍රශස්ත කිරීම සඳහා හරස් වලංගුකරණය භාවිතා කරන කඩදාසි කිහිපයක් මම එම්එල් හි දැක ඇත්තෙමි. නිරවද්‍යතාවයේ සුළු වාසි අතිරේක සංකීර්ණතාවයට වටින්නේ නැති බවත් මෙය ස්වාභාවිකවම අධික ලෙස ගැලපීමට තුඩු දෙන බවත් අගය කිරීමක් නොපෙනේ. අනාවැකි කාර්ය සාධනය පරීක්ෂා කිරීම සහ අධික ලෙස ආහාර ගැනීම වැළැක්වීම සඳහා මෙම සියලු ප්‍රශස්ත මාදිලි පරීක්ෂණ කට්ටලයට යොදනු ලැබේ. කරුණු දෙකක් අමතක වී ඇත (ඉහළ). පුරෝකථන කාර්ය සාධනයට ස්ථිතික අංගයක් ඇත. දෙවනුව, පරීක්ෂණ කට්ටලයකට එරෙහිව බහුවිධ පරීක්ෂණ නැවත වරක් අධික ලෙස ගැලපීමට හේතු වේ. මෙම අත්හදා බැලීමේ බොහෝ ප්‍රති out ල පිළිබඳ එක් අවබෝධයකින් ඔහු / ඇය චෙරි තෝරාගෙන ඇති බව සම්පූර්ණ ඇගයීමකින් තොරව “හොඳම” ආකෘතිය එම්එල් වෘත්තිකයා විසින් තෝරා ගනු ලැබේ.

මගේ ශත 2 ක් වටිනා. අපට එකිනෙකාගෙන් බොහෝ දේ ඉගෙන ගත හැකිය.

මෙම ප්‍රශ්නය 2015 දී දත්ත විද්‍යාවේ ඊනියා සුපිරි සංස්කෘතිය දක්වා ද ව්‍යාප්ත කළ හැකිය. ඩේවිඩ් ඩොනොහෝ වසර 50 ක දත්ත විද්‍යාවේ පුවත්පත , සංඛ්‍යාලේඛන හා පරිගණක විද්‍යාව (යන්ත්‍ර ඉගෙනීම ඇතුළුව) වෙතින් විවිධ දෘෂ්ටි කෝණයන් සමඟ ඔහු මුහුණ දෙයි. (විවිධ පුද්ගලයින්ගෙන්) එවැනි:

• ශතවර්ෂ ගණනාවක් තිස්සේ සංඛ්‍යාලේඛන ඇති විට අපට දත්ත විද්‍යාව අවශ්‍ය වන්නේ ඇයි?
• දත්ත විද්‍යාව යනු සංඛ්‍යාලේඛන ය.
• සංඛ්‍යාලේඛන නොමැතිව දත්ත විද්‍යාව හැකි, යෝග්‍ය වේ.
• දත්ත විද්‍යාවේ අවම වැදගත් කොටස සංඛ්‍යාලේඛන වේ.

නිදසුනක් ලෙස historical තිහාසික, දාර්ශනික සලකා බැලීම් සමඟ:

වර්තමාන දත්ත විද්‍යාව පිළිබඳ ඉදිරිපත් කිරීමක් සමාලෝචනය කරන විට, සංඛ්‍යාලේඛන ඉතා කෙටි කෙටි කිරීමක් ලබා දී ඇති ආකාරය, දත්ත විද්‍යාව ලෙස උගන්වනු ලබන යටින් පවතින මෙවලම්, උදාහරණ සහ අදහස් සියල්ලම නොදැන සිටීම මට වළක්වා ගත නොහැක. වචනාර්ථයෙන් නිර්මාණය කරන ලද්දේ ආචාර්ය උපාධිය ලබා ඇති අයෙකු විසිනි. සංඛ්‍යාලේඛන, සහ බොහෝ අවස්ථාවන්හීදී සත්‍ය මෘදුකාංගය සංවර්ධනය කරන ලද්දේ එම්ඒ හෝ පී.එච්.ඩී. සංඛ්‍යාලේඛන අනුව. සියවස් ගණනාවක් පුරා සංඛ්‍යාලේඛන ians යින්ගේ සමුච්චිත ඊ-ඕර්ට්ස් මුළුමනින්ම පිටපත් කළ නොහැකි තරම් ය, දත්ත විද්‍යාව ඉගැන්වීම, පර්යේෂණ කිරීම සහ ව්‍යායාම කිරීම තුළ සැඟවිය නොහැක.

මෙම රචනය විවාදයට බොහෝ ප්‍රතිචාර සහ දායකත්වයන් ජනනය කර ඇත.

යන්ත්‍ර ඉගෙනීම සහ සංඛ්‍යාලේඛන අතර සංකල්පීය / historical තිහාසික වෙනස කුමක්දැයි මම නොදනිමි, නමුත් එය එතරම් පැහැදිලි නොවන බව මට විශ්වාසයි ... තවද මම යන්ත්‍ර ඉගෙන ගන්නෙකු හෝ සංඛ්‍යාලේඛන ian යෙක් දැයි දැන ගැනීමට මා උනන්දු නොවේ. බ්‍රේමන්ගේ කඩදාසි වලින් වසර 10 කට පසු, බොහෝ දෙනෙක් දෙදෙනාම ...

කෙසේ වෙතත්, මාදිලිවල පුරෝකථන නිරවද්‍යතාවය පිළිබඳ ප්‍රශ්නය මට සිත්ගන්නාසුළු විය . ආකෘතියක නිරවද්‍යතාවය මැනීම සැමවිටම කළ නොහැකි බව අප මතක තබා ගත යුතු අතර වඩාත් නිවැරදිව දෝෂ මැනීමේදී අපි බොහෝ විට ව්‍යංගයෙන් යම් ආකෘති නිර්මාණය කරමින් සිටිමු.

නිදසුනක් ලෙස, කාල ශ්‍රේණි පුරෝකථනයෙහි මධ්‍යන්‍ය නිරපේක්ෂ දෝෂය කාලයාගේ ඇවෑමෙන් මධ්යන්යයක් වන අතර එය මධ්යන්යය පුරෝකථනය කිරීමේ ක්රියා පටිපාටියක කාර්ය සාධනය මනිනු ලබන්නේ කාර්ය සාධනය යම් ආකාරයකින් ස්ථිතික වන අතර යම්කිසි ergodic පෙන්වයි දේපලක් . (කිසියම් හේතුවක් නිසා) ඔබට ඉදිරි වසර 50 සඳහා පෘථිවියේ මධ්‍යන්‍ය උෂ්ණත්වය පුරෝකථනය කිරීමට අවශ්‍ය නම් සහ ඔබේ ආකෘති නිර්මාණය පසුගිය අවුරුදු 50 තුළ හොඳින් ක්‍රියාත්මක වන්නේ නම් ... එයින් අදහස් නොකෙරේ ...

වඩාත් සාමාන්‍යයෙන්, (මට මතක නම්, එය නොමිලේ දිවා ආහාරය ලෙස හැඳින්වේ) ඔබට ආකෘති නිර්මාණයකින් තොරව කිසිවක් කළ නොහැක ... ඊට අමතරව, සංඛ්‍යාලේඛන මගින් "වැදගත් දෙයක් ද නැද්ද" යන ප්‍රශ්නයට පිළිතුරක් සෙවීමට උත්සාහ කරයි. මෙය විද්‍යාවේ ඉතා වැදගත් ප්‍රශ්නයක් වන අතර ඉගෙනුම් ක්‍රියාවලියක් මගින් පිළිතුරු දිය නොහැක. ජෝන් ටුකී (ඔහු සංඛ්‍යාලේඛන ician යෙක්ද?) සඳහන් කිරීමට:

සමහර දත්ත සංයෝජනය කිරීම සහ පිළිතුරක් සඳහා ඇති දැඩි ආශාව, ලබා දී ඇති දත්ත පද්ධතියකින් සාධාරණ පිළිතුරක් ලබා ගත හැකි බව සහතික නොවේ

මෙය උපකාරී වේ යැයි සිතමු!

පැහැදිලිවම, මෙම ක්ෂේත්‍ර දෙක පැහැදිලිවම සමාන නමුත් වෙනස් ගැටළු වලට සමාන, නමුත් සමාන නොවන නමුත් සමාන නොවන නමුත් සමාන සංකල්ප නොවන අතර විවිධ දෙපාර්තමේන්තු, සඟරා සහ සම්මන්ත්‍රණවල වැඩ කරයි.

මම ක්‍රෙසී සහ රීඩ්ස් පවර් අපසරන සංඛ්‍යාලේඛන කියවන විට ඒ සියල්ල මට ගැලපේ . ඔවුන්ගේ සූත්‍රය මගින් බහුලව භාවිතා වන පරීක්ෂණ සංඛ්‍යාලේඛන එක් on ාතයක් වන ලැම්බඩා අනුව වෙනස් වේ. විශේෂ අවස්ථා දෙකක් තිබේ, ලැම්බඩා = 0 සහ ලැම්බඩා = 1.

පරිගණක විද්‍යාව සහ සංඛ්‍යාලේඛන අඛණ්ඩව ගැලපේ (අනුමාන වශයෙන් වෙනත් කරුණු ඇතුළත් විය හැකිය). ලැම්බඩා හි එක් අගයකදී, සංඛ්‍යාලේඛන කවයන්හි පොදුවේ උපුටා දක්වා ඇති සංඛ්‍යාලේඛන ඔබට ලැබෙන අතර අනෙක් පැත්තෙන් කොම්ප් ස්කයි කවයන්හි පොදුවේ සඳහන් කර ඇති සංඛ්‍යාලේඛන ඔබට ලැබේ.

සංඛ්‍යාලේඛන

• ලැම්බඩා = 1
• චතුරස්රවල එකතුව ගොඩක් පෙනේ
• විචල්‍යතාවයේ මිනුමක් ලෙස විචලනය
• ඇසුරේ මිනුමක් ලෙස සහසංයුජතාව
• ආදර්ශ යෝග්‍යතාවයේ මිනුමක් ලෙස චි-වර්ග සංඛ්‍යා ලේඛන

පරිගණක විද්යාව:

• ලැම්බඩා = 0
• ලොග් වල එකතුව ගොඩක් පෙනේ
• විචල්‍යතාවයේ මිනුමක් ලෙස එන්ට්‍රොපි
• ඇසුරේ මිනුමක් ලෙස අන්‍යෝන්‍ය තොරතුරු
• ආකෘති යෝග්‍යතාවයේ මිනුමක් ලෙස ජී-වර්ග සංඛ්‍යා ලේඛන

ඔබ එක් වරක් විසිතුරු පරිගණක ඇල්ගොරිතමයක් ක්‍රියාත්මක කරන අතර ඔබට CS සම්මන්ත්‍රණ ඉදිරිපත් කිරීමක් / සංඛ්‍යාලේඛන පත්‍රිකාවක් ලැබේ (වාව්, කෙතරම් වේගවත් අභිසාරීද!). ඇල්ගොරිතමයේ ගුණාංග සාමාන්‍යකරණය කිරීම සඳහා සම්භාවිතාව සහ සංඛ්‍යාලේඛන යොදා ගන්නේ කෙසේදැයි ඔබ නොදන්නේ නම් ඔබ එය වාණිජකරණය කර එය මිලියනය වතාවක් ධාවනය කරන්න - එවිට ඔබ කැඩී යයි (අපොයි, ඇයි මම නිතරම නිෂ් less ල සහ ප්‍රතිනිර්මාණය කළ නොහැකි ප්‍රති results ල ලබා ගන්නේ ???).

දත්ත උත්පාදනය කිරීමේ ආකෘතිය කෙරෙහි අවධානය යොමු කිරීම අර්ථවත් වන සංඛ්‍යාලේඛන යෙදිය යුතු ක්ෂේත්‍රයක් ඇත. සැලසුම් කරන ලද අත්හදා බැලීම් වලදී, උදා: සත්ව අධ්‍යයනයන්, සායනික අත්හදා බැලීම්, කාර්මික DOEs, සංඛ්‍යාලේඛන ians යින්ට දත්ත ජනනය කිරීමේ ආකෘතිය කුමක් ද යන්න පිළිබඳ අවබෝධයක් ලබා ගත හැකිය. එම්එල් සාමාන්‍යයෙන් “විශාල” නිරීක්ෂණ දත්ත මත පදනම් වූ අනාවැකි පිළිබඳ තවත් ඉතා වැදගත් ගැටලුවක් කෙරෙහි අවධානය යොමු කරන බැවින් එම්එල් මෙම ඉතා වැදගත් ගැටලුව සඳහා වැඩි කාලයක් ගත නොකරයි. “විශාල” සැලසුම් කරන ලද අත්හදා බැලීම් සඳහා එම්එල් යෙදිය නොහැකි බව මින් අදහස් නොකෙරේ, නමුත් සම්පත් සීමා සහිත අත්හදා බැලීම්වලින් පැන නගින “කුඩා” දත්ත ගැටලු පිළිබඳ සංඛ්‍යාලේඛනවලට විශේෂ expert දැනුමක් ඇති බව පිළිගැනීම වැදගත්ය.

දවස අවසානයේදී මම සිතන්නේ ගැටලුව විසඳීම සඳහා වඩාත්ම සුදුසු දේ භාවිතා කිරීමට අප සැමට එකඟ විය හැකි බවයි. උදා: පුරෝකථනය කිරීමේ ඉලක්කය ඇතිව ඉතා පුළුල් දත්ත නිපදවන සැලසුම් කරන ලද අත්හදා බැලීමක් අප සතුව තිබිය හැකිය. සංඛ්යානමය සැලසුම් මූලධර්ම මෙහි ඉතා ප්රයෝජනවත් වන අතර පුරෝකථනය ගොඩනැගීම සඳහා ML ක්රම ප්රයෝජනවත් විය හැකිය.

බ්‍රයන් කැෆෝ විසින් රචිත “සැබෑ ජීවිතයේ දත්ත විද්‍යාව” යන පා se මාලාවෙන්

යන්ත්‍ර ඉගෙනීම

• අනාවැකි අවධාරණය කරන්න
• පුරෝකථන කාර්ය සාධනය හරහා ප්‍රති results ල ඇගයීමට ලක් කරයි
• ඕනෑවට වඩා ගැළපීම ගැන සැලකිලිමත් වන නමුත් ආකෘති සංකීර්ණ නොවේ
• කාර්ය සාධනය අවධාරණය කිරීම
• සාමාන්‍යකරණය කිරීමේ හැකියාව ලබා ගන්නේ නව දත්ත කට්ටලවල ක්‍රියාකාරිත්වය මගිනි
• සාමාන්‍යයෙන්, සුපිරි ජනගහන ආකෘතියක් නිශ්චිතව දක්වා නැත
• කාර්ය සාධනය සහ ශක්තිමත් බව පිළිබඳ සැලකිලිමත් වීම

සාම්ප්‍රදායික සංඛ්‍යාන විශ්ලේෂණය

• සුපිරි ජනගහන අනුමානයන් අවධාරණය කරයි
• A-priri උපකල්පන කෙරෙහි අවධානය යොමු කරන්න
• වඩාත් සංකීර්ණ ආකෘතීන් තරමක් හොඳ මට්ටමක පැවතුනද, සංකීර්ණ ඒවාට වඩා සරල ආකෘති (පාර්සිමනි) කැමති වේ
• පරාමිති අර්ථ නිරූපණය සඳහා අවධාරණය කිරීම
• සංඛ්‍යාන ආකෘති නිර්මාණය හෝ නියැදි උපකල්පන දත්ත උනන්දුවක් දක්වන ජනගහනයකට සම්බන්ධ කරයි
• උපකල්පන සහ ශක්තිමත් බව පිළිබඳ සැලකිලිමත් වන්න

රසායන විද්‍යාව භෞතික විද්‍යාව යටතේ උප ශාඛාවක් විය යුතු සේම, සංඛ්‍යාලේඛන යටතේ යන්ත්‍ර ඉගෙනීම උප ශාඛාවක් විය යුතු යැයි මම සිතමි.

මම හිතන්නේ රසායන විද්‍යාව පිළිබඳ භෞතික විද්‍යාවෙන් ආනුභාව ලත් දෘෂ්ටිය තරමක් is නයි (මම හිතන්නේ). භෞතික වශයෙන් සමාන නොවන රසායනික ප්‍රතික්‍රියාවක් ඇතැයි මම නොසිතමි. මම හිතන්නේ භෞතික විද්‍යාව රසායන විද්‍යා මට්ටමින් අපට දැකිය හැකි සෑම දෙයක්ම පැහැදිලි කරමින් පුදුමාකාර වැඩක් කර තිබේ. දැන් භෞතික විද්‍යා ists යින්ගේ අභියෝගය ක්වොන්ටම් මට්ටමින් ඉතා අබිරහස් තත්වයන් යටතේ පැහැදිලි නොවන බව පෙනේ නිරීක්ෂණය කළ .

දැන් යන්ත්‍ර ඉගෙනීමට ආපසු යන්න. මම හිතන්නේ එය ද සංඛ්යා ලේඛන යටතේ උප ශාඛා විය යුතුය (රසායන විද්යාව භෞතික විද්යාව පිළිබඳ උප-ශාඛා කෙතරම්).

කෙසේ වෙතත්, කෙසේ හෝ වර්තමාන යන්ත්‍ර ඉගෙනීමේ තත්වය හෝ සංඛ්‍යාලේඛන මෙය මනාව අවබෝධ කර ගැනීමට තරම් පරිණත නොවන බව මට පෙනේ. නමුත් දිගුකාලීනව, මම සිතන්නේ එකක් අනෙකාගේ උප ශාඛාවක් බවට පත්විය යුතු බවයි. මම හිතන්නේ සංඛ්‍යාලේඛන යටතේ එම්.එල්.

කාර්යයන් හෝ අනාවැකි තක්සේරු කිරීම / අනුමාන කිරීම සඳහා "ඉගෙනීම" සහ "සාම්පල විශ්ලේෂණය කිරීම" යන සියල්ලම අත්‍යවශ්‍යයෙන්ම සංඛ්‍යාලේඛන පිළිබඳ ප්‍රශ්නයක් යැයි මම පෞද්ගලිකව සිතමි.

පරිගණක විද්‍යා ient යා වශයෙන්, සංඛ්‍යානමය ප්‍රවේශයන් දෙස බලන විට මම නිතරම කුතුහලයට පත් වෙමි. මට බොහෝ විට පෙනෙන්නේ සංඛ්‍යාලේඛන විශ්ලේෂණය සඳහා භාවිතා කරන සංඛ්‍යානමය ආකෘතීන් බොහෝ අවස්ථාවන්හි දත්ත වලට වඩා සංකීර්ණ බවයි!

උදාහරණයක් ලෙස දත්ත සම්පීඩනය සහ සංඛ්‍යාලේඛන අතර ශක්තිමත් සම්බන්ධයක් තිබේ. මූලික වශයෙන් කෙනෙකුට හොඳ සංඛ්‍යාලේඛන ආකෘතියක් අවශ්‍ය වන අතර එමඟින් දත්ත හොඳින් පුරෝකථනය කළ හැකි අතර මෙය දත්ත ඉතා හොඳ සම්පීඩනයක් ගෙන එයි. පරිගණක විද්‍යාවේදී දත්ත සම්පීඩනය කිරීමේදී සෑම විටම සංඛ්‍යාන ආකෘතියේ සංකීර්ණත්වය සහ පුරෝකථනයේ නිරවද්‍යතාවය ඉතා වැදගත් වේ. සම්පීඩනයෙන් පසු දත්ත ගොනුවක් (ශබ්ද දත්ත හෝ රූප දත්ත හෝ වීඩියෝ දත්ත අඩංගු) විශාල වීමට කිසිවෙකුට අවශ්‍ය නැත!

සංඛ්‍යාලේඛන සම්බන්ධයෙන් පරිගණක විද්‍යාවේ වඩා ගතික දේවල් ඇති බව මට පෙනී ගියේය, උදාහරණයක් ලෙස අවම විස්තරයේ දිග සහ සාමාන්‍යකරණය කළ හැකි උපරිම හැකියාව .