ස්නායුක ජාලයක සැඟවුණු ස්තරය ගණනය කරන්නේ කුමක් ද?

192

'මට ඔබ වෙනුවෙන් ගූගල් කිරීමට ඉඩ දෙන්න' යන සබැඳියන් සමඟ බොහෝ අය ප්‍රතිචාර දක්වනු ඇතැයි මට විශ්වාසයි, එබැවින් මට මෙය තේරුම් ගැනීමට උත්සාහ කළ බව පැවසීමට අවශ්‍යය, එබැවින් කරුණාකර මෙහි මගේ අවබෝධයේ lack නතාවයට සමාව දෙන්න, නමුත් මට එය කෙසේ දැයි සිතාගත නොහැක ස්නායුක ජාලයක් ප්‍රායෝගිකව ක්‍රියාත්මක කිරීම සැබවින්ම ක්‍රියාත්මක වේ.

ආදාන ස්තරය සහ දත්ත සාමාන්‍යකරණය කරන්නේ කෙසේද යන්න මට වැටහී ඇත, නමුත් මම නැඹුරුතා ඒකකය ද තේරුම් ගතිමි, නමුත් සැඟවුණු ස්තරය දෙස බලන විට, එම ස්ථරයේ සත්‍ය ගණනය කිරීම කුමක්ද සහ එය ප්‍රතිදානයට සිතියම් ගත කරන්නේ කෙසේද යන්න මඳක් මීදුමකි. සැඟවුනු ස්තරයේ ප්‍රශ්න ලකුණු සහිත රූප සටහන්, AND / OR / XOR වැනි බූලියන් ශ්‍රිත, සක්‍රිය කිරීමේ ක්‍රියාකාරකම්, සහ සැඟවුණු ඒකක කිහිපයකට පමණක් සිතියම් ගත කරන ආදාන නෝඩ් සහ සැඟවුණු ඒකක කිහිපයකට පමණක් සිතියම් ගත කරන ආදාන නෝඩ් මම දැක ඇත්තෙමි. මට ප්‍රායෝගික පැතිකඩ ගැන ප්‍රශ්න කිහිපයක් තිබේ. ඇත්ත වශයෙන්ම, ඔබ දරුවෙකුට පැහැදිලි කරන පරිදි සමස්ත ස්නායුක ජාල ක්‍රියාවලිය පිළිබඳ සරල පැහැදිලි කිරීමක් නියමයි.

සැඟවුණු ස්තරය තුළ සිදු කරනු ලබන ගණනය කිරීම් මොනවාද?

එම ගණනය කිරීම් ප්‍රතිදාන ස්ථරයට අනුරූපණය කරන්නේ කෙසේද?

අවුට් ස්තරය ක්‍රියා කරන්නේ කෙසේද? සැඟවුනු ස්තරයෙන් දත්ත අක්‍රීය කිරීම?

ආදාන ස්ථරයේ සමහර ස්ථර සැඟවුණු ස්තරයට සම්බන්ධ වන්නේ ඇයි සහ සමහර ඒවා එසේ නොවන්නේ ඇයි?

machine-learning neural-networks nonlinear-regression

— FAtBalloon
source

14

මෙහි සිටින අය හොඳයි, “මම ඔබට ගූගල් කිරීමට ඉඩ දෙන්න” යන පිළිතුර මා දැක නැත, නමුත් පුදුම සහගත ලෙස ගැඹුරු හා තීක්ෂ්ණ බුද්ධිමත් පිළිතුරු මුලදී මූලික ප්‍රශ්න ලෙස පෙනෙන්නට තිබුණි. අවාසනාවකට මෙන්, මට ඔබට උදව් කිරීමට නොහැකි නමුත් එය බෙහෙවින් අදාළ බව පෙනේ, එබැවින් මම එය සතුටින් ඡන්දය ප්‍රකාශ කරමි.

— ගාලා

4

අදහස් දැක්වීමට සහ ඡන්දයට ස්තූතියි ගේල්, මම බොහෝ විට SO ප්‍රජාව විසින් තරමක් අවුල් සහගත වී ඇති අතර, එම පුද්ගලයින් ලබා ගත හැකි ආකාරය අප කවුරුත් දන්නා කරුණකි :) ලාංඡන උපයා ගැනීමට උත්සාහ කිරීමට වඩා මෙහි සහයෝගීතාවයේ වැඩි ස්වභාවයක් දැකීම සතුටක් සහ ප්‍රශ්න සංස්කරණය කිරීමෙන් / අවසන් කිරීමෙන් ලකුණු.

— FAtBalloon

1

මම ඔවුන්ගේ යෙදුම් හා ක්‍රමවේදයන්ට සම්බන්ධ වුවද මම විශේෂයෙන් ස්නායුක ජාල පිළිබඳ විශේෂ expert යෙක් නොවෙමි. මගේ සමහර විට එතරම් ප්‍රයෝජනවත් නොවන පිළිතුර වනුයේ සැඟවුණු නිශ්චිත ගණනය කිරීම් රඳා පවතින්නේ ඔබ විසින් සිදුකරන 'පිරිවැය ශ්‍රිතය' මත ය, එනම් ඔබ සාක්ෂාත් කර ගැනීමට උත්සාහ කරන දේ මත ය. උදාහරණයක් ලෙස, ඔබට ආදාන මූලද්‍රව්‍ය පොකුරු කට්ටලවලට කාණ්ඩ කිරීමට අවශ්‍ය නම්, ඔබ සැඟවුනු ස්තරයේ මූලද්‍රව්‍ය අතර දුර ගණනය කරනු ඇත. මෙම ස්තරය තුළ විවිධ පිටකිරීම් සහ ප්‍රශස්තිකරණ චක්‍ර හරහා ගමන් කළ හැකිය, ඔබ දෝෂ නිර්ණායකයක් සපුරාලන තෙක් ක්‍රියාවලියට මෙම ස්තරය 'හැර යාමට' ඉඩ දෙයි.

— ලූකෝසාඩ්

235

වාක්‍ය තුනක අනුවාදය:

සෑම ස්ථරයකටම පෙර ස්ථරයට ඔබට අවශ්‍ය ඕනෑම ශ්‍රිතයක් යෙදිය හැකිය (සාමාන්‍යයෙන් රේඛීය පරිවර්තනයකින් පසුව ස්කොෂ් නොවන රේඛීය නොවන).
සැඟවුනු ස්ථර වල කාර්යය වන්නේ යෙදවුම් ප්‍රතිදාන ස්ථරයට භාවිතා කළ හැකි දෙයක් බවට පරිවර්තනය කිරීමයි.
නිමැවුම් ස්තරය සැඟවුනු ස්ථර සක්‍රිය කිරීම ඔබේ ප්‍රතිදානය ක්‍රියාත්මක වීමට අවශ්‍ය ඕනෑම පරිමාණයකට පරිවර්තනය කරයි.

ඔබට වයස 5 ක් වගේ:

පින්තූරයක බස් රථයක් තිබේදැයි ඔබට පැවසීමට ඔබට පරිගණකයක් අවශ්‍ය නම්, නිවැරදි මෙවලම් තිබේ නම් පරිගණකයට පහසු කාලයක් තිබිය හැකිය.

එබැවින් ඔබේ බස් අනාවරකය රෝද අනාවරකයකින් (එය වාහනයක් බව ඔබට පැවසීමට) සහ පෙට්ටි අනාවරකයකින් (බස් රථය විශාල පෙට්ටියක හැඩයෙන් යුක්ත බැවින්) සහ ප්‍රමාණයේ අනාවරකයකින් සෑදිය හැකිය (ඔබට එය මෝටර් රථයක් වීමට තරම් විශාල බව ඔබට කියන්න ). මේවා ඔබගේ සැඟවුනු ස්තරයේ අංග තුනකි: ඒවා අමු රූපයේ කොටසක් නොවේ, ඒවා ඔබ නිර්මාණය කර ඇති මෙවලම් බස් හඳුනා ගැනීමට උපකාරී වේ.

එම අනාවරක තුනම ක්‍රියාත්මක වන්නේ නම් (හෝ සමහර විට ඒවා විශේෂයෙන් ක්‍රියාකාරී නම්), එවිට ඔබට ඉදිරියෙන් බස් රථයක් තිබීමට හොඳ අවස්ථාවක් තිබේ.

ස්නායුක දැල් ප්‍රයෝජනවත් වන්නේ අනාවරක ගොඩක් තැනීමට හා ඒවා එකට තැබීමට හොඳ මෙවලම් (බැක්ප්‍රොපේජේෂන් වැනි) ඇති බැවිනි.

ඔයා වැඩිහිටියෙක් වගේ

පෝෂක-ඉදිරි ස්නායුක ජාලයක් දත්ත වලට ශ්‍රිත මාලාවක් අදාළ කරයි. නිශ්චිත කාර්යයන් ඔබ භාවිතා කරන ස්නායුක ජාලය මත රඳා පවතී: බොහෝ විට, මෙම ශ්‍රිතයන් එක් එක් පෙර ස්ථරයේ රේඛීය පරිවර්තනයක් ගණනය කරයි, ඉන්පසු චතුරස්රාකාර නොවන රේඛීයතාවයක් ඇත. සමහර විට ශ්‍රිතයන් වෙනත් දෙයක් කරනු ඇත (ඔබේ උදාහරණවල තාර්කික ශ්‍රිත ගණනය කිරීම හෝ රූපයක යාබද පික්සෙල් වලට වඩා සාමාන්‍යය). එබැවින් විවිධ ස්ථර වල භූමිකාවන් ගණනය කරනු ලබන්නේ කුමන කාර්යයන් මතද යන්න මත රඳා පවතී, නමුත් මම ඉතා සාමාන්‍ය වීමට උත්සාහ කරමි.

$x$ $h$ $y$ $f$ $x$ $h$ $g$ $h$ $y$

$f(x)$ $g(f(x))$

$f$ $g$

$g(f(x))$ $f$ $g$

තාර්කික කාර්යයන් සහිත උදාහරණයක්:

උදාහරණයක් ලෙස, අපි ඉඩ දුන්නොත් පමණි $f$ $g$

පළමු ස්ථර කාර්යයන්:

අවම වශයෙන් එක් අංගයක් "සත්‍ය" (OR භාවිතා කරමින්) බවට වග බලා ගන්න.
ඒවා සියල්ලම "සත්‍ය" නොවන බවට වග බලා ගන්න (NAND භාවිතා කරමින්)

දෙවන ස්ථර ශ්‍රිතය:

පළමු ස්ථර නිර්ණායක දෙකම සෑහීමකට පත්වන බවට වග බලා ගන්න (AND භාවිතා කරමින්)

ජාලයේ ප්‍රතිදානය මෙම දෙවන ශ්‍රිතයේ ප්‍රති result ලයකි. පළමු ස්ථරය මඟින් ආදාන දෙවන ස්ථරයට භාවිතා කළ හැකි දෙයක් බවට පරිවර්තනය කරයි, එවිට මුළු ජාලයටම XOR සිදු කළ හැකිය.

රූප සමඟ උදාහරණයක්:

සිට විනිවිදකය 61 මෙම සාකච්ඡාව ලබා ගත --also මෙතන තනි රූපය - දර්ශන (මවාගන්න එක ක්රමයක්) යම් ස්නායු ජාලය තුළ විවිධ සැඟවුණු ස්ථර සොයන දේ.

පළමු ස්ථරය රූපයේ කෙටි දාර කැබලි සොයයි: මේවා අමු පික්සල් දත්ත වලින් සොයා ගැනීම ඉතා පහසු ය, නමුත් ඔබ මුහුණක් හෝ බස් රථයක් හෝ අලියෙකු දෙස බලන්නේ නම් ඒවා ඔබට පැවසීමට ඒවා එතරම් ප්‍රයෝජනවත් නොවේ. .

ඊළඟ ස්තරය දාර රචනා කරයි: පහළ සැඟවුනු ස්තරයේ දාර එක්තරා ආකාරයකට ගැලපේ නම්, වම්-බොහෝ තීරුවේ මැද ඇති අක්ෂි අනාවරකවලින් එකක් ක්‍රියාත්මක විය හැකිය. අමු පික්සෙල් වලින් විශේෂිත යමක් සොයා ගැනීමට තරම් හොඳ තනි තට්ටුවක් සෑදීම දුෂ්කර වනු ඇත: අමු පික්සෙල් වලට වඩා අක්ෂි අනාවරක දාර අනාවරක වලින් සෑදීම පහසුය.

ඊළඟ ස්ථරය ඉහළට අක්ෂි අනාවරක සහ නාසය අනාවරක මුහුණු වලට සංයුක්ත කරයි. වෙනත් වචන වලින් කිවහොත්, පෙර ස්ථරයේ අක්ෂි අනාවරක සහ නාසය අනාවරක නිවැරදි රටා සමඟ ක්‍රියාත්මක වන විට මේවා ආලෝකමත් වේ. විශේෂිත මුහුණු සෙවීම සඳහා මේවා ඉතා හොඳ ය: ඒවායින් එකක් හෝ කිහිපයක් ආලෝකමත් වුවහොත් ඔබේ ප්‍රතිදාන ස්තරය මුහුණක් ඇති බව වාර්තා කළ යුතුය.

මෙය ප්‍රයෝජනවත් වන්නේ මුහුණු අනාවරක අක්ෂි අනාවරක සහ නාසය අනාවරක වලින් සෑදීම පහසුය, නමුත් පික්සල් තීව්‍රතාවයෙන් සෑදීම දුෂ්කර ය.

එබැවින් සෑම ස්ථරයක්ම අමු පික්සෙල් වලින් and තට ගොස් ඔබේ අවසාන ඉලක්කයට සමීප වේ (උදා: මුහුණ හඳුනා ගැනීම හෝ බස් හඳුනා ගැනීම).

විවිධ ප්‍රශ්න වලට පිළිතුරු

"ආදාන ස්ථරයේ සමහර ස්ථර සැඟවුණු ස්තරයට සම්බන්ධ වන්නේ ඇයි? සමහර ඒවා එසේ නොවේ."

ජාලයේ විසන්ධි කරන ලද නෝඩ් "නැඹුරුව" නෝඩ් ලෙස හැඳින්වේ. මෙහි හොඳ පැහැදිලි කිරීමක් තිබේ . කෙටි පිළිතුර නම්, ඒවා ප්‍රතිගාමීතාවයේ අන්තර්වාර පද වැනි ය.

"රූප උදාහරණයේ ඇති" අක්ෂි අනාවරක "පින්තූර පැමිණෙන්නේ කොහෙන්ද?"

මා සම්බන්ධ කළ විශේෂිත රූප මම දෙවරක් පරීක්ෂා කර නැත, නමුත් පොදුවේ ගත් කල, මෙම දෘශ්‍යකරණයන් මඟින් අනුරූප නියුරෝන වල ක්‍රියාකාරිත්වය උපරිම කරන ආදාන ස්ථරයේ පික්සෙල් සමූහය පෙන්වයි. ඉතින් අපි නියුරෝන අක්ෂි අනාවරකයක් ලෙස සිතන්නේ නම්, නියුරෝන බොහෝ ඇස් වලට සමාන යැයි සලකන රූපය මෙයයි. මිනිසුන් සාමාන්‍යයෙන් මෙම පික්සල් කට්ටල සොයා ගන්නේ ප්‍රශස්තිකරණ (කඳු නැගීමේ) ක්‍රියා පටිපාටියක් සමඟිනි.

දී මෙම කඩදාසි ලොව විශාලතම ස්නායු දැල් එක් සමග සමහර ගූගල් ජනයා විසින්, ඔවුන් "මුහුණ අනාවරණයක්" වසයෙන් හා මේ ආකාරයට වසයෙන් කි්රයාකාරී වන "බළලා අනාවරණයක්", මෙන්ම දෙවැනි ක්රමයක් පෙන්වන්න: ඔවුන් ද පෙන්නුම් සැබෑ රූප ලෙසින් ක්රියාත්මක බව නියුරෝන වඩාත් ප්‍රබල ලෙස (රූපය 3, රූපය 16). දෙවන ප්‍රවේශය කදිමයි, මන්ද එය ජාලය කෙතරම් නම්යශීලී හා රේඛීය නොවනද යන්න පෙන්නුම් කරයි - මෙම ඉහළ මට්ටමේ “අනාවරක” පික්සල් මට්ටමින් විශේෂයෙන් සමාන නොවුනත් මෙම සියලු රූපවලට සංවේදී වේ.

මෙහි කිසිවක් අපැහැදිලි නම් හෝ ඔබට තවත් ප්‍රශ්න ඇත්නම් මට දන්වන්න.

— ඩේවිඩ් ජේ. හැරිස්
source

2

දී ඇති ස්තරයක සෑම නෝඩයක් සඳහාම එක් නිර්වචනය කළ ඇල්ගොරිතමයක් පමණක් ඇති අතර බර යනු ප්‍රතිදානයන් වෙනස් කරන්නේ කුමක් ද? නැතහොත් ඔබට ස්තරයේ ඇති සෑම නෝඩයක්ම වෙනස් ලෙස වැඩසටහන්ගත කළ හැකිද?

— FAtBalloon

3

EGeorgeMcDowd මෙය ප්‍රධාන ගැටළුවකට එළඹේ: ඔබ යෝජනා කළ පරිදි පික්සෙල් දෙස බැලීම සහ බස් රථ හඳුනා ගැනීම දුෂ්කර ය. වාසනාවකට මෙන්, පික්සල් බැලීම සහ දාර සොයා ගැනීම පහසුය - පළමු සැඟවුණු ස්තරය කිරීමට උත්සාහ කරන්නේ එපමණයි. ඊළඟ ස්තරය දාර මත පදනම්ව අනුමාන කිරීම් කිරීමට උත්සාහ කරයි, එය පික්සෙල් මත පදනම්ව එසේ කිරීමට උත්සාහ කිරීමට වඩා පහසුය.

— ඩේවිඩ් ජේ. හැරිස්

4

ඔබ මෙම පිළිතුරට ඇතුළත් කළ කාලය හා වෑයම සඳහා SO ඔබට වෙනත් ත්‍යාගයක් (ලකුණු වලට වඩා) ලබා දිය යුතුය!

— සංසාර

1

Os ජෝෂුවා එන්ෆීල්ඩ් මම සිතන්නේ 1980 ගණන්වල තර්කනය මිනිසුන්ගේ මොළය ක්‍රියා කරන ආකාරය, එය සෑම තැනකම වෙනස් විය හැකි බවත්, ඔබ සඳහන් කළ පරිදි සාරධර්ම සීමා වී ඇති බවත් මිනිසුන් සිතන ආකාරයට සමාන වීමකි. එතැන් සිට, මිනිසුන් සොයාගෙන ඇත්තේ f(x) = max(x, 0)("නිවැරදි කරන ලද රේඛීය ඒකකය") බොහෝ විට වඩා හොඳ ලෙස ක්‍රියා කරන බවයි.

— ඩේවිඩ් ජේ. හැරිස්

2

බස් උදාහරණය සහ ශ්‍රිත දාමය එය ඇණ ගැසුවේය. පෙළපොත් මෙම විස්තරාත්මක විය නොහැක්කේ මන්දැයි තේරුම් නොගන්න.

— drecute

12

මම බුද්ධිමය මෙහෙයුම් විස්තරයට එක් කිරීමට උත්සාහ කරමි ...

ස්නායුක ජාලයක් ගැන සිතීමට හොඳ අවබෝධාත්මක ක්‍රමයක් වන්නේ රේඛීය ප්‍රතිගාමී ආකෘතියක් කිරීමට උත්සාහ කරන දේ ගැන සිතීමයි. රේඛීය ප්‍රතිගාමීතාවයක් මඟින් යෙදවුම් කිහිපයක් ගෙන රේඛීය ආකෘතියක් ඉදිරිපත් කරනු ඇති අතර එමඟින් එක් එක් ආදාන අගය මෙන් සමහර ආකෘතීන් ප්‍රශස්ත බර කිරිමේ සංගුණක ගෙන එම ප්‍රති results ලවල එකතුව සත්‍ය ප්‍රතිදානයට සමීපව ගැලපෙන ප්‍රතිදාන ප්‍රතිචාරයකට සිතියම් ගත කිරීමට උත්සාහ කරයි. සංගුණක තීරණය කරනු ලබන්නේ අපේක්ෂිත නිමැවුම් අගය සහ ආකෘතිය විසින් ඉගෙන ගත් අගය අතර යම් දෝෂ මෙට්‍රික් අවම කරන අගයන් සොයා ගැනීමෙනි. එය පැවසීමට තවත් ක්‍රමයක් නම්, රේඛීය ආකෘතිය එක් එක් ආදානය සඳහා සංගුණක ගුණක සෑදීමට උත්සාහ කරන අතර (බහු) ආදානය සහ (සාමාන්‍යයෙන් තනි) නිමැවුම් අගයන් අතර සම්බන්ධතාවය තීරණය කිරීමට ඒ සියල්ල එකතු කරයි. එම ආකෘතියම ස්නායුක ජාලයක මූලික ගොඩනැඟිලි කොටස ලෙස සිතිය හැකිය;

නමුත් තනි ඒකක පර්සෙප්ට්‍රෝනයට තවත් එක් කැබැල්ලක් ඇති අතර එමඟින් බර තැබූ දත්තවල එකතුව රේඛීය නොවන ආකාරයෙන් සැකසෙනු ඇත. මෙය සිදු කිරීම සඳහා එය සාමාන්‍යයෙන් ස්කොෂ් කිරීමේ ශ්‍රිතයක් (සිග්මොයිඩ් හෝ ටැන්) භාවිතා කරයි. එබැවින් ඔබ සතුව සැඟවුනු ස්තරයේ මූලික ඒකකය ඇත, එය බරින් යුත් යෙදවුම් සමූහයක් එකතු කරන බ්ලොක් එකකි - ඉන්පසු එය (සැඟවුනු ස්ථර) ප්‍රතිදාන නෝඩ් ප්‍රතිචාරයක් නිර්මාණය කිරීම සඳහා රේඛීය නොවන ශ්‍රිතයකට සාරාංශගත ප්‍රතිචාරය ලබා දෙයි. නැඹුරුතා ඒකකය රේඛීය ප්‍රතිගාමීතාවයේ දී මෙන් ම, සැකසීමට එක් එක් නෝඩයට නියත ඕෆ්සෙට් එකක් එකතු වේ. රේඛීය නොවන සැකසුම් කොටස නිසා, ඔබ තවදුරටත් රේඛීය පමණක් ප්‍රතිචාර වලට සීමා නොවේ (රේඛීය ප්‍රතිගාමී ආකෘතියේ මෙන්).

හරි, නමුත් ඔබට තනි පර්සෙප්ට්‍රෝන් ඒකක බොහොමයක් එකට වැඩ කරන විට, එක් එක් එකිනෙකට වෙනස් ආදාන බර ගුණකයන් සහ විවිධ ප්‍රතිචාර තිබිය හැකිය (සියල්ලම කලින් විස්තර කර ඇති එකම රේඛීය නොවන බ්ලොක් සමඟ එකම යෙදවුම් සමූහයක් සකසනු ලැබුවද). ප්‍රතිචාර වෙනස් වන්නේ කුමක් ද යන්න, එක් එක් එකිනෙකට වෙනස් සංගුණක කිරුම් ඇති අතර ඒවා පුහුණුව මගින් ස්නායුක ජාලය විසින් ඉගෙන ගනු ලැබේ (සමහර ආකාරවලට ශ්‍රේණියේ සම්භවය ඇතුළත් වේ). සියලු පර්සෙප්ට්‍රෝනවල ප්‍රති result ලය නැවත සැකසූ අතර ප්‍රතිදාන ස්ථරයකට යවනු ලැබේ. එවිට ප්‍රශ්නය වන්නේ සියලුම කොටස් සඳහා නිවැරදි බර තීරණය කරන්නේ කෙසේද යන්නයි.

නිවැරදි බර ඉගෙන ගැනීමට පොදු ක්‍රමයක් වන්නේ අහඹු බරින් පටන් ගෙන සත්‍ය තථ්‍ය ප්‍රතිදානය සහ උගත් ආකෘති ප්‍රතිදානය අතර දෝෂ ප්‍රතිචාරය මැනීමයි. දෝෂය සාමාන්‍යයෙන් ජාලය හරහා පසුපසට ගමන් කරනු ඇති අතර ප්‍රතිපෝෂණ ඇල්ගොරිතම දෝෂයට යම් ප්‍රමාණයකින් එම බර තනි තනිව වැඩි කරයි හෝ අඩු කරයි. ඉදිරියට යාම, ප්‍රතිදාන ප්‍රතිචාරය මැනීම, පසුව යාවත්කාලීන කිරීම (පසුපසට බර ගැලපීම් පසු කිරීම) සහ යම් සතුටුදායක දෝෂ මට්ටමක් ළඟා වන තෙක් බර නිවැරදි කිරීම මගින් ජාලය නැවත නැවතත් ක්‍රියාත්මක වේ. එම අවස්ථාවේදී ඔබට රේඛීය ප්‍රතිගාමී ආකෘතියකට වඩා නම්‍යශීලී විය හැකි ප්‍රතිගාමී ආකෘතියක් ඇත, එය සාමාන්‍යයෙන් විශ්වීය ශ්‍රිත ඇස්තමේන්තුවක් ලෙස හැඳින්වේ.

ස්නායුක ජාලයක් සැබවින්ම ක්‍රියාත්මක වන ආකාරය ඉගෙන ගැනීමට මට සැබවින්ම උපකාරී වූ එක් ක්‍රමයක් වන්නේ ස්නායුක ජාල ක්‍රියාත්මක කිරීමේ කේතය අධ්‍යයනය කර එය ගොඩනැගීමයි. හොඳම මූලික කේතය පැහැදිලි කිරීම් එකක් (මෙම නිදහසේ ලබා ගත) යන ස්නායු ජාලය වන පරිච්ඡේදයේ සඳහන් කළ හැකි 'මෙම විද්යාඥ DSP කිරීමට ඉංජිනේරු මඟ පෙන්වීමක්' Ch. 26. එය බොහෝ දුරට ලියා ඇත්තේ ඉතා මූලික භාෂාවෙන් (මම සිතන්නේ එය ෆෝට්රාන් බවය) ඇත්ත වශයෙන්ම සිදුවන්නේ කුමක්ද යන්න බැලීමට ඔබට උපකාරී වේ.

— pat
source

12

මම මේ පිළිබඳ මගේ දැක්ම පියවර දෙකකින් විස්තර කරන්නෙමි: ආදානය-සැඟවුණු පියවර සහ සැඟවුණු-ප්‍රතිදාන පියවර. සැඟවුණු ප්‍රතිදානයේ පියවර මම පළමුව කරන්නෙමි, මන්ද එය එතරම් සිත්ගන්නා සුළු නොවන බව පෙනේ (මට).

සැඟවුණු නිමැවුම්

සැඟවුනු ස්තරයේ ප්‍රතිදානය වෙනස් දේවල් විය හැකිය, නමුත් දැන් අපි සිග්මොයිඩල් සක්‍රීය කිරීමේ ක්‍රියාකාරකම් වලින් එළියට එමු යැයි සිතමු . එබැවින් ඒවා 0 සහ 1 අතර අගයන් වන අතර බොහෝ යෙදවුම් සඳහා ඒවා 0 සහ 1 විය හැකිය.

මෙම සැඟවුණු නියුරෝන වල ප්‍රතිදානයන් සහ ප්‍රතිදාන ස්තරය අතර පරිවර්තනයක් පරිවර්තනයක් ලෙස සිතීමට මම කැමතියි (භාෂාමය අර්ථයෙන්, ජ්‍යාමිතික අර්ථයෙන් නොවේ). පරිවර්තනය ප්‍රතිලෝමව සිදුවන්නේ නම් මෙය සත්‍යයකි , එසේ නොවේ නම් පරිවර්තනයේ යමක් අහිමි විය. නමුත් ඔබට මූලික වශයෙන් ඇත්තේ සැඟවුණු නියුරෝන වල ප්‍රතිදානයන් වෙනත් දෘෂ්ටිකෝණයකින් දැකීමයි.

ආදානය-සැඟවීම

ඔබට ආදාන නියුරෝන 3 ක් ඇති බව කියමු (ඒ නිසා මට පහසුවෙන් මෙහි සමීකරණ කිහිපයක් ලිවිය හැකිය) සහ සැඟවුණු නියුරෝන කිහිපයක් තිබේ. සෑම සැඟවුණු නියුරෝනයක්ම ආදාන ලෙස බරින් යුත් යෙදවුම් ප්‍රමාණයක් ලබා ගනී, උදාහරණයක් ලෙස සමහර විට

hidden_1 = 10 * (input_1) + 0 * (input_2) + 2 * (input_3)

මෙයින් අදහස් කරන්නේ එහි වටිනාකමට hidden_1ඉතා සංවේදී වන අතර එය input_1කිසිසේත්ම සංවේදී නොවන input_2අතර මඳක් සංවේදී වන බවයිinput_3 .

එබැවින් එය ආදානයේ hidden_1විශේෂිත අංගයක් ග්‍රහණය කර ගන්නා බව ඔබට පැවසිය හැකිය , එය ඔබට "input_1 වැදගත්” අංගය ලෙස .

hidden_1සාමාන්‍යයෙන් ප්‍රතිදානය සෑදී ඇත්තේ කිසියම් ශ්‍රිතයක් හරහා ආදානය යැවීමෙනි , එබැවින් අපි සිග්මොයිඩ් ශ්‍රිතයක් භාවිතා කරන බව කියමු . මෙම ශ්‍රිතය 0 සහ 1 අතර අගයන් ගනී; එබැවින් එය input_1වැදගත් හෝ එසේ නොවන බව පවසන ස්විචයක් ලෙස සිතන්න .

ඉතින් සැඟවුණු ස්තරය කරන්නේ එයයි! එය කුංකුම අංග , හෝ විශේෂාංග ආදාන අවකාශය.

දැන් බර ද negative ණ විය හැකිය! එයින් අදහස් කරන්නේ ඔබට " input_1වැදගත් නමුත් නමුත් input_2එම වැදගත්කම ඉවත් කරයි" වැනි අංශ ලබා ගත හැකි බවයි :

hidden_2 = 10 * (input_1) - 10 * (input_2 ) + 0 * (input_3)

හෝ input_1සහ input_3"හවුල්" ඇත වැදගත්කම:

hidden_3 = 5 * (input_1) + 0 * (input_2) + 5 * (input_3)

තවත් ජ්‍යාමිතිය

ඔබ යම් රේඛීය වීජ ගණිතයක් දන්නේ නම්, යම් දිශාවන් ඔස්සේ ප්‍රක්ෂේපණය කිරීම අනුව ඔබට ජ්‍යාමිතිකව සිතිය හැකිය. ඉහත උදාහරණයේ දී, මම input_1දිශාව ඔස්සේ ප්‍රක්ෂේපණය කළෙමි .

hidden_1නැවත ඉහළින් බලමු . හි අගය input_1ප්‍රමාණවත් තරම් විශාල වූ පසු, සිග්මොයිඩ් සක්‍රීය කිරීමේ ශ්‍රිතයේ ප්‍රතිදානය 1 හි රැඳෙනු ඇත, එය විශාල නොවනු ඇත . වෙනත් වචන වලින් කිවහොත්, වැඩි වැඩියෙන් input_1ප්‍රතිදානයට කිසිදු වෙනසක් සිදු නොවනු ඇත. ඒ හා සමානව, එය ප්‍රතිවිරුද්ධ (එනම් negative ණ) දිශාවට චලනය වන්නේ නම්, යම් ලක්ෂ්‍යයකට පසු ප්‍රතිදානය බලපානු නොලැබේ.

හරි හොදයි. නමුත් නිශ්චිත දිශාවකට අනන්තයේ දිශාවට සංවේදීතාව අපට අවශ්‍ය නැතැයි සිතමු, එය සක්‍රීය කිරීමට අවශ්‍ය වන්නේ රේඛාවක එක්තරා පරාසයකට පමණි . ඉතා negative ණාත්මක අගයන් සඳහා අර්ථයක් කිසිදු බලපෑමක් නැත, සහ ඉතා ධනාත්මක අගයන් සඳහා කිසිදු බලපෑමක් නැත, නමුත් 5 සහ 16 අතර ඇති අගයන් සඳහා ඔබට එය අවදි වීමට අවශ්‍යය. ඔබේ සක්‍රිය කිරීමේ කාර්යය සඳහා ඔබ රේඩියල් පදනම් ශ්‍රිතයක් භාවිතා කරන්නේ මෙහිදීය .

සාරාංශය

සැඟවුනු ස්තරය ආදාන අවකාශයේ විශේෂාංග උකහා ගන්නා අතර ප්‍රතිදාන ස්තරය ඒවා අපේක්ෂිත සන්දර්භයට පරිවර්තනය කරයි. මෙයට වඩා බොහෝ දේ තිබිය හැකිය, බහු ස්ථර ජාල සහ එවැනි දේ, නමුත් මම මෙතෙක් තේරුම් ගෙන ඇත්තේ මෙයයි.

සංස්කරණය කරන්න: අපූරු අන්තර්ක්‍රියාකාරී ප්‍රස්තාර සහිත මෙම පිටුව මගේ දිගු හා විකාර සහගත පිළිතුරට වඩා හොඳ කාර්යයක් කරයි: http://neuralnetworksanddeeplearning.com/chap4.html

— රෝහිත් චැටර්ජි
source

1

OP මෙන්, ස්නායුක ජාලවල සැඟවුණු ස්තරය ගැන මම ටිකක් ව්‍යාකූල වී සිටිමි. ඔබේ උදාහරණයේ දී, සැඟවුණු_1, සැඟවුණු_2 සහ සැඟවුණු_3 නියුරෝන සඳහා බර එන්එන් ඇල්ගොරිතම සොයා ගන්නේ කෙසේද? සැඟවුණු_1, සැඟවුණු_2 සහ සැඟවුණු_3 එකම ආදාන විචල්‍යයන්ගෙන් උපුටා ගත් බැවින්, බර එකම විසඳුමකට අභිසාරී නොවේද?

— රොබට් එෆ්

5

වර්ගීකරණයේ සිද්ධිය සලකා බලමු. නිමැවුම් ස්තරය කිරීමට උත්සාහ කරන්නේ ඔබේ නියැදිය යම් පන්තියකට අයත් බවට කොන්දේසි සහිත සම්භාවිතාව තක්සේරු කිරීමයි, එනම් එම නියැදිය යම් පන්තියකට අයත් වීමට කොපමණ ඉඩ තිබේද යන්නයි. ජ්‍යාමිතික වශයෙන් ගත් කල, එළිපත්ත ශ්‍රිත හරහා රේඛීය නොවන ආකාරයකින් ස්ථර ඒකාබද්ධ කිරීම ස්නායුක ජාලයන්ට උත්තල නොවන ගැටළු (කථන හඳුනාගැනීම, වස්තු හඳුනාගැනීම සහ යනාදිය) විසඳීමට ඉඩ සලසයි. වෙනත් වචන වලින් කිවහොත්, මෙහි නිරූපණය කර ඇති ආකාරයට උත්තල නොවන තීරණ ගැනීමේ කාර්යයන් ජනනය කිරීමට නිමැවුම් ඒකකවලට හැකි වේ .

සැඟවුණු ස්ථර වල ඇති ඒකක දත්ත වලින් සංකීර්ණ අංග ඉගෙනීම ලෙස දැක ගත හැකි අතර එමඟින් නිමැවුම් ස්ථරයට එක් පන්තියක් තවත් පන්තියකින් වඩා හොඳින් වටහා ගැනීමට හැකි වන අතර වඩාත් නිවැරදි තීරණ සීමාවන් ජනනය කරයි. නිදසුනක් ලෙස, මුහුණු හඳුනාගැනීමේදී, පළමු ස්ථර වල ඒකක ලක්ෂණ වැනි දාරය ඉගෙන ගනී (දී ඇති දිශානතියන් හා ස්ථානවල දාර හඳුනා ගන්න) සහ ඉහළ ස්ථරය නාසය, මුඛය හෝ ඇස් වැනි මුහුණේ ලක්ෂණ සඳහා අනාවරක බවට පත්වීමට ඒවා ඒකාබද්ධ කිරීමට ඉගෙන ගනී. සෑම සැඟවුණු ඒකකයකම බර එම ලක්ෂණ නිරූපණය කරන අතර, එහි ප්‍රතිදානය (එය සිග්මොයිඩ් යැයි උපකල්පනය කරයි) ඔබේ නියැදියෙහි එම අංගය තිබීමේ සම්භාවිතාව නිරූපණය කරයි.

පොදුවේ ගත් කල, ප්‍රතිදානයේ සහ සැඟවුනු ස්ථර වල ප්‍රතිදානයන්හි අර්ථය රඳා පවතින්නේ ඔබ විසඳීමට උත්සාහ කරන ගැටළුව (ප්‍රතිගාමීත්වය, වර්ගීකරණය) සහ ඔබ භාවිතා කරන පාඩු ක්‍රියාකාරිත්වය මත ය (හරස් එන්ට්‍රොපි, අවම වශයෙන් වර්ග දෝෂ, ...)

— jpmuc
source