Skip to content

Latest commit

 

History

History
178 lines (90 loc) · 19.5 KB

8-neural-network-architectures-machine-learning-researchers-need-learn.md

File metadata and controls

178 lines (90 loc) · 19.5 KB

譛コ蝎ィ蟄ヲ荵�遐皮ゥカ莠コ蜻倬怙隕∝ュヲ荵�逧� 8 遘咲・樒サ冗ス醍サ懈楔譫�

蜴滓枚�喙https://www.kdnuggets.com/2018/02/8-neural-network-architectures-machine-learning-researchers-need-learn.html/2](https://www.kdnuggets.com/2018/02/8-neural-network-architectures-machine-learning-researchers-need-learn.html/2)

c 隸�ョコ

5窶岩�披�企恪譎ョ闖イ蟆泌セキ鄂醍サ�

髱樒コソ諤ァ蜊募�逧��貞ス堤ス醍サ憺�壼クク蠕磯埓蛻�梵縲ょョ�サャ蜿ッ莉・陦ィ邇ー蜃コ隶ク螟壻ク榊酔逧�婿蠑擾シ夂ィウ螳壼芦荳�荳ェ遞ウ螳夂憾諤√�∵険闕。謌匁イソ逹�譌�豕暮「�オ狗噪豺キ豐瑚スィ霑ケ蜑崎ソ帙�ゆク�荳ェ髴肴勸闖イ蟆泌セキ鄂醍サ�逕ア莠瑚ソ帛宛髦亥�シ蜊募�扈���瑚ソ吩コ帛黒蜈�ケ矩龍譛蛾�貞ス定ソ樊磁縲�1982蟷エ�啓郤ヲ鄙ーツキ髴肴勸闖イ蟆泌セキ](http://www.pnas.org/content/79/8/2554.full.pdf)諢剰ッ�芦�悟ヲよ棡霑樊磁譏ッ蟇ケ遘ー逧�シ悟ーア蟄伜惠荳�荳ェ蜈ィ螻�閭ス驥丞�謨ー縲よ紛荳ェ鄂醍サ懃噪豈丈クェ莠瑚ソ帛宛窶憺�鄂ョ窶晞�譛我ク�荳ェ閭ス驥擾シ幄�御コ瑚ソ帛宛髦亥�シ蜀ウ遲冶ァ��菴ソ鄂醍サ懆カ句髄莠手ソ吩クェ閭ス驥丞�謨ー逧�怙蟆丞�シ縲ょ茜逕ィ霑咏ァ崎ョ。邂礼アサ蝙狗噪荳�遘榊キァ螯呎婿蠑乗弍蟆�ョー蠢�ス應クコ逾樒サ冗ス醍サ懃噪閭ス驥乗怙蟆丞�シ縲ゆスソ逕ィ閭ス驥乗怙蟆丞�シ譚・陦ィ遉コ隶ー蠢�署萓帑コ�ク�遘榊�螳ケ蜿ッ蟇サ蝮�逧�ョー蠢��ょ宵髴�遏・驕灘�蜀�ョケ逧�ク�驛ィ蛻�叉蜿ッ隶ソ髣ョ隸・鬘ケ縲ょョ�ッケ遑ャ莉カ謐溷搶蜈キ譛蛾イ∵」呈�ァ縲�

豈乗ャ。謌台サャ隶ー菴丈ク�荳ェ驟咲スョ譌カ�梧�莉ャ蟶梧悍蛻帛サコ荳�荳ェ譁ー逧��驥乗怙蟆丞�シ縲ゆス�弍�悟ヲよ棡荳、荳ェ逶ク驍サ逧�怙蟆丞�シ菴堺コ惹ク�荳ェ荳ュ髣エ菴咲スョ諤惹ケ亥萱�溯ソ咎剞蛻カ莠�恪譎ョ闖イ蟆泌セキ鄂醍サ懃噪螳ケ驥上�るぅ荵域�莉ャ螯ゆス募「槫刈髴肴勸闖イ蟆泌セキ鄂醍サ懃噪螳ケ驥丞造�溽黄逅�ュヲ螳カ蝟懈ャ「霑呎�キ荳�荳ェ諠ウ豕包シ壻サ紋サャ蟾イ扈冗衍驕鍋噪謨ー蟄ヲ蜿ッ閭ス隗」驥雁、ァ閼醍噪蟾・菴懷次逅��りョク螟夊ョコ譁�惠迚ゥ逅�ュヲ譛溷�荳雁書陦ィ�瑚ョィ隶コ髴肴勸闖イ蟆泌セキ鄂醍サ懷所蜈カ蟄伜お螳ケ驥上�よ怙扈茨シ啓莨贋クス闔守區ツキ蜉�蠕キ郤ウ](http://www.baginsky.de/eli/eg_portr.html)蜿醍鴫譛我ク�荳ェ譖エ螂ス逧�ュ伜お隗���瑚�螟溷�蛻�茜逕ィ譚�㍾逧�ョケ驥上�ょ・ケ豐。譛芽ッ募崟荳�谺。諤ァ蟄伜お蜷鷹㍼�瑚�梧弍螟壽ャ。蠕ェ邇ッ驕榊紙隶ュ扈�寔�悟ケカ菴ソ逕ィ諢溽衍譛コ謾カ謨幄ソ�ィ区擂隶ュ扈�ッ丈クェ蜊募��御サ・萓ソ蝨ィ扈吝ョ夊ッ・蜷鷹㍼荳ュ謇�譛牙�莉門黒蜈�噪迥カ諤∫噪諠��荳句�譛画ュ」遑ョ逧�憾諤√�らサ溯ョ。蟄ヲ螳カ遘ー霑咏ァ肴橿譛ッ荳コ窶應シェ莨シ辟カ窶昴��

髴肴勸闖イ蟆泌セキ鄂醍サ懆ソ俶怏蜿ヲ荳�遘崎ョ。邂嶺ス懃畑縲よ�莉ャ蜿ッ莉・逕ィ螳�擂譫�サコ蟇ケ諢溷ョ倩セ灘�逧�ァ」驥奇シ瑚�御ク肴弍逕ィ譚・蟄伜お隶ー蠢��りセ灘�逕ア蜿ッ隗∝黒蜈�。ィ遉コ�瑚ァ」驥顔罰髫占酪蜊募�逧�憾諤∬。ィ遉コ�瑚�瑚ァ」驥顔噪邉溽ウ慕ィ句コヲ逕ア閭ス驥剰。ィ遉コ縲�

6窶岩�披�顔悉蟆泌�譖シ譛コ鄂醍サ�

邇サ蟆泌�譖シ譛コ 譏ッ荳�遘埼囂譛コ騾貞ス堤・樒サ冗ス醍サ懊�ょョ�庄莉・逵倶ス懈弍Hopfield鄂醍噪髫乗惻逕滓�蟇ケ遲臥黄縲ょョ�弍譛�譌ゥ閭ス螟溷ュヲ荵�蜀�Κ陦ィ遉コ逧�・樒サ冗ス醍サ應ケ倶ク��瑚�螟溯。ィ遉コ蜥瑚ァ」蜀ウ蝗ー髫セ逧�サ�粋髣ョ鬚倥��

邇サ蟆泌�譖シ譛コ蟄ヲ荵�邂玲ウ慕噪蟄ヲ荵�逶ョ譬�弍譛�螟ァ蛹也悉蟆泌�譖シ譛コ蟇ケ隶ュ扈�寔荳ュ逧�コ瑚ソ帛宛蜷鷹㍼蛻��逧�ヲら紫逧�ケ倡ァッ縲りソ咏ュ牙酔莠取怙螟ァ蛹也悉蟆泌�譖シ譛コ蟇ケ隶ュ扈�髄驥丞�驟咲噪蟇ケ謨ー讎ら紫荵句柱縲りソ吩ケ溽ュ牙酔莠取怙螟ァ蛹匁�莉ャ蠕怜芦蜃�。ョN荳ェ隶ュ扈��キ譛ャ逧�ヲら紫�悟ヲよ棡謌台サャ霑幄。御サ・荳区桃菴懶シ�1�芽ョゥ鄂醍サ懷惠豐。譛牙、夜Κ霎灘�逧�ュ蜀オ荳区噺謨帛芦蜈カ遞ウ諤∝�蟶ク谺。��2�画ッ乗ャ。驥��キ荳�谺。蜿ッ隗∝髄驥上��

Salakhutdinov 蜥� Hinton 蝨ィ2012蟷エ謠仙�莠�ク�遘埼ォ俶譜逧�ー乗音驥丞ュヲ荵�遞句コ冗畑莠守悉蟆泌�譖シ譛コ�瑚ッヲ隗� Salakhutdinov 蜥� Hinton 蝨ィ2012縲�

  • 蟇ケ莠取ュ」蜷鷹亳谿オ�碁ヲ門�蟆�嚼阯丞黒蜈�噪讎ら紫蛻晏ァ句喧荳コ0.5�檎┯蜷主ー�焚謐ョ蜷鷹㍼蝗コ螳壼惠蜿ッ隗∝黒蜈�ク奇シ檎┯蜷惹スソ逕ィ蝮��シ蝨コ譖エ譁ー蟷カ陦梧峩譁ー謇�譛蛾嚼阯丞黒蜈�峩蛻ー謾カ謨帙�ょ惠鄂醍サ懈噺謨帛錘�瑚ョー蠖墓ッ丈ク�蟇ケ霑樊磁蜊募�逧ПiPj�悟ケカ蟇ケ蟆乗音驥丈クュ逧�園譛画焚謐ョ蜿門ケウ蝮���

  • 蟇ケ莠手エ溷髄髦カ谿オ�夐ヲ門�菫晄戟荳�扈��懆劒諡溽イ貞ュ絶�昴�よッ丈クェ邊貞ュ宣�譛我ク�荳ェ菴應クコ蜈ィ螻�驟咲スョ逧��シ縲ら┯蜷惹セ晄ャ。譖エ譁ー豈丈クェ陌壽供邊貞ュ蝉クュ逧�園譛牙黒蜈��谺。縲ょッケ莠取ッ丈ク�蟇ケ霑樊磁蜊募��瑚ョ。邂祐iSj蝨ィ謇�譛芽劒諡溽イ貞ュ蝉クュ逧�ケウ蝮��シ縲�

蝨ィ荳�闊ャ逧�悉蟆泌�譖シ譛コ荳ュ�悟黒菴咲噪髫乗惻譖エ譁ー髴�隕∵潔鬘コ蠎剰ソ幄。後�よ怏荳�遘咲音谿顔噪譫カ譫��隶ク莠、譖ソ逧�ケカ陦梧峩譁ー�瑚ソ咏ァ肴峩譁ー譁ケ蠑乗峩鬮俶譜�亥アょ�豐。譛芽ソ樊磁�悟アる龍豐。譛芽キウ霍�ソ樊磁�峨�りソ咏ァ榊ー乗音驥丞、�炊菴ソ邇サ蟆泌�譖シ譛コ逧�峩譁ー譖エ蜉�蟷カ陦後�りソ呵「ォ遘ー荳コ豺ア蠎ヲ邇サ蟆泌�譖シ譛コ��BM�会シ悟ョ�弍荳�荳ェ蜈キ譛芽ョク螟夂シコ螟ア霑樊磁逧��夂畑邇サ蟆泌�譖シ譛コ縲�

2014蟷エ�郡alakhutdinov 蜥� Hinton 謠仙�莠�ッケ蜈カ讓。蝙狗噪蜿ヲ荳�遘肴峩譁ー�檎ァー荳コ 髯仙宛邇サ蟆泌�譖シ譛コ縲ゆサ紋サャ髯仙宛莠�ソ樊磁諤ァ莉・邂�蛹匁耳逅�柱蟄ヲ荵��井サ�怏荳�螻る嚼阯丞黒蜈�ク秘嚼阯丞黒蜈�ケ矩龍豐。譛芽ソ樊磁�峨�ょ惠RBM荳ュ�悟ス灘庄隗∝黒蜈�「ォ蝗コ螳壽慮�悟宵髴�荳�豁・蜊ウ蜿ッ霎セ蛻ー辜ュ蟷ウ陦。縲�

蜿ヲ荳�遘埼ォ俶譜逧�ー乗音驥丞ュヲ荵�遞句コ丞ヲゆク具シ�

  • 蟇ケ莠取ュ」蜷鷹亳谿オ�碁ヲ門�蟆�焚謐ョ蜷鷹㍼蝗コ螳壼惠蜿ッ隗∝黒蜈�ク翫�ら┯蜷手ョ。邂玲ッ丞ッケ蜿ッ隗∝黒蜈�柱髫占酪蜊募�逧�逧�。ョ蛻��シ縲ょッケ莠取ッ丈ク�蟇ケ霑樊磁蜊募��瑚ョ。邂�蝨ィ蟆乗音驥乗焚謐ョ荳ュ逧�ケウ蝮��シ縲�

  • 蟇ケ莠手エ滄亳谿オ�御ケ滉ソ晄戟荳�扈��懆劒諡溽イ貞ュ絶�昴�ら┯蜷惹スソ逕ィ莠、譖ソ蟷カ陦梧峩譁ー譖エ譁ー豈丈クェ陌壽供邊貞ュ仙�谺。縲ょッケ莠取ッ丞ッケ霑樊磁逧�黒蜈�シ悟ケウ蝮�園譛芽劒諡溽イ貞ュ千噪 ViHj縲�

7窶岩�披�頑キア蠎ヲ菫。蠢オ鄂醍サ�

蜿榊髄莨�謦ュ陲ォ隶、荳コ譏ッ莠コ蟾・逾樒サ冗ス醍サ應クュ隶。邂玲ッ丈クェ逾樒サ丞�蝨ィ螟�炊荳�謇ケ謨ー謐ョ蜷朱漠隸ッ雍。迪ョ逧���㊥譁ケ豕輔�ら┯閠鯉シ御スソ逕ィ蜿榊髄莨�謦ュ蟄伜惠荳�莠帑クサ隕�琉鬚倥�るヲ門��悟ョ�怙隕∵��ョー逧�ョュ扈�焚謐ョ�瑚�悟�荵取園譛臥噪謨ー謐ョ驛ス譏ッ譛ェ譬�ョー逧��ょ�谺。�悟ュヲ荵�譌カ髣エ荳榊�螟�憶螂ス逧�黄螻墓�ァ�瑚ソ呎э蜻ウ逹�蝨ィ蜈キ譛牙、壻クェ髫占酪螻ら噪鄂醍サ應クュ�悟ョ�撼蟶ク郛捺�縲らャャ荳会シ悟ョ�庄閭ス莨夐匚蜈・霎�キョ逧�ア�驛ィ譛�莨倩ァ」�悟屏豁、蟇ケ莠取キア蠎ヲ鄂醍サ懶シ悟ョ�サャ遖サ譛�莨倩ァ」霑伜セ郁ソ懊��

荳コ莠��譛榊渚蜷台シ�謦ュ逧�ア�髯先�ァ�檎�皮ゥカ莠コ蜻倩��剔菴ソ逕ィ譌�逶醍撻蟄ヲ荵�譁ケ豕輔�りソ呎怏蜉ゥ莠惹ソ晄戟菴ソ逕ィ譴ッ蠎ヲ譁ケ豕戊ー�紛譚�㍾逧�譜邇�柱邂�萓ソ諤ァ�悟酔譌カ霑倡畑莠主サコ讓。諢溷ョ倩セ灘�逧�サ捺桷縲ら音蛻ォ譏ッ�御サ紋サャ隹�紛譚�㍾莉・譛�螟ァ蛹也函謌先ィ。蝙狗函謌先─螳倩セ灘�逧�ヲら紫縲る琉鬚俶弍謌台サャ蠎碑ッ・蟄ヲ荵�莉�荵域�キ逧�函謌先ィ。蝙具シ溷ョ�庄莉・譏ッ邀サ莨シ莠守悉蟆泌�譖シ譛コ逧�渕莠手�驥冗噪讓。蝙句雛�滓�閠�弍逕ア逅�Φ蛹也・樒サ丞�扈��逧�屏譫懈ィ。蝙具シ溯ソ俶弍荳、閠�噪豺キ蜷茨シ�

菫。蠢オ鄂醍サ� 譏ッ逕ア髫乗惻蜿倬㍼扈��逧�怏蜷第裏邇ッ蝗セ縲ゆスソ逕ィ菫。蠢オ鄂醍サ懶シ梧�莉ャ蜿ッ莉・隗ょッ溷芦荳�莠帛序驥擾シ悟ケカ蟶梧悍隗」蜀ウ荳、荳ェ髣ョ鬚假シ�1�画耳逅�琉鬚假シ壽耳譁ュ譛ェ隗ょッ溷芦逧�序驥冗噪迥カ諤�シ�2�牙ュヲ荵�髣ョ鬚假シ夊ー�紛蜿倬㍼荵矩龍逧�コ、莠抵シ御スソ鄂醍サ懈峩譛牙庄閭ス逕滓�隶ュ扈�焚謐ョ縲�

譌ゥ譛溽噪蝗セ蠖「讓。蝙倶スソ逕ィ荳灘ョカ螳壻ケ牙崟逧�サ捺桷蜥梧擅莉カ讎ら紫縲るぅ譌カ�悟崟逧�ソ樊磁遞�逍擾シ帛屏豁、�檎�皮ゥカ莠コ蜻俶怙蛻昜ク捺ウィ莠手ソ幄。梧ュ」遑ョ逧�耳逅�シ瑚�御ク肴弍蟄ヲ荵�縲ょッケ莠守・樒サ冗ス醍サ懶シ悟ュヲ荵�譏ッ譬ク蠢�シ梧焔蟾・郛門�遏・隸�ケカ荳榊庄蜿厄シ悟屏荳コ遏・隸�擂閾ェ莠主ュヲ荵�隶ュ扈�焚謐ョ縲ら・樒サ冗ス醍サ懷ケカ荳堺サ・蜿ッ隗」驥頑�ァ謌也ィ�逍剰ソ樊磁荳コ逶ョ譬�擂邂�蛹匁耳逅��ょース邂。螯よュ、�御ソ。蠢オ鄂醍サ應ケ滓怏逾樒サ冗ス醍サ懃沿譛ャ縲�

譛我ク、遘咲アサ蝙狗噪逕滓�逾樒サ冗ス醍サ懶シ檎罰髫乗惻莠瑚ソ帛宛逾樒サ丞�扈����1��蝓コ莠手�驥冗噪�悟�荳ュ謌台サャ菴ソ逕ィ蟇ケ遘ー霑樊磁霑樊磁莠瑚ソ帛宛髫乗惻逾樒サ丞�莉・闔キ蠕礼悉蟆泌�譖シ譛コ��2��蝗�譫��悟�荳ュ謌台サャ蝨ィ譛牙髄譌�邇ッ蝗セ荳ュ霑樊磁莠瑚ソ帛宛髫乗惻逾樒サ丞�莉・闔キ蠕� sigmoid 菫。蠢オ鄂醍サ懊�りソ吩ク、遘咲アサ蝙狗噪謠剰ソー雜��莠�悽譁�噪闌�峩縲�

8窶岩�披�頑キア蠎ヲ閾ェ郛也�∝勣

譛�蜷趣シ瑚ョゥ謌台サャ隶ィ隶コ荳�荳�豺ア蠎ヲ閾ェ郛也�∝勣縲ら罰莠惹サ・荳句�荳ェ蜴溷屏�悟ョ�サャ荳�逶エ陲ォ隶、荳コ譏ッ霑幄。碁撼郤ソ諤ァ髯咲サエ逧�ク�荳ェ髱槫クク螂ス逧�婿豕包シ壼ョ�サャ謠蝉セ帑コ�曙蜷醍�豢サ譏�蟆��ょュヲ荵�譌カ髣エ蝨ィ隶ュ扈�。井セ区焚驥丈ク頑弍郤ソ諤ァ逧�シ域�譖エ螂ス�峨�よ怙扈育噪郛也�∵ィ。蝙狗嶌蠖鍋エァ蜃台ク泌ソォ騾溘�ら┯閠鯉シ御スソ逕ィ蜿榊髄莨�謦ュ譚・莨伜喧豺ア蠎ヲ閾ェ郛也�∝勣髱槫クク蝗ー髫セ縲ら罰莠主�蟋区揀驥崎セ�ー擾シ悟渚蜷台シ�謦ュ逧�「ッ蠎ヲ莨壽カ亥、ア縲よ�莉ャ邇ー蝨ィ譛画峩螂ス逧�シ伜喧譁ケ豕包シ帛庄莉・菴ソ逕ィ譌�逶醍撻逧��仙アる「�ョュ扈�シ梧�閠�ワ蝨ィEcho-State Nets荳ュ驍」譬キ蟆丞ソ��蟋句喧譚�㍾縲�

蟇ケ莠朱「�ョュ扈�ササ蜉。�悟ョ樣刔荳頑怏3遘堺ク榊酔邀サ蝙狗噪豬�アり�郛也�∝勣��

  1. RBM菴應クコ閾ェ郛也�∝勣�壼ス捺�莉ャ逕ィ荳�豁・蟇ケ豈疲淵蠎ヲ隶ュ扈コBM譌カ�悟ョ�ッ募崟菴ソ驥榊サコ逵玖オキ譚・蜒乗焚謐ョ縲ょョ�ワ閾ェ郛也�∝勣�御ス��夊ソ�スソ逕ィ髫占酪螻ゆクュ逧�コ瑚ソ帛宛豢サ蜉ィ霑幄。悟シコ豁」蛻吝喧縲ょス鍋畑譛�螟ァ莨シ辟カ隶ュ扈�慮�軍BM荳榊ワ閾ェ郛也�∝勣縲よ�莉ャ蜿ッ莉・逕ィ荳�蝣�オ�アり�郛也�∝勣譖ソ莉」逕ィ莠朱「�ョュ扈�噪RBM蝣�匠�帷┯閠鯉シ悟ヲよ棡豬�アり�郛也�∝勣騾夊ソ�Λ鄂壼ケウ譁ケ譚�㍾霑幄。梧ュ」蛻吝喧�悟�鬚�ョュ扈�噪謨域棡�亥ッケ莠主錘扈ュ逧�セィ蛻ォ�我ク榊ヲょ燕閠���

  2. 蜴サ蝎ェ閾ェ郛也�∝勣�夊ソ吩コ幃�夊ソ�ー�セ灘�蜷鷹㍼逧�ョク螟夂サ�サカ隶セ鄂ョ荳コ0�育アサ莨シ莠仕ropout�御ス�畑莠手セ灘��画擂豺サ蜉�蝎ェ螢ー縲ょョ�サャ莉埼怙驥榊サコ霑吩コ帷サ�サカ�悟屏豁、蠢�。サ謠仙叙閭ス螟滓黒謐芽セ灘�荵矩龍逶ク蜈ウ諤ァ逧�音蠕√�ょヲよ棡謌台サャ菴ソ逕ィ荳�邉サ蛻怜悉蝎ェ閾ェ郛也�∝勣�碁「�ョュ扈�譜譫憺撼蟶ク螂ス縲ょョ�噪謨域棡荳惹スソ逕ィRBM霑幄。碁「�ョュ扈�ク�譬キ螂ス�檎爆閾ウ譖エ螂ス縲りッ�シー鬚�ョュ扈�ケ滓峩邂�蜊包シ悟屏荳コ謌台サャ蜿ッ莉・霓サ譚セ隶。邂礼岼譬��謨ー逧��シ縲ょョ�シコ荵蹴BM謇�謠蝉セ帷噪莨倡セ主序蛻�阜髯撰シ御ス�ソ吩サ�サ�弍逅�ョコ荳顔噪蜈エ雜」縲�

  3. 謾カ郛ゥ閾ェ郛也�∝勣�壼嘗荳�遘榊ッケ閾ェ郛也�∝勣霑幄。梧ュ」蛻吝喧逧�婿豕墓弍蟆ス蜿ッ閭ス菴ソ髫占酪蜊募�逧�エサ蜉ィ蟇ケ霎灘�荳肴撫諢滂シ帑ス�ョ�サャ荳崎�蠢ス隗�セ灘��悟屏荳コ螳�サャ蠢�。サ驥榊サコ霎灘�縲よ�莉ャ騾夊ソ�Λ鄂壽ッ丈クェ髫占酪豢サ蜉ィ逶ク蟇ケ莠手セ灘�逧�ケウ譁ケ譴ッ蠎ヲ譚・螳樒鴫霑吩ク�轤ケ縲よ噺郛ゥ閾ェ郛也�∝勣蝨ィ鬚�ョュ扈�クュ謨域棡髱槫クク螂ス縲らシ也�∝セ�蠕�蜈キ譛芽ソ呎�キ逧�音諤ァ�壼宵譛我ク�蟆城Κ蛻�嚼阯丞黒蜈�ッケ霎灘�逧�序蛹匁撫諢溘��

  • 邂�閠瑚ィ�荵具シ檎鴫蝨ィ譛芽ョク螟壻ク榊酔逧�婿豕募庄莉・霑幄。碁�仙アら音蠕�「�ョュ扈��ょッケ莠取イ。譛牙、ァ驥乗��ョー譯井セ狗噪謨ー謐ョ髮�シ碁「�ョュ扈�怏蜉ゥ莠主錘扈ュ逧�愛蛻ォ蟄ヲ荵�縲ょッケ莠朱撼蟶ク螟ァ縲∵��ョー逧�焚謐ョ髮�シ碁�夊ソ�裏逶醍撻鬚�ョュ扈��蟋句喧逕ィ莠守尅逹」蟄ヲ荵�逧�揀驥榊ケカ髱槫ソ�ヲ�シ悟叉菴ソ譏ッ蟇ケ莠取キア蠎ヲ鄂醍サ懊�る「�ョュ扈�崟譏ッ蛻晏ァ句喧豺ア蠎ヲ鄂醍サ懈揀驥咲噪鬥夜�画婿豕包シ御ス�鴫蝨ィ譛牙�莉匁婿豕輔�ゆク崎ソ�シ悟ヲよ棡謌台サャ蟆�ス醍サ懷★蠕玲峩螟ァ�梧�莉ャ蟆�怙隕∝�谺。霑幄。碁「�ョュ扈�シ�

譛�蜷守噪謾カ闔キ

  • 逾樒サ冗ス醍サ懈弍譛牙彰莉・譚・譛�鄒主ヲ咏噪郛也ィ玖激蠑丈ケ倶ク�縲ょ惠莨�扈溽シ也ィ区婿豕穂クュ�梧�莉ャ蜻願ッ芽ョ。邂玲惻蛛壻サ�荵茨シ悟ー�、ァ髣ョ鬚俶究蛻��隶ク螟壼ー冗噪縲∵�遑ョ螳壻ケ臥噪莉サ蜉。�瑚ョ。邂玲惻蜿ッ莉・霓サ譚セ螳梧�縲ら嶌豈比ケ倶ク具シ悟惠逾樒サ冗ス醍サ應クュ�梧�莉ャ荳榊相隸芽ョ。邂玲惻螯ゆス戊ァ」蜀ウ髣ョ鬚倥�ら嶌蜿搾シ悟ョ�サ手ァょッ滓焚謐ョ荳ュ蟄ヲ荵��梧伽蜃コ閾ェ蟾ア隗」蜀ウ蠖灘燕髣ョ鬚倡噪譁ケ豕輔��

  • 莉雁、ゥ�梧キア蠎ヲ逾樒サ冗ス醍サ懷柱豺ア蠎ヲ蟄ヲ荵�蝨ィ隶。邂玲惻隗�ァ峨�∬ッュ髻ウ隸�悪蜥瑚�辟カ隸ュ險�螟�炊遲芽ョク螟夐㍾隕�琉鬚倅ク願。ィ邇ー蜃コ濶イ縲ょョ�サャ豁」蝨ィ陲ォ隹キ豁後�∝セョ霓ッ蜥� Facebook 遲牙�蜿ク螟ァ隗�ィ。驛ィ鄂イ縲�

  • 謌大ク梧悍霑咏ッ�枚遶�閭ス蟶ョ蜉ゥ菴�蟄ヲ荵�逾樒サ冗ス醍サ懃噪譬ク蠢�ヲょソオ�悟桁諡ャ豺ア蠎ヲ蟄ヲ荵�逧�鴫莉」謚�譛ッ縲ゆス�蜿ッ莉・莉纂謌醍噪 GitHub 莉灘コ転(https://github.com/khanhnamle1994/neural-nets)闔キ蜿匁�荳コ Dr. Hinton 逧� Coursera 隸セ遞区園蛛夂噪謇�譛芽ョイ荵峨�∫�皮ゥカ隶コ譁�柱郛也ィ倶ス應ク壹�ら・昜ス�蟄ヲ荵�鬘コ蛻ゥ��

邂�莉具シ喙James Le](https://www.linkedin.com/in/khanhnamle94/) 逶ョ蜑肴ュ」蝨ィ逕ウ隸キ鄒主嵜逧�ョ。邂玲惻遘大ュヲ遑募」ォ鬘ケ逶ョ�瑚ョ。蛻剃コ�2018蟷エ遘句ュ」蜈・蟄ヲ縲ゆサ也噪遐皮ゥカ譁ケ蜷大ー�寔荳ュ蝨ィ譛コ蝎ィ蟄ヲ荵�蜥梧焚謐ョ謖匁侍譁ケ髱「縲ゆク取ュ、蜷梧慮�御サ冶ソ伜惠諡�ササ閾ェ逕ア閨御ク夂噪蜈ィ譬育ス鷹。オ蠑�蜿台ココ蜻倥��

蜴滓枚縲らサ乗肢譚�スャ霓ス縲�

逶ク蜈ウ��


- 謌台サャ逧�燕荳牙、ァ隸セ遞区耳闕�

1. 隹キ豁檎ス醍サ懷ョ牙�隸∽ケヲ - 蠢ォ騾溯ソ帛�鄂醍サ懷ョ牙�閨御ク夂函豸ッ縲�

2. 隹キ豁梧焚謐ョ蛻�梵荳謎ク夊ッ∽ケヲ - 謠仙合菴�逧�焚謐ョ蛻�梵豌エ蟷ウ

3. Google IT謾ッ謖∽ク謎ク夊ッ∽ケヲ - 謾ッ謖∽ス�逧�サ�サ�惠IT譁ケ髱「


莠�ァ」譖エ螟夂嶌蜈ウ隸晞「�

  1. 菴ソ逕ィ窶彭ropout窶晏ッケ蜈ィ霑樊磁螻ら噪譚�㍾霑幄。梧ュ」蛻吝喧�郁ソ吩コ帛アょ桁蜷ォ螟ァ驛ィ蛻�盾謨ー�峨��ropout諢丞袖逹�蝨ィ豈丈クェ隶ュ扈��キ譛ャ荳ュ�碁囂譛コ蜴サ髯、荳�蜊顔噪髫占酪蜊募�縲りソ咎亟豁「莠�嚼阯丞黒蜈�ソ�コヲ萓晁オ門�莉夜嚼阯丞黒蜈���

蝨ィ遑ャ莉カ隕∵アよ婿髱「�窟lex菴ソ逕ィ莠�撼蟶ク鬮俶譜逧�差遘ッ鄂醍サ懷ョ樒鴫�瑚ソ占。悟惠2蝮湧vidia GTX 580 GPU荳奇シ郁カ�ソ�1000荳ェ蠢ォ騾溽噪蟆乗�ク蠢�シ峨�りソ吩コ姆PU髱槫クク騾ょ粋遏ゥ髦オ荵俶ウ包シ悟ケカ荳泌�譛蛾撼蟶ク鬮倡噪蜀�ュ伜クヲ螳ス縲りソ吩スソ蠕嶺サ冶�螟溷惠荳�蜻ィ蜀�ョュ扈�ス醍サ懶シ悟ケカ荳泌惠豬玖ッ墓慮蠢ォ騾溽サ灘粋譚・閾ェ10荳ェ蝗セ蜒丞摎逧�サ捺棡縲ょヲよ棡謌台サャ閭ス蠢ォ騾溷慍騾壻ソ。迥カ諤�シ梧�莉ャ蜿ッ莉・蟆�ス醍サ懷�蟶�芦隶ク螟壽�ク蠢�ク翫�る囂逹�譬ク蠢�序蠕嶺セソ螳懶シ梧焚謐ョ髮�序蠕玲峩螟ァ�悟、ァ蝙狗・樒サ冗ス醍サ懷ー�ッ比シ�扈溯ョ。邂玲惻隗�ァ臥ウサ扈滓隼霑帛セ玲峩蠢ォ縲�

3窶岩�披�企�貞ス堤・樒サ冗ス醍サ�

隕∫炊隗」 RNNs�梧�莉ャ髴�隕∝ッケ蠎丞�蟒コ讓。譛我ク�荳ェ邂�隕∫噪讎りソー縲ょ惠蟆�惻蝎ィ蟄ヲ荵�蠎皮畑莠主コ丞�譌カ�梧�莉ャ騾壼クク蟶梧悍蟆�セ灘�蠎丞�霓ャ謐「荳コ菴堺コ惹ク榊酔鬚�沺逧�セ灘�蠎丞��帑セ句ヲゑシ悟ー�ク�邉サ蛻怜」ー髻ウ蜴句鴨霓ャ謐「荳コ荳�邉サ蛻怜黒隸崎コォ莉ス縲ょス捺イ。譛牙黒迢ャ逧�岼譬�コ丞�譌カ�梧�莉ャ蜿ッ莉・騾夊ソ�ー晁ッ暮「�オ玖セ灘�蠎丞�荳ュ逧�ク倶ク�荳ェ鬘ケ譚・闔キ蠕玲蕗蟄ヲ菫。蜿キ縲ら岼譬�セ灘�蠎丞�譏ッ霎灘�蠎丞�逧�燕霑� 1 豁・縲りソ吩シシ荵取ッ泌ー晁ッ穂サ主�莉門ワ邏�鬚�オ句崟蜒丈クュ逧�ク�荳ェ蜒冗エ��梧�莉主崟蜒冗噪蜈カ菴咎Κ蛻�「�オ句崟蜒丈クュ逧�ク�荳ェ陦・荳∬�辟カ蠕怜、壹�る「�オ句コ丞�荳ュ逧�ク倶ク�荳ェ鬘ケ讓。邉贋コ�尅逹」蟄ヲ荵�蜥梧裏逶醍撻蟄ヲ荵�荵矩龍逧�玄蛻ォ縲ょョ�スソ逕ィ莠�クコ逶醍撻蟄ヲ荵�隶セ隶。逧�婿豕包シ御ス�ク埼怙隕∝黒迢ャ逧�蕗蟄ヲ菫。蜿キ縲�

譌�隶ー蠢�ィ。蝙� 譏ッ螟�炊霑吩ク�莉サ蜉。逧���㊥譁ケ豕輔�ら音蛻ォ譏ッ�瑚�蝗槫ス呈ィ。蝙句庄莉・莉主崋螳壽焚驥冗噪蜑堺ク�荳ェ鬘ケ荳ュ鬚�オ句コ丞�荳ュ逧�ク倶ク�荳ェ鬘ケ�御スソ逕ィ窶懷サカ霑滓歓螟エ窶晢シ帛燕鬥育・樒サ冗ス醍サ懈弍蟷ソ荵臥噪閾ェ蝗槫ス呈ィ。蝙具シ御スソ逕ィ荳�荳ェ謌門、壻クェ螻ら噪髱樒コソ諤ァ髫占酪蜊募�縲ら┯閠鯉シ悟ヲよ棡謌台サャ扈咏函謌先ィ。蝙倶ク�莠幃嚼阯冗憾諤�シ悟ケカ荳泌ヲよ棡謌台サャ襍倶コ郁ソ吩クェ髫占酪迥カ諤∬�蟾ア逧��驛ィ蜉ィ諤�シ梧�莉ャ蟆ア莨壼セ怜芦荳�遘肴峩譛芽カ」逧�ィ。蝙具シ壼ョ�庄莉・蝨ィ蜈カ髫占酪迥カ諤∽クュ蟄伜お菫。諱ッ蠕磯柄譌カ髣エ縲ょヲよ棡霑吩コ帛勘諤∵弍蝌域揩逧�シ悟ケカ荳泌ョ�サャ莉朱嚼阯冗憾諤∫函謌占セ灘�逧�婿蠑丈ケ滓弍蝌域揩逧�シ梧�莉ャ豌ク霑懈裏豕慕衍驕灘�遑ョ蛻�噪髫占酪迥カ諤√�よ�莉ャ閭ス蛛夂噪譛�螂ス逧�弍謗ィ譁ュ髫占酪迥カ諤∝髄驥冗ゥコ髣エ荳顔噪讎ら紫蛻�ク��りソ咏ァ肴耳譁ュ莉�ッケ荳、遘咲アサ蝙狗噪髫占酪迥カ諤∵ィ。蝙区弍蜿ッ陦檎噪縲�

騾貞ス堤・樒サ冗ス醍サ� 髱槫クク蠑コ螟ァ�悟屏荳コ螳�サャ扈灘粋莠�ク、荳ェ迚ケ諤ァ��1) 蛻�ク�シ城嚼阯冗憾諤�シ御スソ螳�サャ閭ス螟滄ォ俶譜蝨ー蟄伜お螟ァ驥丞�莠手ソ�悉逧�ソ。諱ッ�御サ・蜿� 2) 髱樒コソ諤ァ蜉ィ諤�シ御スソ螳�サャ閭ス螟滉サ・螟肴揩逧�婿蠑乗峩譁ー髫占酪迥カ諤√�ょ宵隕∵怏雜ウ螟溽噪逾樒サ丞�蜥梧慮髣エ�軍NNs 蜿ッ莉・隶。邂怜�莉サ菴戊ョ。邂玲惻閭ス隶。邂礼噪荳懆・ソ縲るぅ荵� RNNs 蜿ッ莉・陦ィ邇ー蜃コ莉�荵域�キ逧�。御クコ蜻「�溷ョ�サャ蜿ッ莉・蜿醍函謖ッ闕。�悟庄莉・謾カ謨帛芦轤ケ蜷ク蠑募ュ撰シ悟庄莉・陦ィ邇ー蠕玲キキ荵ア荳榊�ェ縲ょョ�サャ霑俶怏蜿ッ閭ス蟄ヲ荵�螳樒鴫隶ク螟壼ー冗ィ句コ擾シ梧ッ丈クェ遞句コ乗黒謐我ク�荳ェ遏・隸�せ蟷カ蟷カ陦瑚ソ占。鯉シ檎嶌莠剃ス懃畑莠ァ逕滄撼蟶ク螟肴揩逧�譜譫懊��

辟カ閠鯉シ軍NN逧�ョ。邂苓�蜉帑スソ蠕怜ョ�サャ髱槫クク髫セ莉・隶ュ扈��ら罰莠取「ッ蠎ヲ辷�ず謌匁カ亥、ア髣ョ鬚假シ瑚ョュ扈コNN逶ク蠖灘峅髫セ縲ょス捺�莉ャ騾夊ソ�、壼アりソ幄。悟渚蜷台シ�謦ュ譌カ�梧「ッ蠎ヲ逧�ケ�コヲ莨壼書逕滉サ�荵茨シ溷ヲよ棡譚�㍾蠕亥ー擾シ梧「ッ蠎ヲ莨壽欠謨ー郤ァ郛ゥ蟆上�ょヲよ棡譚�㍾蠕亥、ァ�梧「ッ蠎ヲ莨壽欠謨ー郤ァ蠅樣柄縲ょ�蝙狗噪蜑埼ヲ育・樒サ冗ス醍サ懷庄莉・蠎泌ッケ霑吩コ帶欠謨ー謨亥コ費シ悟屏荳コ螳�サャ蜿ェ譛牙ー鷹㍼髫占酪螻ゅ�ょ嘗荳�譁ケ髱「�悟惠隶ュ扈�柄蠎丞�逧СNN荳ュ�梧「ッ蠎ヲ蠕亥ョケ譏鍋�轤ク謌匁カ亥、ア縲ょ叉菴ソ蛻晏ァ区揀驥崎憶螂ス�御ケ溷セ磯埓譽�豬句芦蠖灘燕逶ョ譬�セ灘�萓晁オ紋コ手ョク螟壽慮髣エ豁・荵句燕逧�セ灘��悟屏豁、RNN蝨ィ螟�炊髟ソ霍晉ヲサ萓晁オ匁慮莨夐∞蛻ー蝗ー髫セ縲�

蟄ヲ荵�RNN逧�怏謨域婿豕墓怏4遘搾シ�

  • 髟ソ遏ュ譛溯ョー蠢��壼ー�NN譫�サコ荳コ譌ィ蝨ィ髟ソ譛溯ョー蠢�噪讓。蝮励��

  • Hessian Free Optimization�夐�夊ソ�スソ逕ィ荳�遘榊庄莉・譽�豬句芦蠕ョ蟆乗「ッ蠎ヲ菴�峇邇�峩蟆冗噪螟肴揩莨伜喧蝎ィ譚・螟�炊譴ッ蠎ヲ豸亥、ア髣ョ鬚倥��

  • 蝗槫」ー迥カ諤∫ス醍サ��夐撼蟶ク莉皮サ�慍蛻晏ァ句喧霎灘�->髫占酪螻ょ柱髫占酪螻�->髫占酪螻ゆサ・蜿願セ灘�->髫占酪螻ら噪霑樊磁�御スソ蠕鈴嚼阯冗憾諤∵凶譛我ク�荳ェ蟾ィ螟ァ逧��∝シア閠ヲ蜷育噪謖ッ闕。蝎ィ蛯ィ螟�シ瑚ソ吩コ帶険闕。蝎ィ蜿ッ莉・騾夊ソ�セ灘�騾画叫諤ァ蝨ー鬩ア蜉ィ縲�

  • 濶ッ螂ス逧�勘驥丞�蟋句喧�壼ワ蝨ィ蝗槫」ー迥カ諤∫ス醍サ應クュ驍」譬キ蛻晏ァ句喧�檎┯蜷惹スソ逕ィ蜉ィ驥丞ュヲ荵�謇�譛臥噪霑樊磁縲�

4窶岩�披�企柄遏ュ譛溯ョー蠢�ス醍サ�

Hochreiter & Schmidhuber (1997) 騾夊ソ�サコ遶玖「ォ遘ー荳コ髟ソ遏ュ譛溯ョー蠢�ス醍サ�逧�ィ。蝙玖ァ」蜀ウ莠�スソRNN髟ソ譛溯ョー蠢�噪髫セ鬚假シ亥ヲよ焚逋セ荳ェ譌カ髣エ豁・鬪、�峨�ゆサ紋サャ隶セ隶。莠�ク�荳ェ菴ソ逕ィ騾サ霎大黒蜈�柱郤ソ諤ァ蜊募�莉・蜿贋ケ俶ウ穂コ、莠堤噪隶ー蠢�黒蜈��ょス凪�懷�蜈・窶晞葎蠑�蜷ッ譌カ�御ソ。諱ッ莨夊ソ帛�蜊募�縲ゆソ。諱ッ莨壼惠窶應ソ晄戟窶晞葎蠑�蜷ッ譌カ逡吝惠蜊募�荳ュ縲る�夊ソ�遠蠑�窶懆ッサ蜿問�晞葎�悟庄莉・莉主黒蜈�クュ隸サ蜿紋ソ。諱ッ縲�

髦�ッサ闕我ケヲ譏ッ荳�鬘ケRNN逧��辟カ莉サ蜉。縲りセ灘�譏ッ隨泌ー也噪���軽�継�牙攝譬�コ丞��悟�荳ュp陦ィ遉コ隨疲弍荳願ソ俶弍荳九�りセ灘�譏ッ蟄礼ャヲ蠎丞�縲�Graves & Schmidhuber (2009)](http://people.idsia.ch/~juergen/nips2009.pdf) 譏セ遉コ蟶ヲ譛鵜STM逧СNN逶ョ蜑肴弍髦�ッサ闕我ケヲ逧�怙菴ウ邉サ扈溘�らョ�險�荵具シ御サ紋サャ菴ソ逕ィ莠�ク�邉サ蛻怜ー丞崟蜒丈ス應クコ霎灘��瑚�御ク肴弍隨泌攝譬���

譖エ螟夂嶌蜈ウ蜀�ョケ