<div dir="ltr">A recent article on Arxiv from Microsoft showed a simple method for boosting state of the art performance in deep nets. Some big names in the field wrote a comprehensive blog post on their experiences with implementing it. Pretty interesting read: <a href="http://torch.ch/blog/2016/02/04/resnets.html">http://torch.ch/blog/2016/02/04/resnets.html</a><div><br></div><div>On a sad and frustrating note, my boss and I actually came up with this exact idea 3 years ago during an internship. It helped boost our performance a bit but ultimately it didn't solve our really really hard problem so we ignored it. Whoops.</div></div>