<div dir="ltr">Very interesting! You have to figure that Microsoft (and any other decently large company) is investing heavily in deep learning so this shouldn't be too much of a surprise. Claiming that Adam is one of the few systems that can handle 22k images is a joke though... there are CVPR and NIPS papers the past two years even that do this level of input on a single machine.<div>

<br></div><div>The HOGWILD! idea is interesting though. Training these massive models involves a lot of random perturbation to avoid local minima, so allowing machines to write over each other in memory is just another dimension of randomness. It is interesting that it improves accuracy though. Hopefully they'll release more details or publish papers describing some techniques</div>

</div><div class="gmail_extra"><br><br><div class="gmail_quote">On Mon, Jul 14, 2014 at 3:37 PM, Matthew Turk <span dir="ltr"><<a href="mailto:mturk@cs.ucsb.edu" target="_blank">mturk@cs.ucsb.edu</a>></span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div lang="EN-US" link="#0563C1" vlink="#954F72"><div><p class="MsoNormal">Microsoft’s new Project Adam – deep learning and computer vision: “Brain-scaled neural networks”<u></u><u></u></p>

<p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal"><a href="http://www.wired.com/2014/07/microsoft-adam/" target="_blank">http://www.wired.com/2014/07/microsoft-adam/</a><u></u><u></u></p><p class="MsoNormal"><u></u> <u></u></p>

</div></div><br>_______________________________________________<br>
Ilab-users mailing list<br>
<a href="mailto:Ilab-users@lists.cs.ucsb.edu">Ilab-users@lists.cs.ucsb.edu</a><br>
<a href="https://lists.cs.ucsb.edu/mailman/listinfo/ilab-users" target="_blank">https://lists.cs.ucsb.edu/mailman/listinfo/ilab-users</a><br></blockquote></div><br></div>