<div dir="auto">For those interested, this is a very good write up on how the Microsoft architecture works:<div dir="auto"><br></div><div dir="auto"><span style="font-family:sans-serif"><a href="https://codeburst.io/understanding-r-net-microsofts-superhuman-reading-ai-23ff7ededd96">https://codeburst.io/understanding-r-net-microsofts-superhuman-reading-ai-23ff7ededd96</a></span><br></div><div dir="auto"><span style="font-family:sans-serif"><br></span></div><div dir="auto"><font face="sans-serif">The actual paper is here:</font></div><div dir="auto"><font face="sans-serif"><a href="https://www.microsoft.com/en-us/research/wp-content/uploads/2017/05/r-net.pdf">https://www.microsoft.com/en-us/research/wp-content/uploads/2017/05/r-net.pdf</a><br></font></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Jan 18, 2018 8:17 PM, "Rafal Smigrodzki" <<a href="mailto:rafal.smigrodzki@gmail.com">rafal.smigrodzki@gmail.com</a>> wrote:<br type="attribution"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Jan 16, 2018 at 1:31 PM, Dylan Distasio <span dir="ltr"><<a href="mailto:interzone@gmail.com" target="_blank">interzone@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">This is the Achilles heel of all the deep learning that I've been exposed to.  Deep nets are also great at image recognition until an adversarial attack is injected that will fool a net, but not a human child.  There is zero comprehension.  The nets are dead behind the eyes.  I believe the folks attempting to replicate actual biological neuron function (the bulk of deep learning is not much more than high school math and a gradient descent function to find a global minima) have the best chance of building something that actually understands what it is doing.<div><br></div></div></blockquote><div><br></div><div>### I agree with the general tenor of your remarks but I would not go as far as saying "zero comprehension". Current deep learning systems are very brittle, much more so than humans but they are on to something - small parts of the world models that humans build over decades of learning are already present in the networks. They are not fleshed out with enough cross-references to different but complementary representations of aspects of the world, which is why they are brittle. I cannot guess whether the Microsoft or Baidu systems have 1% or 10% of adult human understanding of the world but I would argue it is not zero. </div><div><br></div><div>I also doubt that the secret of human intelligence is in human neurons. Neurons have been around a long time and human neurons are about 99% identical biologically to monkey neurons - but we have more of them and especially more of them wired to perform high-level integrative data analysis. In effect, our brain's networks are just deeper than other deep learning networks in existence, whether animal or artificial, but still using only high school math to do their job. I guess.</div><div><br></div><div>Rafal</div></div>
</div></div>
<br>______________________________<wbr>_________________<br>
extropy-chat mailing list<br>
<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a><br>
<a href="http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat" rel="noreferrer" target="_blank">http://lists.extropy.org/<wbr>mailman/listinfo.cgi/extropy-<wbr>chat</a><br>
<br></blockquote></div></div>