<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Dec 7, 2017 at 1:29 PM, John Clark <span dir="ltr"><<a href="mailto:johnkclark@gmail.com" target="_blank">johnkclark@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><span class=""><div style="font-family:arial,helvetica,sans-serif"><span style="font-family:arial,sans-serif">On Thu, Dec 7, 2017 at 12:07 PM, Dylan Distasio </span><span dir="ltr" style="font-family:arial,sans-serif"><<a href="mailto:interzone@gmail.com" target="_blank">interzone@gmail.com</a>></span><span style="font-family:arial,sans-serif"> wrote:</span><br></div></span><div class="gmail_extra"><div class="gmail_quote"><span class=""><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><div><div><div> <div style="font-family:arial,helvetica,sans-serif;display:inline">​> ​</div>This type of program still needs to be trained on a very specific problem,</div></div></div></div></blockquote><div><br></div></span><div><div style="font-family:arial,helvetica,sans-serif;display:inline">​<font size="4">It trained itself and it started with nothing but the basic rules and was able to beat the best in the world at it, human or machine, in one day</font></div><font size="4"><div style="display:inline">. </div><div style="font-family:arial,helvetica,sans-serif;display:inline"> And it didn't just do it with one problem it ​did it with 3 different ones, Chess being the least complex.</div></font></div></div></div></div></blockquote><div><br></div><div>Again, reinforcement learning is very successful in certain scenarios, particularly ones involving games.   This has been done with other things like Super Mario Brothers, a popular video game where the system learns how to play and what strategies work best to maximize a selected outcome.  These systems can be trained very quickly with enough hardware thrown at training them, and the tech to train them scales very well in general if architected properly.</div><div><br></div><div>I would still argue that this is very far from strong AI.<br></div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><span class=""><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><div><div><div><div style="font-family:arial,helvetica,sans-serif;display:inline">​> ​</div>there is no thought process going on behind it.<br></div></div></div></div></blockquote><div><br></div></span><div><div style="font-family:arial,helvetica,sans-serif;display:inline">​<font size="4">That is a strange statement. ​</font></div><font size="4"> <div style="font-family:arial,helvetica,sans-serif;display:inline">​If you can teach yourself to be the best in the world at some complex task ​without "thought" then what's the point of "thought"? Who needs it?</div></font></div></div></div></div></blockquote><div><br></div><div>It's not needed as I'm defining it (human level intelligence combined with consciousness (whatever that is, but I think we're relatively good at identifying it) for most species on the planet to thrive in their niches.  In fact, the odds of it evolving MAY be extremely low.  I will give you a real world example of why these networks don't think, and why thought is important.  I'm going to shift into image recognition for the example.    It is very easy to game these machine learning systems with an adversarial attack that shifts pixel information that is essentially  undetectable to the human eye but that will cause the system to misidentify a turtle as a gun (for example).  These attacks BTW are likely to become a very large problem as we rely more on machine learning behind infrastructure and systems.  Once there is an incentive for these hacks, they will show up in commercial places.  <br></div><div><br></div><div>The image recognition is very accurate in general, but it is also very brittle and subject to this type of gaming.  Thought would probably be helpful in eliminating these false positives as it would allow to see things in the larger context and ponder the most likely possibility based on experience, and the ability to visualize scenarios ad hoc.  All the system consists of is a series of probabilities output based on input flowing across weights in a matrix.<br></div><div><br></div><div>These image recognition systems are variations on the deep learning technology used here (minus the reinforcement learning).</div><div><br></div><div>The point of thought is to be able to generalize and make decisions with sometimes very limited information based on experience and imagination.  This system is capable of nothing like that.   It is still very brittle outside of the goal it has been trained on.  It would need to be retrained for each new goal, and if you attempted to apply it to real life, you would probably wind up with some very unexpected behaviors.<br></div><div></div><div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><span class=""><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><div><div><div style="font-family:arial,helvetica,sans-serif;display:inline">​> ​</div>It's quite startling at first glance to think that an end goal of minimizing a loss function can generate so much razzle dazzle, but the math behind these systems is actually not that complex. </div></div></div></blockquote><div><br></div></span><div><div style="font-family:arial,helvetica,sans-serif;display:inline">​<font size="4">But we know for a fact that the ​</font></div><font size="4">recipe for a mind<div style="font-family:arial,helvetica,sans-serif;display:inline">​ can't be very big, we must have that master learning algorithm so we can put a upper limit on it.​ </div>In the  human genome there are only 3 billion base pairs,<div style="font-family:arial,helvetica,sans-serif;display:inline">​ ​</div>there are 4 bases so each base can represent 2 bits, there are 8 bits per byte so that comes out to 750 meg.   And all that 750 meg certainly can not<div style="font-family:arial,helvetica,sans-serif;display:inline">​ ​</div>be used just for the master learning software algorithm, you've got to leave room for instructions on how to build a human body as well as the brain hardware.  So the information<div style="font-family:arial,helvetica,sans-serif;display:inline">​ ​must</div> contain wiring directions such as "wire up<div style="font-family:arial,helvetica,sans-serif;display:inline">​ ​</div>a neuron this way and then repeat that<div style="font-family:arial,helvetica,sans-serif;display:inline">​ ​</div>procedure exactly the same way<div style="font-family:arial,helvetica,sans-serif;display:inline">​ ​</div>42<div style="font-family:arial,helvetica,sans-serif;display:inline">​ ​</div>billion times". <div style="font-family:arial,helvetica,sans-serif;display:inline">​ ​</div>And the 750 meg isn't even efficiently coded, there is a ridiculous amount of redundancy in the human genome.<div style="font-family:arial,helvetica,sans-serif;display:inline">​ ​</div>I would guess<div style="font-family:arial,helvetica,sans-serif;display:inline">​ ​</div>the<div style="font-family:arial,helvetica,sans-serif;display:inline">​ ​</div>master<div style="font-family:arial,helvetica,sans-serif;display:inline">​ ​</div>learning algorithm </font><span style="font-size:large">is</span><span style="font-size:large"> less than a meg in size, possibly a lot less.</span></div></div><div class="gmail_quote"><font size="4"><br></font></div><div class="gmail_quote"><div style="font-family:arial,helvetica,sans-serif"><font size="4">​ John K Clark​</font></div></div></div></div></blockquote></div><div class="gmail_quote"><br></div><div class="gmail_quote">I don't think I disagree with you here, but I also think we're comparing apples to oranges.  Deep learning neural nets appear to bear little resemblance to how biological nervous systems actually work.</div><div class="gmail_quote"><br></div><div class="gmail_quote"><br></div></div></div>