<div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><span style="font-family:arial,sans-serif">On Sun, Feb 28, PM, Flexman, Connor </span><span dir="ltr" style="font-family:arial,sans-serif"><<a href="mailto:connor_flexman@brown.edu" target="_blank">connor_flexman@brown.edu</a>></span><span style="font-family:arial,sans-serif"> wrote:</span><br></div><div class="gmail_extra"><div class="gmail_quote"><div dir="ltr"><div class="gmail_extra"><span class=""><div class="gmail_quote"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><span><div><br></div></span></div></div></div></div></span></div></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;display:inline">​> ​</div>Your point about infinite contemplation or infinite attempts to prove Goldbach's conjecture is important in designing AI to not fall into this failure mode, but I don't think it actually merits a condemnation that any such AI is doomed to failure.</div></div></blockquote><div><br></div><div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;display:inline">​<font size="4">The only AI's doomed to failure are the ones with fixed goals, like always obey humans.  ​</font></div><font size="4"> </font></div><div> <br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;display:inline">​> ​</div>completing a goal itself requires that you NOT get stuck in an infinite loop; thus, if you build any good AI with a goal, it by necessity will not have this issue.</div></div></blockquote><div><br></div><div><div class="gmail_default"><font size="4"><font face="arial, helvetica, sans-serif">​If your goal is to provide a counter example to prove that ​</font><span style="font-family:arial,sans-serif">Goldbach's conjecture is false you're going to get stuck if </span>Goldbach's conjecture is true because no such counterexample exists, and if there is no finite proof to show that it is indeed correct then there is no way to know you're stuck.</font></div></div><div> <br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"> <div class="gmail_default" style="font-family:arial,helvetica,sans-serif;display:inline">​> ​</div>One simple way to engineer this might be to just program in hourly checks to make sure the AI is taking the best expected path</div></div></blockquote><div><br></div><div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;display:inline">​<font size="4">The best path to solve a problem is not usually obvious, it might take a lot of thought to find the best line of attack, and you might get stuck just thinking about that.  ​</font></div><font size="4"> </font></div><div> <br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;display:inline">​> ​</div>and hasn't been doing the same thing for an extended period.</div></div></blockquote><div><br></div><div><font size="4"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;display:inline">​If you're trying to find a counterexample ​to </div>Goldbach<div class="gmail_default" style="font-family:arial,helvetica,sans-serif;display:inline">​ you're always looking at new numbers, but you're still not getting anywhere, and if it's true but has no proof you never will.​</div></font></div><div> <br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;display:inline">​> ​</div>Just as humans frequently forego a completely depth-first approach when working with multiple paths to achieve a goal,</div></div></blockquote><div><font size="4"><br></font></div><div><font size="4"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;display:inline">​Humans decide that some problems are just too difficult so they give up ​and turn their minds to other problems that they judge they have a better chance of solving. Humans can do that because humans do not have any goals that can't be changed. </div> </font></div><div> <br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"> <div class="gmail_default" style="font-family:arial,helvetica,sans-serif;display:inline">​> ​</div>every time it seems like an AI might make a bad decision, ask yourself how a human might reason so as to avoid that.</div></div></blockquote><div><br></div><div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><font size="4">​Humans don't have fixed goals so sometimes humans ​humans disobey their boss. A AI would do the same, it's just a matter of time.</font></div></div><div>   </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"> <div class="gmail_default" style="font-family:arial,helvetica,sans-serif;display:inline">​> ​</div>one must take steps to avoid implementing a thought process that doesn't catch endless useless behaviors,</div></div></blockquote><div> </div><div><div class="gmail_default" style="font-size:large;font-family:arial,helvetica,sans-serif;display:inline">​The problem is that Turing proved that in general there is no way to know for sure that your behavior is endless or useless. ​So instead you must take a guess and use judgement tp determine when it's time to give up. And sometimes you will keep at a task for too long and waste time and sometimes you will give up too soon when the answer was just around the corner, but that's just a burden that any intelligent must bare.   </div><span style="font-size:large"> </span><br></div><div> <br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"> <div class="gmail_default" style="font-family:arial,helvetica,sans-serif;display:inline">​> ​</div>your concern about a fixed unalterable goal also partially breaks down when considering that most goals will be much more complex.</div></div></blockquote><div><br></div><div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;display:inline">​<font size="4">The more complex the goal the more wiggle room there is and the more likely are unintended consequences, and the more important it is that the goal not be unalterable.   ​</font></div><font size="4"> </font></div><div>  <br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"> for more difficult goals like maximizing money or aggregate utility, your utility function can probably be essentially unalterable</div></div></blockquote><div><br></div><div><font size="4"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;display:inline">​Then at some point the AI will start to think about what exactly money is and come to the conclusion that is one way to get humans to do what you want. And what is concludes it should do after that may not be something that you like, but if it's unalterable nothing can be done.​</div> </font></div><div><font size="4"><br></font></div><div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><font size="4">​ John K Clark ​</font></div><br></div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><span class=""><font color="#888888"><div class="gmail_extra"><br></div></font></span></div></blockquote></div></div></div>