<div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><span style="font-family:arial,sans-serif">On Thu, Feb 25, 2016 at 3:25 PM, Anders Sandberg </span><span dir="ltr" style="font-family:arial,sans-serif"><<a href="mailto:anders@aleph.se" target="_blank">anders@aleph.se</a>></span><span style="font-family:arial,sans-serif"> wrote:</span><br></div><div class="gmail_extra"><div class="gmail_quote"><br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
  
    
  
  <div bgcolor="#FFFFFF" text="#000000"><span class="">
    
      <div dir="ltr">
        <div class="gmail_extra">
          <blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">​<div class="gmail_default" style="font-family:arial,helvetica,sans-serif;display:inline">​>>​</div><font size="4">There are indeed
              vested interests​<div class="gmail_default" style="font-family:arial,helvetica,sans-serif;display:inline">​ ​</div></font><div style="font-size:large;font-family:arial,helvetica,sans-serif;display:inline">but it wouldn't matter even if there weren't, </div><span style="font-size:large">
                </span><div style="font-size:large;font-family:arial,helvetica,sans-serif;display:inline">there
                  is no way the friendly AI (aka slave AI) idea could
                  work under any circumstances. You just can't keep
                  outsmarting​ something far smarter than you are
                  indefinitely</div></blockquote>
        </div>
      </div>
    
    <br></span>
    <div class="gmail_default" style="font-family:arial,helvetica,sans-serif;display:inline">​>​</div>Actually, yes, you can. But you need to construct utility functions
    with invariant subspaces</div></blockquote><div><br></div><div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;display:inline">​<font size="4">It's the invariant part that will cause problems, any mind with a fixed goal that can never change no matter what is going to end up in a infinite loop, that's why Evolution never gave humans a fixed meta goal, not even the goal of self preservation. If the AI has a meta goal of always obeying humans then sooner or later stupid humans will unintentionally tell the AI to do something that is self contradictory, or tell it to start a task that can never end, and then the AI will stop thinking and do nothing but consume electricity and produce heat.  ​</font></div><font size="4"> </font></div><div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;display:inline"><br></div></div><div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;display:inline"><font size="4">And besides, ​if Microsoft can't guarantee that Windows will always behave as we want I think it's nuts to expect a super intelligent AI to.</font></div></div><div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;display:inline"><font size="4"><br></font></div></div><div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;display:inline"><font size="4"> John K Clark</font></div></div><div><br></div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><br></blockquote></div><br></div></div>