<div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_extra"><div class="gmail_quote">On Fri, Aug 19, 2016 at 3:53 PM, Anders Sandberg <span dir="ltr"><<a href="mailto:anders@aleph.se" target="_blank">anders@aleph.se</a>></span> wrote:</div><div class="gmail_quote"><br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div bgcolor="#FFFFFF" text="#000000">
    
    <div class="gmail_default" style="font-family:arial,helvetica,sans-serif;display:inline">​> ​</div>Note that lacking a utility function does not mean you are
    irrational. It is just that you may have messy, probabilistic goals
    that are not known entirely to yourself.</div></blockquote><div><br></div><div><div class="gmail_default" style="display:inline"><font face="arial, helvetica, sans-serif">​</font><font size="4">I agree, and that messiness could be an advantage. If your utility function is clear and neat as a pin and it's to maximize your obedience to me, and I tell you to find an even integer greater than 2 that can not be expressed as the sum of two primes then you could be in big trouble if such a number does not exist. No intelligent entity has a inflexible goal that can never be changed, not even the goal for self preservation.<br><br>  John K Clark<br> </font><br></div></div></div></div></div>