<div dir="ltr">John Clark said:<br><div class="gmail_extra"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><span class=""><div>But that's exactly my fear, it may be fundamental. If they can change anything in the universe then they can change the very thing that makes the changes, themselves. There may be something about intelligence and positive feedback loops (like having full control of your emotional control panel) that always leads to stagnation. After all, regardless of how well our life is going who among us would for eternity opt out of becoming just a little bit happier if all it took was turning a knob? And after you turn it a little bit and see how much better you feel why not turn it again, perhaps a little more this time.<br></div></span><div><br></div></div></div></div></blockquote></div><div>This is a really great point. Reminds me of the issues tackled in the MIRI paper about intelligent agents reasoning about their environment while they are embedded in it. <a href="https://intelligence.org/files/ProblemsSelfReference.pdf">https://intelligence.org/files/ProblemsSelfReference.pdf</a></div><div>Definite issues can arise here from agents caught between modifying themselves vs their environment minus themselves vs the whole system.</div><div>Hopefully consequentialist reasoning could funnel the agents toward making sure there was a failproof method for optimizing utils in the future light-cone before undertaking large-scale wireheading.</div><div>Connor</div><div><br></div>-- <br><div class="gmail_signature"><div dir="ltr"><div dir="ltr" style="font-family:arial;font-size:small"><font size="1">Non est salvatori salvator,</font></div><div dir="ltr" style="font-family:arial;font-size:small"><font size="1">neque defensori dominus,</font></div><div dir="ltr" style="font-family:arial;font-size:small"><font size="1">nec pater nec mater,</font></div><div dir="ltr" style="font-family:arial;font-size:small"><font size="1">nihil supernum.</font></div></div></div>
</div></div>