On Wed, Nov 17, 2010 at 9:11 PM, The Avantguardian <span dir="ltr"><<a href="mailto:avantguardian2020@yahoo.com">avantguardian2020@yahoo.com</a>></span> wrote:<br><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
<br>
I have some questions, perhaps naive, regarding the feasibility of the hard<br>
takeoff scenario: Is self-improvement really possible for a computer program?<br></blockquote><div><br></div><div>Yes.  For instance,<a href="http://www.idsia.ch/~juergen/goedelmachine.html"> Godel machine</a>.  Reinforcement learning.  </div>
<div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
And if the initial "intelligence function" is flawed, then all recursive<br>
iterations of the function will have the same flaw. So it would not really be<br>
qualitatively improving, it would simply be quantitatively increasing. For<br>
example, if I had two or even four identical brains, none of them might be able<br>
answer this question, although I might be able to do four other mental tasks<br>
that I am capable of doing, at once.<br></blockquote><div><br></div><div>But there are thousands of avenues of improvement I can identify for myself now.  Thus, a human-similar intelligence would likely see a similar number of potential avenues of improvement and pursue them.  </div>
<div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">On the other hand, if the seed AI is able to actually rewrite the code of it's<br>
intelligence function to non-recursively improve itself, how would it avoid<br>
falling victim to the halting problem?</blockquote><div><br></div><div>I guess all self-improving software programs will inevitably fall prey to infinite recursion or the halting problem, then.  Please say "yes" if you believe this.  </div>
<div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;"> If there is no way, even in principle, to<br>
algorithmically determine beforehand whether a given program with a given input<br>
will halt or not, would an AI risk getting stuck in an infinite loop by messing<br>
with its own programming? </blockquote><div><br></div><div>Yes.  Just like a human would too.  </div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">The halting problem is only defined for Turing<br>

machines so a quantum computer may overcome it, but I am curious if any SIAI<br>
people have considered it in their analysis of hard versus soft takeoff.<br></blockquote><div><br></div><div>Not really, no.  </div><div><br></div></div>-- <br><a href="mailto:michael.anissimov@singinst.org" target="_blank">michael.anissimov@singinst.org</a><br>
<span style="font-family:arial, sans-serif;font-size:13px;border-collapse:collapse"><div>Singularity Institute<br></div><div>Media Director</div></span><br>