On 1/26/06, <b class="gmail_sendername">Eliezer S. Yudkowsky</b> <<a href="mailto:sentience@pobox.com">sentience@pobox.com</a>> wrote:<div><span class="gmail_quote"></span><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
When I saw the subject line, I immediately thought of a bumper sticker<br>reading "Great Old One or Bust".</blockquote><div><br>
*laughs* That's not a bad idea actually.<br>
</div><br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">1:  A finite computer has only a finite number of possible states.  In<br>the long run, then, you *must* either die (not do any processing past a
<br>finite number of operations), go into an infinite loop (also implying no<br>further processing), or grow beyond any finite bound.  Those are your<br>only three options, no matter the physics.  Being human forever isn't on
<br>the list.  That is not a moral judgment, it's an unarguable mathematical<br>fact.  In the long run - the really long run - humanity isn't an option.</blockquote><div><br>
This is of course mathematically true; whether it's physically relevant
is still an open question. (In particular, we don't know whether the
ultimate laws of physics permit infinite computation; currently known
physics suggests a limit much less than 2^N operations for relevant
values of N, but this is not certain.)<br>
<br>
[arguments snipped and mostly agreed with]<br>
</div><br>
<blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">So thee wishes not to be a Great Old One, Russell Wallace?  I should<br>like to know what is thy alternative.
</blockquote><div><br>
I don't know; I'm not even sure about the yes/no, let alone the
alternative. It would depend in part on the answer to the above
question about the limits of computation, and I think in part on the
answer to certain questions about intelligence and consciousness that I
haven't coherently formulated yet. Not like we have to decide by next
week.<br>
<br>
(I have a sudden vision of Eliezer and the rest of the SIAI guys saying
"Well actually Russell, now that you mention that..." :))<br>
</div><br>
- Russell<br></div>