<br><br><div><span class="gmail_quote">On 11/06/07, <b class="gmail_sendername">John K Clark</b> <<a href="mailto:jonkc@att.net">jonkc@att.net</a>> wrote:<br><br></span><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
> The worst scenario would be if the AI that turned hostile were more<br>> powerful than all the other humans and AI's put together, but why should<br>> that be the case?<br><br>Because a machine that has no restrictions on it will grow faster than one
<br>that does, assuming the restricted machine is able to grow at all; and if<br>you really want to be safe it can't.<br></blockquote></div><br>It would be crazy to let a machine rewrite its code in a completely unrestricted way, or with the top level goal "improve yourself no matter what the consequences to any other entity", and also give it unlimited access to physical resources. Not even terrorists build bombs that might explode at a time and place of the bomb's own choosing.
<br><br clear="all"><br>-- <br>Stathis Papaioannou