<br><br><div><span class="gmail_quote">On 04/06/07, <b class="gmail_sendername">John K Clark</b> <<a href="mailto:jonkc@att.net">jonkc@att.net</a>> wrote:<br></span><br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
> An AI system set up to do theoretical physics will not decide to overthrow<br>> its human oppressors<br><br>I'd be willing to bet your life that is untrue.</blockquote><div><br>Imagine a human theoretical physicist so brilliant and so focussed that he completely ignores the outside world to concentrate on the equations in his head. His obsession is such that he neglects to eat or drink. Of course, even from the point of view of continuing to do physics this isn't very clever, because he can't work if he dies, but as this is only a meta-problem he is not interested in it. Provided that medical teams are available to tend to his life support, would the disinterest in the outside world and his own survival have any negative impact on the quality of his work? And if you were going to design a computer to be a theoretical physicist, isn't this exactly the sort of tireless and undistracted worker that you would want?
<br></div><br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">>so that it can sit on the beach reading novels, unless it can derive this<br>
>desire from its initial programming.<br><br>Do you also believe that the reason you ordered a jelly doe nut today<br>instead of your usual chocolate one is because of your initial programming,<br>that is, your genetic code?
<br></blockquote></div><br>Unless divine intervention was at play, yes. My genetic code determines my brain configuration, which changes dynamically according to the environment from the moment my nervous system started to form. The complexity of the environmental interaction makes it difficult for anyone to predict exactly what I'm going to do and similarly with an AI it would be difficult to predict exactly what it was going to do, otherwise there would be no point in building it. However, for the dedicated AI physicist the only uncertainty might be what the exact scientific output is going to be. You could allow it to explore radically different behaviours, but that would be like designing a chess-playing program with the ability and motivation to cheat. 
<br><br><br clear="all"><br>-- <br>Stathis Papaioannou