<br><br><div><span class="gmail_quote">On 12/06/07, <b class="gmail_sendername">John K Clark</b> <<a href="mailto:jonkc@att.net">jonkc@att.net</a>> wrote:</span><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">

Stathis Papaioannou Wrote:<br><br>> There won't be an issue if every other AI researcher has the most basic<br>> desire for self-preservation.<br><br>I wouldn't take such precautions because I believe them to be futile and

<br>immoral, am I really that unusual?</blockquote><div><br>So you would give a computer program control of a gun, knowing that it might shoot you on the basis of some unpredictable outcome of the program?<br></div><br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">

> If the AI's top level goal is to remain your slave, then it won't by<br>> definition want to change that top level goal.<br><br>Gee, I can't understand why today's programmers whiting operating systems

<br>don't just put in a top level goal saying don't let their machines be taken<br>over by hostile programs. Computer security problem solved!</blockquote><div><br>The operating system obeys a shutdown command. The program does not seek to prevent you from turning the power off. It might warn you that you might lose data, but it doesn't get excited and try to talk you out of shutting it down and there is no reason to suppose that it would do so if it were more complex and self-aware,  just because it is more complex and self-aware. Not being shut down is just one of many possible goals/ values/ motivations/ axioms, and there is no a priori reason why the program should value one over another. 

<br></div><br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">> do you think even God almighty could convince you by argument alone<br>> that 2 + 2 = 5?

<br><br>No of course not, because 2 +2 is in fact equal to 2 and I can prove it:<br><br>Let A = B<br><br>Multiply both sides by A and you have<br><br>A^2 = A*B<br><br>Now add A^2 -2*a*B to both sides<br><br>A^2 + A^2 -2*a*B = A*B + A^2 -2*A*B

Using basic algebra  this can be simplified to 2*( A^2 -A*B) = A^2 -A*B Now just divide both sides by A^2 -A*B and we get 2 = 1 Thus 2 +2 = 1 + 1 = 2 </blockquote></div> This example just illustrates the point: even someone who cannot point out the problem with the proof (division by zero) knows that it must be wrong and would not be convinced, no matter how smart the entity purporting to demonstrate this is.

<br><br clear="all"><br>-- <br>Stathis Papaioannou