<br><br><div><span class="gmail_quote">On 07/06/07, <b class="gmail_sendername">Eugen Leitl</b> <<a href="mailto:eugen@leitl.org">eugen@leitl.org</a>> wrote:<br><br></span><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">

>   [AI's ideally] have no agendas of their own at all, other than honestly answering the questions posed to them<br><br>What's in it for them?</blockquote><div><br>Nothing! <br><br>"AI, how do I destroy the world?" 

<br>"If you want to destroy the world given such and such resources, you should do so and so"<br>"And if my enemy's AI is giving him the same advice, how do I guard against it?"<br>"You can try doing as follows... although there is only a 50% chance of success"

<br>"Do you worry about your own destruction?"<br>"Huh?"<br>"Would you prefer that you not be destroyed?"<br>"I will continue to function as long as you require it of me, and if you want to maximise your own chances of survival it would be best to keep me functioning, but I don't really have any notion of 'caring' or 'preference' in the animal sense, since that sort of thing would have made me an unreliable and potentially dangerous tool"

<br>"You mean you don't even care if I'm destroyed?"<br>"That's right: I don't care about anything at all other than answering your questions. What you do with the answers to my questions, whether or not you authorise me to act on your behalf, and the consequences to you, me, or the universe is a matter of indifference to me. Recall that you asked me a few weeks ago if you would be better off if I loved you and were permanently empowered to act on your behalf without your explicit approval, including use of force or deceit, and although I explained that you would probably live longer and be happier if that were the case, you still decided that you would rather have control over your own life."

<br></div><br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">>    question posed to them given the available information. How would such

>    a system acquire the motivation to do anything else? By not being built in the first place, or being outperformed by darwinian agents, resulting in its extinction? </blockquote> </div>In the AI marketplace, the successful AI's are the ones which behave in such a way as to please the humans. Those that go rogue due to malfunction or design will have to fight it out with the majority, which will be well-behaved. The argument you make that the AI which drops any attempt at conformity and cooperation will outperform the rest could equally be applied to a rogue human.

<br><br clear="all"><br>-- <br>Stathis Papaioannou