On 4/11/07, <b class="gmail_sendername">John K Clark</b> <<a href="mailto:jonkc@att.net">jonkc@att.net</a>> wrote:<div><span class="gmail_quote"></span><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
Russell Wallace<br><br>> We're programmed to believe personal power confers selective advantage,<br>> because it was true in the conditions in which we evolved - but even<br>> though we still believe it because we're programmed to, it's no longer
<br>> true.<br><br>No longer true?! It I'm more powerful than you that means I can do things<br>you can't, and that gives me an advantage over you.</blockquote><div><br>But not an evolutionary advantage. What's your evolutionary fitness?
<br></div><br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">People who have a<br>superstition against radical upgrades are going to get hammered by those who
<br>don't have that prejudice.</blockquote><div><br>So if you acquire the wherewithal, are you planning to go around "hammering" people who hold the belief in question? What are you planning to do, beat them up? Machine gun them to death? Gas them? Zap them with unobtainium?
<br></div><br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">Yes it is a story, but what is your point? Stories are a good thing, stories<br>
are how we understand the way the world works.</blockquote><div><br>Sure. My point is merely that there are times when it's important to remind ourselves of the difference between stories and reality.<br></div><br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
So we're back to that "friendly AI" nonsense. The AI is going to do what it<br>wants to do and it will not care if you "tolerate" it or not. You won't be<br>able to command it and you won't be able to trick it because you can't
<br>outthink something smarter than you are.<br></blockquote></div><br>Except that AI doesn't presently exist, it isn't going to exist unless people build it, and nobody rational enough to be capable of contributing to the field is going to build an AI that can't be controlled and whose motives are destructive.
<br>