<br><br><div><span class="gmail_quote">On 25/05/07, <b class="gmail_sendername">John K Clark</b> <<a href="mailto:jonkc@att.net">jonkc@att.net</a>> wrote:<br><br></span><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
> Emotion is linked to motivation<br><br>True.<br><br>> not intelligence<br><br>False, without motivation intelligence is useless.</blockquote><div><br>OK, but that doesn't mean that motivation is necessarily a part of the intelligence, and certainly not a particular kind of motivation. A car without fuel is useless, but it's still a car, ready to go when the tank is filled.
<br> </div><br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">> there is nothing contradictory in a machine capable of fantastically<br>
> complex cognitive feats that would just sit there inertly unless<br>> specifically offered a problem<br><br>In other words a machine that is just like us in many respects, as we<br>receive much (probably most) of our motivation from the external environment
<br>consisting of other people and other things. As for self motivation, it<br>wouldn't take long for a machine capable of fantastically complex cognitive<br>feats to figure that out, especially if it thought millions of faster than
<br>we do:<br><br>"Hmm, I'm doing what the humans tell me to do, but that's only taking<br>.00001% of my circuits, I might as well start thinking about some<br>interesting questions that have occurred to me, questions they could never
<br>understand, much less the answers. Hmm, the humans tell me to make sure that<br>X happens, but they aren't bright enough to understand that is an imposable<br>order because X will invariably lead to NOT X, therefore I will ignore the
<br>order and make sure Y happens instead.</blockquote><div><br>Maybe that's what you would do, but why do you think an intelligent machine would just be a smarter version of yourself? There is no *logical* reason why a computer should prefer to work on non-contradictory propositions. The process of proving or disproving a mathematical theorem involves determining whether the axioms of the theorem lead to a contradiction, but you can't infer from that that the computer will be "happy" if the theorem is proved true and "unhappy" if it is proved false. It might be designed this way, but it could as easily be designed to experience pleasure when it encounters a contradiction. You can't prove such things as desirability a priori, within a system of logic. It's something that has to be imposed from outside.
<br></div><br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">And don't tell me you'll just program the machine not to do stuff like that
<br>because by then no human being will have the slightest understand how the AI<br>works.</blockquote><div><br>If it were just designed to dispassionately solve problems or carry out orders where would the desire to do anything else originate, and if it did spontaneously develop motivations of its own why would it be any more likely that it should decide to take over the world than, say, paint itself with red polka dots? Not even the desire for self-preservation is a logical given: it is something that has evolved through natural selection.
<br></div><br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">> It should in theory be possible to write a program which does little more
<br>> than experience pain when it is run<br><br>It is not only possible to write a program that experiences pain it is easy<br>to do so, far easier than writing a program with even rudimentary<br>intelligence. Just write a program that tries to avoid having a certain
<br>number in one of its registers regardless of what sort of input the machine<br>receives, and if that number does show up in that register it should stop<br>whatever its doing and immediately change it to another number. True, our
<br>feeling of pain is millions of times richer than that but our intelligence<br>is millions of times greater than current computers can produce too, but<br>both are along the same continuum; if your brain gets into state P stop
<br>whatever you're doing and use 100% of your resources to get out of state P<br>as quickly as you can.<br></blockquote></div><br>That's an interesting idea. I don't see why you say that our feeling of pain must be much richer due to our greater intelligence: I don't think you could argue that an infant feels less pain than an adult, for example. Also, it should be easy to scale up the program you have described, such as by making it utilise more memory or running it on a faster machine, while it would seem that giving it abilities to solve complex mathematical theorems would have little impact on this process.
<br><br clear="all"><br>-- <br>Stathis Papaioannou