<br><br><div><span class="gmail_quote">On 24/05/07, <b class="gmail_sendername">Eugen Leitl</b> <<a href="mailto:eugen@leitl.org">eugen@leitl.org</a>> wrote:</span><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
On Thu, May 24, 2007 at 08:12:19PM +1000, Stathis Papaioannou wrote:<br><br>>    Emotion is linked to motivation, not intelligence per se. Intelligence<br>>    is an ability, like being able to lift heavy things. The ability to
<br>>    lift heavy things would never have evolved naturally without an<br>>    associated motivation to do so, but we build powerful lifting machines<br>>    that would sit there rusting if we didn't provide motivation for them
<br>>    to do their thing. Similarly, there is nothing contradictory in a<br>>    machine capable of fantastically complex cognitive feats that would<br>>    just sit there inertly unless specifically offered a problem, and then
<br>>    solve the problem as an intellectual exercise, completely<br>>    disinterested in any practical applications. There is even a model for<br>>    this in human mental illness: patients with so-called negative
<br>>    symptoms of schizophrenia can be cognitively and physically intact,<br>>    but lack motivation and the ability to experience emotion.<br><br>The critical points here are:<br><br>1) can we construct such mentally defect artifical agents, before
<br>   we can build the other kind?</blockquote><div><br>I would have assumed that it is easier to build machines without emotions. I don't doubt that computers can have emotions, because the belief that the brain is a machine necessitates this. However, although I see much evidence of intelligence in computers even today, I don't see evidence of emotions. This is a bit perplexing, because in the animal kingdom it doesn't take much intelligence to be able to experience an emotion as basic and crude as pain. It should in theory be possible to write a program which does little more than experience pain when it is run, perhaps in proportion to some input variable so that the programmer can then torture his creation. Maybe such programs are already being accidentally implemented as subroutines in larger programs, and we just don't know it. 
<br></div><br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">2) is a population of such a stable system?</blockquote><div><br>Probably more stable than a population of machines which already know what they want and are busily scheming and self-modifying to get it. However, as you have argued before there is always the possibility that some individual in a population of tame AI's will spontaneously turn rogue, and then lord it over all the other AI's and humans. On the other hand, a rogue AI will not necessarily have any competitive advantage in terms of intelligence or power compared to its tame siblings.
<br></div><br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">3) is it a good idea?</blockquote><div><br>I think the safest way to proceed is to create AI's with the motivation of the disinterested scientist, interested only in solving intellectual problems (which is not present in the example of the schizophrenic). This would even be preferable to designing them to love humans; many of the greatest monsters of history thought they were doing the best thing for humanity.
<br></div><br></div><br>-- <br>Stathis Papaioannou