On 5/27/07, <b class="gmail_sendername">Eugen Leitl</b> <<a href="mailto:eugen@leitl.org">eugen@leitl.org</a>> wrote:<div><span class="gmail_quote"></span><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
On Sun, May 27, 2007 at 01:12:50AM +0100, Russell Wallace wrote:<br>>    Name: Tools are neither friendly nor unfriendly<br><br>If tools are persons, yes, they are.</blockquote><div><br>In reality however, for better or worse, tools are not persons, nor is there any prospect of it being feasible to create a person from scratch.
<br></div><br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">If a piano falls on the top of your head, you're still dead.<br>And no malice intended.
</blockquote><div><br>In practice, though, I don't actually spend an awful lot of time worrying about the prospect of a piano jumping on my head and killing me, let alone a race of unfriendly pianos creating an existential disaster by jumping on everyone's head and killing them. That's because jumping on people and killing them is a complex behavior that doesn't happen by accident. If I was walking through the jungle and I came across a tiger, I would be wary of it jumping on me and killing me, but that's because its ancestors have been selected for that behavior for the last yea million years. The ancestors of pianos haven't.
<br></div><br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">Pollution is a killer feature of systems, produced by human engineers.<br></blockquote>
</div><br>Every system, whether produced by human engineers, evolution or any other source, must produce pollution directly or indirectly, according to the laws of thermodynamics. There is therefore no question that an AI will produce pollution (though happily the amount produced per kilowatt, gigaflop or other unit of output is going down - in the Lamarckian evolutionary environment of a man-made technosphere, pollution is maladaptive). It doesn't follow that an AI will conquer the world. Conquering the world is complex behavior that doesn't happen by accident.
<br>