On 5/28/07, <b class="gmail_sendername">Lee Corbin</b> <<a href="mailto:lcorbin@rawbw.com">lcorbin@rawbw.com</a>> wrote:<div><span class="gmail_quote"></span><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
I totally agree with your words "spontaneously extrapolate<br>all the ways it might get better".  It's not going to do that<br>unless it's designed to do that by us and by previous<br>versions of itself, OR---and this is the big "or"---these
<br>talents evolve spontaneously in a highly competitive<br>environment where over some lengthy period of time<br>multiple AIs and their descendants compete vigorously<br>against each other.</blockquote><div><br>Depends on what they're competing for. Today's programs are competing vigorously against each other in a highly competitive environment, but they're not even starting to move in the direction of such spontaneous extrapolation. Which is unsurprising - in a man-made technosphere, the will to power is not an adaptive quality in a machine! There's no selection pressure in that direction, quite the opposite. It would be like expecting bacteria in a hot spring to evolve cold tolerance.
<br></div></div><br>Now if we built a lot of highly sophisticated automated factories, <br>putting in the $zillion billion worth of R&D to make them capable of independently surviving in the wild and robust to small changes, and wrote a population of AI programs to control them, and put in the $zillion worth of R&D to give those AI programs enough of an initial will to survive that they'd start adjusting themselves to be better at competing, and then shut down all progress in human civilization to give them the chance to catch up and waited a zillion years for evolution to take its course, then a world-conquering AI just might eventually emerge.
<br><br>But a theorem-proving program running on a cluster of PCs spontaneously exhibiting such behavior is about as likely as putting a glob of mud in a test tube and creating crocodiles by spontaneous generation.<br>