
<html><head></head><body><div><span data-mailaddress="giulio@gmail.com" data-contactname="Giulio Prisco" class="clickable"><span title="giulio@gmail.com">Giulio Prisco</span><span class="detail"> <giulio@gmail.com></span></span> , 28/10/2014 7:36 AM:<br><blockquote class="mori" style="margin:0 0 0 .8ex;border-left:2px blue solid;padding-left:1ex;"><br>As I said in my review of Nick's book, that depends on what is "our

<br>species." If it includes our future intelligent and super-intelligent

<br>mind children, then there is no danger of extermination by

<br>superintelligence:

<br><a href="http://hplusmagazine.com/2014/08/28/book-review-bostroms-superintelligence/" target="_blank" title="http://hplusmagazine.com/2014/08/28/book-review-bostroms-superintelligence/">http://hplusmagazine.com/2014/08/28/book-review-bostroms-superintelligence/</a>

</blockquote></div><div><br></div><div>But this presupposes that it must be a continuation of us or at least something valuable, not a paperclipper or a mindless world of superintelligent but non-conscious corporations. You write that you have a hard time imagining something smart without a sense of self, yet we know AIXI - remember, it is as smart as or smarter than any other system - would assign zero probability to itself existing even if it existed!</div><div><br></div>I like the idea of mind children continuing our civilization. But that is very different from being concerned about risk: just because a power plant might produce energy to cheap to meter doesn't mean it is a waste of time doing a risk analysis. <br><br>Anders Sandberg, Future of Humanity Institute Philosophy Faculty of Oxford University</body></html>