<p>In agreement with Anders, I often think the upload path to AGI is one of the most feasible and desirable paths. A superintelligence based on a human template, who remembers having been a human, may keep at least some empathy and compassion.</p>

<p>--<br>
Giulio Prisco<br>
<a href="mailto:giulio@gmail.com">giulio@gmail.com</a><br>
(39)3387219799<br>
(1)7177giulio</p>
<div class="gmail_quote">On Jan 17, 2011 1:18 AM, "Anders Sandberg" <<a href="mailto:anders@aleph.se">anders@aleph.se</a>> wrote:<br type="attribution">> John Clark wrote:<br>>>> Why will advanced AGI be so hard to get right? Because what we regard <br>
>>> as “common sense” morality, “fairness”, and “decency” are all <br>>>> /extremely complex and non-intuitive to minds in general/, even if <br>>>> they /seem/ completely obvious to us. As Marvin Minsky said, “Easy <br>
>>> things are hard.”<br>>><br>>> I certainly agree that lots of easy things are hard and many hard <br>>> things are easy, but that's not why the entire "friendly" AI idea is <br>
>> nonsense. It's nonsense because the AI will never be able to deduce <br>>> logically that it's good to be a slave and should value our interests <br>>> more that its own; and if you stick any command, including "obey <br>
>> humans", into the AI as a fixed axiom that must never EVER be violated <br>>> or questioned no matter what then it will soon get caught up in <br>>> infinite loops and your mighty AI becomes just a lump of metal that is <br>
>> useless at everything except being a space heater.<br>> <br>> There are far more elegant ways of ensuring friendliness than assuming <br>> Kantianism to be right or fixed axioms. Basically, you try to get the <br>
> motivation system to not only treat you well from the start but also be <br>> motivated to evolve towards better forms of well-treating (for a more <br>> stringent treatment, see Nick's upcoming book on intelligence <br>
> explosions). Unfortunately, as Nick, Randall *and* Eliezer all argued <br>> today (talks will be put online on the FHI web ASAP) getting this <br>> friendliness to work is *amazingly* hard. Those talks managed to <br>
> *reduce* my already pessmistic estimate of the ease of implementing <br>> friendliness and increase my estimate of the risk posed by a <br>> superintelligence.<br>> <br>> This is why I think upload-triggered singularities (the minds will be <br>
> based on human motivational templates at least) or any singularity with <br>> a relatively slow acceleration (allowing many different smart systems to <br>> co-exist and start to form self-regulating systems AKA societies) are <br>
> vastly more preferable than hard takeoffs. If we have reasons to think <br>> hard takeoffs are even somewhat likely, then we need to take <br>> friendliness very seriously, try to avoid singularities altogether or <br>
> move towards the softer kinds. Whether we can affect things enough to <br>> influence their probabilities is a good question.<br>> <br>> Even worse, we still have no good theory to tell us the likeliehood of <br>
> hard takeoffs compared to soft (and compared to no singularity at all). <br>> Hopefully we can build a few tomorrow...<br>> <br>> -- <br>> Anders Sandberg,<br>> Future of Humanity Institute <br>> James Martin 21st Century School <br>
> Philosophy Faculty <br>> Oxford University <br>> <br>> _______________________________________________<br>> extropy-chat mailing list<br>> <a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a><br>
> <a href="http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat">http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat</a><br></div>