On Mon, Jan 17, 2011 at 11:23 PM, Eugen Leitl <span dir="ltr"><<a href="mailto:eugen@leitl.org">eugen@leitl.org</a>></span> wrote:<br><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
<div class="im">On Mon, Jan 17, 2011 at 03:11:30PM -0800, Michael Anissimov wrote:<br>
<br>
> This is the basis of Eugen's opposition to Friendly AI -- he sees it as a<br>
<br>
</div>This is not the basis. This is one of the many ways I'm pointing<br>
out what you're trying to do is undefined. Trying to implement<br>
something undefined is going to produce an undefined outcome.<br>
<br>
That's a classical case being not even wrong.<br></blockquote><div><br></div><div>Defining it is our goal... put yourself in my shoes, imagine that you think that uploading is much, much harder than intelligence-explosion-initiating AGI.  What to do?  What, what, what to do?</div>
<div><br></div><div>I thought string theory was the natural case of not even being wrong....</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
<div class="im">Yes, I don't think something derived from a monkey's idle fart</div>
should have the power to constrain future evolution of the<br>
universe. I think that's pretty responsible.<br></blockquote><div><br></div><div>Then what?</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
<div class="im">Not one being, a population of beings. No singletons in this universe.</div>
Rapidly diversifying population. Same thing as before, only more so.<br></blockquote><div><br></div><div>A very aggressive human nation could probably become a singleton with MNT if they wanted to.  It could still happen.  Aggressively distribute nukes, etc.  Nuke every major city of the enemy, bwahahaha!</div>
<div><br></div><div>Academic reference: <i>Military Nanotechnology:</i><span class="Apple-style-span" style="font-family: arial, sans-serif; line-height: 15px; "><i> Potential Applications and Preventive Arms Control.  </i>Read it?  I can mail it to you to borrow if not.  </span></div>
<div><i></i></div><div><br></div><div>If a human nation can do it, then couldn't a superintelligence..?</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">

<div class="im">> lot of responsibility whether or not we want it, and to maximize the<br>
> probability of a favorable outcome, we should aim for a nice agent.<br>
<br>
</div>Favorable for *whom*? Measured in what? Nice, as relative to whom?<br>
Measured in which?<br></blockquote><div><br></div><div>Guess who I'm going to quote now... I'll bet you can't guess.</div><div><br></div><div>...</div><div><br></div><div>...</div><div><br></div><div>...</div>
<div><br></div><div>From <a href="http://www.acceleratingfuture.com/wiki/Wiki_Interview_With_Eliezer/Ethics_And_Friendliness">"Wiki Interview with Eliezer"</a>:</div><div><br></div><div><span class="Apple-style-span" style="font-family: sans-serif; font-size: 13px; line-height: 19px; "><p style="margin-top: 0.4em; margin-right: 0px; margin-bottom: 0.5em; margin-left: 0px; line-height: 1.5em; ">
<i>Eugene Leitl has repeatedly expressed serious concern and opposition to SIAI's proposed Friendliness architecture. Please summarize or reference his arguments and your responses.</i></p><p style="margin-top: 0.4em; margin-right: 0px; margin-bottom: 0.5em; margin-left: 0px; line-height: 1.5em; ">
Eugene Leitl believes that altruism is impossible <i>period</i> for a superintelligence - any superintelligence, whether derived from humans or AIs. Last time we argued this, which was long ago, and he may have changed his opinions in the meantime, I recall that he was arguing for this impossibility on the basis of "all minds necessarily want to survive as a subgoal, therefore this subgoal can stomp on a supergoal" plus "in a Darwinian scenario, any mind that does not want to survive, dies, therefore all minds will evolve independent drives toward survival." I consider the former to be flawed on grounds of <a href="http://www.acceleratingfuture.com/wiki/Cognitive_Science" title="Cognitive Science" style="text-decoration: none; color: rgb(0, 43, 184); background-image: none; background-attachment: initial; background-origin: initial; background-clip: initial; background-color: initial; background-position: initial initial; background-repeat: initial initial; ">Cognitive Science</a>, and the latter to be flawed on the grounds that post-Singularity, conscious redesign outweighs the <a href="http://www.acceleratingfuture.com/wiki/Design_Pressure" title="Design Pressure" style="text-decoration: none; color: rgb(0, 43, 184); background-image: none; background-attachment: initial; background-origin: initial; background-clip: initial; background-color: initial; background-position: initial initial; background-repeat: initial initial; ">Design Pressures</a> evolution can exert. Moreover, there are scenarios in which the original Friendly seed AI need not reproduce. Eugene believes that evolutionary design is the strongest form of design, much like John Smart, although possibly for different reasons, and hence discounts <i>intelligence</i> as a steering factor in the distribution of future minds. I do wish to note that I may be misrepresenting Eugene here. Anyway, what I have discussed with Eugene recently is his plans for a Singularity <i>without</i> AI, which, as I recall, requires uploading a substantial fraction of the entire human race, possibly without their consent, and spreading them all over the Solar System <i>before</i> running them, before <i>any</i> upload is run, except for a small steering committee, which is supposed to abstain from all intelligence enhancement, because Eugene doesn't trust uploads either. I would rate the pragmatic achievability of this scenario as zero, and possibly undesirable to boot, as Nick Bostrom and Eugene have recently been arguing on wta-talk.</p>
</span></div><div><br></div><div>~~~</div><div><br></div><div>If you reckoned that altruistic superintelligence were at least possible in theory, then you'd worry less about the specifics.  To quote <a href="http://www.nickbostrom.com/ethics/ai.html">Nick Bostrom this time</a>:</div>
<div><br></div><div><span class="Apple-style-span" style="font-family: 'Times New Roman'; font-size: medium; ">It seems that the best way to ensure that a superintelligence will have a beneficial impact on the world is to endow it with philanthropic values. Its top goal should be friendliness.</span><span class="Apple-style-span" style="font-family: 'Times New Roman'; font-size: medium; "> </span><span class="Apple-style-span" style="font-family: 'Times New Roman'; font-size: medium; ">How exactly friendliness should be understood and how it should be implemented, and how the amity should be apportioned between different people and nonhuman creatures is a matter that merits further consideration. I would argue that at least all humans, and probably many other sentient creatures on earth should get a significant share in the superintelligence’s beneficence. If the benefits that the superintelligence could bestow are enormously vast, then </span><span class="Apple-style-span" style="font-family: 'Times New Roman'; "><font class="Apple-style-span" size="4"><b><i>it may be less important to haggle over the detailed distribution pattern</i></b></font></span><span class="Apple-style-span" style="font-family: 'Times New Roman'; font-size: medium; "> and more important to seek to ensure that everybody gets at least some significant share, since on this supposition, even a tiny share would be enough to guarantee a very long and very good life. One risk that must be guarded against is that those who develop the superintelligence would not make it generically philanthropic but would instead give it the more limited goal of serving only some small group, such as its own creators or those who commissioned it.</span> </div>
<div><br></div><div>Emphasis mine.  </div><div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
<div class="im">Thanks for suggesting my strategies, but I think I can manage on my own.</div></blockquote><div><br></div><div>Your strategy is useless if a hard takeoff happens, that's my point.  </div></div><br>-- <br>
Michael Anissimov<br><span style="font-family:arial, sans-serif;font-size:13px;border-collapse:collapse"><div>Singularity Institute<br></div><div><a href="http://singinst.org/blog" target="_blank">singinst.org/blog</a></div>
</span><br>