Hi All - Thanks very much for the responses. Putting my various musings in this one post.<div><br></div><div>Before getting into that, let me also mention that I'm having this conversation elsewhere too, and on one other list (ExtroBritannia) a clarification of the original question has developed. A number of people have commented that it may be the case that 'local' Friendliness is just as hard to implement as is the universal variety, and that a key part of the Friendliness problem is defining Friendliness in the first place. In turn, I have suggested that a narrower set of things-to-be-Friendly-to or things-Friendly-might-mean could conceivably be easier to define and implement. For example, a universally Friendly AGI might find that an entity falls outside its Friendliness definitions, and exploit that loophole. A narrower definition would automatically exclude more entities, but maybe it would be easier to create a watertight definition.</div>
<div><br></div><div>It also occurs to me that my earlier "patriotic American AGI" example was a bad one, since it's presumably easier (or just as easy) to define "human" than it is "American". When imagining a universally Friendly AGI, I'm thinking something that does its best to avoid doing harm to *anyone*. That may sound like a crazy definition, but anything less creates a boundary between "Friendlies" and "Others" that presumably must be rigorously defined.</div>
<div><br><br><div class="gmail_quote">On 6 March 2011 16:40, Adrian Tymes <span dir="ltr"><<a href="mailto:atymes@gmail.com">atymes@gmail.com</a>></span> wrote:<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
A locally friendly AI can stretch its limits.  For example, a USA-patriotic AI<br>
can recognize that helping everyone in the world can minimize resentment<br>
against its favored country, which can be better than trying to limit the<br>
enhancements to citizens of the USA.<br></blockquote><div> </div><div><br></div><div>True enough - although I'm assuming that any Friendly AI must have constraints on its ability to stretch its limits, otherwise it could potentially bootstrap into a position where it is no longer limited in any way, and therefore no longer Friendly.</div>
<div> </div><div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">A universal AI can and probably will have limits.  For example, what is the<br>
dividing line between "human" and "object to be treated as an unthinking tool"?</blockquote><div> </div><div><br></div><div>As I was saying above, I think this is always going to be an issue unless you err on the side of caution and try to make sure that every AGI is a Buddhist  ;-)   The reason for my original question, though, was an intuition that a clearly defined "Line of Friendliness" (e.g. Do What The President Says - and warn him of implications!) would be easier to define & implement than a wider circle of Friendliness. Obviously I've got no hard facts to back up this intuition, though!</div>
<div><br></div><div><br></div><div>On 6 March 2011 22:12, Stefano Vaj <span dir="ltr"><<a href="mailto:stefano.vaj@gmail.com">stefano.vaj@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0.8ex; border-left-width: 1px; border-left-color: rgb(204, 204, 204); border-left-style: solid; padding-left: 1ex; ">
<div class="im"><br></div>BUT many of us seem to expect that for any reason "silicon vs bio"<br>would immediately become the defining divide and wipe away any other<br>distinction and sense of belonging. This is far from obvious.<br>
</blockquote><div><br></div><div><br></div><div>Yes, I'm inclined to agree Stefano. It seems unlikely, barring a hard takeoff Singularity, that the human propensity for conflict and factions is going to suddenly disappear. A continuation of the current trend would see you proved correct, anyway.</div>
<div><br></div><div> </div><div>2011/3/7 Mr Jones <span dir="ltr"><<a href="mailto:mrjones2020@gmail.com">mrjones2020@gmail.com</a>></span></div><blockquote class="gmail_quote" style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0.8ex; border-left-width: 1px; border-left-color: rgb(204, 204, 204); border-left-style: solid; padding-left: 1ex; ">
<br><div>I'm leery, it sounds like the latest/greatest military technology.  The Us vs Them it's built on would eventually get around to eliminating THEM to save US (at least in a finite-resource environment).  The locality, should be the planet...The Us should be life.</div>
</blockquote><div><br></div><div>Yes, in an ideal world I'd agree. But I'd take an AGI Friendly to a circle involving me and mine before missing the Friendliness boat altogether. Putting all of our eggs in one basket has seldom been the most adaptive way forward.</div>
<div><br></div><div>Cheers All,</div><div>A </div></div></div></div>