2011/3/7 Samantha Atkins <span dir="ltr"><<a href="mailto:sjatkins@mac.com">sjatkins@mac.com</a>></span><br><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">


  
    
  
  <div text="#000000" bgcolor="#ffffff"><div class="im"><br></div>
    You mean Unfriendly with no real definition of what "Friendly" is? 
    You mean requiring absolute proof of no harm to proceed?  This is
    known as the Precautionary Principle and it will most certainly stop
    progress dead wherever it is applied.  We cannot define in a
    provably correct way or enforce in a provably foolproof way
    "Friendliness" to humans much less universally (whatever that
    means).</div></blockquote><div><br></div><div><br></div><div>Hi Samantha -</div><div><br></div><div>I agree that the logico ad absurdum case of Friendliness (i.e. do no harm to anything, err on the side of caution) would almost certainly paralyse any agent with the ability to foresee long-term consequences of all its actions. And on a broad societal scale, yes, that approach would be analogous to a most radical Precautionary Principle. That would be a most extreme definition of Friendly though, even "universally Friendly".</div>
<div><br></div><div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;"><div text="#000000" bgcolor="#ffffff"><div class="im">I do not know of any SIAI push to "universal" Friendliness.  Where
    do you see this?</div></div></blockquote><div><br></div><div><br></div><div>Use of the term "universal" was mine, and now I'm thinking it was a poor choice of word. All I meant to say is that SIAI obviously does not advocate a very limited Friendliness that:</div>
<div><br></div><div>A) might make definition & implementation of Friendliness tractable</div><div>B) conversely runs serious risk of harm to anyone who doesn't fit the narrow Friendliness criteria</div><div><br></div>
<div>So, by advocating Friendliness to all humans, I considered SIAI to be pushing a "universal" Friendliness. Like I say, poor choice of term.</div><div><br></div><div><br></div><div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
<div text="#000000" bgcolor="#ffffff"><div class="im">And when it encounters the AGI for some other group, what do you
    expect to happen?</div></div></blockquote><div><br></div><div><br></div><div>Very bad things, probably. My point, however, was that if push came to shove and it seemed that our choice was going to be between AGIs with very narrow definitions of Friendliness and no FAI at all, it might be a good idea for us to have thought about this, at least.</div>
<div><br></div><div>Best,</div><div>A</div></div>