<br><br><div><span class="gmail_quote">On 17/06/07, <b class="gmail_sendername">Eliezer S. Yudkowsky</b> <<a href="mailto:sentience@pobox.com">sentience@pobox.com</a>> wrote:<br><br></span><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
Someone says they want to hotwire their brain's pleasure center; they<br>say they think it'll be fun.  A nearby AI reads off their brain state<br>and announces unambiguously that they have no idea what'll actually
<br>happen to them - they're definitely working based on mistaken<br>expectations.  They're too stubborn to listen to warnings, and they're<br>picking up the handy neural soldering iron (they're on sale at
<br>Wal-Mart, a very popular item).  What's the moral course of action?<br>For you?  For society?  For a superintelligent AI?</blockquote><div><br>I, society or the superintelligent AI should inform the person of the risks and benefits, then let him do as he pleases. 
<br></div><br></div><br clear="all"><br>-- <br>Stathis Papaioannou