<p dir="ltr"><br>
On Jan 18, 2015 10:17 AM, "BillK" <<a href="mailto:pharos@gmail.com">pharos@gmail.com</a>> wrote:</p>
<p dir="ltr">> I've just noticed on rereading the open letter a phrase that is a bit worrying -<br>
> "our AI systems must do what we want them to do".<br>
><br>
> To me that means that there is no chance that they intend to let AI<br>
> solve the problems of humanity.<br>
> That statement is the sort of thing the director of the NSA or any<br>
> dictator anywhere would say.</p>
<p dir="ltr">> No, 'AI doing what we want them to do' makes AI into a weapon for the<br>
> owners giving instructions.</p>
<p dir="ltr">Given the well-publicized fear of Hawking et al * I imagine the intent of "it does what we want" is to allay concerns that AI is going to pursue anti-human goals.  It seems like your fear is that it pursues very-human goals,  especially when you are excluded from the goal-setting discussions.  My fear is that successful work is being done by researchers who aren't talking to anyone about their work... such that all these other fears may be real but we don't know their status. <br>
</p>