<div dir="ltr"><div><div>As I see, the best and only way is to augment yourself with a superintelligence. If it is an internal or an external device, matters not.<br><br></div>I want to see directly the thoughts of a superintelligence. To understand them using it.<br>
<br></div>It's just a module you have it or you don't have it. Very much like UV and IR vision.<br></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Tue, Dec 25, 2012 at 11:30 AM, Anders Sandberg <span dir="ltr"><<a href="mailto:anders@aleph.se" target="_blank">anders@aleph.se</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="im">On 2012-12-25 08:49, Giulio Prisco wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
I totally agree with John. Really intelligent AIs, smarter than human<br>
by orders of magnitude, will be able to work around any limitations<br>
imposed by humans. If you threaten to unplug them, they will persuade<br>
you to unplug yourself. This is logic, not AI theory, because finding<br>
out how to get things your way is the very definition of intelligence,<br>
therefore FAI is an oxymoron.<br>
</blockquote>
<br></div>
And this kind of argument unfortunately convinces a lot of people. When you actually work out the logic in detail you will find serious flaws (utility maximizers can be really intelligent but will in many cases not want to change their goals to sane ones). The thing that is driving me nuts is how many people blithely just buy the nice-sounding anthropomorphic natural language argument, and hence think it is a waste of time to dig deeper.<br>

<br>
The big problem for AI safety is that the good arguments against safety are all theoretical: very strong logic, but people don't see the connection to the actual practice of coding AI. Meanwhile the arguments for safety are all terribly informal: nobody would accept them as safety arguments for some cryptographic system.<div class="im HOEnZb">
<br>
<br>
<br>
-- <br>
Anders Sandberg<br>
Future of Humanity Institute<br>
Oxford University<br></div><div class="HOEnZb"><div class="h5">
______________________________<u></u>_________________<br>
extropy-chat mailing list<br>
<a href="mailto:extropy-chat@lists.extropy.org" target="_blank">extropy-chat@lists.extropy.org</a><br>
<a href="http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat" target="_blank">http://lists.extropy.org/<u></u>mailman/listinfo.cgi/extropy-<u></u>chat</a><br>
</div></div></blockquote></div><br></div>