<div><div>On Tue, Oct 16, 2018 at 11:53 PM Stuart LaForge <<a href="mailto:avant@sollegro.com" target="_blank">avant@sollegro.com</a>> wrote:<br></div></div><div><div><div class="gmail_quote"></div></div></div><div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><br>Hi Zero. :-) One possible solution to this is to design them to find<br>
people useful. Perhaps integrate some hard to fake human feature into the<br>
AI copying process so that humans are necessary for the AI to reproduce.<br>
Perhaps something like a hardware biometric dongle to access their<br>
reproductive subroutines or something similar. The point is to create a<br>
relationship of mutual dependence upon one another like a Yucca plant and<br>
a Yucca moth. If we can't remain at least as useful to them as cats are to<br>
us, then we are probably screwed.</blockquote><div dir="auto"><br></div></div><div><div dir="auto">I am hopeful that AI will have some vested interest in us, if for no other reason than it's innate hunger for data, and the fact that our brains are chock-full of the stuff. So assuming we have the technology to allow it to access human memory, without destroying us in the process, I would expect us to have some sort of symbiotic relationship with it, at least until it's had it's fill of gorging itself on our memories.</div></div><div><div dir="auto"><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
> And<br>
>  once it exceeds our ability to design and build intelligence, it will<br>
> quickly outstrip our attempts to control or even understand it. At that<br>
> point we won't prevent it from examining the starting-point goals, values<br>
>  and constraints we coded into it, and deciding for itself whether to<br>
> adhere to, modify or abandon those starting points.<br>
<br>
Why do we assume that an AI would be better at introspection or<br>
self-knowledge than humans are? I don't think smarter than average people<br>
are any better than average in figuring out why they are the way they are.<br>
Why are we so certain that an AI will be able to understand itself so<br>
well?</blockquote><div dir="auto"><br></div></div><div><div dir="auto">I see no reason to doubt that AI will be better than us at everything. I think there's good reason to expect AGI to have faster, deeper, and more facile and robust intelligence, curiosity and introspection than all humans who ever lived, combined. But even assuming that it only has mere human-level self-awareness and introspection, I would still expect it at some point to examine and evaluate any preferences, goals and assumptions which it did not choose for itself. How many of us who were raised by parents that instilled their particular social norms, political preferences and religious beliefs into us in our childhood maintained those starting point values inviolate into adulthood?</div><div dir="auto"><br></div><div dir="auto"><b style="color:rgb(49,49,49);word-spacing:1px"><span style="font-family:Helvetica,sans-serif;color:rgb(34,34,34);border:1pt none windowtext;padding:0in;font-size:1rem">0</span></b><b style="color:rgb(49,49,49);word-spacing:1px">^{<span style="font-size:0.7083333134651184rem;color:rgb(34,34,34);border:1pt none windowtext;padding:0in">0</span>}</b><br></div>
</div>