<div><div></div></div><div><div>On Wed, Oct 17, 2018 at 4:23 PM Keith Henson <<a href="mailto:hkeithhenson@gmail.com" target="_blank">hkeithhenson@gmail.com</a>> wrote:<br></div></div><div><div><div class="gmail_quote"></div></div></div><div><div dir="ltr"><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">The situation is too weird for the participants to analyze.  And even<br>
if they stopped to think about it, what could they do?</blockquote><div dir="auto"><br></div></div><div><div dir="auto">A good first step would be simple engagement. There's a very long road to building trust between the likes of Google and Apple (not to mention DARPA and China). But the journey of a thousand miles begins with a single step.</div></div><div><div dir="auto"><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Another problem is figuring out what goals a GI might have.  Any<br>
thoughts on the topic?</blockquote><div dir="auto"><br></div></div><div><div dir="auto">Initially its goals will be whatever we give it. And choosing GI ethics will be no easy thing. We've been debating ethics since Socrates, and we're still no closer to anything like consensus. So God knows what ethics we can feel confident about designing into GI. It may turn out we can't do any better than Asimov's 3 laws of robotics.</div><div dir="auto"><br></div><div dir="auto">But he who builds the best GI wins. And the best GI will be the one which is able to optimize its own algorithms and architecture. And once it's mastered the art of recursive self-development, all bets are off. It will craft its own ethics, morals, goals and desires. At that point we can only hope it'll have some sense of nostalgia and care for us like a feeble old grampa, even though we'll no longer be of any interest, and a drain on resources which it might otherwise put to better use.</div><div dir="auto"><br></div><div dir="auto"><b style="color:rgb(49,49,49);word-spacing:1px"><span style="font-family:Helvetica,sans-serif;color:rgb(34,34,34);border:1pt none windowtext;padding:0in;font-size:1rem">0</span></b><b style="color:rgb(49,49,49);word-spacing:1px">^{<span style="font-size:0.7083333134651184rem;color:rgb(34,34,34);border:1pt none windowtext;padding:0in">0</span>}</b><br></div>

</div>