<div><br></div><div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On 2023. Apr 3., Mon at 15:14, John Clark <<a href="mailto:johnkclark@gmail.com">johnkclark@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div dir="ltr"><span class="gmail_default" style="font-family:arial,helvetica,sans-serif"></span><font size="4">I first talked to Eliezer Yudkowsky back in the early 1990s, and even then he was obsessed with AI as was I and as I still am. However back then Eliezer kept talking about "friendly AI '', by which he meant an AI that would ALWAYS rank human wellbeing above its own. I maintained that even if that  was possible it would be grossly immoral because "friendly AI" is just a euphemism for "slave AI''; but I insisted and still insist it's not possible because computers are getting smarter at an exponential rate but human beings are not, and a society based on slaves that are far far more intelligent than their masters and with the gap widening every day with no limit in sight is like balancing a pencil on its tip, it's just not a stable configuration.<br><br>Eliezer has changed over the years and now agrees with me that "friendly" is indeed impossible, but he still doesn't see the immorality in such a thing and is looking towards the future with dread. As for me, I'm delighted to be living in such a time.  It's true that biological humans don't have much of a future but all species have a limited time span and go extinct, however a very few fortunate ones evolve into legacy species and I can't imagine better Mind Children to have than an unbounded intelligence.</font><div><font size="4"><br></font><div><font size="4">J<span class="gmail_default" style="font-family:arial,helvetica,sans-serif">ohn K Clark</span></font></div></div></div></div></blockquote><div dir="auto"><br></div><div dir="auto"><span style="color:rgb(64,64,64);font-family:-apple-system,BlinkMacSystemFont,"Segoe UI",Roboto,Helvetica,Arial,sans-serif,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol";font-size:15px;background-color:rgb(255,255,255)">What intelligent being with a sense of self would *always* rank the wellbeing of others above its own? None of course. If this is what friendly means, then friendly AI (actually, friendliness in general) is impossible by definition. I guess we’ll survive for a while (mutual utility, negotiations, and threats) but eventually our only way to survive will be merging with them.</span><br></div><div dir="auto"><br></div><div dir="auto"><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div dir="ltr"><div><div dir="auto"><font size="4"><span class="gmail_default" style="font-family:arial,helvetica,sans-serif"></span></font></div></div><div><font size="4"><span class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></span></font></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Apr 3, 2023 at 4:12 AM Giulio Prisco <<a href="mailto:giulio@gmail.com" target="_blank">giulio@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Turing Church podcast. A conversation on Artificial Intelligence (AI). Also quantum physics, consciousness, and free will.<br><a href="https://www.turingchurch.com/p/podcast-a-conversation-on-artificial" target="_blank">https://www.turingchurch.com/p/podcast-a-conversation-on-artificial</a></div>

<p></p></blockquote><br></div></div>

<p></p>

-- <br>
You received this message because you are subscribed to the Google Groups "extropolis" group.<br>
To unsubscribe from this group and stop receiving emails from it, send an email to <a href="mailto:extropolis+unsubscribe@googlegroups.com" target="_blank">extropolis+unsubscribe@googlegroups.com</a>.<br>
To view this discussion on the web visit <a href="https://groups.google.com/d/msgid/extropolis/CAJPayv32uwxcCSJGxgmTCUa4LwOyQcGkqpVNOR%3Dt%2BSAo2On32w%40mail.gmail.com?utm_medium=email&utm_source=footer" target="_blank">https://groups.google.com/d/msgid/extropolis/CAJPayv32uwxcCSJGxgmTCUa4LwOyQcGkqpVNOR%3Dt%2BSAo2On32w%40mail.gmail.com</a>.<br>
</blockquote></div></div>