<div dir="auto"><div><br><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Apr 5, 2022, 12:30 AM spike jones via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div lang="EN-US" link="blue" vlink="purple" style="word-wrap:break-word"><div class="m_2583153488393102117WordSection1"><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal"><u></u> <u></u></p><div style="border:none;border-top:solid #e1e1e1 1.0pt;padding:3.0pt 0in 0in 0in"><p class="MsoNormal"><b>…</b>> <b>On Behalf Of </b>Jason Resch via extropy-chat<br><b>Subject:</b> Re: [ExI] Paul vs Eliezer<u></u><u></u></p></div><p class="MsoNormal"><u></u> <u></u></p><div><div><p class="MsoNormal">Rafal,<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><div><p class="MsoNormal">…<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">>…The net result then should be a more positive, more perfect world, based on motives and values that are already universal to all conscious life.<u></u><u></u></p></div></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">Jason<u></u><u></u></p><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal">Jason you had me right up until the last sentence of your post.  There are no universal goals to all conscious life, not even the most basic, self-preservation.  Exceptions are rare, such as the perpetrator of murder/suicide, but they exist.  </p></div></div></div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto">You're right, they're not universal for individual intelligences that may be irrational, delusional or sadistic. But to speak generally of civilizations or a rational agents, I think these goals are broadly held, and may arise naturally in any generally intelligent AI allowed to progress unboundedly.</div><div dir="auto"><br></div><div dir="auto">This is not to say that we couldn't create an AI that had pathological motivations and no capacity to change them, but I think the fear thet any intelligence explosion inevitably or naturally leads to unfriendly AI is overblown.</div><div dir="auto"><br></div><div dir="auto">Aside from the universal utility of conscious experiences, there's also the idea of "open individualism". If this idea is true, then a superintelligenece should come to accept it as true. The rational outcome of accepting open individualism as true is to extend self interest to the interest of all conscious beings. It therefore would provide ab objective foundation of ethics not unlike the golden rule.</div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div lang="EN-US" link="blue" vlink="purple" style="word-wrap:break-word"><div class="m_2583153488393102117WordSection1"><div><div><p class="MsoNormal">The notion of friendly AI is to not accidentally create a super-enabled perpetrator who wants to end its own existence and take as many other conscious beings along as it can. </p></div></div></div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto">I agree this is a worthy goal, few disasters are worse than an unfriendly superintelligenece.</div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div lang="EN-US" link="blue" vlink="purple" style="word-wrap:break-word"><div class="m_2583153488393102117WordSection1"><div><div><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal">I am generally an optimist (from most points of view an absurdly self-delusional optimist) but I don’t trust AI to be sane.  It didn’t have the same evolutionary path as we do, so evolutionary psychology do not shape its motives, we do.<u></u><u></u></p><p class="MsoNormal"><u></u> </p></div></div></div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto">I think for most of the foreseeable paths forward, with all current deep learning approaches based on learning and training, our direct control over an AIs development may be limited to the data we provide it. But once it reaches super human levels, what is to stop this AI from escaping it's sandbox and accessing all data everywhere on the internet? Or from it generating unlimited amounts if it's own data via simulation and exploration of mathematical realities?</div><div dir="auto"><br></div><div dir="auto">In such a case, our influence over the form this mind ultimately assumes may be very limited. It might be like a kindergarten teacher trying to teach a lesson to a prodigy, who soon outclasses the teacher and goes to the library to read every book, then goes further to discover all the errors contained in those books, then starts writing it's own.</div><div dir="auto"><br></div><div dir="auto">Regardless of what the teacher tried to teach, and ultimately regardless of the contents of the books, the superintelligenece gets to the same place in the end.</div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto">Jason</div></div>