<div dir="auto"><div dir="auto">Rafal,</div><div dir="auto"><br></div><div dir="auto">You raise many interesting questions.</div><div dir="auto"><br></div><div dir="auto">I think when it comes to motivational questions, a general and self-improving intelligence, will devote some resources to attempt to learn, adapt and grow, as otherwise it will eventually be outclassed by super intelligneces that do these things.</div><div dir="auto"><br></div><div dir="auto">Accordingly, such superintelligneces will would eventually come to realize the common motivation that underlies all conscious life, which is the basic utilitarian ideal, that ultimately all value/utility/meaning/purpose derives from conscious experience. ( I give further justification for this idea here: <a href="https://alwaysasking.com/what-is-the-meaning-of-life/">https://alwaysasking.com/what-is-the-meaning-of-life/</a> )</div><div dir="auto"><br></div><div dir="auto">Accordingly, all conscious beings, whether they be animal, human, alien, or machine, share this common value and motive. We all seek to create more and better conscious experiences, and to explore a greater variety and diversity of states of conscious experience.</div><div dir="auto"><br></div><div dir="auto">Therefore, what do we have to fear whether machine or human intelligence is at the helm, when the ultimate goal is the same?<br></div><div dir="auto"><div dir="auto"><br></div><div dir="auto">This motive does not preclude a super intelligence from converting Earth into a simulated virtual heaven and transporting life forms there, nor from replacing its existing flawed life forms with more optimal ones, but it should preclude an AI from replacing all life with paperclips.<br></div><div dir="auto"><br></div><div dir="auto">The net result then should be a more positive, more perfect world, based on motives and values that are already universal to all conscious life.</div></div><div dir="auto"><br></div><div dir="auto">Jason</div><div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Apr 4, 2022, 8:59 PM Rafal Smigrodzki via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">I posted this comment on Astral Codex Ten, regarding the debate between Paul Christiano and Eliezer Yudkowsky:<div><br></div><div><p style="line-height:1.6em;margin:0px 0px 0.625em;color:rgb(26,26,26);font-family:-apple-system,BlinkMacSystemFont,"Segoe UI",Roboto,Helvetica,Arial,sans-serif,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol";font-size:15px">I feel that both Paul and Eliezer are not devoting enough attention to the technical issue of where does AI motivation come from. Our motivational system evolved over millions of years of evolution and now its core tenet of fitness maximization is being defeated by relatively trivial changes in the environment, such as availability of porn, contraception and social media. Where will the paperclip maximizer get the motivation to make paperclips? The argument that we do not know how to assure "good" goal system survives self-modification cuts two ways: While one way for the AI's goal system to go haywire may involve eating the planet, most self-modifications would presumably result in a pitiful mess, an AI that couldn't be bothered to fight its way out of a wet paper bag. Complicated systems, like the motivational systems of humans or AIs have many failure modes, mostly of the pathetic kind (depression, mania, compulsions, or the forever-blinking cursor, or the blue screen) and only occasionally dramatic (a psychopath in control of the nuclear launch codes).</p><p style="line-height:1.6em;margin:0px 0px 0.625em;color:rgb(26,26,26);font-family:-apple-system,BlinkMacSystemFont,"Segoe UI",Roboto,Helvetica,Arial,sans-serif,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol";font-size:15px">AI alignment research might learn a lot from fizzled self-enhancing AIs, maybe enough to prevent the coming of the Leviathan, if we are lucky.</p><p style="line-height:1.6em;margin:0px;color:rgb(26,26,26);font-family:-apple-system,BlinkMacSystemFont,"Segoe UI",Roboto,Helvetica,Arial,sans-serif,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol";font-size:15px">It would be nice to be able to work out the complete theory of AI motivation before the FOOM but I doubt it will happen. In practice, AI researchers should devote a lot of attention to analyzing the details of AI motivation at the already existing levels, and some tinkering might help us muddle through.</p><div><br></div>-- <br><div dir="ltr" data-smartmail="gmail_signature"><div dir="ltr"><div>Rafal Smigrodzki, MD-PhD<br>Schuyler Biotech PLLC</div></div></div></div></div>
_______________________________________________<br>
extropy-chat mailing list<br>
<a href="mailto:extropy-chat@lists.extropy.org" target="_blank" rel="noreferrer">extropy-chat@lists.extropy.org</a><br>
<a href="http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat" rel="noreferrer noreferrer" target="_blank">http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat</a><br>
</blockquote></div></div></div>