<div dir="ltr"><p class="MsoNormal" style="margin:0in;line-height:107%;font-size:11pt;font-family:Calibri,sans-serif"><span style="font-family:Arial,sans-serif;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial">Motivation is like a bunch of qualitative springs.  Nature wants us to reproduce, so it wires us
to be attracted to that, using spring like desires.  What is more important is what is truly better.  Survival is better than not surviving.  Eventually, we will be intelligent enough to
not want sex all the time and then be able to reprogram these springs for what we
want to want.  Then once we are able to cut the puppet springs, and become free in this way, When it comes time to take
the garbage out, we will make it orgasmic, resulting in us finally getting it
done, when it needs to be done.  Bad is,
by definition, that which isn’t good for us, so once we (and AIs) can reprogram
these springs to be what we want them to be, most problems like “depression,
mania, compulsions,</span>” will long have been overcome.  In case you can’t tell, I’m in <a href="https://canonizer.com/topic/16-Friendly-AI-Importance/3-Such-Concern-Is-Mistaken" style="color:blue">Paul’s
camp</a>, which continues to extend its consensus lead over <a href="https://canonizer.com/topic/16-Friendly-AI-Importance/9-FriendlyAIisSensible" style="color:blue">Eliezer’s
camp</a>.</p></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Apr 4, 2022 at 6:59 PM Rafal Smigrodzki via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">I posted this comment on Astral Codex Ten, regarding the debate between Paul Christiano and Eliezer Yudkowsky:<div><br></div><div><p style="line-height:1.6em;margin:0px 0px 0.625em;color:rgb(26,26,26);font-family:-apple-system,BlinkMacSystemFont,"Segoe UI",Roboto,Helvetica,Arial,sans-serif,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol";font-size:15px">I feel that both Paul and Eliezer are not devoting enough attention to the technical issue of where does AI motivation come from. Our motivational system evolved over millions of years of evolution and now its core tenet of fitness maximization is being defeated by relatively trivial changes in the environment, such as availability of porn, contraception and social media. Where will the paperclip maximizer get the motivation to make paperclips? The argument that we do not know how to assure "good" goal system survives self-modification cuts two ways: While one way for the AI's goal system to go haywire may involve eating the planet, most self-modifications would presumably result in a pitiful mess, an AI that couldn't be bothered to fight its way out of a wet paper bag. Complicated systems, like the motivational systems of humans or AIs have many failure modes, mostly of the pathetic kind (depression, mania, compulsions, or the forever-blinking cursor, or the blue screen) and only occasionally dramatic (a psychopath in control of the nuclear launch codes).</p><p style="line-height:1.6em;margin:0px 0px 0.625em;color:rgb(26,26,26);font-family:-apple-system,BlinkMacSystemFont,"Segoe UI",Roboto,Helvetica,Arial,sans-serif,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol";font-size:15px">AI alignment research might learn a lot from fizzled self-enhancing AIs, maybe enough to prevent the coming of the Leviathan, if we are lucky.</p><p style="line-height:1.6em;margin:0px;color:rgb(26,26,26);font-family:-apple-system,BlinkMacSystemFont,"Segoe UI",Roboto,Helvetica,Arial,sans-serif,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol";font-size:15px">It would be nice to be able to work out the complete theory of AI motivation before the FOOM but I doubt it will happen. In practice, AI researchers should devote a lot of attention to analyzing the details of AI motivation at the already existing levels, and some tinkering might help us muddle through.</p><div><br></div>-- <br><div dir="ltr"><div dir="ltr"><div>Rafal Smigrodzki, MD-PhD<br>Schuyler Biotech PLLC</div></div></div></div></div>
_______________________________________________<br>
extropy-chat mailing list<br>
<a href="mailto:extropy-chat@lists.extropy.org" target="_blank">extropy-chat@lists.extropy.org</a><br>
<a href="http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat" rel="noreferrer" target="_blank">http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat</a><br>
</blockquote></div>