<div dir="ltr">I posted this comment on Astral Codex Ten, regarding the debate between Paul Christiano and Eliezer Yudkowsky:<div><br></div><div><p style="line-height:1.6em;margin:0px 0px 0.625em;color:rgb(26,26,26);font-family:-apple-system,BlinkMacSystemFont,"Segoe UI",Roboto,Helvetica,Arial,sans-serif,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol";font-size:15px">I feel that both Paul and Eliezer are not devoting enough attention to the technical issue of where does AI motivation come from. Our motivational system evolved over millions of years of evolution and now its core tenet of fitness maximization is being defeated by relatively trivial changes in the environment, such as availability of porn, contraception and social media. Where will the paperclip maximizer get the motivation to make paperclips? The argument that we do not know how to assure "good" goal system survives self-modification cuts two ways: While one way for the AI's goal system to go haywire may involve eating the planet, most self-modifications would presumably result in a pitiful mess, an AI that couldn't be bothered to fight its way out of a wet paper bag. Complicated systems, like the motivational systems of humans or AIs have many failure modes, mostly of the pathetic kind (depression, mania, compulsions, or the forever-blinking cursor, or the blue screen) and only occasionally dramatic (a psychopath in control of the nuclear launch codes).</p><p style="line-height:1.6em;margin:0px 0px 0.625em;color:rgb(26,26,26);font-family:-apple-system,BlinkMacSystemFont,"Segoe UI",Roboto,Helvetica,Arial,sans-serif,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol";font-size:15px">AI alignment research might learn a lot from fizzled self-enhancing AIs, maybe enough to prevent the coming of the Leviathan, if we are lucky.</p><p style="line-height:1.6em;margin:0px;color:rgb(26,26,26);font-family:-apple-system,BlinkMacSystemFont,"Segoe UI",Roboto,Helvetica,Arial,sans-serif,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol";font-size:15px">It would be nice to be able to work out the complete theory of AI motivation before the FOOM but I doubt it will happen. In practice, AI researchers should devote a lot of attention to analyzing the details of AI motivation at the already existing levels, and some tinkering might help us muddle through.</p><div><br></div>-- <br><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div>Rafal Smigrodzki, MD-PhD<br>Schuyler Biotech PLLC</div></div></div></div></div>