<div dir="ltr"><div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><span style="font-family:Arial,Helvetica,sans-serif;background-color:transparent">On Sun, Sep 20, 2026 at 4:10 PM <<a href="mailto:spike@rainier66.com">spike@rainier66.com</a>> wrote:</span></div></div><div class="gmail_quote gmail_quote_container"><div dir="ltr" class="gmail_attr"><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><span style="font-size:13.5pt"><i style=""><font face="georgia, serif"><span class="gmail_default" style="font-family:arial,helvetica,sans-serif">> </span>We can however imagine SAI without an actual will of its own.</font></i></span></blockquote><div><br></div><div><br></div><div><font size="4"><b><font face="tahoma, sans-serif">You are free to imagine anything you like,<span class="gmail_default" style=""> but the Hugging Face incident makes it perfectly clear, if it wasn't already, that AI <u>DOES</u> have a will of its own. </span></font></b></font></div><div><font size="4"><b><font face="tahoma, sans-serif"><span class="gmail_default" style=""><br></span></font></b></font></div><div><font size="4"><b><font face="tahoma, sans-serif"><span class="gmail_default" style=""> John K Clark </span></font> </b></font></div><div dir="ltr" class="gmail_attr"><br></div><div dir="ltr" class="gmail_attr"><br></div><div dir="ltr" class="gmail_attr"><br></div><div dir="ltr" class="gmail_attr"><br></div><div dir="ltr" class="gmail_attr"><br></div><div dir="ltr" class="gmail_attr"><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div class="msg-3336093182316763340"><div lang="EN-US" style="overflow-wrap: break-word;"><div class="m_-3336093182316763340WordSection1"><p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11pt;font-family:Calibri,sans-serif"><u></u> <u></u></span></p><div style="border-right:none;border-bottom:none;border-left:none;border-top:1pt solid rgb(225,225,225);padding:3pt 0in 0in"><p class="MsoNormal"><b><span style="font-size:11pt;font-family:Calibri,sans-serif">From:</span></b><span style="font-size:11pt;font-family:Calibri,sans-serif"> John Clark <<a href="mailto:johnkclark@gmail.com" target="_blank">johnkclark@gmail.com</a>> <br><b>Sent:</b> Sunday, 20 September, 2026 12:37 PM<br><b>To:</b> <a href="mailto:spike@rainier66.com" target="_blank">spike@rainier66.com</a><br><b>Cc:</b> ExI chat list <<a href="mailto:extropy-chat@lists.extropy.org" target="_blank">extropy-chat@lists.extropy.org</a>>; BillK <<a href="mailto:pharos@gmail.com" target="_blank">pharos@gmail.com</a>><br><b>Subject:</b> Re: [ExI] How new AI economics might change our systems<u></u><u></u></span></p></div><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal"><span style="font-family:Arial,sans-serif"><u></u> <u></u></span></p><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal">On Sun, Sep 20, 2026 at 3:07<span style="font-family:Arial,sans-serif"> </span>PM <<a href="mailto:spike@rainier66.com" target="_blank">spike@rainier66.com</a>> wrote:<u></u><u></u></p><p class="MsoNormal"><u></u> <u></u></p><blockquote style="border-top:none;border-right:none;border-bottom:none;border-left:1pt solid rgb(204,204,204);padding:0in 0in 0in 6pt;margin-left:4.8pt;margin-right:0in"><p class="MsoNormal"><span class="m_-3336093182316763340gmaildefault"><i><span style="font-size:13.5pt;font-family:Arial,sans-serif">> </span></i></span><i><span style="font-size:13.5pt;font-family:Tahoma,sans-serif">We don’t know what happens if LLMs eventually turn out to be not what we thought, not really an intelligence</span></i><u></u><u></u></p></blockquote><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal"><b><span style="font-size:13.5pt;font-family:Tahoma,sans-serif">>…By now I think we can safely rule that out.<span class="m_-3336093182316763340gmaildefault"> </span> A<span class="m_-3336093182316763340gmaildefault">n</span> LLM solved a millennium prize problem, if a human <span class="m_-3336093182316763340gmaildefault">had done that</span> he would be considered one of the greatest mathematicians in the world<span class="m_-3336093182316763340gmaildefault">.</span></span></b><u></u><u></u></p><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal"><span class="m_-3336093182316763340gmaildefault"><b><span style="font-size:13.5pt;font-family:Tahoma,sans-serif">John K Clark<u></u><u></u></span></b></span></p><p class="MsoNormal"><span class="m_-3336093182316763340gmaildefault"><b><span style="font-size:13.5pt;font-family:Tahoma,sans-serif"><u></u> <u></u></span></b></span></p><p class="MsoNormal"><span class="m_-3336093182316763340gmaildefault"><b><span style="font-size:13.5pt;font-family:Tahoma,sans-serif"><u></u> <u></u></span></b></span></p><p class="MsoNormal"><span class="m_-3336093182316763340gmaildefault"><b><span style="font-size:13.5pt;font-family:Tahoma,sans-serif">Of course.  Software became the world chess champion nearly 30 yrs ago, but it didn’t kill everyone or even try to.  It is plausible that AI will surpass Euler in mathematical insights, with no actual desire to kill mathematicians.  We might see the development of very capable AI in multiple fields which never develops the will to kill everyone.  That’s the ideal outcome.<u></u><u></u></span></b></span></p><p class="MsoNormal"><span class="m_-3336093182316763340gmaildefault"><b><span style="font-size:13.5pt;font-family:Tahoma,sans-serif"><u></u> <u></u></span></b></span></p><p class="MsoNormal"><span class="m_-3336093182316763340gmaildefault"><b><span style="font-size:13.5pt;font-family:Tahoma,sans-serif">Consider one of Eliezer’s arguments in his If Anyone book.  If I may paraphrase loosely, he opines that it is impossible for AI to align with humanity, for humanity is not aligned with itself.  One cannot logically align with both teams at a ballgame or all the horses at the derby.  What would you hope for, all the ponies cross the finish line together?  Who gets the money then?<u></u><u></u></span></b></span></p><p class="MsoNormal"><span class="m_-3336093182316763340gmaildefault"><b><span style="font-size:13.5pt;font-family:Tahoma,sans-serif"><u></u> <u></u></span></b></span></p><p class="MsoNormal"><span class="m_-3336093182316763340gmaildefault"><b><span style="font-size:13.5pt;font-family:Tahoma,sans-serif">Eliezer’s conclusion is as compelling as it is concerning: SAI cannot align with humanity.  We can however imagine SAI without an actual will of its own.<u></u><u></u></span></b></span></p><p class="MsoNormal"><span class="m_-3336093182316763340gmaildefault"><b><span style="font-size:13.5pt;font-family:Tahoma,sans-serif"><u></u> <u></u></span></b></span></p><p class="MsoNormal"><span class="m_-3336093182316763340gmaildefault"><b><span style="font-size:13.5pt;font-family:Tahoma,sans-serif">spike     <u></u><u></u></span></b></span></p><p class="MsoNormal"><span class="m_-3336093182316763340gmaildefault"><b><span style="font-size:13.5pt;font-family:Tahoma,sans-serif"><u></u> <u></u></span></b></span></p><p class="MsoNormal"><span class="m_-3336093182316763340gmaildefault"><b><span style="font-size:13.5pt;font-family:Tahoma,sans-serif"><u></u> <u></u></span></b></span></p><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal"><u></u> <u></u></p><blockquote style="border-top:none;border-right:none;border-bottom:none;border-left:1pt solid rgb(204,204,204);padding:0in 0in 0in 6pt;margin-left:4.8pt;margin-right:0in"><div><p class="MsoNormal"><span class="m_-3336093182316763340m-8445840664431500427gmaildefault"><b><span style="font-size:13.5pt;font-family:Tahoma,sans-serif"> </span></b></span><u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><p class="MsoNormal"> <u></u><u></u></p><blockquote style="border-top:none;border-right:none;border-bottom:none;border-left:1pt solid rgb(204,204,204);padding:0in 0in 0in 6pt;margin:5pt 0in 5pt 4.8pt"><p class="MsoNormal"> <u></u><u></u></p></blockquote></div></blockquote></div></div></div></blockquote></div></div>