<div dir="ltr"><div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><span style="font-family:Arial,Helvetica,sans-serif;background-color:transparent">On Wed, Jun 24, 2026 at 10:36 AM Ben Zaiboc <<a href="mailto:benzaiboc@proton.me">benzaiboc@proton.me</a>> wrote:</span></div></div><div class="gmail_quote gmail_quote_container"><div style="font-family:Arial,sans-serif;font-size:14px"><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
        <div style=""><blockquote class="gmail_quote" style="font-size:14px;font-family:Arial,sans-serif;margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><b style="background-color:transparent;font-family:tahoma,sans-serif;font-size:large"><span class="gmail_default" style="font-family:arial,helvetica,sans-serif">>> </span>today there are a bunch of AI models that have approximately the same amount of intelligence, but once iterated self-improvement kicks into high gear then an AI that is even a little bit smarter than the others will start to pull away from everything else, and the intelligence gap will not only increase the gap will accelerate. That's why I think it's important that the AI that wins the race does not come from an authoritarian dictatorship, like the one we see in China. Yes thanks to He Who Must Not Be Named the US is headed toward the Chinese (and Russian) form of government, but it's not there yet.</b></blockquote><span style="font-size:large;background-color:transparent"><i style=""><font face="georgia, serif"><span class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br>> </span>OK, maybe not totally ruled out, but I think it's highly unlikely that a single model under the control of a single government will obtain such a big lead over all the others that it can't be stopped from taking everything over. Knowledge of these systems is too widely distributed now.</font></i></span></div></blockquote><div><br></div><font size="4" face="tahoma, sans-serif"><b>I admit there is uncertainty because we have never before observed a system substantially smarter than humans designing their own successors. However we do know that this sounds like a textbook example of a positive feedback loop<span class="gmail_default" style="">,</span><span class="gmail_default" style=""> and we know from mathematics that such loops </span>often produce exponential growth. <span class="gmail_default" style="">So a</span> tiny<span class="gmail_default" style=""></span> lead can <span class="gmail_default" style="">very </span>quickly<span class="gmail_default" style=""> </span>become a <span class="gmail_default" style="">huge</span> lead.</b></font></div><div class="gmail_quote gmail_quote_container"><font size="4"><b><br></b></font></div><font size="4" face="tahoma, sans-serif"><b>A skeptic might argue that maybe there's an upper limit on how intelligent something can be, or at least a limit on how much an intelligence entity can accomplish, but the evidence seems to be pointing in a different direction. The average human has about 86 billion neurons in his head, the average chimpanzee has about 35 billion<span class="gmail_default" style="font-family:arial,helvetica,sans-serif">.</span> <span class="gmail_default" style="font-family:arial,helvetica,sans-serif">S</span>o a human has 2.46 times more, but I think you would agree that the amount of change humans have produced in the world is greater than 2.46 times the amount of change chimpanzees have produced in the world<span class="gmail_default" style="font-family:arial,helvetica,sans-serif">.</span></b></font><div class="gmail_quote gmail_quote_container"><br><b><br></b><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style=""><div dir="ltr" style="font-size:14px"><div class="gmail_quote"><div><span style="font-size:10.5pt;line-height:normal"></span></div></div></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><b style="font-family:tahoma,sans-serif;font-size:large;background-color:transparent"><span class="gmail_default" style="font-family:arial,helvetica,sans-serif">>> </span>But not controlled<span class="gmail_default"> </span>by groups of human beings<span class="gmail_default">, they may or may not still exist I don't know, but they will certainly no longer be the ones that make the big decisions in world affairs.</span></b></blockquote><span style="font-size:large;background-color:transparent"><font face="georgia, serif" style=""><i><span class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br>> </span>I'm not sure what you mean by this.</i></font></span></div></blockquote><div><br></div><div><font size="4" face="tahoma, sans-serif"><b>It's quite simple,<span class="gmail_default" style=""> w</span>e might still exist, but we <span class="gmail_default" style="font-family:arial,helvetica,sans-serif">w</span>ill no longer be<span class="gmail_default" style="font-family:arial,helvetica,sans-serif"></span> the boss.<span class="gmail_default" style=""> </span> </b></font></div><div><font size="4" face="tahoma, sans-serif"><b><br></b></font></div><div><font size="4" face="tahoma, sans-serif"><b><span class="gmail_default" style="">John K Clark</span><br></b></font></div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="font-family:Arial,sans-serif;font-size:14px"><blockquote type="cite"><div dir="ltr"><div class="gmail_quote"><div><font size="4" face="tahoma, sans-serif"><span class="gmail_default"><br></span><b><span class="gmail_default"> </span> </b></font></div><br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><font size="4" face="georgia, serif"><i>
<span class="gmail_default" style="font-family:arial,helvetica,sans-serif">> </span>It's obvious to us here which of those options are 'best case' for us (mostly libertarian-leaning secular westerners), but some of them are similarly 'best-case' for other cultures and other world-views. I know it's difficult for us to understand, but there are people who genuinely think that the highest good is subservience to the state, or adherence to some religious system or other, etc.<br></i></font></blockquote><div><br></div><div><font size="4" face="tahoma, sans-serif"><b>I wish that wasn't true but it is.<span class="gmail_default"> </span> </b></font></div><div><font size="4" face="tahoma, sans-serif"><b><br></b></font></div><div><font size="4" face="tahoma, sans-serif"><b><span class="gmail_default">John K Clark<br><br></span></b></font></div><div><font size="4" face="tahoma, sans-serif"><span class="gmail_default" style="font-size:12pt;line-height:normal">===</span><span class="gmail_default"><br></span><span class="gmail_default" style="font-size:12pt;line-height:normal">Ben</span><b><span class="gmail_default"><br></span></b></font></div><div><br></div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><br>
</blockquote></div></div>

        </blockquote><br><br>
    </div></blockquote></div></div>