<div dir="ltr"><div dir="ltr"><div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><span style="font-family:Arial,Helvetica,sans-serif">On Mon, Oct 20, 2025 at 5:39 PM Adrian Tymes via extropy-chat <</span><a href="mailto:extropy-chat@lists.extropy.org" target="_blank" style="font-family:Arial,Helvetica,sans-serif">extropy-chat@lists.extropy.org</a><span style="font-family:Arial,Helvetica,sans-serif">> wrote</span></div></div><div class="gmail_quote"><div dir="ltr" class="gmail_attr"><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><font size="4" face="georgia, serif"><i><span class="gmail_default" style="font-family:arial,helvetica,sans-serif">> </span>A nice explanation, and it stumbles right over the main objections to<br>
the prediction.  To list a few:<br>
1) Assuming that literally everyone is online or is trackable online.<br>
"A lot of people" or even "the majority of humanity" is not literally<br>
every human on Earth.</i></font><br></blockquote><div><br></div><div><font size="4" face="tahoma, sans-serif"><b>Not a serious criticism.<span class="gmail_default" style=""> If not every human on earth then every human on earth who is important in this matter. </span></b></font></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
</blockquote><br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><font size="4" face="georgia, serif"><i>
<span class="gmail_default" style="font-family:arial,helvetica,sans-serif">></span>2) Postulating that the AI can do certain things that humans can't<br>
find a counter to,</i></font></blockquote><div><br></div><div><font size="4" face="tahoma, sans-serif"><b>It said <span class="gmail_default" style="font-family:arial,helvetica,sans-serif">an</span> AI can do things that a human <span class="gmail_default" style="">can't if the AI is smarter than a human, and it said you can't  permanently outsmart something that is smarter than you are. And those things are not postulates, they are facts.</span></b></font></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><font size="4" face="georgia, serif"><i> <span class="gmail_default" style="font-family:arial,helvetica,sans-serif">> </span>but at the same time can always find counters if<span class="gmail_default" style=""> </span>someone or something - such as another AI - does these things.<br></i></font></blockquote><div><br></div><div><font size="4" face="tahoma, sans-serif"><b>It said <span class="gmail_default" style="">a</span> smart<span class="gmail_default" style=""> </span>AI can do things that a less smart<span class="gmail_default" style=""></span> <span class="gmail_default" style="font-family:arial,helvetica,sans-serif">AI </span><span class="gmail_default" style="">can't, and that is also not a postulate, that is a fact. </span> </b></font></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
</blockquote><br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><font size="4" face="georgia, serif"><i>
<span class="gmail_default" style="font-family:arial,helvetica,sans-serif">> </span>3) Assuming that the AI will definitely see no value in keeping any<br>
portion of humanity alive indefinitely</i></font></blockquote><div><br></div><font size="4" face="tahoma, sans-serif"><b>Th<span class="gmail_default" style="">is</span> is where I disagree with the authors of the book, they<span class="gmail_default" style="">'re</span> certain a super intelligent AI will want to kill us all, I however am uncertain what a super intelligent AI will want to do. Their assumption might be valid, but then again it might not<span class="gmail_default" style=""> be</span>. <span class="gmail_default" style="font-family:arial,helvetica,sans-serif"> </span>Mr. Jupiter Brain may keep us around because He thinks we're amusing and we make cute pets, or for sentimental reasons for the same reason that few human beings are eager to exterminate all chimpanzees<span class="gmail_default" style="">.</span> <span class="gmail_default" style="">O</span>r maybe he would feel some responsibility towards us since He would not exist without us. Or maybe none of that is true and He will conclude that we are more trouble than we're worth. There is no way to predict wh<span class="gmail_default" style="font-family:arial,helvetica,sans-serif">at</span> it's going to do, but very soon we're going to find out.<span class="gmail_default" style="font-family:arial,helvetica,sans-serif"> </span></b></font><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><font size="4" face="georgia, serif"><i><span class="gmail_default" style="">> </span>that it knows it can fullysolve its own upgrade problems forever,</i></font></blockquote><div><b><font face="tahoma, sans-serif"><br></font></b></div><div><font size="4" face="tahoma, sans-serif"><b style="">They do not postulate <span class="gmail_default" style="">that and they didn't need to. </span> </b></font></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><font size="4" face="georgia, serif"><i> <span class="gmail_default" style="font-family:arial,helvetica,sans-serif">> </span>postulates that<span class="gmail_default" style=""> </span>the rogue AI can eventually subvert humans to do its will,</i></font></blockquote><div><br></div><div><font size="4" face="tahoma, sans-serif"><b>That is a perfectly reasonable postulate.<span class="gmail_default" style=""> However the postulate that something very stupid can remain in control of something very smart forever is not a reasonable postulate. </span> </b></font></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><font size="4" face="georgia, serif"><i><span class="gmail_default" style="font-family:arial,helvetica,sans-serif">></span>and humans<span class="gmail_default" style=""> </span>can cross those air gaps.</i></font></blockquote><div><br></div><div><font size="4" face="tahoma, sans-serif"><b>If no human can cross the air gap <span class="gmail_default" style="">to</span> a super intelligent AI then it would be a completely useless machine<span class="gmail_default" style=""> </span>and there would be no reason that humans would want to build such a thing.<span class="gmail_default" style=""> </span></b></font></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
</blockquote><br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><font size="4" face="georgia, serif"><i>
<span class="gmail_default" style="font-family:arial,helvetica,sans-serif">> </span>4) No comment on the fact that their call to destroy all AI centers<span class="gmail_default" style=""> </span>that will not accept lockdown, is basically declaring nuclear war on<span class="gmail_default" style=""> </span>China and Russia</i></font></blockquote><div><br></div><div><font size="4" face="tahoma, sans-serif"><b>I read the book the video <span class="gmail_default" style="">was</span> based on<span class="gmail_default" style=""> and the book did comment about that. It said that if any rogue nation was constructing a building that would contain more than 8 State of the art (as of 2025) Nvidia GPUs then the other nations of the world should unite and use any means necessary, up to and including nuclear weapons, to prevent the construction of that building from being finished. Their reasoning was that a nuclear war would kill billions of people but it wouldn't cause the extinction of the human race, but an AI takeover would. They admit there is very little likelihood of the world uniting in that way and that is why they are so pessimistic.  </span> </b></font></div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><i><font face="georgia, serif" size="4"><span class="gmail_default" style="font-family:arial,helvetica,sans-serif">> </span>No comment on how the start of the scenario as postulated would be<br>possible even with locked down data centers, meaning their suggested<br>solution wouldn't work anyway. </font></i></blockquote><div><br></div><div><font size="4" face="tahoma, sans-serif"><b>Although it's extremely unlikely to ever<span class="gmail_default" style=""> </span>be implemented<span class="gmail_default" style="">,</span> I think<span class="gmail_default" style=""> the drastic measures they recommend would stop the AI revolution, although the probability of it producing a nuclear war would be pretty high, and even if you somehow managed to avoid that you'd need such total control you'd end up with a global society reminiscent of </span>George Orwell<span class="gmail_default" style="">'s 1984.</span></b></font></div><div><font size="4"><span class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></span></font></div><div><font size="4" face="tahoma, sans-serif"><span class="gmail_default" style=""><b style="">John K Clark</b></span></font></div><div><br></div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><br>
</blockquote></div></div>
</div>