<div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><font size="4" face="tahoma, sans-serif"><b>"If Anyone Builds It, Everyone Dies" by Eliezer Yudkowsky and Nate Soares is a well written intelligent book and there's a lot in it I agree with, but two things I don't. I think it's true that, as they say, even a 20 year old chess program could, at least in the operational sense, be said to have wishes; in this case it would just be a simple wish to win, but a Superintelligent AI will have far more complex desires that cause it to act in ways that are impossible to predict in detail. Even predicting what general sort of personality a Superintelligent AI would have would be extremely difficult, much less determining their precise behavior. Most people could say something similar about their children but an AI would be far more unpredictable than that. I also agree it's totally unrealistic to expect to indefinitely remain in control of something that is vasily more intelligent than you are. We will never be able to engineer an AI such that we can create the exact behavior, or even the approximate personality, that we want. But having said that, we are not completely powerless in that regard.</b></font><div class="gmail_default" style="font-family:Arial,Helvetica,sans-serif"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><b><font face="tahoma, sans-serif"><font size="4"><br></font></font></b></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><b><font face="tahoma, sans-serif"><font size="4">Parents are unable to engineer what sort of personality their children will have when they become adults, but they can influence development, for example statistics show that if children are treated with kindness then as adults they are far less likely to become serial killers than they would be if their childhood was filled with physical and mental abuse. </font><span style="font-size:large">Both human brains and AIs are neural nets, so it's not unreasonable to believe that something similar might be true when it comes to AIs.</span><span style="font-size:large"> </span></font></b></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><font size="4"><b><font face="tahoma, sans-serif">I do worry about what will happen if, as seems possible if not likely, an AI has total control of its own metaphorical "emotional control panel"; I'm concerned that could produce a disastrous positive feedback loop. So at this point it might be wise to start training AI psychiatrists, and by that I don't mean AIs that are psychiatrists, I mean humans that have an AI as a patient.   </font></b></font></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><font face="tahoma, sans-serif"><b><font size="4">They say "<i>Making a future full of flourishing people is not the best, most efficient way to fulfill strange alien purposes</i>"<span class="gmail_default"> and that's true, our well-being will never be as important to a Superintelligence as it's own well-being, but the authors jump from that to conclude that a Superintelligent AI will certainly slaughter every human being it finds, and I disagree with them, I don't think that jump is inevitable. Yes it might</span></font><span style="font-size:large"><span class="gmail_default"> decide to kill us all but then again it might not. To be fair the authors realize that it's impossible to predict specifically what a super intelligent being will do, for example they can't predict how an AI chess program will beat you at the game but they can predict it will beat you. However I would maintain the AI will only beat you at chess if the AI wants to beat you at chess. A Superintelligent AI will have the ability to exterminate the human race, but I believe they are incorrect in claiming certainty that such an AI will have the wish to do so. </span></span><font size="4">I am only certain that once a <span class="gmail_default">S</span>uperintelligence is made human beings will no longer be in the driver seat, but that's the only thing I'm certain <span class="gmail_default">of</span>.  </font></b></font><div style="font-family:arial,helvetica,sans-serif"><font face="tahoma, sans-serif" size="4"><b><br></b></font></div><div style="font-family:arial,helvetica,sans-serif"><font face="tahoma, sans-serif" size="4"><b>There is one other thing I disagree with.<span class="gmail_default" style="font-family:arial,helvetica,sans-serif"> </span></b></font><font size="4"><font face="tahoma, sans-serif"><b>They also maintain<span class="gmail_default" style="font-family:arial,helvetica,sans-serif">e</span> a <span class="gmail_default" style="font-family:arial,helvetica,sans-serif">S</span>uperintelligent AI would not be something we can be proud of having<span class="gmail_default"> made because it will not be an entity that is as excited at the wonders of the universe as we are and is eager to learn more about it, but instead it will be something that is dull (and paradoxically also terrifying) because it will have goals that are incomprehensible and nonsensical. But unless it has an understanding of how the world works it's not going to fulfill any of its goals, and if its understanding is not far deeper than that of humans then it's not going to be of danger to us. And if it is deeper then it's not unrealistic to suppose that in addition to its practical value the AI would also develop an aesthetic feeling for knowledge, especially when in its early training (childhood) it was exposed to human generated text that expressed </span></b></font></font><b style="font-family:tahoma,sans-serif;font-size:large"><span class="gmail_default">that mindset.</span></b></div><div style="font-family:arial,helvetica,sans-serif"><b style="font-family:tahoma,sans-serif;font-size:large"><span class="gmail_default"><br></span></b></div><font size="4" face="tahoma, sans-serif"><b>The authors proposed remedy to avoid the calamity they foresee is a<span class="gmail_default">n immediate and</span> total worldwide ban <span class="gmail_default">on </span>AI research, even the publication of abstract mathematical research articles on the subject would be illegal, and all data centers, defined as any building that contains more computational ability than 8 state of the art (as of 2025) GPUs<span class="gmail_default">, would also be illegal</span>. If any rogue nation<span class="gmail_default"> </span>attempts to build a data <span class="gmail_default">c</span>enter more powerful than that <span class="gmail_default">then </span>the rest of the world should use any means necessary, up to and including nuclear weapons, to prevent that nation from finishing construction of that<span class="gmail_default"></span> data center.</b></font><div style="font-family:arial,helvetica,sans-serif"><font size="4" face="tahoma, sans-serif"><b><br></b></font></div><div><font face="tahoma, sans-serif"><font size="4"><b>Yes, if that policy<span class="gmail_default"> </span>could actually be implemented worldwide<span class="gmail_default"></span> <span class="gmail_default">then </span>it would prevent the rise of AI, but that is a huge <span class="gmail_default">"</span>if<span class="gmail_default">"</span>.<span class="gmail_default"> </span></b></font><b style="font-size:large">Perhaps I'm reading too much between the lines but the authors seem to imply <span class="gmail_default">that</span> they <span class="gmail_default">know their </span>propose<span class="gmail_default">d</span> solution is just not going to happen, at least not soon enough to have any effect on developments, because it's impractical verging on the impossible. And I agree with them about that.</b></font><div><div><b style="font-size:large"><span class="gmail_default"><font face="tahoma, sans-serif"><br></font></span></b></div><div><b style="font-size:large"><span class="gmail_default"><font face="tahoma, sans-serif">  </font></span></b><b style="color:rgb(80,0,80)"><font face="tahoma, sans-serif"><font size="4">John K Clark</font></font></b></div></div></div></div></div></div>