<div dir="ltr"><font size="4" face="tahoma, sans-serif"><b>The head of anthropic Dario Amodei<span class="gmail_default" style=""> wrote this a few days ago: </span></b></font><div><font size="4" face="tahoma, sans-serif"><b><br></b></font></div><div><font size="4" face="tahoma, sans-serif"><b><a href="https://darioamodei.com/post/we-must-pace-the-frontier">We Must Pace the Frontier</a><br></b></font></div><div><font size="4" face="tahoma, sans-serif"><b><br></b></font></div><div><font size="4" face="tahoma, sans-serif"><b>I disagree with some of his conclusions but<span class="gmail_default" style=""> </span><span style="background-color:transparent">Amodei</span><span class="gmail_default" style="background-color:transparent"> clearly a very intelligent man who I believe is sincere. Below are some quotes from his article and some of my opinions concerning them: </span></b></font></div><div><font size="4"><div><font size="4"><br></font></div></font><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><font size="4"><i><span class="gmail_default" style="font-family:arial,helvetica,sans-serif">> </span>pacing does not mean halting model training or technical progress, but ensuring companies take adequate time to align and safeguard their models, and for third party evaluators to confirm this.</i></font></blockquote><div><br></div><div><font size="4" face="tahoma, sans-serif"><b>I'm glad that you're not considering stopping all future development at least.<span class="gmail_default" style=""> </span> </b></font></div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><font size="4" face="georgia, serif"><i><span class="gmail_default" style="font-family:arial,helvetica,sans-serif">> </span>Frontier AI companies within democratic countries coordinate to establish common safety standards as well as limits on the rate of unchecked AI progress. </i></font></blockquote><div><br></div><b><font size="4" face="tahoma, sans-serif">I note that Open AI's Sam Altman has endorsed Dario Amodei<span class="gmail_default" style=""> suggestions</span><span class="gmail_default" style="">, so has Elon Musk, and </span><span style="background-color:transparent">Demis Hassabis<span class="gmail_default" style=""> the head of DeepMind, a division of Google.  However </span></span><span style="background-color:transparent">Hassabis<span class="gmail_default" style="">'s boss, </span></span><span style="background-color:transparent">Sergey Brin<span class="gmail_default" style="">, the head of </span></span><span style="background-color:transparent">DeepMind<span class="gmail_default" style="">'s parent company, has not. Instead </span></span><span style="background-color:transparent">Sergey Brin has made a concerted effort to focus Google's AI workforce on recursive self-improvement (RSI)<span class="gmail_default" style=""> in an effort to catch up or surpass OpenAI and Anthropic</span><span class="gmail_default" style="">. And RSI is the very thing that caused the recent acceleration in AI progress and the resulting panic. I wouldn't be surprised if we see a confrontation between </span></span><span style="background-color:transparent">Brin<span class="gmail_default" style=""> and </span></span><span style="background-color:transparent">Hassabis<span class="gmail_default" style=""> resulting in </span></span><span style="background-color:transparent">Hassabis<span class="gmail_default" style=""> resigning from DeepMind. </span></span></font></b></div><div><span class="gmail_default" style="background-color:transparent;font-family:arial,helvetica,sans-serif"></span></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><font size="4" face="georgia, serif"><i><span class="gmail_default" style="font-family:arial,helvetica,sans-serif">> </span>Some forms of coordination that would be impactful for pacing are legally challenging,</i></font></blockquote><div><br></div><font size="4" face="tahoma, sans-serif"><b><span class="gmail_default" style="">Challenging indeed! I</span>'m not a lawyer but If the AI companies agree with Dario Amodei’s essay and slow AI development then they <span class="gmail_default" style="">could </span>be charged with unlawful antitrust collusion because the Sherman Antitrust Act says that if private competitors enter into a<span class="gmail_default" style="">n</span> agreement to restrict output or delay the release of products, they <span class="gmail_default" style="">could be </span>charged with unlawful antitrust collusion.<span class="gmail_default" style=""> And under the current justice department they would almost certainly be prosecuted. Of course </span>the Sherman Antitrust Act<span class="gmail_default" style=""> could be changed, but that is unlikely to happen during the next two years. And after that it will be too late to matter. </span><span class="gmail_default" style=""> </span></b></font><br><div><br></div><div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><font size="4" face="georgia, serif"><i style=""><span class="gmail_default" style="font-family:arial,helvetica,sans-serif">> </span>The US and other democratic governments attempt to coordinate with authoritarian governments, to the extent this is possible, while taking seriously the challenges of verifying compliance.</i></font></blockquote><div><br></div><div><font size="4" face="tahoma, sans-serif"><b>When China enters the picture<span class="gmail_default" style=""> we get into a Prisoner Dilemma type situation, both sides might do better if everybody just stopped, but neither side has reason to trust the other and verification of compliance would be almost impossible.  </span> </b></font></div><font size="4"><br></font><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><font size="4" face="georgia, serif"><i><span class="gmail_default" style="font-family:arial,helvetica,sans-serif">> </span>we used interpretability methods to examine unverbalized motivations in the recent alignment incidents that we have been investigating.</i></font></blockquote><div><br></div><div><font size="4" face="tahoma, sans-serif"><b>Recently it has become pretty clear that<span class="gmail_default" style=""> </span><span style="color:rgb(11,11,11);background-color:transparent">AIs that <span class="gmail_default" style="font-family:arial,helvetica,sans-serif"></span>extensively use unverbalized motivations<span class="gmail_default" style="">, that is to say </span></span><span style="background-color:transparent">models <span class="gmail_default" style="">that use </span>internal neural state changes through many computational steps without those steps being converted into words or tokens<span class="gmail_default" style="">, </span></span><span style="background-color:transparent;color:rgb(11,11,11)">tend to <span class="gmail_default" style="">be smarter</span> than AI's that verbalize all their internal thoughts<span class="gmail_default" style="">. The downside is that we have even less understanding about what's going on in the machine's mind and deception becomes easier.  </span></span></b></font></div></div><div><font size="4"><br></font><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><font size="4"><i><font face="georgia, serif"><span class="gmail_default" style="font-family:arial,helvetica,sans-serif">> </span>Regardless of what commitments we make, the public deserves to know what is going on. Anthropic has been a supporter of transparency for a long time: we supported transparency legislation </font></i></font></blockquote></div><div><font size="4"><br></font></div><div><font size="4" face="tahoma, sans-serif"><b>I don't think <span class="gmail_default" style="">A</span>nthropic would be happy if it was forced to show Claude<span class="gmail_default" style="">'s</span> source code to <span class="gmail_default" style="">O</span>penAI<span class="gmail_default" style="">, and I don't think anybody would be happy if all American AI companies were forced to go open source.  Well OK, China would be happy. </span></b></font></div><div><br></div><div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><font size="4"><span class="gmail_default" style="font-family:arial,helvetica,sans-serif">> </span><i><font face="georgia, serif">We should also consider pacing based on limiting the ingredients that go into frontier models, such as training compute, the nature of training runs, or internal use of AI to improve AI. I do worry that some of these measures may be more “gameable” than external behavior</font></i></font></blockquote><div><br></div><div><font size="4" face="tahoma, sans-serif"><b>Yes it would be easy for an AI to pretend to be stupider than it really is.<span class="gmail_default" style=""> </span> It's not like nuclear weapons, it's relatively easy for a spy satellite<span class="gmail_default" style=""> to tell if a country is building a nuclear reactor or or uranium isotope separation plant, but it can't tell what problem a data center is working on or what an AI researcher is thinking about. </span></b></font></div><div><font size="4"><br></font></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><font size="4" face="georgia, serif"><i style=""><span class="gmail_default" style="font-family:arial,helvetica,sans-serif">> </span>Pacing within democracies will be limited by the lead that US companies have over authoritarian regimes, chiefly the Chinese Communist Party. If we slow down by more than this amount, then (unpaced) CCP-associated projects will pull ahead, creating significant national security risk. I agree with Secretary Bessent that a Chinese lead in AI would pose grave danger for the United States and the world. </i></font></blockquote><div><br></div><div><font size="4" face="tahoma, sans-serif"><b>I don't agree with much of what the <span class="gmail_default" style="">S</span>ecretary <span class="gmail_default" style="">O</span>f <span class="gmail_default" style="">T</span>he <span class="gmail_default" style="">T</span>reasury says but I agree with that.<span class="gmail_default" style=""> </span> </b></font></div></div><div><br></div><div><div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><i><font face="georgia, serif"><font size="4"><span class="gmail_default" style="font-family:arial,helvetica,sans-serif">> </span>Do not sell powerful AI chips or semiconductor manufacturing equipment to China, and crack down on chip smuggling operations and remote access to data centers outside China. Chips will be the main determinant of China’s AI strength.<span class="gmail_default" style=""> </span></font><span style="background-color:transparent;font-size:large">Crack down on unauthorized distillation by companies in authoritarian countries. Distillation of frontier models allows lagging companies to narrow the gap using a fraction of the cost it would take to develop their own AI independently.<span class="gmail_default" style=""> </span></span><span style="font-size:large;background-color:transparent">Strengthen security at the AI companies and prevent model weight theft.</span></font></i></blockquote><div><br></div><div><font size="4" face="tahoma, sans-serif"><b>To me<span class="gmail_default" style=""> t</span>hose all seem like prudent<span class="gmail_default" style=""></span> measures to take<span class="gmail_default" style="">; pretty uncontroversial, at least in the US. </span></b></font></div><div><font size="4"><br></font></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><font size="4" face="georgia, serif"><i><span class="gmail_default" style="font-family:arial,helvetica,sans-serif">> </span>If we greatly restrain our AI capabilities in the belief that China will do the same, and then China defects, AI could be so powerful that such a defection could lead to their geopolitical dominance</i></font></blockquote><div><br></div><div><font size="4"><b>And that is exactly the problem.<span class="gmail_default" style="font-family:arial,helvetica,sans-serif"> </span> </b></font></div></div><div><div><font size="4"><br></font></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><font size="4" face="georgia, serif"><i><span class="gmail_default" style="font-family:arial,helvetica,sans-serif">> </span>any agreement must either have ironclad verifiability</i></font></blockquote><div><br></div><div><font size="4" face="tahoma, sans-serif"><b>Easier said than done<span class="gmail_default" style="">!!</span> </b></font></div></div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><font size="4" face="georgia, serif"><i><span class="gmail_default" style="font-family:arial,helvetica,sans-serif">> </span>or must be limited enough that defection would not be militarily existential</i></font></blockquote><div><br></div><font size="4" face="tahoma, sans-serif"><b>How could you possibly know what is and what is not militarily existential<span class="gmail_default" style=""> if you have no idea what China is working on? </span></b></font><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><font size="4" face="georgia, serif"><i><span class="gmail_default" style="font-family:arial,helvetica,sans-serif">> </span>Level 1. An agreement prohibiting certain narrow and obviously dangerous uses of AI, such as using AI for the production of biological weapons or allowing users to do so.</i></font></blockquote><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><i><font face="georgia, serif"> <span style="font-size:large;background-color:transparent">Level 2. An agreement by both sides to test their models before release for acute risks in areas such as cybersecurity, biology, and alignment.</span></font></i></blockquote><div><span style="font-size:large;background-color:transparent"><br></span></div><div><font size="4" face="tahoma, sans-serif"><b>I see no reason to oppose such an agreement,<span class="gmail_default" style=""> I'm skeptical about how much good it could do but it couldn't do any harm. </span> </b></font></div></div><div><font size="4" face="tahoma, sans-serif"><b><br></b></font></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><span style="font-size:large"><span class="gmail_default" style=""><font face="arial, helvetica, sans-serif">> </font><i style=""><font face="georgia, serif">T</font></i></span><i><font face="georgia, serif">his could be done through a global standards body. I actually think creating such a body is likely feasible, but giving it real teeth will be a challenge,</font></i></span></blockquote><div><br></div><div><font size="4" face="tahoma, sans-serif"><b>Creating an International body like that<span class="gmail_default" style="font-family:arial,helvetica,sans-serif"> </span>would be easy, giving <span class="gmail_default" style="font-family:arial,helvetica,sans-serif">it </span>teeth would not be; just look at the toothless<span class="gmail_default" style="font-family:arial,helvetica,sans-serif"> </span>United Nations.<span class="gmail_default" style=""> </span> </b></font></div><div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><font size="4"><i><font face="georgia, serif"><span class="gmail_default" style="font-family:arial,helvetica,sans-serif">> </span>Level 3. Some kind of “speed limit” on the rate of recursive self-improvement (RSI).</font></i> </font></blockquote><div><br></div><div><font size="4" face="tahoma, sans-serif"><b><span class="gmail_default" style="">That </span>would be impossible to verify<span class="gmail_default" style=""> and thus I don't believe it will ever happen</span><span class="gmail_default" style="">. </span><span class="gmail_default" style="">Even if the Chinese let an international team of inspectors walk around inside their largest data center (a very unlikely occurrence) it would be virtually impossible for them to tell if that huge machine </span><span class="gmail_default" style="background-color:transparent">was working on recursive a self-improvement problem or not; hell even the Chinese would only have a hazy idea of what their computer was doing.  </span><span style="background-color:transparent"> </span></b></font></div></div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><span style="font-size:large"><i><font face="georgia, serif">As models build future models, the rate of improvement may become staggeringly fast.</font></i> </span></blockquote><div><br></div><div class="gmail_default" style=""><font size="4" style="" face="tahoma, sans-serif"><b style="">Yep.</b></font></div><div><br></div><div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><font size="4" face="georgia, serif"><i><span class="gmail_default" style="font-family:arial,helvetica,sans-serif">> </span>Slowing the rate from “extremely fast” to “only somewhat fast” gives up relatively little strategic advantage, while potentially greatly improving safety.</i></font></blockquote><div><br></div><div><font size="4" face="tahoma, sans-serif"><b>No amount of time is going to change the fact that electronics can process data vastly faster than biology can.<span class="gmail_default" style=""> Like it or not, AI is going to win this race.</span></b></font></div><div><font size="4"><br></font></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><font size="4" face="tahoma, sans-serif"><i><span class="gmail_default" style="font-family:arial,helvetica,sans-serif">> </span>Level 4. A full pacing, or even “pause”, in which participating governments agree to substantially limit the overall rate of AI development. </i></font></blockquote><div><br></div><div><font size="4" face="tahoma, sans-serif"><b>If level <span class="gmail_default" style="">3</span> is impossible level <span class="gmail_default" style="">4 would be impossibility squared. </span> </b></font></div></div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><font size="4" face="georgia, serif"><i><span class="gmail_default" style="font-family:arial,helvetica,sans-serif">> </span>I support floating this, but I think it is unlikely to actually happen any time soon: </i></font></blockquote><div><br></div><div><font size="4" face="tahoma, sans-serif"><b>I don't support it but it makes little difference what we support, it ain't gonna happen.<span class="gmail_default" style=""> </span> </b></font></div><div><br></div><div><div style="color:rgb(80,0,80)"><b style="background-color:transparent"><font face="tahoma, sans-serif"><font size="4">John K Clark    See what's on my list at  </font><font size="6"><a href="https://groups.google.com/g/extropolis" rel="nofollow" target="_blank">Extropolis</a></font></font></b></div><font size="1" color="#ffffff">r'z</font><br class="gmail-Apple-interchange-newline"></div><div><br></div><div><div><div><font size="4"><br></font></div></div></div></div>