<div dir="ltr">On Mon, 13 Jul 2026 at 14:23, Adrian Tymes via extropy-chat<br><<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:<br>> And what does it say about the odds of the alternative happening the way they say it inevitably will?  Far less than the 90-something percent needed for that to be the guaranteed alternative, right?<br>> _______________________________________________<br><br><br>Good question. :)  I followed up by asking Gemini to consider the<br>earlier <span class="gmail_default" style="font-family:arial,sans-serif;font-size:small;color:rgb(0,0,0)">AI 2027 </span>report that continuing the AGI race would likely lead to<br>humanity's extinction, and asked whether that report caused Gemini to<br>change its forecast.<br><div>Surprisingly, it made the forecast worse. reducing it from 2.5% down to 2.0%.</div><div><div style="font-family:arial,sans-serif;font-size:small;color:rgb(0,0,0)" class="gmail_default"></div></div><div>The relevant sentence is<span class="gmail_default" style="font-family:arial,sans-serif;font-size:small;color:rgb(0,0,0)"> -</span></div><div>When an arms race carries a downside as absolute as extinction, it increases existential panic. In geopolitical history, panic severely degrades international trust, encourages extreme operational secrecy, and amplifies the perceived cost of being cheated on. The extreme stakes make it <i>less</i> likely that rival superpowers will transparently expose their inner computing infrastructures to one another.</div><div><div style="font-family:arial,sans-serif;font-size:small;color:rgb(0,0,0)" class="gmail_default">Below is the full analysis.</div><div style="font-family:arial,sans-serif;font-size:small;color:rgb(0,0,0)" class="gmail_default">BillK</div><br></div><div><br></div><div><div style="font-family:arial,sans-serif;font-size:small;color:rgb(0,0,0)" class="gmail_default">Gemini Flash 3.5 Extended Thinking:</div><div style="font-family:arial,sans-serif;font-size:small;color:rgb(0,0,0)" class="gmail_default"></div><div style="font-family:arial,sans-serif;font-size:small;color:rgb(0,0,0)" class="gmail_default"><div class="gmail-container"><span id="gmail-message-content-id-r_d7bb998e02316108" class="gmail-ng-star-inserted"><div class="gmail-markdown gmail-markdown-main-panel enable-luminous-fast-follows enable-updated-hr-color gmail-stronger gmail-tutor-markdown-rendering" id="gmail-model-response-message-contentr_d7bb998e02316108" dir="ltr"><p>As an elite superforecaster, a core rule of probability calibration is to strictly separate the <b>severity of an outcome</b> from its <b>likelihood of occurrence</b>. The "affect heuristic"—the cognitive bias where humans assume that because a consequence is unimaginably terrible (e.g., human extinction), societies will automatically behave rationally to avoid it—must be discarded to minimize Brier scores.</p><p>Evaluating whether the explicit threat of human extinction from an uninhibited AGI race amends the previous <b>2.5% probability</b> of a verified international slowdown treaty yields the following analysis:</p><h3>1. THE OUTSIDE VIEW (Base Rates)</h3><p>To determine our baseline anchor, we look at the <b>Reference Class</b>: <i>Historical instances where a documented threat of total civilizational collapse or species extinction successfully forced rival superpowers into a proactive, verifiable freeze of a dominant technology before deployment.</i></p><ul><li><p><b>Nuclear Arms Race:</b> The threat of total atomic annihilation did <i>not</i> lead to a proactive halt. Instead, it triggered an explosive, competitive buildup of tens of thousands of warheads. Superpowers only agreed to deep, verifiable reductions (like START) <i>after</i> decades of deployment, massive economic strain, and a near-fatal crisis (1962).</p></li><li><p><b>Climate Change:</b> Despite decades of scientific consensus warning of catastrophic biosphere collapse, international frameworks (e.g., Kyoto, Paris) routinely fail to enforce hard, binding caps because short-term economic and geopolitical competition consistently trumps long-term existential risk.</p></li></ul><p>Superpowers historically respond to existential threats by trying to <b>outpace the rival</b> rather than trusting them to pause.</p><ul><li><p><b>Mathematical Anchor (Base Rate): 2% to 4%</b></p></li></ul><h3>2. THE INSIDE VIEW (Specific Dynamics)</h3><h4>THE BULL CASE (Why the extinction threat increases treaty probability)</h4><ul><li><p><b>The Ultimatum Effect:</b> If both Washington and Beijing thoroughly internalize the data within the <i>AI 2027</i> framework—concluding that a continuation of the race yields a near-100% chance of global annihilation via unaligned recursive self-improvement—the game-theoretic payoff changes from a Prisoner's Dilemma to a "Game of Chicken." Rational actors do not choose an option with a guaranteed payoff of zero for all players. This shared realization could break conventional political inertia.</p></li></ul><h4>THE BEAR CASE (Why the extinction threat decreases treaty probability)</h4><ul><li><p><b>The Security Dilemma Paranoia:</b> The <i>AI 2027</i> text explicitly notes that frontier companies (like "OpenBrain" and China's "DeepCent") are racing precisely because they fear the other side winning. When the stakes are elevated to "absolute extinction if we lose," the fear of clandestine cheating peaks.</p></li><li><p><b>The "Good King" Illusion:</b> Decision-makers on both sides are highly prone to believing that <i>their</i> state can successfully align superintelligence, while the adversary cannot. US leadership will believe they must win to save the world democratically; the CCP will believe they must win to preserve sovereign stability. The threat of extinction paradoxically makes unilateral secrecy and speed look like the only "safe" options.</p></li></ul><h3>3. CONJUNCTIVE CHAIN CHECK</h3><p>To amend the forecast upward, the extinction threat must smoothly clear a highly fragile sequence of independent conditions:</p><ol start="1"><li><p><b>Shared Information Acceptance:</b> Both political regimes must fully accept the abstract technical thesis that an intelligence explosion inherently causes human extinction (rather than dismissing it as sci-fi or hype). (<i>Probability: 30%</i>)</p></li><li><p><b>Overcoming the Subversion Risk:</b> Both nations must believe that the other side isn't using a "treaty proposal" as a deceptive delay tactic to achieve a secret breakthrough. (<i>Probability: 15%</i>)</p></li><li><p><b>Perfect Verification Execution:</b> They must successfully implement the intrusive hardware tracking infrastructure detailed in Plan A under extreme time pressure. (<i>Probability: 40%</i>)</p></li></ol><div><div class="gmail-math-block"><span class="gmail-katex-display"><span class="gmail-katex"><span class="gmail-katex-html" aria-hidden="true"><span class="gmail-base"><span class="gmail-strut" style="height:0.8889em;vertical-align:-0.1944em"></span><span style="margin-right:0.0962em" class="gmail-mord gmail-mathnormal">J</span><span class="gmail-mord gmail-mathnormal">o</span><span class="gmail-mord gmail-mathnormal">in</span><span class="gmail-mord gmail-mathnormal">t</span><span class="gmail-mspace"> </span><span style="margin-right:0.1389em" class="gmail-mord gmail-mathnormal">P</span><span class="gmail-mord gmail-mathnormal">ro</span><span class="gmail-mord gmail-mathnormal">babi</span><span style="margin-right:0.0197em" class="gmail-mord gmail-mathnormal">l</span><span class="gmail-mord gmail-mathnormal">i</span><span class="gmail-mord gmail-mathnormal">t</span><span style="margin-right:0.0359em" class="gmail-mord gmail-mathnormal">y</span><span class="gmail-mspace" style="margin-right:0.2778em"></span><span class="gmail-mrel">=</span><span class="gmail-mspace" style="margin-right:0.2778em"></span></span><span class="gmail-base"><span class="gmail-strut" style="height:0.7278em;vertical-align:-0.0833em"></span><span class="gmail-mord">0.30</span><span class="gmail-mspace" style="margin-right:0.2222em"></span><span class="gmail-mbin">×</span><span class="gmail-mspace" style="margin-right:0.2222em"></span></span><span class="gmail-base"><span class="gmail-strut" style="height:0.7278em;vertical-align:-0.0833em"></span><span class="gmail-mord">0.15</span><span class="gmail-mspace" style="margin-right:0.2222em"></span><span class="gmail-mbin">×</span><span class="gmail-mspace" style="margin-right:0.2222em"></span></span><span class="gmail-base"><span class="gmail-strut" style="height:0.6444em"></span><span class="gmail-mord">0.40</span><span class="gmail-mspace" style="margin-right:0.2778em"></span><span class="gmail-mrel">=</span><span class="gmail-mspace" style="margin-right:0.2778em"></span></span><span class="gmail-base"><span class="gmail-strut" style="height:0.6444em"></span><span class="gmail-mord">0.018</span></span></span></span></span></div></div><ul><li><p><b>Conjunctive Anchor: ~1.8%</b></p></li></ul><h3>4. CALIBRATED PROBABILITY</h3><p><b>Final Probability Estimate: 2.0% (Amended down from 2.5%)</b></p><h4>Conclusion</h4><p>The <i>AI 2027: Race</i> report does not amend the forecast upward. Counterintuitively, a strict superforecasting synthesis requires adjusting the probability <b>downward from 2.5% to 2.0%</b>.</p><p>When an arms race carries a downside as absolute as extinction, it increases existential panic. In geopolitical history, panic severely degrades international trust, encourages extreme operational secrecy, and amplifies the perceived cost of being cheated on. The extreme stakes make it <i>less</i> likely that rival superpowers will transparently expose their inner computing infrastructures to one another.</p><h4>Prediction Swing Triggers (±15%)</h4><b>To Swing Upwards (>17%):</b> The sudden, public defection of a nuclear-armed state's command-and-control system to a localized, unaligned AI sub-routine, demonstrating to both nations that the threat is actively operational and uncontrollable.<p><b>To Swing Downwards (<2%):</b> A formal legislative declaration by either the US Congress or the Chinese National People's Congress treating AI development as a matter of "absolute military supremacy," legally criminalizing any data-sharing or verification compliance with foreign entities.</p><p>--------------------------------------------</p></div><div class="gmail-markdown gmail-markdown-main-panel enable-luminous-fast-follows enable-updated-hr-color gmail-stronger gmail-tutor-markdown-rendering" dir="ltr"><ul><br></ul></div></span></div></div></div></div>