<div dir="ltr"><font size="4" face="tahoma, sans-serif"><b><span class="gmail_default" style="">Inspired by Billk's questions to the Chinese AI GLM, I sent the following question to Anthropic's  Claude S</span>onnet <span class="gmail_default" style="">5</span> and set it to<span class="gmail_default" style=""></span><span class="gmail_default" style=""> "Max":<br></span></b></font><font size="4" face="tahoma, sans-serif"><b><br><span class="gmail_default" style="font-family:arial,helvetica,sans-serif">"</span>I want you to think like a super forecaster and give me a probability of a computer achieving AGI before December 31, 2030. By AGI I do NOT mean a machine that is capable of performing most tasks as well as the average human most of the time, I mean a machine capable of performing all tasks better than the best human all of the time, except perhaps for tasks that require great manual dexterity. If this isn’t a well-formed forecasting question then please rewrite it as one that is and check it with me before proceeding.<span class="gmail_default" style="font-family:arial,helvetica,sans-serif">"</span></b></font><div><font face="arial, helvetica, sans-serif" size="4"><b><br></b></font></div><div><font size="4" face="tahoma, sans-serif"><b style="">After about 10 minutes thinking about it<span class="gmail_default" style=""> Claude very politely informed me that my question was too fuzzy and suggested that the following would be a better question: </span><br></b></font><div><font face="arial, helvetica, sans-serif" size="4"><b><br></b></font></div><div><div><br></div><div><div><font size="4"><span class="gmail_default" style="font-family:arial,helvetica,sans-serif"><b>Claude</b>: "</span>By December 31, 2030, does there exist an AI system, possibly using external tools, code execution, retrieval, and orchestration of other AI models but not specialized robotic hardware, that is recognized by broad expert and scientific consensus as matching or exceeding the best documented human performance, within roughly comparable time and cost, on essentially every cognitive task that has an objective or intersubjectively-agreed success criterion (math, science, programming, forecasting, strategy games, engineering, legal/medical/financial analysis, etc.) — doing so at least as consistently as elite human experts — with tasks gated by legal or biological status, tasks with no objective quality standard, and tasks bottlenecked by physical embodiment (not just fine dexterity, but also raw speed, strength, and endurance) all excluded?</font></div><div><font size="4"><br></font></div><div><font size="4" face="tahoma, sans-serif"><b>I responded with this:<span class="gmail_default" style=""> </span></b></font></div><div><font size="4"><br></font></div><b><font face="tahoma, sans-serif" size="4">Yes I like the way you rewrote my question, please proceed and answer it with a precise probability.</font></b></div><div><b><font face="tahoma, sans-serif" size="4"><br></font></b></div><div><font face="tahoma, sans-serif" size="4"><b>After another 10 minutes<span class="gmail_default" style=""> Claude started to answer my question but then it cut off before giving me a precise probability saying that I had reached my computation limit and I needed to wait 4 hours before proceeding further. Being impatient I sent Claude's version of my question to GPT and got a response almost immediately. Spoiler alert, GPT gave <u>a probability of 29%</u>:</span></b></font></div><div><font face="tahoma, sans-serif" size="4"><b><span class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></span></b></font></div><div><font face="tahoma, sans-serif" size="4"><b><span class="gmail_default" style="font-family:arial,helvetica,sans-serif">GPT:  "</span></b></font><span style="background-color:transparent"><font size="4">If I were approaching this as a superforecaster, I would try to avoid both "AI is accelerating exponentially, so it's almost certain" and "human intelligence is special, so it's very unlikely." I'd decompose the question into several uncertainties and update from current evidence.</font></span></div><div class="gmail-relative gmail-basis-auto gmail-flex-col gmail--mb-(--composer-overlap-px) gmail-pb-(--composer-overlap-px) gmail-[--composer-overlap-px:28px] gmail-grow gmail-flex"><div class="gmail-flex gmail-flex-col gmail-text-sm"><div class="gmail-qMYqUG_convSearchResultHighlightRoot"><div class="gmail-"><div class="gmail-text-base gmail-my-auto gmail-mx-auto gmail-pb-10 gmail-[--thread-content-margin:var(--thread-content-margin-xs,calc(var(--spacing)*4))] gmail-@w-sm/main:[--thread-content-margin:var(--thread-content-margin-sm,calc(var(--spacing)*6))] gmail-@w-lg/main:[--thread-content-margin:var(--thread-content-margin-lg,calc(var(--spacing)*16))] gmail-px-(--thread-content-margin)"><div class="gmail-[--thread-content-max-width:40rem] gmail-@w-lg/main:[--thread-content-max-width:48rem] gmail-mx-auto gmail-max-w-(--thread-content-max-width) gmail-flex-1 gmail-group/turn-messages gmail-focus-visible:outline-hidden gmail-relative gmail-flex gmail-w-full gmail-min-w-0 gmail-flex-col gmail-agent-turn"><div class="gmail-flex gmail-max-w-full gmail-flex-col gmail-gap-4 gmail-grow"><div dir="auto" tabindex="0" class="gmail-min-h-8 gmail-text-message gmail-relative gmail-flex gmail-w-full gmail-flex-col gmail-items-end gmail-gap-2 gmail-text-start gmail-break-words gmail-whitespace-normal gmail-outline-none gmail-keyboard-focused:focus-ring gmail-[.text-message+&]:mt-1"><div class="gmail-flex gmail-w-full gmail-flex-col gmail-gap-1 empty:hidden"><div class="gmail-markdown gmail-prose gmail-dark:prose-invert gmail-wrap-break-word gmail-w-full gmail-light gmail-markdown-new-styling">
<p><strong><font size="4">My estimate: 29%</font></strong></p>
<p><font size="4">That's deliberately more precise than "about one-third," but it should be interpreted as roughly <strong>25–35%</strong>.</font></p>
<p><font size="4">Here's how I arrive at it.</font></p>
<h3><font size="4">What the target actually requires</font></h3>
<p><font size="4">The threshold is extraordinarily high. It's not asking whether AI surpasses humans at many important tasks, but whether there is <strong>broad expert and scientific consensus</strong> that a system:</font></p>
<ul>
<li><font size="4">
matches or exceeds the <strong>best documented human performance</strong>
</font></li>
<li><font size="4">
on <strong>essentially every cognitive task with an objective success criterion</strong>
</font></li>
<li><font size="4">
at <strong>roughly comparable time and cost</strong>
</font></li>
<li><font size="4">
and does so <strong>consistently</strong>
</font></li>
<li><font size="4">
by <strong>December 31, 2030</strong>.
</font></li>
</ul>
<p><font size="4">Notice that this is actually a harder target than many people's informal notion of "AGI." It requires not merely impressive demonstrations but widespread agreement that the system has reached that level.</font></p>
<h3><font size="4">Reasons the probability is substantial</font></h3>
<p><font size="4">Several trends point toward rapid progress.</font></p>
<ul>
<li><font size="4">
Frontier AI capabilities have advanced much faster than most experts expected five years ago.
</font></li>
<li><font size="4">
Tool use, retrieval, planning, code execution, and multi-agent orchestration dramatically expand what language models can accomplish.
</font></li>
<li><font size="4">
AI performance has improved across many unrelated domains simultaneously rather than through narrow engineering.
</font></li>
<li><font size="4">
Scientific research itself is becoming increasingly automated.
</font></li>
<li><font size="4">
Scaling has not obviously hit a fundamental wall yet, although gains are becoming more expensive.
</font></li>
</ul>
<p><font size="4">If these trends continue, by 2030 AI systems could plausibly outperform elite humans across mathematics, programming, scientific reasoning, engineering design, forecasting, and many professional analytical tasks.</font></p>
<h3><font size="4">Reasons the probability is well below 50%</font></h3>
<p><font size="4">Several obstacles remain.</font></p>
<p><strong><font size="4">1. Generality is harder than excellence.</font></strong></p>
<p><font size="4">Being world-class at hundreds of domains is easier than being reliably world-class at essentially <em>all</em> cognitive tasks.</font></p>
<p><font size="4">Even today, frontier systems exhibit uneven competence across domains.</font></p>
<p><strong><font size="4">2. Reliability matters.</font></strong></p>
<p><font size="4">The question requires performance at least as consistent as elite humans.</font></p>
<p><font size="4">Occasional catastrophic reasoning failures are much more damaging than occasional lack of brilliance.</font></p>
<p><strong><font size="4">3. Cost constraints.</font></strong></p>
<p><font size="4">The system cannot require millions of dollars of compute per difficult task.</font></p>
<p><font size="4">Comparable time and cost is an important constraint.</font></p>
<p><strong><font size="4">4. Consensus usually lags capability.</font></strong></p>
<p><font size="4">Experts rarely agree immediately.</font></p>
<p><font size="4">There may be years of debate over whether remaining weaknesses are fundamental or merely edge cases.</font></p>
<p><font size="4">Even if a system technically qualifies in late 2030, consensus might not yet exist.</font></p>
<h3><font size="4">My decomposition</font></h3>
<p><font size="4">One way I'd estimate it is:</font></p>
<ul>
<li><font size="4">
AI capable of surpassing elite humans across nearly every objective cognitive domain by 2030:<br>
<strong>~42%</strong>
</font></li>
<li><font size="4">
If such capability exists, probability broad expert consensus recognizes it by the deadline:<br>
<strong>~70%</strong>
</font></li>
</ul>
<p><font size="4">Multiplying:</font></p>
<p><font size="4">0.42 × 0.70 ≈ <strong>0.29</strong></font></p>
<p><font size="4">Hence the <strong>29%</strong> estimate.</font></p>
<h3><font size="4">What would move me upward?</font></h3>
<p><font size="4">I would raise this estimate significantly if, within the next 18–24 months, we observe:</font></p>
<ul>
<li><font size="4">
AI making major original scientific discoveries with minimal human guidance.
</font></li>
<li><font size="4">
Reliable autonomous software engineering over projects involving millions of lines of code.
</font></li>
<li><font size="4">
Strong long-horizon planning over weeks rather than hours.
</font></li>
<li><font size="4">
AI laboratories substantially accelerating their own research through AI.
</font></li>
<li><font size="4">
Benchmarks increasingly failing because humans can no longer produce harder evaluation sets.
</font></li>
</ul>
<h3><font size="4">What would move me downward?</font></h3>
<p><font size="4">I would lower the estimate if:</font></p>
<ul>
<li><font size="4">
Scaling laws flatten despite increasing compute.
</font></li>
<li><font size="4">
Reliability plateaus well below expert-human consistency.
</font></li>
<li><font size="4">
Autonomous agents remain brittle on long-horizon tasks.
</font></li>
<li><font size="4">
Progress increasingly depends on expensive human supervision rather than algorithmic improvements.
</font></li>
<li><font size="4">
Fundamental reasoning bottlenecks persist despite larger models and better training.
</font></li>
</ul>
<h3><font size="4">Calibration</font></h3>
<p><font size="4">For context, if I had to forecast several milestones by 2030:</font></p>
<div class="gmail-TyagGW_tableContainer"><div tabindex="-1" class="gmail-group gmail-TyagGW_tableWrapper gmail-flex gmail-flex-col-reverse gmail-w-fit"><table class="gmail-w-fit gmail-min-w-(--thread-content-width)"><thead><tr><th class="gmail-last:pe-10"><font size="4">Event</font></th><th class="gmail-last:pe-10"><font size="4">Probability</font></th></tr></thead><tbody><tr><td><font size="4">AI exceeds average human on most economically useful cognitive work</font></td><td><strong><font size="4">85%</font></strong></td></tr><tr><td><font size="4">AI exceeds elite humans on most major cognitive domains</font></td><td><strong><font size="4">55%</font></strong></td></tr><tr><td><font size="4">AI meets your very demanding "essentially every objective cognitive task" definition with broad consensus</font></td><td><strong><font size="4">29%</font></strong></td></tr><tr><td><font size="4">Artificial superintelligence (far beyond the best humans at essentially all cognitive tasks)</font></td><td><strong><font size="4">10%</font></strong></td></tr></tbody></table></div></div>
<p><font size="4">The key distinction is that your definition demands not just exceptional capability but near-universal coverage, high reliability, reasonable cost, and broad scientific agreement—all within about four and a half years. Those extra requirements reduce the probability substantially compared with simpler definitions of AGI.<span class="gmail_default" style="font-family:arial,helvetica,sans-serif">"</span></font></p><p><b style="background-color:transparent;color:rgb(80,0,80)"><font face="tahoma, sans-serif"><font size="4">John K Clark    See what's on my list at  </font><font size="6"><a href="https://groups.google.com/g/extropolis" rel="nofollow" target="_blank">Extropolis</a></font></font></b></p><font size="1" color="#ffffff">ttm</font></div></div></div></div></div></div></div></div></div></div><div><br class="gmail-Apple-interchange-newline"></div><div><b><font face="tahoma, sans-serif" size="4"><br></font></b></div><div><br></div><div><div><font size="4" face="tahoma, sans-serif"><b><br></b></font></div><div><font size="4" face="tahoma, sans-serif"><b><br></b></font></div></div></div></div></div>