<div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote gmail_quote_container"><div dir="ltr" class="gmail_attr">On Tue, Feb 25, 2025 at 7:24 AM efc--- via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><br>
<br>
On Mon, 24 Feb 2025, Jason Resch via extropy-chat wrote:<br>
<br>
> As to how to engineer a particular outcome, if no country has a dominant<br>
> control over the computing resources necessary to train/run AI, then it is<br>
> possible it will happen naturally. But if there is a sudden leap in<br>
> capability, such that one AI system hacks all the computers and somehow shuts<br>
> out humans from reclaiming them, then there might not be a choice in the<br>
> matter. But I think in the long run, Darwinian forces are a force of nature<br>
> that applies as much to AIs and robots as it does to humans. If the AI is<br>
> recursively self-improving, then each improvement is like a next generation.<br>
> If something goes wrong along the way, (a bad mutation) that will end the line<br>
> of that AI. So the most stable courses of self improvement will involve a<br>
> population of AIs, such that in the course of developing future generations as<br>
> they recursively self-improve, there is less of a chance of a fatal misstep<br>
> that ends that particular line.<br>
<br>
I think this is a very common methodology and pattern. Products in competitive<br>
markets become better, humans competing in the game of life, converge in the<br>
best adaptation to their environment (products improvements tend to become fewer<br>
and smaller over time, and eventually more or less "settle" until a new demand<br>
or use comes into play). AI:s, working under constrained resources, against (or<br>
with?) other AI:s, would adapt and improve.<br>
<br>
> To Daniel's point, the more sophisticated the mind, the more fragile it<br>
> becomes. If this extends to AIs and superintelligence, then there might be<br>
> many failure modes for AI minds: finding a lack of will, dying of boredom,<br>
> depressive, manic, or obsessive episodes, going insane from lack of mental<br>
> stimulation, developing a hyper focused interest on some inane topic, etc.<br>
<br>
I think it will be very interesting to see if there are any natural "limits" on<br>
intelligence. An assumption is frequently that there is no limit, yet, we do not<br>
have a good understanding of intelligence, in the context of AGI.<br></blockquote><div><br></div><div>Maximum intelligence is defined by Hutter's algorithm for universal intelligence:</div><div><br></div><div><a href="http://www.hutter1.net/ai/uaibook.htm">http://www.hutter1.net/ai/uaibook.htm</a><br></div><div><br></div><div>Given some series of observations, this algorithm derives the most probable distribution of programs that could generate those observations, and then based on each, calculates a weighted expectation of utility for each viable course of action that intelligence is capable of making at that time.</div><div><br></div><div>In short, intelligence (when operating within and interacting with some environment) is simply a matter of pattern recognition (to adequately model that environment) and extrapolation (to figure out/compute) what will happen given any particular action that intelligence is capable of effecting. Note, however, that prioritization of actions in accordance with some utility function, which requires some definition of utility (a goal). Without any goals, it is impossible to act intelligently.</div><div><br></div><div>As to how close to this perfect intelligence we can physically get, there seem to be diminishing returns when more computation is thrown at it (once one gets to a certain point). There's a limit to how complex the environment is (as well as a limit to how accurately it can be measured) -- e.g., Heisenberg uncertainty. So in practice this may limit how far into the future any intelligence is capable of making reliable predictions, no matter how great its computational resources are.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
Imagine if, as you say, with increased intelligence, the probability of any of<br>
the causes you mention, increase, and there is a "max" at which the intelligence<br>
becomes useless and cut off from the world?<br></blockquote><div><br></div><div>In the <a href="https://en.wikipedia.org/wiki/Culture_series">Culture series</a>, the author writes that whenever they attempted to design perfect, or flawless AI ("<a href="https://theculture.fandom.com/wiki/Mind">Minds</a>"), they would invariably immediately "<a href="https://theculture.fandom.com/wiki/The_Sublimed">Sublime</a>" (choose to leave this universe). But they worked out that if a Mind was engineered to have some small flaw or quirk of personality, then it would not necessarily go down this path of immediate sublimation, and they could get some practical use out of it in this universe. But this also meant that a fair number of Minds were "<a href="https://theculture.fandom.com/wiki/Eccentric">Eccentric</a>" or in the worst case "Erratic."</div><div><br></div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
Then the question would obviously be, why? Can the limit be removed or<br>
circumvented? And if not, finding the "optimal" amount of intelligence.<br></blockquote><div><br></div><div>If, for example, there is some discoverable objective truth of nihilism, or negative utilitarianism, for example, or if the Buddhist conception of freeing oneself from all desires, then it could be that all superintelligences would self-destruct upon discovering this truth for themselves.</div><div><br></div><div>I don't know that such eventual discovery could be prevented while allowing the AI to remain truly intelligent.</div><div><br></div><div>Jason </div></div></div>