<div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote gmail_quote_container"><div dir="ltr" class="gmail_attr">On Wed, Feb 26, 2025 at 6:10 AM efc--- via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><br>
<br>
>       > To Daniel's point, the more sophisticated the mind, the more fragile it<br>
>       > becomes. If this extends to AIs and superintelligence, then there might be<br>
>       > many failure modes for AI minds: finding a lack of will, dying of boredom,<br>
>       > depressive, manic, or obsessive episodes, going insane from lack of mental<br>
>       > stimulation, developing a hyper focused interest on some inane topic, etc.<br>
><br>
>       I think it will be very interesting to see if there are any natural "limits" on<br>
>       intelligence. An assumption is frequently that there is no limit, yet, we do not<br>
>       have a good understanding of intelligence, in the context of AGI.<br>
> <br>
> <br>
> Maximum intelligence is defined by Hutter's algorithm for universal intelligence:<br>
> <br>
> <a href="http://www.hutter1.net/ai/uaibook.htm" rel="noreferrer" target="_blank">http://www.hutter1.net/ai/uaibook.htm</a><br>
> <br>
> Given some series of observations, this algorithm derives the most probable<br>
> distribution of programs that could generate those observations, and then<br>
> based on each, calculates a weighted expectation of utility for each viable<br>
> course of action that intelligence is capable of making at that time.<br>
<br>
I suspect that this books makes stronger claims than I would grant, but it also<br>
of course depends on the definitions. Sadly I do not have time to go through the<br>
book. =(<br></blockquote><div><br></div><div>I haven't read the book, but just that webpage provides enough information to grasp the concept of AIXI, and why no intelligence could make better decisions than it.</div><div><br></div><div>I just realized, however, that there are implicit assumptions built into this model of intelligence, namely that one exists in a reality of comprehensible (computable) laws, that such laws extend into the future, that simpler laws are preferred to more complex ones (when all else is equal). Note also, that these are the same sorts of ideas Einstein spoke of as the necessary "faith" of a scientist.</div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
>       Imagine if, as you say, with increased intelligence, the probability of any of<br>
>       the causes you mention, increase, and there is a "max" at which the intelligence<br>
>       becomes useless and cut off from the world?<br>
> <br>
> In the Culture series, the author writes that whenever they attempted to<br>
> design perfect, or flawless AI ("Minds"), they would invariably immediately<br>
> "Sublime" (choose to leave this universe). But they worked out that if a Mind<br>
> was engineered to have some small flaw or quirk of personality, then it would<br>
> not necessarily go down this path of immediate sublimation, and they could get<br>
> some practical use out of it in this universe. But this also meant that a fair<br>
> number of Minds were "Eccentric" or in the worst case "Erratic."<br>
<br>
Wonderful plot device! I like the culture series. Isn't that where they have<br>
zones of intelligence? It was many years since I last read a culture book.<br></blockquote><div><br></div><div>Hmm. I don't recall the zones of intelligence in that series..</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
>       Then the question would obviously be, why? Can the limit be removed or<br>
>       circumvented? And if not, finding the "optimal" amount of intelligence.<br>
> <br>
> If, for example, there is some discoverable objective truth of nihilism, or<br>
> negative utilitarianism, for example, or if the Buddhist conception of freeing<br>
> oneself from all desires, then it could be that all superintelligences would<br>
> self-destruct upon discovering this truth for themselves.<br>
<br>
Enlightened AI:s transcending! Sounds like a great book! =)<br></blockquote><div><br></div><div><br></div><div>It does! Also, the phrase "Enlightened AIs" brought to mind a conversation I had, with a seemingly enlightened AI: <a href="https://photos.app.goo.gl/osskvbe4fYpbK5uZ9">https://photos.app.goo.gl/osskvbe4fYpbK5uZ9</a></div><div><br></div><div>Jason</div></div></div>