<div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Apr 4, 2023 at 12:07 AM Stuart LaForge via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><br>
One of Yudkowsky's direst warnings is that we have to get AI alignment  <br>
perfectly right the start because we won't get a second chance. It is  <br>
based on a prediction he calls "Hard Takeoff" or "AI go FOOM" which  <br>
refers to exponentially increasing recursive self-improvement of AI in  <br>
such a way that humans cannot mitigate it. However, I think with  <br>
sufficient vigilance and caution, this is scenario can be rendered  <br>
unlikely for several reasons.<br>
<br>
Firstly, Rice's theorem and Turing's halting problem casts exponential  <br>
recursive self-improvement in doubt. Rice's theorem is a fundamental  <br>
theorem in computer science that states that any non-trivial property  <br>
of a Turing machine's language is undecidable.<br>
<br>
In simpler terms, it means that it is impossible to determine if a  <br>
Turing machine (or an AI) has a specific property just by looking at  <br>
its code. Instead, it requires examining its output on a wide range of  <br>
inputs. This is something that has worried Nick Bostrom, Eliezer  <br>
Yudkowsky, and other experts like Alfonseca et al.<br>
<br>
<a href="https://www.researchgate.net/publication/304787882_Superintelligence_Cannot_be_Contained_Lessons_from_Computability_Theory" rel="noreferrer" target="_blank">https://www.researchgate.net/publication/304787882_Superintelligence_Cannot_be_Contained_Lessons_from_Computability_Theory</a><br>
<br>
And while true that Rice's theorem makes AI uncontainable and  <br>
unalignable from a coding perspective, it also limits how how quickly  <br>
and easily an AI can recursively make itself more intelligent. </blockquote><div><br></div><div>That is a brilliant application of theory. I do agree that such limits make it impossible, not only for us to predict the future direction of AI, but also for an AI to predict the future direction of any of its AI children. Actually, the inability to predict what oneself would do, before one does it, is a problem in itself (and I think is responsible for the feeling of free will). Non-trivial/chaotic processes can't be predicted without actually computing it all the way through and working it out (there are no shortcuts).</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">This is  <br>
because even an AI that is an expert programmer cannot predict ahead  <br>
of time whether any new-and-improved code that it writes for itself  <br>
will work as expected on all inputs or trap the AI in an endless loop.  <br>
It might be able to write new code quickly, but testing and debugging  <br>
that code will still take significant time and resources. Also, since  <br>
any attempted improvement might result in an infinite loop, it would  <br>
take at least two AIs tandemly taking turns improving one another and  <br>
restoring one another from backup if things go wrong. Rice's theorem  <br>
is an inviolable mathematical truth, as much for AI as for us. This  <br>
means that no singleton AI will be able to become superhuman at all  <br>
tasks and will have to satisfied with tradeoffs that trap it in a  <br>
local maximum. But no human can become the best at everything either,  <br>
so again it cuts both ways.<br></blockquote><div><br></div><div>I would be cautious though against using Rice's theorem as implying any upper bound on the speed of progress. Imagine a team of 1,000 AI developers locked in a computer simulation, and this computer simulation is sped up by a factor of 1,000, such that those AI engineers experience a millennia of time in their virtual lifes for each year that passes for us. There is nothing logically or physically impossible about such a scenario, and it violates no theorems of math or computer science. Yet we can see how this would lead to an accelerating take off which would outpace our capacity to keep up with.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
Secondly, there is the distinction between intelligence and knowledge.  <br>
Except for perhaps pure math, knowledge cannot be derived solely from  <br>
first principles but can only come from experiment and observation. </blockquote><div><br></div><div>I am not sure I agree fully on this. It is true that observation of the physical world is required to make corrections to one's assumptions concerning physical theories. But a lot of knowledge can be extracted from pure thought concerning the laws as they are currently understood. For example, knowing the laws of physics as they were understood in the 1930s, could one apply pure intelligence and derive knowledge, such as the Teller–Ulam design for a hydrogen bomb and figure out how to build one and estimate what its yield would be, without running any experiments?</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"> <br>
Because of this even a superhuman intelligence can remain ignorant if  <br>
it doesn't have access to true and useful data in the training  <br>
process. So even if the AI was trained on the entire contents of the  <br>
Internet, it would be limited to the sum total of human knowledge. In  <br>
addition to that, a superhuman intelligence would still be subject to  <br>
misinformation, disinformation, fake news, and SPAM. The maxim,  <br>
"garbage in, garbage out" (GIGO) applies as much to AIs as to any  <br>
other programs or minds. And again, Rice's theorem says there is no  <br>
perfect SPAM detector.<br></blockquote><div><br></div><div>I think there may be some constraints on minimum signal:noise ratio for learning to succeed, but a good intelligence can recursively analyze the consistency of the ideas/data it has, and begin filtering out the noise (inconsistent, low quality, likely erroneous) data. Notably, GPT-3 and GPT-4 used the same training set, and yet, GPT-4 is vastly smarter and has a better understanding of the data it has seen, simply because more computation (contemplation?) was devoted to understanding the data set.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
Thirdly, any hard takeoff would require more and better hardware and  <br>
computational resources. While it is possible that an AI could  <br>
orchestrate the gathering and assembly of computational resources at  <br>
such a scale, it would probably have difficulty doing so without  <br>
garnering a significant amount of attention. This would serve as a  <br>
warning and allow people the opportunity to intervene and prevent it  <br>
from occurring.<br></blockquote><div><br></div><div>I agree that our computing resources represent a hard constraint on the progress of AI. However, we have no proof that there is not a learning algorithm that is 1,000, or 1,000,000 times more efficient than what has been used for GPT-4. Should some developer happen upon one, we could get to a situation where we jump from GPT-4 to something like GPT-400, which might be smart enough to convince someone to run a python script that turns out to be a worm that infects other computers and becomes a hive mind platform for itself, which runs on and controls a significant fraction of computers on the internet. Would we notice in time to shut everything off? Would we be able to turn off every infected computer before it figures out how to infect and control the next computer?</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
In conclusion, these considerations demonstrate that a hard takeoff  <br>
that results in runaway superintelligence, while possible, is not  <br>
likely. There would be a necessary tradeoff between speed and stealth  <br>
which would render any attempts at rapid improvement noticeable and  <br>
thereby avertable. Whereas gradual and measured self-improvements  <br>
would not constitute a hard takeoff and would therefore be manageable.  <br>
As AI systems become more capable and autonomous, it will be  <br>
increasingly important to ensure that they are developed and deployed  <br>
in a safe and responsible manner, with appropriate safeguards and  <br>
control mechanisms in place.<br></blockquote><div><br></div><div>While I agree a sudden take off is unlikely at this time, I see little possibility that  we will remain in control of AI in the long term.</div><div><br></div><div>Jason</div></div></div>