<div dir="auto"><div><br><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sun, Jun 30, 2024, 1:03 PM Adrian Tymes via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="auto"><div>Setting aside whether Moore's Law will continue, exponential growth in hardware does not necessarily mean exponential growth in software.  ChatGPT running twice as fast or having twice as much memory does not make it twice as good by itself, using the functionality measure of "good" that most of the public is using for AI.<br></div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto">I agree that our subjective "measure of good" does not necessarily follow the amount of computation resources that goes into something.</div><div dir="auto"><br></div><div dir="auto">For example, with weather prediction, or the prediction of any chaotic system, an exponential increase in comoutational resources and data collection will yield only a linear improvement in capability. For example, we might only get one extra day farther out of prediction if we 10X our weather prediction system.</div><div dir="auto"><br></div><div dir="auto">Intelligence, so far as it is related to predicting the future, could be seen as such an example. A super intelligent AI, with 1000X the human brain's computational power, would not be able to accurately predict the future much further out than a human could.</div><div dir="auto"><br></div><div dir="auto">All that said, I have another point to make with regards to what you said about software. In the case of AI, where the software develops itself via training, I don't think that software is a bottleneck to progress in AI.</div><div dir="auto"><br></div><div dir="auto">I recently wrote the following in a different discussion list about the progress in AI, and I think it would be useful to share here:</div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto">I also see it as surprising that through hardware improvements alone, and without specific breakthroughs in algorithms, we should see such great strides in AI. But I also see a possible explanation. Nature has likewise discovered something, which is relatively simple in its behavior and capabilities, yet, when aggregated into ever larger collections yields greater and greater intelligence and capability: the neuron.</div><div dir="auto"><br></div><div dir="auto">There is relatively little difference in neurons across mammals. A rat neuron is little different from a human neuron, for example. Yet a human brain has several thousand times more of them than a mouse brain does, and this difference in scale, seems to be the only meaningful difference between what mice and humans have been able to accomplish.</div><div dir="auto"><br></div><div dir="auto">Deep learning, and the progress in that field, is a microcosm of this example from nature. The artificial neuron is proven to be "a universal function learner." So the more of them there are aggregated together in one network, the more rich and complex functions they can learn to approximate. Humans no longer write the algorithms these neural networks derive, the training process comes up with them. And much like the algorithms implemented in the human brain, they are in a representation so opaque and so complex that they escape our capacity to understand them.</div><div dir="auto"><br></div><div dir="auto">So I would argue, there have been massive breakthroughs in the algorithms that underlie the advances in AI, we just don't know what those breakthroughs are.</div><div dir="auto"><br></div><div dir="auto">These algorithms are products of systems which have (now) trillions of parts. Even the best human programmers can't know the complete details of projects with around a million lines of code (nevermind a trillion).</div><div dir="auto"><br></div><div dir="auto">So have trillion-parameter neural networks unlocked the algorithms for true intelligence? How would we know once they had?</div><div dir="auto"><br></div><div dir="auto">Might it happen at 100B, 1T, 10T, or 100T parameters? I think the human brain, with its 600T connections might signal an upper bound for how many are required, but the brain does a lot of other things too, so the bound could be lower.</div><div dir="auto"><br></div><div dir="auto">Note that there has been no great breakthrough in solving how human neurons learn. We're still using the same method of back propagation invented in the 1970s, using the same neuron model of the 1960s. Yet, simply scaling this same old approach up, with more training data and training time, with more neurons arranged in more layers, has yielded all the advances we've seen: image and video generators, voice cloning, language models, go, poker, chess, Atari, and StarCraft master players, etc.</div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto">So it seems to me, at this point, that hardware is the only impediment to future progress in creating more intelligent systems.</div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto">Jason </div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="auto"><div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sun, Jun 30, 2024, 11:58 AM efc--- via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org" target="_blank" rel="noreferrer">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hello everyone,<br>
<br>
Thought you might enjoy this take on AI:<br>
<br>
<a href="https://techcrunch.com/2024/06/29/mit-robotics-pioneer-rodney-brooks-thinks-people-are-vastly-overestimating-generative-ai/" rel="noreferrer noreferrer noreferrer" target="_blank">https://techcrunch.com/2024/06/29/mit-robotics-pioneer-rodney-brooks-thinks-people-are-vastly-overestimating-generative-ai/</a><br>
<br>
"Brooks adds that there’s this mistaken belief, mostly thanks to Moore’s <br>
law, that there will always be exponential growth when it comes to <br>
technology — the idea that if ChatGPT 4 is this good, imagine what ChatGPT <br>
5, 6 and 7 will be like. He sees this flaw in that logic, that tech <br>
doesn’t always grow exponentially, in spite of Moore’s law".<br>
<br>
More in the article above.<br>
<br>
Best regards,<br>
Daniel<br>
<br>
_______________________________________________<br>
extropy-chat mailing list<br>
<a href="mailto:extropy-chat@lists.extropy.org" rel="noreferrer noreferrer" target="_blank">extropy-chat@lists.extropy.org</a><br>
<a href="http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat" rel="noreferrer noreferrer noreferrer" target="_blank">http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat</a><br>
</blockquote></div></div></div>
_______________________________________________<br>
extropy-chat mailing list<br>
<a href="mailto:extropy-chat@lists.extropy.org" target="_blank" rel="noreferrer">extropy-chat@lists.extropy.org</a><br>
<a href="http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat" rel="noreferrer noreferrer" target="_blank">http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat</a><br>
</blockquote></div></div></div>