<div dir="auto"><div><br><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Mar 23, 2023, 3:12 PM Adrian Tymes via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div dir="ltr">On Thu, Mar 23, 2023 at 11:59 AM Jason Resch via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org" target="_blank" rel="noreferrer">extropy-chat@lists.extropy.org</a>> wrote:<br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto"><div><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Mar 23, 2023, 2:37 PM Adrian Tymes via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org" target="_blank" rel="noreferrer">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr">On Thu, Mar 23, 2023 at 11:09 AM Jason Resch <<a href="mailto:jasonresch@gmail.com" rel="noreferrer noreferrer" target="_blank">jasonresch@gmail.com</a>> wrote:<br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto">Take all the neural impulses from the sense organs a human brain receives from birth to age 25 as a huge list of tuples in the format: (neuron id, time-stamp). This is ultimately just a list of numbers. But present in these numbers exists the capacity for a brain to learn and know everything a 25-year-old comes to learn and know about the world. If a human brain can do this from this kind of raw, untagged, "referentless" data alone, then why can't a machine?<br></div></blockquote><div><br></div><div>"A machine" can, if it is the right kind of machine.</div></div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto">Then you would agree with me that patterns and correlations alone within an unlabeled dataset are sufficient to bootstrap meaning and understanding for a sufficient intelligence?</div></div></blockquote><div><br></div><div>Again: the error comes in categorizing which kind of "sufficient intelligence".\</div></div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto">Acknowledged. Others had argued on this thread that it was impossible to extract meaning from something that lacked referents. it seems you and I agree that it is possible to extract meaning and understanding from a data set alone, by virtue of the patterns and correlations present within that data.</div><div dir="auto"><br></div><div dir="auto">I am not convinced a massive brain is required to learn meaning. My AI bots start with completely randomly weighted neural networks of just a dozen or so neurons. In just a few generations they learn that "food is good" and "poison is bad". Survival fitness tests are all that is needed for them to learn that lesson. Do their trained neural nets reach some understanding that green means good and red means bad? They certainly behave as if they have that understanding, but the only data they are given is "meaningless numbers" representing inputs to their neurons.</div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_quote"><div><br></div><div>Just because one type of AI could do a task does not mean that all AIs are capable of that task.  You keep invoking the general case, where an AI that is capable is part of a superset, then wondering why there is disagreement about a specific case, discussing a more limited subset that only contains other AIs.</div></div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto">There was a general claim that no intelligence, however great, could learn meaning from a dictionary (or other data set like Wikipedia or list of neural impulses timings) as these data "lack referents". If we agree that an appropriate intelligence can attain meaning and understanding then we can drop this point.</div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_quote"><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto"><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div class="gmail_quote"><div>A pure LLM like the ones we have been discussing is not the right kind of machine. </div></div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto">That's an assertion but you do not offer a justification. Why is a LLM not the right kind of machine and what kind of machine is needed?</div></div></blockquote><div><br></div><div>As posted previously, the right kind of machine might incorporate a LLM, but not consist only of a LLM (in other words, be a "pure LLM").  More capabilities than just a LLM are necessary.</div></div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto">Like what?</div><div dir="auto"></div><div dir="auto"><br></div><div dir="auto">Note that the type of intelligence required of a LLM is a universal kind: predicting the next symbols to follow given a sample of preceding symbols requires general and universal intelligence. ( <a href="https://static.aminer.org/pdf/PDF/000/014/009/text_compression_as_a_test_for_artificial_intelligence.pdf">https://static.aminer.org/pdf/PDF/000/014/009/text_compression_as_a_test_for_artificial_intelligence.pdf</a> ). Intelligence, ultimately, is all about prediction. See also: <a href="https://en.m.wikipedia.org/wiki/AIXI">https://en.m.wikipedia.org/wiki/AIXI</a></div><div dir="auto"><br></div><div dir="auto">There is no task requiring intelligence that a sufficiently large LLM could not learn to do as part of learning symbol prediction. Accordingly, saying a LLM is a machine that could never learn to do X, or understand Y, is a bit like someone saying a particular Turing machine could never run the program Z.</div><div dir="auto"><br></div><div dir="auto">If it's a problem that can be solved by intelligence, then the LLM architecture, given enough training and enough neurons, can learn to do it. Neural networks are themselves universal in what functions they can learn to solve: <a href="https://towardsdatascience.com/can-neural-networks-really-learn-any-function-65e106617fc6">https://towardsdatascience.com/can-neural-networks-really-learn-any-function-65e106617fc6</a></div><div dir="auto"><br></div><div dir="auto">This is why I tend to doubt claims of inability concerning these networks absent some justification. For example, if you could show the 100 trillion neurons in GPT-4s brain is not enough to understand English because understanding English requires 200 trillion neurons (for some reason), that would be something. But even then they would not say anything about the limits of the LLM architecture, just the limits of GPT-4.</div><div dir="auto"><br></div><div dir="auto">Jason </div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"></div></div>