<div dir="ltr"><div dir="ltr">On Thu, Mar 23, 2023 at 1:02 PM Jason Resch via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:<br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto"><div>Others had argued on this thread that it was impossible to extract meaning from something that lacked referents. it seems you and I agree that it is possible to extract meaning and understanding from a data set alone, by virtue of the patterns and correlations present within that data.<br></div></div></blockquote><div><br></div><div>With the caveat that referents are themselves data, so if we include appropriate referents in that data set then yes.  Referents are often referenced by their correlations and matching patterns.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto"><div dir="auto"><br></div><div dir="auto">I am not convinced a massive brain is required to learn meaning. My AI bots start with completely randomly weighted neural networks of just a dozen or so neurons. In just a few generations they learn that "food is good" and "poison is bad". Survival fitness tests are all that is needed for them to learn that lesson. Do their trained neural nets reach some understanding that green means good and red means bad? They certainly behave as if they have that understanding, but the only data they are given is "meaningless numbers" representing inputs to their neurons.</div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div class="gmail_quote"><div><br></div><div>Just because one type of AI could do a task does not mean that all AIs are capable of that task.  You keep invoking the general case, where an AI that is capable is part of a superset, then wondering why there is disagreement about a specific case, discussing a more limited subset that only contains other AIs.</div></div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto">There was a general claim that no intelligence, however great, could learn meaning from a dictionary (or other data set like Wikipedia or list of neural impulses timings) as these data "lack referents". If we agree that an appropriate intelligence can attain meaning and understanding then we can drop this point.</div></div></blockquote><div><br></div><div>I recall that the claim was about "no (pure) LLM", not "no (general) intelligence".</div><div><br></div><div>Also there  is  a substantial distinction between a dictionary or Wikipedia, and any list of neural impulses.  A pure LLM might only be able to consult a dictionary or Wikipedia (pictures included); a general intelligence might be able to process neural impulses.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto"><div dir="auto">There is no task requiring intelligence that a sufficiently large LLM could not learn to do as part of learning symbol prediction. Accordingly, saying a LLM is a machine that could never learn to do X, or understand Y, is a bit like someone saying a particular Turing machine could never run the program Z.</div></div></blockquote><div><br></div><div>And indeed there are some programs that certain Turing machines are unable to run.  For example, if a Turing machine contains no randomizer and no way to access random data, it is unable to run a program where one of the steps requires true randomness.  Much has been written about the limits of psuedorandom generators; I defer to that literature to establish that those are meaningfully distinct from truly random things, at least under common circumstances of significance.</div><div><br></div><div>One problem is defining when an AI has grown to be more than just a LLM.  What is just a LLM, however large, and what is not just a LLM (whether or not it includes a LLM)?</div></div></div>