<div><br></div><div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sun, Apr 16, 2023 at 2:07 PM Jason Resch via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:<br></div><div dir="ltr" class="gmail_attr"><br></div><div dir="ltr" class="gmail_attr"><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="auto"><div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_quote"><div>To ground the symbol "two" or any other number -- to truly understand that the sequence is a sequence of numbers and what are numbers -- it needs access to the referents of numbers which is what the symbol grounding problem is all about. The referents exist outside of the language of mathematics.<br></div></div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto">But they aren't outside the patterns within language and the corpus of text it has access to. </div></div></blockquote><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto">But they are. Consider a simplified hypothetical in which the entire corpus is </div><div dir="auto"><br></div><div dir="auto">“1, 2, 3, 4, Spring, Summer, Fall, Winter” and this pattern is repeated many times.</div><div dir="auto"><br></div><div dir="auto">How does the LLM know that the names of the seasons do not represent the numbers 5, 6, 7, 8? Or that the numbers 1-4 to not represent four more mysterious seasons?</div><div dir="auto"><br></div><div dir="auto">To know the difference, it must have a deeper understanding of number, beyond the mere symbolic representations of them. This is to say it must have access to the referents, to what we really *mean* by numbers independent of their formal representations.</div><div dir="auto"><br></div><div dir="auto">That is why I like the position of mathematical platonists who say we can so-to-speak “see” the meanings of numbers — the referents — in our conscious minds. Kantians say the essentially the same thing.</div><div dir="auto"><br></div><div dir="auto"><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="auto"><div dir="auto">Consider GPT having a sentence like:</div><div dir="auto"> "This sentence has five words”</div><div dir="auto"><br></div><div dir="auto">Can the model not count the words in a sentence like a child can count pieces of candy? Is that sentence not a direct referent/exemplar for a set of cardinality of five?</div></div></blockquote><div dir="auto"><br></div><div dir="auto">You seem to keep assuming a priori knowledge that the model does not have before it begins its training. How does it even know what it means to count without first understanding the meanings of numbers?</div><div dir="auto"><br></div><div dir="auto">I think you did something similar some weeks ago when you assumed it could learn the meanings of words with only a dictionary and no knowledge of the meanings of any of the words within it.</div><div dir="auto"><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="auto"><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_quote"><div dir="auto"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div class="gmail_quote"><div dir="auto"><br></div></div></div></blockquote></div></div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto">But AI can't because...?</div><div dir="auto">(Consider the case of Hellen Keller in your answer)</div></div></blockquote><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto">An LLM can’t because it has no access to the world outside of formal language and symbols, and that is where the referents that give meaning to the symbols are to be found.</div><div dir="auto"><br></div><div dir="auto">-gts</div></div></div>