<div><br></div><div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Mar 27, 2023 at 12:04 AM Jason Resch via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:</div><div dir="ltr" class="gmail_attr"><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;padding-left:1ex;border-left-color:rgb(204,204,204)"><div dir="auto"><div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;padding-left:1ex;border-left-color:rgb(204,204,204)"><div dir="ltr"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;padding-left:1ex;border-left-color:rgb(204,204,204)"><div dir="auto"><div dir="auto">If that's true, how then does the LLM come to learn the spatial meaning of a word like 'down' when all the model encounters are "meaningless symbols" which are themselves only defined in terms of other "meaningless symbols" ad infinitum?</div></div></blockquote><div><br>It never learns those meanings, but because it understands the grammatical (syntactic) relationships  between the symbols,</div></div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto">But appropriately constructing a mathematical object suggests it has semantic meaning, does it not?</div></div></blockquote><div dir="auto"><br></div><div dir="auto">It certainly gives us that impression, but on careful analysis of what is actually going on, we can see that is the human operator who attributes meaning to those symbols. GPT is merely very good at arranging them in patterns that have meaning to *us*. </div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto">-gts</div></div></div>