<div dir="ltr"><span style="color:rgb(52,53,65);font-family:Söhne,ui-sans-serif,system-ui,-apple-system,"Segoe UI",Roboto,Ubuntu,Cantarell,"Noto Sans",sans-serif,"Helvetica Neue",Arial,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol","Noto Color Emoji";font-size:16px;white-space:pre-wrap;background-color:rgb(247,247,248)">You wrote to GPT:

A friend of mine says NLM or any other AI cannot understand anything without concrete referents. I disagree, which arguments could you give to support my position?

That is not actually what I am saying. It makes no difference whether the referent is "concrete" or not.  As GPT says in supposed defense of your position:<div> <span style="color:rgb(55,65,81);font-family:Söhne,ui-sans-serif,system-ui,-apple-system,"Segoe UI",Roboto,Ubuntu,Cantarell,"Noto Sans",sans-serif,"Helvetica Neue",Arial,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol","Noto Color Emoji";font-size:16px;white-space:pre-wrap;background-color:rgb(247,247,248)">They can "simulate" understanding by leveraging their knowledge of how certain words or concepts are used in different contexts.

</span><br>That's right. Language models can *simulate* understanding. It is not real understanding. It is simulated understanding. They mimic what understanding looks like objectively.<br><br>I remember writing at length on this list about 15 years ago about how the digital simulation of a thing is not the same as the thing simulated. <br><br>-gts</div><div><br></div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Mar 24, 2023 at 12:57 AM Giovanni Santostasi <<a href="mailto:gsantostasi@gmail.com">gsantostasi@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><p style="border:0px solid rgb(217,217,227);box-sizing:border-box;margin:0px 0px 1.25em;color:rgb(55,65,81);font-family:Söhne,ui-sans-serif,system-ui,-apple-system,"Segoe UI",Roboto,Ubuntu,Cantarell,"Noto Sans",sans-serif,"Helvetica Neue",Arial,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol","Noto Color Emoji";font-size:16px;white-space:pre-wrap;background-color:rgb(247,247,248)">

<span style="color:rgb(52,53,65)">A friend of mine says NLM or any other AI cannot understand anything without concrete referents. I disagree, which arguments could you give to support my position?</span>

While it is true that NLMs and other AI models do not have direct experiences or access to concrete referents like humans do, they can still demonstrate a certain level of understanding of abstract concepts. Here are some arguments to support your position:</p><ol style="border:0px solid rgb(217,217,227);box-sizing:border-box;list-style-position:initial;margin:1.25em 0px;padding:0px 0px 0px 1rem;display:flex;color:rgb(55,65,81);font-family:Söhne,ui-sans-serif,system-ui,-apple-system,"Segoe UI",Roboto,Ubuntu,Cantarell,"Noto Sans",sans-serif,"Helvetica Neue",Arial,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol","Noto Color Emoji";font-size:16px;white-space:pre-wrap;background-color:rgb(247,247,248)"><li style="border:0px solid rgb(217,217,227);box-sizing:border-box;margin:0px;padding-left:0.375em"><p style="border:0px solid rgb(217,217,227);box-sizing:border-box;margin:0px">Pattern recognition and statistical relationships: NLMs, like ChatGPT, are trained on vast amounts of text data, and they learn by recognizing patterns and statistical relationships within that data. They can generate responses that demonstrate an understanding of abstract concepts based on these patterns, even without direct experience of concrete referents.</p></li><li style="border:0px solid rgb(217,217,227);box-sizing:border-box;margin:0px;padding-left:0.375em"><p style="border:0px solid rgb(217,217,227);box-sizing:border-box;margin:0px">Contextual understanding: Through their training, NLMs develop an ability to understand context and respond appropriately to various situations. They can "simulate" understanding by leveraging their knowledge of how certain words or concepts are used in different contexts.</p></li><li style="border:0px solid rgb(217,217,227);box-sizing:border-box;margin:0px;padding-left:0.375em"><p style="border:0px solid rgb(217,217,227);box-sizing:border-box;margin:0px">Flexibility and adaptability: NLMs can adapt to new information and generate responses that take into account various factors, including the context, prior knowledge, and the specific question or statement they are responding to. This adaptability allows them to address abstract concepts and ideas, even without direct access to concrete referents.</p></li><li style="border:0px solid rgb(217,217,227);box-sizing:border-box;margin:0px;padding-left:0.375em"><p style="border:0px solid rgb(217,217,227);box-sizing:border-box;margin:0px">Success in various tasks: NLMs have shown success in a range of natural language processing tasks, such as question-answering, translation, and summarization, which involve understanding and manipulation of abstract concepts. Their ability to perform well on these tasks is evidence of their capacity to work with abstract ideas without direct access to concrete referents.</p></li></ol></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Mar 23, 2023 at 11:44 PM Gordon Swobe <<a href="mailto:gordon.swobe@gmail.com" target="_blank">gordon.swobe@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">I can already hear someone saying "but we will include photographs of objects in the training so they have referents," but this still does not do the trick. These digital photographs can be displayed to the human operator of the chatbot, but the bot itself sees only 1s and 0s, on's and off's. It can detect colors by wavelength, but still this is only digital data. It does not see the colors. Likewise with shapes. It is turtles (one's and zero's) all the way down with no referents.<br><br><div>-gts</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Mar 24, 2023 at 12:18 AM Gordon Swobe <<a href="mailto:gordon.swobe@gmail.com" target="_blank">gordon.swobe@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr">Nobody least of all me questions that GPT-4 will be capable of amazing feats, and that eventually these language models will surpass humans in terms of what we can call intelligence or what I might for sake of clarity prefer to call apparent intelligence. The question here is whether they will know what they are saying given that they are trained only on the forms of words with no access to the meanings or referents.<br><br>Adrian has made the excellent point a couple of times that this is like the first contact problem in science fiction, and actually like the first contact problem between any two cultures with completely different languages. Q: When Kirk and Spock beam down to a new planet with intelligent alien life, how will they learn to communicate? A: With referents.<br><br>Spock will point to himself and say "Spock." Kirk will point to himself and say "Kirk." Kirk will point to a rock and say "rock." Kirk and Spock use these kinds referents to initiate  communication. If our alien friend wants to communicate, he will point to the rock and "fwerasa" (or whatever is his word for rock). He will point to himself and say his name, and so on. Eventually, Spock and the alien will learn how to translate a few words, and from there the process of understanding begins.<br><br>Now, what if they don't beam down to the planet and listen to only digital radio signals coming from the planet and send digital radio signals in return? No communication is possible as there are no referents. It's all noise.<br><br>-gts</div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><br>

</blockquote></div></div>

</blockquote></div>

</blockquote></div>

</blockquote></div>