<div dir="auto"><div><br><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Mar 23, 2023, 9:23 PM Giovanni Santostasi via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Gordon,<br>First of all ChatGPT is trained on the English language so it knows all the common words and probably in fact ALL words in the English language, in fact probably it knows common words in many languages including dead ones. If the the two people A and B never used the word stick it is because the exchanged a relatively small amount of information. Basically what Bender is saying is "if the training of a NLM is limited then the NLM would not know what certain words mean". Of course, that is the case. But that is the reason why ChatGPT is so superior to other NLMs, it was trained of a vast set of data. The example Bender gives applies to humans too. If I don't know the Italian language and I use the word bastone, good luck knowing it means stick. You can try to ask me to describe you bastone but I would have to use other words and if you know these words then you understand what bastone is, same thing with ChatGPT. THERE IS NO DIFFERENCE. Referents are not important in this case. Math is a language for god sake and it doesn't need any referents. In fact you can build an entire math system starting from the null set, that is not a real thing. <br></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto">Great example!</div><div dir="auto"><br></div><div dir="auto">Jason </div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><br><br><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Mar 23, 2023 at 1:25 PM Gordon Swobe via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org" target="_blank" rel="noreferrer">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Bender's point is not that ChatGBT is incapable of generating sensible sentences about sticks and bears. It is that these LLMs don't know the meanings of any words whatsoever. Confronted with a word it has never seen, it must do a statistical analysis to try to find probable next words, never knowing what any of them mean. <div><br></div><div>-gts</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Mar 23, 2023 at 1:57 PM Stuart LaForge via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org" target="_blank" rel="noreferrer">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><br>
Quoting Gordon Swobe via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org" target="_blank" rel="noreferrer">extropy-chat@lists.extropy.org</a>>:<br>
<br>
> Emily M. Bender, a computational linguist at the University of Washington,<br>
> makes the same argument I hold as valid. Large Language Models are not<br>
> conscious or human-like as they lack referents.<br>
><br>
> An interesting thought experiment:<br>
><br>
> "Say that A and B, both fluent speakers of English, are independently<br>
> stranded on two uninhabited islands. They soon discover that previous<br>
> visitors to these islands have left behind telegraphs and that they can<br>
> communicate with each other via an underwater cable. A and B start happily<br>
> typing messages to each other.<br>
><br>
> Meanwhile, O, a hyperintelligent deep-sea octopus [ChatGPT] who is unable<br>
> to visit or observe the two islands, discovers a way to tap into the<br>
> underwater cable and listen in on A and B’s conversations. O knows nothing<br>
> about English initially but is very good at detecting statistical patterns.<br>
> Over time, O learns to predict with great accuracy how B will respond to<br>
> each of A’s utterances.<br>
><br>
> Soon, the octopus enters the conversation and starts impersonating B and<br>
> replying to A. This ruse works for a while, and A believes that O<br>
> communicates as both she and B do — with meaning and intent. Then one day A<br>
> calls out: “I’m being attacked by an angry bear. Help me figure out how to<br>
> defend myself. I’ve got some sticks.” The octopus, impersonating B, fails<br>
> to help.<br>
<br>
I posed this exact question to ChatGPT and got a very sensible  <br>
actually helpful answer:<br>
---------------------------<br>
<br>
Me: I’m being attacked by an angry bear. Help me figure out how to  <br>
defend myself. I’ve got some sticks.<br>
<br>
ChatGPT: If you find yourself in a situation where you're being  <br>
attacked by a bear, your first priority should be to get away from the  <br>
animal as quickly as possible. If you have sticks, they can be useful  <br>
in defending yourself, but only as a last resort.<br>
<br>
Here are some tips to help you defend yourself against an angry bear  <br>
using sticks:<br>
<br>
Hold the sticks firmly: Make sure you grip the sticks tightly with  <br>
both hands, so they don't slip out of your grasp.<br>
<br>
Make yourself look big: Stand up as tall as possible and raise your  <br>
arms above your head. This will make you appear larger and more  <br>
intimidating to the bear.<br>
<br>
Make noise: Shout, scream, and make as much noise as possible. This  <br>
will make the bear aware that you are a threat and may cause it to  <br>
back off.<br>
<br>
Aim for the bear's sensitive areas: If the bear charges at you, aim  <br>
for its nose or eyes with the sticks. These are sensitive areas and  <br>
may cause the bear to retreat.<br>
<br>
Back away slowly: If the bear backs off, slowly and carefully move  <br>
away while still facing the bear. Do not turn your back on the bear or  <br>
run away, as this may trigger it to chase you.<br>
<br>
Remember, using sticks to defend yourself against an angry bear is a  <br>
last resort, and you should always try to get away from the animal as  <br>
quickly as possible.<br>
-------------------------<br>
> How could it succeed? The octopus has no referents, no idea what<br>
> bears or sticks are. No way to give relevant instructions, like to go grab<br>
> some coconuts and rope and build a catapult. A is in trouble and feels<br>
> duped. The octopus is exposed as a fraud."<br>
> You Are Not a Parrot And a chatbot is not a human. And a linguist named<br>
> Emily M. Bender is very worried what will happen when we forget this.<br>
> <a href="https://nymag.com/intelligencer/article/ai-artificial-intelligence-chatbots-emily-m-bender.html" rel="noreferrer noreferrer" target="_blank">https://nymag.com/intelligencer/article/ai-artificial-intelligence-chatbots-emily-m-bender.html</a><br>
<br>
ChatGPT's answer is far superior to Bender's very impractical answer  <br>
of "go grab some coconuts and rope and build a catapult". So not only  <br>
is ChatGPT smarter than Bender's Octopus, but seems to be smarter than  <br>
Bender herself.<br>
<br>
Stuart LaForge<br>
<br>
<br>
<br>
<br>
_______________________________________________<br>
extropy-chat mailing list<br>
<a href="mailto:extropy-chat@lists.extropy.org" target="_blank" rel="noreferrer">extropy-chat@lists.extropy.org</a><br>
<a href="http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat" rel="noreferrer noreferrer" target="_blank">http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat</a><br>
</blockquote></div>
_______________________________________________<br>
extropy-chat mailing list<br>
<a href="mailto:extropy-chat@lists.extropy.org" target="_blank" rel="noreferrer">extropy-chat@lists.extropy.org</a><br>
<a href="http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat" rel="noreferrer noreferrer" target="_blank">http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat</a><br>
</blockquote></div>
_______________________________________________<br>
extropy-chat mailing list<br>
<a href="mailto:extropy-chat@lists.extropy.org" target="_blank" rel="noreferrer">extropy-chat@lists.extropy.org</a><br>
<a href="http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat" rel="noreferrer noreferrer" target="_blank">http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat</a><br>
</blockquote></div></div></div>