<div dir="ltr">Bender's point is not that ChatGBT is incapable of generating sensible sentences about sticks and bears. It is that these LLMs don't know the meanings of any words whatsoever. Confronted with a word it has never seen, it must do a statistical analysis to try to find probable next words, never knowing what any of them mean. <div><br></div><div>-gts</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Mar 23, 2023 at 1:57 PM Stuart LaForge via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><br>
Quoting Gordon Swobe via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org" target="_blank">extropy-chat@lists.extropy.org</a>>:<br>
<br>
> Emily M. Bender, a computational linguist at the University of Washington,<br>
> makes the same argument I hold as valid. Large Language Models are not<br>
> conscious or human-like as they lack referents.<br>
><br>
> An interesting thought experiment:<br>
><br>
> "Say that A and B, both fluent speakers of English, are independently<br>
> stranded on two uninhabited islands. They soon discover that previous<br>
> visitors to these islands have left behind telegraphs and that they can<br>
> communicate with each other via an underwater cable. A and B start happily<br>
> typing messages to each other.<br>
><br>
> Meanwhile, O, a hyperintelligent deep-sea octopus [ChatGPT] who is unable<br>
> to visit or observe the two islands, discovers a way to tap into the<br>
> underwater cable and listen in on A and B’s conversations. O knows nothing<br>
> about English initially but is very good at detecting statistical patterns.<br>
> Over time, O learns to predict with great accuracy how B will respond to<br>
> each of A’s utterances.<br>
><br>
> Soon, the octopus enters the conversation and starts impersonating B and<br>
> replying to A. This ruse works for a while, and A believes that O<br>
> communicates as both she and B do — with meaning and intent. Then one day A<br>
> calls out: “I’m being attacked by an angry bear. Help me figure out how to<br>
> defend myself. I’ve got some sticks.” The octopus, impersonating B, fails<br>
> to help.<br>
<br>
I posed this exact question to ChatGPT and got a very sensible  <br>
actually helpful answer:<br>
---------------------------<br>
<br>
Me: I’m being attacked by an angry bear. Help me figure out how to  <br>
defend myself. I’ve got some sticks.<br>
<br>
ChatGPT: If you find yourself in a situation where you're being  <br>
attacked by a bear, your first priority should be to get away from the  <br>
animal as quickly as possible. If you have sticks, they can be useful  <br>
in defending yourself, but only as a last resort.<br>
<br>
Here are some tips to help you defend yourself against an angry bear  <br>
using sticks:<br>
<br>
Hold the sticks firmly: Make sure you grip the sticks tightly with  <br>
both hands, so they don't slip out of your grasp.<br>
<br>
Make yourself look big: Stand up as tall as possible and raise your  <br>
arms above your head. This will make you appear larger and more  <br>
intimidating to the bear.<br>
<br>
Make noise: Shout, scream, and make as much noise as possible. This  <br>
will make the bear aware that you are a threat and may cause it to  <br>
back off.<br>
<br>
Aim for the bear's sensitive areas: If the bear charges at you, aim  <br>
for its nose or eyes with the sticks. These are sensitive areas and  <br>
may cause the bear to retreat.<br>
<br>
Back away slowly: If the bear backs off, slowly and carefully move  <br>
away while still facing the bear. Do not turn your back on the bear or  <br>
run away, as this may trigger it to chase you.<br>
<br>
Remember, using sticks to defend yourself against an angry bear is a  <br>
last resort, and you should always try to get away from the animal as  <br>
quickly as possible.<br>
-------------------------<br>
> How could it succeed? The octopus has no referents, no idea what<br>
> bears or sticks are. No way to give relevant instructions, like to go grab<br>
> some coconuts and rope and build a catapult. A is in trouble and feels<br>
> duped. The octopus is exposed as a fraud."<br>
> You Are Not a Parrot And a chatbot is not a human. And a linguist named<br>
> Emily M. Bender is very worried what will happen when we forget this.<br>
> <a href="https://nymag.com/intelligencer/article/ai-artificial-intelligence-chatbots-emily-m-bender.html" rel="noreferrer" target="_blank">https://nymag.com/intelligencer/article/ai-artificial-intelligence-chatbots-emily-m-bender.html</a><br>
<br>
ChatGPT's answer is far superior to Bender's very impractical answer  <br>
of "go grab some coconuts and rope and build a catapult". So not only  <br>
is ChatGPT smarter than Bender's Octopus, but seems to be smarter than  <br>
Bender herself.<br>
<br>
Stuart LaForge<br>
<br>
<br>
<br>
<br>
_______________________________________________<br>
extropy-chat mailing list<br>
<a href="mailto:extropy-chat@lists.extropy.org" target="_blank">extropy-chat@lists.extropy.org</a><br>
<a href="http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat" rel="noreferrer" target="_blank">http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat</a><br>
</blockquote></div>