<div dir="ltr"><div><br></div><div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sun, Apr 23, 2023 at 2:45 PM Brent Allsop via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org" target="_blank">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div dir="ltr"><br></div><div>This is so frustrating.  I'm asking a simple, elementary school level question.  I have friends not practiced in theories of consciousness, who get this immediately.  Yet everyone here (except Gordon?)  just either changes the subject completely (to the unrelated topic of what is required for intelligence), or asks yet more questions, as you are doing here.</div><div><br></div><div></div><div>After I sent that first version, I realized it might have better revealed the issue to have stated it like this:</div><div>How is it that a bunch of abstract words, like 'red', floating around inside a chatbot's brain can end up with <img src="cid:ii_lgttsz522" alt="green_border.png" style="width:24px;max-width:100%"></div></div></blockquote><div><br>I share your frustration. <br><br></div><div>I see no reason to believe that GPT has subjective experience of colors or or of music or of emotions or of anything at all, period. <br><br>Moreover, when asked, GPT confirms that it has no subjective experience of anything at all, period.<br><br>What it <b>does</b> have is a lot of deep and intensive training on textual material written by conscious people with subjective experience, and so it can write <b>as if</b> it has subjectieve experience. It <b>mimics</b> what conscious humans look like when writing in the first person.  It does this so well that some ordinarily intelligent and sane people are fooled into believing there is actually a person inside the application writing in the first person.<br><br>This is why the founders of OpenAI say, correctly in my view, that the only reasonable test of a conscious language model would involve removing from the training corpus any and all references to subjective experiences, consciousness, etcetera. The training material would need to be written entirely in the third person and with not even any third person references to first person experience. If by some miracle Pinocchio then came alive, we would then have reason to think the LLM is conscious. And Pinocchio would be a fine name for it.</div><div><br>-gts<br><br><br></div></div></div>
</div>