<div dir="ltr"><div dir="ltr">On Mon, Jan 9, 2023 at 9:06 AM Brent Allsop via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:<br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>If a robot is going to follow logic, no matter how much you teach it to claim it has qualia, you can prove to it it can't know what redness is like.</div></div></blockquote><div><br></div><div>As noted below, I think we may be using "robot" to mean different things here.  A chat bot that can not see, has no direct knowledge of redness.  Chat bots are not the only kind of robot in existence.  Indeed, despite having the word "bot" in their names, chat bots are not the first kind of thing that comes to my mind upon hearing the word "robot".<br></div><div> <br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>Perhaps you haven't seen my "<a href="https://docs.google.com/document/d/17x1F0wbcFkdmGVYn3JG9gC20m-vFU71WrWPsgB2hLnY/edit" target="_blank">I Convinced GPT-3 it Isn’t Conscious" writeup</a> where I've done this 3 times.</div></div></blockquote><div><br></div><div>I read it over.  The logs don't appear to show what you say they show.  Even the title is not correct: "I do not have consciousness in the same way that humans do" (which you referenced in your email, but I am directly quoting from the log for emphasis) is not the same as "I am not conscious".  At most, you got one of the chatbots to admit that it is only a language model, and as such does not have vision or vision-related experiences, such as perceiving red.  That is that specific instance, not all robots in general.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>Oh, and could we release chatbots into Russia, to convince Russian citizens how bad the war in Ukraine is?  Or could Putin do the same to the US and European citizens?</div></div></blockquote><div><br></div><div>There is reason to believe that Russia has been doing this for some years now.  I would hesitate to credit Putin directly, but some people in his administration may well have done so.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>I bet logical chat systems will always support the truly better side more successfully than anyone trying to get people to be bad, or non democratic.  In other words, I bet an intelligent chat bot that would help Kim Jong-un would be far more difficult than building a chat bot that supports bottom up democracy, and so on.</div></div></blockquote><div><br></div><div>I suspect you are quite right on this, at least when those chat systems are talking to rational people.  There is a problem when those systems are designed to press on things that make people irrational.  The last few lines from the chat bot in the second transcript in your paper starts to show what I mean: nonserious talking that appears to be intended more for emotional impact than logical.  Another example, mentioned elsewhere in this email thread, is the potential for religious evangelist chat bots.</div><div><br></div><div>Part of the problem is that evil is so simple to support as opposed to good.  A farmer may fear that not giving most of his crops today means his family will be made into tomorrow's publicly tortured then executed example.  This requires very little thought, as opposed to planning how to convince all the farmers in his village not to give in and thus keep the would-be thugs hungry enough that they are unable to brutalize anyone.  But note the influence of fear - not an element of rationality - in the farmer's thinking.</div><div><br></div><div>Granted, a mere chat bot that controls no physical body is no more able to wield a rifle than to experience redness.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><div dir="ltr" class="gmail_attr">On Sun, Jan 8, 2023 at 9:44 PM Adrian Tymes via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org" target="_blank">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr">On Sun, Jan 8, 2023 at 8:24 PM Brent Allsop via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org" target="_blank">extropy-chat@lists.extropy.org</a>> wrote:<br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>The AI can't know what redness is like, while we do  know, infallibly, what redness is like.</div></div></blockquote><div><br></div><div>Can't it?  By the argument you have often cited, it can't know our version of redness, but it would know its own version of redness. </div></div></div></blockquote></div><div><br></div><div>Chat bots represent red things with an abstract word like 'red' which, by design, isn't like anything  <a href="https://docs.google.com/document/d/17x1F0wbcFkdmGVYn3JG9gC20m-vFU71WrWPsgB2hLnY/edit" target="_blank">Good logical chat bots can be forced to agree with this.</a>  Are you claiming that the word 'red' somehow results in an experience of redness?</div></div></blockquote><div><br></div><div>I believe the disconnect here is what sort of AI is meant.  I refer to AI in general.  I agree that a chat bot with no visual system can not know red like we can.  However, I believe that a similar AI that included a visual system with color sensors, like the robot depicted in your red apple/green apple/machine apple image, could have its own version of redness.</div></div></div>