<div dir="ltr"><div dir="ltr">On Thu, Apr 6, 2023 at 5:51 AM Jason Resch via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:<br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto"><div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Are you familiar with Leibniz's Giant Mill thought experiment? Consciousness isn't something we can see like a glowing orb. We can only ever infer it from clues of behavior.<br></div></div></div><div dir="auto"><br></div><div dir="auto">Given that, Ilis there any behavior that a machine could demonstrate that would convince you it is conscious? If so, what is that behavior?</div></div></blockquote><div><br>Good question. In the old days, people made a distinction between strong AI and weak AI, where a strong AI was taken to mean conscious like a human and a weak AI was taken to mean unconscious, but with the appearance of consciousness.  I have always maintained that weak AI so defined is possible. <br><br>Somewhere along the line, the language changed. Strong AI no longer means conscious, necessarily, and people with possibly dubious motives popularized the slippery term "sentient," which according to Webster could mean conscious or unconscious. We also have the term AGI.<br><br>In any case, I think it might be impossible to know the difference from behavior alone. This means that for people who believe the same, we have no recourse but theoretical arguments which is the sort of thing we do here on ExI. <br><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto"><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr">As we discussed, chess apps can develop what seem to us remarkable and novel strategies. We might call them emergent properties, but they follow logically from the simple rules of chess. Does that make them conscious, too? <br></div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto">I don't think the strategies imply consciousness. I think consciousness is implied by something much simpler: it's demonstrated awareness of certain information.</div><div dir="auto"><br></div><div dir="auto">For example, by playing chess I think it demonstrates that something within that chess playing system exists an awareness (consciousness) of the chess board and layout of the pieces.</div></div></blockquote><div><br>Glad I asked you that question and I am surprised as a week or two ago you agreed with me that consciousness entailed the capacity to hold something consciously in mind. I doubt you really believe that about chess software. Or do you?<br> <br><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto"><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div class="gmail_quote"><div>As I wrote, I would actually call it a miracle as it would mean that the LLM invented the word "I" out of nothing, never having seen it or anything like in text. I am not sure what Sutskever's answer would be to my question about that problem, and it could be that I don't fully understand his thought experiment. I am paraphrasing Altman who was paraphrasing Sutskever.<br></div></div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto">I don't think it would use the word "I", but I think it could come up with a third person reflexive description of itself, e.g. as "that process which generates the responses that appear between the prompts.</div></div></blockquote><div><br>That's an interesting thought. <br><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto"><div dir="auto">I think you should watch this clip:</div><div dir="auto"><br></div><div dir="auto"><a href="https://twitter.com/bio_bootloader/status/1640512444958396416?t=MlTHZ1r7aYYpK0OhS16bzg&s=19" target="_blank">https://twitter.com/bio_bootloader/status/1640512444958396416?t=MlTHZ1r7aYYpK0OhS16bzg&s=19</a></div><div dir="auto"><br></div><div dir="auto">If you disagree with him, could you explain why and how he is wrong?</div></div></blockquote><div><br>That is Sutskever, as I suppose you know. <br><br>"what does it mean to predict the next token well enough? ... it means that you understand the underlying reality that led to the creation of that token" <br><br>Do I agree with that? It depends on what he means by understanding and I gather that he is not thinking in terms of conscious understanding, which is to me the important question. Lots of extremely complex and what I would call intelligent behavior happens unconsciously in the world. The human immune system is amazing, for example, but I doubt it knows consciously what it is doing.<br><br>-gts<br><br></div></div></div>