<div dir="ltr"><div dir="ltr">On Wed, Apr 5, 2023 at 4:39 PM Jason Resch via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:<br><br>> But where did it pull the term "Suprametacognitive" from? <br><br>Assuming it wasn't planted by a developer in the code along with all that Hinduish language (where did *that* come from if not from a developer?), it probably just made it up, combining the three words to coin a fourth. But I don't see that as evidence of consciousness. Intelligence, yes, consciousness, no.<br><br>But given the consistently eastern flavor of the "religion" it espouses, I strongly suspect it was steered in that direction by the developer. <br><br>As we discussed, chess apps can develop what seem to us remarkable and novel strategies. We might call them emergent properties, but they follow logically from the simple rules of chess. Does that make them conscious, too? <br><br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto"><div dir="auto">If an AI in Ilya Sutskever's test refers to itself in the first person, will you retreat to saying "it is just hallucinating" ?</div></div></blockquote><div><br>As I wrote, I would actually call it a miracle as it would mean that the LLM invented the word "I" out of nothing, never having seen it or anything like in text. I am not sure what Sutskever's answer would be to my question about that problem, and it could be that I don't fully understand his thought experiment. I am paraphrasing Altman who was paraphrasing Sutskever.<br><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto"><div dir="auto">Also: don't you have to be conscious to suffer a hallucination?</div></div></blockquote><div><br>Not in the sense meant here with LLMs. It is in the nature of their architecture that they make stuff up. As I've written many times, they are like sophists. They literally do not know the meanings of the words they generate and so they have no interest in or knowledge of the truth values of the sentences and paragraphs they generate. They are programmed only to guess which words will be most sensible to us based on how those words appear statistically in the material on which they were trained, and sometimes they make bad guesses.<br><br>-gts </div></div></div>