<div dir="auto"><div><br><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Apr 5, 2023, 5:42 PM Gordon Swobe <<a href="mailto:gordon.swobe@gmail.com" target="_blank" rel="noreferrer">gordon.swobe@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div dir="ltr">On Wed, Apr 5, 2023 at 2:44 PM Jason Resch via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org" rel="noreferrer noreferrer" target="_blank">extropy-chat@lists.extropy.org</a>> wrote:<br><br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto"><div dir="auto">A better test in my view, and one easier to perform is to provide it a training set stripped of philosophy of mind texts and see if it is able to generate any content related to topics in that field. This was proposed here:</div><div dir="auto"><br></div><div dir="auto"><a href="https://philpapers.org/rec/ARGMAA-2" rel="noreferrer noreferrer noreferrer" target="_blank">https://philpapers.org/rec/ARGMAA-2</a>  <a href="https://philpapers.org/archive/ARGMAA-2.pdf" rel="noreferrer noreferrer noreferrer" target="_blank">https://philpapers.org/archive/ARGMAA-2.pdf</a> </div><div dir="auto">“Experimental Methods for Unraveling the Mind–Body Problem: The Phenomenal Judgment Approach”</div><div dir="auto"><br></div><div dir="auto">“In 2014, Victor Argonov suggested a non-Turing test for machine consciousness based on machine's ability to produce philosophical judgments.[40] He argues that a deterministic machine must be regarded as conscious if it is able to produce judgments on all problematic properties of consciousness (such as qualia or binding) having no innate (preloaded) philosophical knowledge on these issues, no philosophical discussions while learning, and no informational models of other creatures in its memory (such models may implicitly or explicitly contain knowledge about these creatures’ consciousness). However, this test can be used only to detect, but not refute the existence of consciousness. A positive result proves that machine is conscious but a negative result proves nothing. For example, absence of philosophical judgments may be caused by lack of the machine’s intellect, not by absence of consciousness.”</div><div dir="auto"><br></div><div dir="auto">In my interaction with the fake LaMDA, LaMDA was able to come up with novel terms and ideas in philosophy of mind, such as "supermetacognition" and it also designed a a set of questions to test entities for the trait of supermetacognition. Since this is a term not found in any philosophy paper I've found, nor is the test it developed for it, I would judge it as having passed:</div><div dir="auto"><br></div><div dir="auto"><a href="https://photos.app.goo.gl/osskvbe4fYpbK5uZ9" rel="noreferrer noreferrer" target="_blank">https://photos.app.goo.gl/osskvbe4fYpbK5uZ9</a></div></div></blockquote><div><br>Wow that dialogue you had with the fake LaMDA is pretty wild!</div></div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto">Yes. It gave me the distinct impression that I was communicating with a superior intelligence. I grilled it on many deep philosophical problems, problems on which philosophers hold differing perspectives, and I found that in nearly all cases it gave answers superior to one's I could have given.</div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_quote"> But I would not judge it as having passed anything. First, I doubt it meets the requirement of "having no innate (preloaded) philosophical knowledge on these issues, no philosophical discussions while learning, and no informational models of other creatures in its memory (such models may implicitly or explicitly contain knowledge about these creatures’ consciousness)." </div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto">But where did it pull the term "Suprametacognitive" from? A Google search of that term came up empty. <a href="https://www.google.com/search?q=%22Suprametacognitive%22" target="_blank" rel="noreferrer">https://www.google.com/search?q=%22Suprametacognitive%22</a></div><div dir="auto">Or the idea for a "Suprametacognitive Turing test" as well as entirely novel questions to use in this test? Doesn't it need a theory of mind to come up with the questions to test for the presence of another mind having a similar degree of understanding? Can we not, from this, conclude that it is generating novel results in philosophy of mind?</div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_quote">And even if it does, I think it is just making stuff up. In case you haven't heard, LLMs hallucinate all sorts of things and this is a major problem.<br></div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto">If an AI in Ilya Sutskever's test refers to itself in the first person, will you retreat to saying "it is just hallucinating" ?</div><div dir="auto"><br></div><div dir="auto">Also: don't you have to be conscious to suffer a hallucination?</div><div dir="auto"><br></div><div dir="auto">Jason </div></div>