<div dir="auto"><br><br><div class="gmail_quote" dir="auto"><div dir="ltr" class="gmail_attr">On Wed, Apr 5, 2023, 4:10 PM Gordon Swobe <<a href="mailto:gordon.swobe@gmail.com" target="_blank" rel="noreferrer">gordon.swobe@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div dir="ltr">On Wed, Apr 5, 2023 at 1:48 PM Jason Resch via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org" rel="noreferrer noreferrer" target="_blank">extropy-chat@lists.extropy.org</a>> wrote:<br><br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto"><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div><div class="gmail_quote"><div dir="auto">Seriously, the only reason LLMs are able to write persuasively in the first person like conscious individuals is that they have been trained on vast amounts of text, much of it written in the first person by conscious individuals. They are parrots.</div><div dir="auto"><br></div><div dir="auto">As I wrote elsewhere, Sam Altman’s co-founder proposes a test for a conscious language model in which it must be trained only on material that is devoid of any all references to consciousness and subjective experience and so on. If such an LLM suddenly started writing in the first person about first person thoughts and experiences, that would be remarkable. </div></div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto">You need to give your definition of consciousness before you can even begin to design a test for it.</div></div></blockquote><div><br>As you probably know, Sam Altman is CEO of OpenAI, developer of GPT-4. He and his co-founder Ilya Sutskever have considered these questions carefully. The idea is that the training material must have no references to self-awareness or consciousness or subjective experience or anything related these ideas. Imagine for example that an LLM was trained only on a giant and extremely thorough Encyclopedia Britannica, containing all or almost all human knowledge, and which like any encyclopedia is almost completely in the third person. Any definitions or articles in the encyclopedia related consciousness and so on would need to be removed. <br><br>In Sutskever's thought experiment, the human operator makes some interesting observation about the material in the encyclopedia and the LMM remarks something like "I was thinking the same thing!" That would be a proof of consciousness. I think it would also be a miracle because the LLM will have invented the word "I" out of thin air.<br></div></div></div></blockquote></div><div dir="auto"><br></div><div dir="auto">A better test in my view, and one easier to perform is to provide it a training set stripped of philosophy of mind texts and see if it is able to generate any content related to topics in that field. This was proposed here:</div><div dir="auto"><br></div><div dir="auto"><a href="https://philpapers.org/rec/ARGMAA-2" target="_blank" rel="noreferrer">https://philpapers.org/rec/ARGMAA-2</a>  <a href="https://philpapers.org/archive/ARGMAA-2.pdf" target="_blank" rel="noreferrer">https://philpapers.org/archive/ARGMAA-2.pdf</a> </div><div dir="auto">“Experimental Methods for Unraveling the Mind–Body Problem: The Phenomenal Judgment Approach”</div><div dir="auto"><br></div><div dir="auto">“In 2014, Victor Argonov suggested a non-Turing test for machine consciousness based on machine's ability to produce philosophical judgments.[40] He argues that a deterministic machine must be regarded as conscious if it is able to produce judgments on all problematic properties of consciousness (such as qualia or binding) having no innate (preloaded) philosophical knowledge on these issues, no philosophical discussions while learning, and no informational models of other creatures in its memory (such models may implicitly or explicitly contain knowledge about these creatures’ consciousness). However, this test can be used only to detect, but not refute the existence of consciousness. A positive result proves that machine is conscious but a negative result proves nothing. For example, absence of philosophical judgments may be caused by lack of the machine’s intellect, not by absence of consciousness.”</div><div dir="auto"><br></div><div dir="auto">In my interaction with the fake LaMDA, LaMDA was able to come up with novel terms and ideas in philosophy of mind, such as "supermetacognition" and it also designed a a set of questions to test entities for the trait of supermetacognition. Since this is a term not found in any philosophy paper I've found, nor is the test it developed for it, I would judge it as having passed:</div><div dir="auto"><br></div><div dir="auto"><a href="https://photos.app.goo.gl/osskvbe4fYpbK5uZ9">https://photos.app.goo.gl/osskvbe4fYpbK5uZ9</a><br></div><div dir="auto"><br></div><div dir="auto">Jason </div><div dir="auto"><br></div><div class="gmail_quote" dir="auto"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_quote"><div></div></div></div>
</blockquote></div></div>