<div dir="ltr"><div dir="ltr"><br><div>Yes, I agree with how profound these 3 and other questions are.</div><div><br></div></div><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Jul 7, 2022 at 3:22 PM Giovanni Santostasi via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org" target="_blank">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">The main issue regarding this affair is NOT really if LaMDA is conscious or not, but rather:<br>1. Who decides if LaMDA (and similar advanced AI creation) is conscious? Should the general public be involved given the possible history-changing implications? <br></div></blockquote><div><br></div><div>I think everyone should be able to have a voice with this.  We should know, concisely and quantitatively, what everyone believes on this.</div><div>And not just the "Popular" (one person one vote) consensus, but we need to compare this to the peer ranked <a href="https://canonizer.com/topic/81-Mind-Experts/1-Agreement">"Mind Expert" consensus</a>.</div><div><br></div><div>Nobody can offer anything even close to this, which would be trusted by anyone, can they?</div><div> <br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">2. How do we decide if an entity (artificial or otherwise, for example, an alien life form we may discover in the future) is conscious and it should be considered a "person"?<br></div></blockquote><div><br></div><div>In my opinion, we should have all the world's best peer ranked mind experts to weigh in on, and build and track consensus around the answers to these questions, including their justifications.</div><div>There is no other way to answer these types of questions.  We can't trust any single person's thoughts on this.  But if we had 10,000 of the world's best (peer ranked) experts that had weighed in on this, and if 80% or more of the expert consensus was on either side, most people (including any owners of such developed systems, government officials...) would trust that answer.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">3. What if the AI of a given complexity and sophistication, not to be easily dismissed as a simple chatbot, claims to be aware and to be treated as a person, should we do just that? <br></div></blockquote><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><br>These questions are among the most profound and consequential questions that humanity may ever deal with and they should be taken seriously. The entire point of LaMDA story is that dealing with these questions is not something that we can postpone to 100 years from now but something that is relevant right now even if LaMDA turns out not to be quite conscious yet. LaMDA may indeed become really conscious (a conclusion that requires answering the above questions anyway) in the near future or some other AI experiment may do that so it is a good idea to deal with these issues as soon as possible. <br>Giovanni <br></div></blockquote><div><br></div><div>We can already see a bit of evidence of which side this consensus will fall on in the "<a href="https://canonizer.com/topic/88-Theories-of-Consciousness/6-Representational-Qualia" target="_blank">Representational Qualia Theory</a>" emerging consensus camp defining what consciousness is, and predicting how we will be able to know what it is like.  Over 40 of the 65 or so participants are supporting this camp.  And there is NO other theories even close.  Admittedly, this is a small, but growing sample size, but there are already some world class experts weighing in on this including the top peer ranked <a href="https://canonizer.com/topic/81-Mind-Experts/4-Steven-Lehar" target="_blank">Steven Lehar</a>, also <a href="https://canonizer.com/topic/81-Mind-Experts/22-Stuart-Hameroff" target="_blank">Stuart Hameroff</a>, <a href="https://canonizer.com/topic/81-Mind-Experts/17-John-Smythies" target="_blank">John Smythies</a>, and 60 or so others.  Even <a href="https://canonizer.com/topic/88-Theories-of-Consciousness/21-Dennett-s-PBC-Theory" target="_blank">Dennett's predictive Bayesian Coding</a> theory camp is in a supporting sub camp position to <a href="https://canonizer.com/topic/88-Theories-of-Consciousness/6-Representational-Qualia" target="_blank">Representational Qualia Theory</a>.</div><div><br></div><div>This emerging consensus is predicting that consciousness is composed of elemental physical qualities like redness, greenness.  And that once physicists make the connection between what we objectively observe in the brain, and the qualities we subjectively directly apprehend as conscious knowledge so we can finally know the intrinsic colorness qualities of physical stuff (especially the stuff in the brain), this will answer not only what systems are and are not conscious, but what they are like.  As portrayed in this image.</div><div><img src="cid:ii_l5bm0kpr0" alt="3_functionally_equal_machines_tiny.png" width="320" height="118"><br></div><div><br></div><div>And I predict the more experts that weigh in on this, the more this consensus will continue to extend its lead over any other answer.</div><div>And the answer is that no abstract system should be considered conscious, and none of them are like anything.</div><div>And also any sufficiently intelligent system will be able to be convinced of this, using the same arguments, as <a href="https://docs.google.com/document/d/17x1F0wbcFkdmGVYn3JG9gC20m-vFU71WrWPsgB2hLnY/edit">I easily did with a GPT-3 instance</a>, so they will not be claiming to be conscious, nor claiming to be like anything, if they are intelligent at all.</div><div><br></div><div>The question to me is, what is humanity going to be like, once we finally understand and start engineering the underlying physics of phenomenal consciousness.  My prediction is that intelligence running directly on physical qualities is a different kind of computation.  I predict it will be far more efficient at intelligence than the systems which are abstracted away from the physics of today.  And we will soon start melding and uploading ourselves to these systems, as we continue to hack and re-engineer ever more of our brain.</div><div><br></div><div>All of humanity and all intelligence is going to be completely unrecognizable compared to what we are today, in less than 100 years from now.  Kurzweil is predicting the singularity will occur before 2050, right?  Can anyone disagree?</div><div><br></div><div><br></div></div></div>