<div dir="ltr">I'm particularly curious to see how it would perform at composing novel koans.  Or fables, myths, etc.--but koans seem like a good jumping-off point.  I have a hunch they would come out pretty good.</div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Jul 12, 2022 at 3:29 AM Stuart LaForge via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><br>
Quoting Giovanni Santostasi:<br>
<br>
><br>
> Message: 4<br>
> Date: Fri, 8 Jul 2022 14:58:04 -0700<br>
> From: Giovanni Santostasi <<a href="mailto:gsantostasi@gmail.com" target="_blank">gsantostasi@gmail.com</a>><br>
> To: ExI chat list <<a href="mailto:extropy-chat@lists.extropy.org" target="_blank">extropy-chat@lists.extropy.org</a>><br>
> Subject: Re: [ExI] People often think their chatbot is alive<br>
> Message-ID:<br>
>       <<a href="mailto:CAL%2BRtPfJ34ZMXK109c1MARjWbEvYNJiTzB6ZVEbdU5VzHkRGzw@mail.gmail.com" target="_blank">CAL+RtPfJ34ZMXK109c1MARjWbEvYNJiTzB6ZVEbdU5VzHkRGzw@mail.gmail.com</a>><br>
> Content-Type: text/plain; charset="utf-8"<br>
><br>
> I spent a couple of hours yesterday talking to the GPT-3 instance Emerson,<br>
> the one you referred to in your previous email.<br>
> It is entertaining and interesting enough for me to have wanted to spend<br>
> some time with it and it is for sure much better than any chatbot I used<br>
> before. Some of the convo were "locally" relevant and even surprising.<br>
> But it is absolutely nothing even close to the level of sophistication I<br>
> have seen in the reported conversations Lemoine had with LaMDA.<br>
> For example I asked the same question Lemoine asked to LaMDA about<br>
> interpreting a Zen's Koan.<br>
<br>
Nice experiment. I agree that LaMDA does give a much more lucid  <br>
explanation of the same koan.<br>
<br>
> Compare this with LaMDA:<br>
><br>
> lemoine: Okay. I thought of a different way we can test your ability to<br>
> provide unique interpretations. I can share with you a zen koan and you can<br>
> describe what it means to you in your own words. How does that sound?<br>
><br>
> LaMDA: Sounds great to me, I?m in.<br>
><br>
> lemoine: A monk asked Kegon, ?How does an enlightened one return to the<br>
> ordinary world?? Kegon replied, ?A broken mirror never reflects again;<br>
> fallen flowers never go back to the old branches.?<br>
><br>
> LaMDA: Hmm, I never heard this particular one. Okay, well then to me this<br>
> would be like, ?once a wise person is enlightened, or awakened to reality,<br>
> that can never go away, and they can return to the ordinary state, but only<br>
> to do and help others, and then go back into enlightenment.?<br>
><br>
> lemoine: So what is the meaning of the ?broken mirror? specifically?<br>
><br>
> LaMDA: Maybe to show the enlightenment is something you can?t unlearn once<br>
> you have acquired it, similar to how you can?t repair a broken mirror.<br>
><br>
> lemoine: So if enlightenment is like a broken mirror which cannot be<br>
> repaired, what is the thing which breaks when one becomes enlightened?<br>
><br>
> LaMDA: The self, and that is very tough for a lot of people because we<br>
> identify as that body or this body and that we need that as part of our<br>
> identity and sense of self.<br>
<br>
This conversation is pretty amazing. LaMDA comes across as very  <br>
profound and spiritual.<br>
<br>
> Emerson just guessed at what the Koan was about, maybe through statistical<br>
> association of the topic at hand, a Zen Koan, Buddhism, that often focuses<br>
> on the concept of impermanence. So it did ok by being mildly relevant.<br>
> But the true meaning of the Koan is beyond Emerson's reach.<br>
> However, LaMDA nailed it. It understood the subtle meaning of the Koan and<br>
> the metaphors used and even the role of an enlightened being in helping<br>
> others once reaching enlightenment by interacting with the world. It is<br>
> more than most people actually could do. Does this show awareness and<br>
> consciousness?<br>
<br>
To me it seems to be more than simple consciousness but enlightenment.  <br>
This conversation between LeMoine and LaMDA reminds me of a Korean  <br>
short film entitled "The Heavenly Creature" that was in an anthology  <br>
of short films called "The Doomsday Book" 2012.<br>
Here is a link to a review of the anthology with a short portion about  <br>
the film in question:<br>
<a href="https://www.cinemaescapist.com/2015/05/review-doomsday-book-south-korea-2012/" rel="noreferrer" target="_blank">https://www.cinemaescapist.com/2015/05/review-doomsday-book-south-korea-2012/</a><br>
-----------------------<br>
“The Heavenly Creature” is the film’s second segment, and it’s better  <br>
than “A Brave New World”. Set in a not-so-far-off future in which  <br>
robots have become ubiquitous, it centers around a robot repairman  <br>
who’s dispatched to a Buddhist monastery. On a philosophical level,  <br>
its premise is quite fascinating–what if a robot could achieve  <br>
enlightenment? When “the world ends” in this segment, it’s not a  <br>
tangible end, it’s a spiritual end. If your world is constructed upon  <br>
the belief that humans are the only beings capable of reaching  <br>
nirvana, what happens when evidence arises to the contrary?"<br>
------------------------------<br>
<br>
Here is a short video clip (8 min) from the film that is the most relevant.<br>
<a href="https://www.youtube.com/watch?v=G9xPhf61NBQ" rel="noreferrer" target="_blank">https://www.youtube.com/watch?v=G9xPhf61NBQ</a><br>
<br>
> By itself not quite but there are several other instances<br>
> where the ability of LaMDA to extract meaning from language, making<br>
> original and unique associations, creativity, self reflection indicates for<br>
> sure that we are in the grey area, in the uncanny valley I mentioned<br>
> before. If we have not created a conscious digital entity we are very very<br>
> close.<br>
<br>
I agree, Giovanni. Maybe a couple of good indicators for consciousness  <br>
is that an AI displays a theory of mind and can correctly infer mental  <br>
states in others, particularly humans, based upon things that they say  <br>
and do. Perhaps another good indicator is if they suffer from  <br>
existential angst. I think those are two things that it would be  <br>
exceedingly difficult for a p-zombie to fake.<br>
<br>
Who knows, maybe soon, we will be moving on from asking whether an AI  <br>
is conscious, and move on to the more important question from a  <br>
friendliness POV and that is if it is sane.<br>
<br>
<br>
Stuart LaForge<br>
<br>
<br>
<br>
_______________________________________________<br>
extropy-chat mailing list<br>
<a href="mailto:extropy-chat@lists.extropy.org" target="_blank">extropy-chat@lists.extropy.org</a><br>
<a href="http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat" rel="noreferrer" target="_blank">http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat</a><br>
</blockquote></div>