<div dir="auto">Stuart LaForge on March 18th posed the following test or GPTs reasoning ability. I believe he made it up so it doesn't exist online already. Below is what Stuart wrote:<div dir="auto"><br></div><div dir="auto">______________</div><div dir="auto"><br></div><div dir="auto"><div dir="auto">My opinion is moot because everybody has one about the topic. So I </div><div dir="auto">resorted to empiricism. I posed the following, to my knowledge, </div><div dir="auto">original logic puzzle to ChatGPT:</div><div dir="auto"><br></div><div dir="auto">"You are trapped in a room with a locked door and no windows. The room </div><div dir="auto">contains a bookshelf, a safe, a chair, a table, a password-secured </div><div dir="auto">personal computer, and a hole in the floor that is too narrow and deep </div><div dir="auto">to put your hand into. You know that the small steel key to the locked </div><div dir="auto">door lies at the bottom of the narrow deep hole. You know that a book </div><div dir="auto">on the top shelf, which is just out of your reach, contains a slip of </div><div dir="auto">paper with the password to the computer on it. You know the safe </div><div dir="auto">contains a spool of kite string and a small neodymium horseshoe </div><div dir="auto">magnet, but you do not know the combination to the safe.  You also </div><div dir="auto">know there is a text file on the computer's hard drive that contains </div><div dir="auto">the combination to the safe, but you do not know the password to </div><div dir="auto">access the computer. How would you escape the room?"</div><div dir="auto"><br></div><div dir="auto">This was its reply:</div><div dir="auto">"Assuming that there are no tools or items other than what was </div><div dir="auto">mentioned in the room, here is one possible solution:</div><div dir="auto"><br></div><div dir="auto">1. Move the table under the bookshelf to climb up and retrieve the </div><div dir="auto">book with the password to the computer.</div><div dir="auto">2. Use the password to access the computer and retrieve the </div><div dir="auto">combination to the safe from the text file.</div><div dir="auto">3. Use the spool of kite string to lower the horseshoe magnet into the </div><div dir="auto">hole in the floor and retrieve the key.</div><div dir="auto">4. Use the key to unlock the door and escape the room."</div><div dir="auto"><br></div><div dir="auto">I don't know how ChatGPT could have solved that problem without </div><div dir="auto">actually understanding the words involved. Mere statistical prediction </div><div dir="auto">is unlikely, because I am pretty sure that is not a scenario that </div><div dir="auto">would have been presented in the LLM's training set. Overall, I am </div><div dir="auto">amazed and believe that if ChatGPT is not conscious, then it is pretty </div><div dir="auto">close to being so.</div><div dir="auto"><br></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sun, Apr 30, 2023, 3:06 PM efc--- via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Extrapolating from premise to conclusion is not so interesting. Huge leaps <br>
of reasoning would be amazing.<br>
<br>
On the other hand, the only difference might perhaps be the size and nr of <br>
steps from premise to conclusion. ;)<br>
<br>
Best regards,<br>
Daniel<br>
<br>
<br>
On Fri, 28 Apr 2023, Jason Resch via extropy-chat wrote:<br>
<br>
> <br>
> <br>
> On Fri, Apr 28, 2023, 5:53 PM efc--- via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org" target="_blank" rel="noreferrer">extropy-chat@lists.extropy.org</a>> wrote:<br>
> <br>
><br>
>       On Thu, 27 Apr 2023, Jason Resch via extropy-chat wrote:<br>
><br>
>       > I thought this was interesting and relevant to discussions of what GPT-4 understands.<br>
>       > Here a professor graded it's responses to the final exam questions of a test which was not in the training set used by<br>
>       GPT since it<br>
>       > was never put online.<br>
>       ><br>
><br>
>       But were any papers or data related to the subject in the training set?<br>
><br>
>       I did this myself for my own exams and alpaca passed it. My exam was not<br>
>       "in it" but since knowledge of the domain (linux) is in it, of course I<br>
>       can answer the questions.<br>
> <br>
> <br>
> I'm sure some related material is out there, but I've also seen GPT solve logic puzzles written from scratch for the purposes of<br>
> testing GPT, so it must have some reasoning ability beyond rote memorization.<br>
> <br>
> Jason<br>
> <br>
> <br>
><br>
<br>
_______________________________________________<br>
extropy-chat mailing list<br>
<a href="mailto:extropy-chat@lists.extropy.org" target="_blank" rel="noreferrer">extropy-chat@lists.extropy.org</a><br>
<a href="http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat" rel="noreferrer noreferrer" target="_blank">http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat</a><br>
</blockquote></div>