<div dir="auto"><div><br><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Mar 23, 2023, 7:33 PM Adrian Tymes via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div dir="ltr">On Thu, Mar 23, 2023 at 4:11 PM Jason Resch via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org" target="_blank" rel="noreferrer">extropy-chat@lists.extropy.org</a>> wrote:<br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto"><div><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Mar 23, 2023, 6:39 PM Adrian Tymes via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org" target="_blank" rel="noreferrer">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr">On Thu, Mar 23, 2023 at 1:02 PM Jason Resch via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org" rel="noreferrer noreferrer" target="_blank">extropy-chat@lists.extropy.org</a>> wrote:<br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto"><div>Others had argued on this thread that it was impossible to extract meaning from something that lacked referents. it seems you and I agree that it is possible to extract meaning and understanding from a data set alone, by virtue of the patterns and correlations present within that data.<br></div></div></blockquote><div><br></div><div>With the caveat that referents are themselves data, so if we include appropriate referents in that data set then yes.  Referents are often referenced by their correlations and matching patterns.</div></div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto">I don't understand what you are saying here.</div></div></blockquote><div><br></div><div>Do you agree that referents are data?  If not, why not?</div><div></div></div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto">What is a referent? My understanding was that according to you and Adrian, things like dictionaries and Wikipedia text lack referents since they are just bodies of text.</div><div dir="auto"><br></div><div dir="auto">My belief is that it doesn't matter. If there are scruitble patterns present in the data, then an intelligence can find them and figure out how to understand them.</div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_quote"><div><br></div><div>If they are data, then they - as data - can be included in a data set.</div><div><br></div><div>You talked about "a data set alone", without specifying what that data set was.  In other words, that there exists such a data set.</div><div><br></div><div>A data set that includes referents, is a data set that includes referents.</div></div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto">For clarity, could you give an example of a data set that includes referents? I just want to ensure we're talking about the same thing.</div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_quote"><div><br></div><div>If it is possible to extract meaning from certain referents, then it is possible to extract meaning from a data set that includes those referents - specifically by extracting meaning from those referents, regardless of what else may or may not also be in that data set.</div><div><br></div><div>This is probably not what you meant to say.  However, in practice, many data sets will include referents...even if it may take a while to find them.</div><div><br></div><div>Again I refer to the "first contact" problem.  How does someone who encounters a people speaking an utterly different language, with no pre-existing translators or translations to reference, begin to establish communication with these people? </div></div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto">I gave an example of this, assuming I happened upon a dictionary in a language I didn't recognize, I showed how you could exploit mathematical definitions to find important constants, decode the numerical system, then the periodic table, and work your way up various elements and compounds. That would provide enough of a scaffolding to work out the rest. Lke a puzzle, it gets easier with each next word that is solved.</div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_quote"><div> Obviously it is possible, as human beings have done this very thing multiple times throughout history.  Consider that, and you will have the beginnings of how an AI that may include a LLM can come to truly understand words.  By definition of the problem, the answer lies outside of just words alone - and thus, outside of what something that is just a LLM can do.</div></div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto">If you look at this paper: <a href="https://arxiv.org/pdf/2303.12712.pdf">https://arxiv.org/pdf/2303.12712.pdf</a></div><div dir="auto"><br></div><div dir="auto">You will see early versions of gpt-4, despite not yet being trained on images at the time, was still able to draw images of various objects in various graphical languages. This shows that the LLM can learn more than just words. It somehow gained an ability to picture things in its head.</div><div dir="auto"><br></div><div dir="auto">Jason </div><div dir="auto"><br></div><div dir="auto"></div></div>