<div dir="auto"><div><br><br><div class="gmail_quote gmail_quote_container"><div dir="ltr" class="gmail_attr">On Wed, Feb 11, 2026, 8:27 AM John Clark <<a href="mailto:johnkclark@gmail.com">johnkclark@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><span style="font-family:Arial,Helvetica,sans-serif">On Tue, Feb 10, 2026 at 9:21 AM Jason Resch via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org" target="_blank" rel="noreferrer">extropy-chat@lists.extropy.org</a>> wrote:</span></div></div><div class="gmail_quote"><div dir="ltr" class="gmail_attr"><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto"><div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div class="gmail_quote"><div><font size="4" face="tahoma, sans-serif"><b><span class="gmail_default" style="font-family:arial,helvetica,sans-serif">>> </span>What's surprising to me is that<span class="gmail_default"> an AI that was only trained on words can converge on ANYTHING, let alone to something congruent to the real world. If we had access to an extra terrestrial's library that was huge but contained no pictures, just 26 different types of squiggles arranged into many trillions of words, I don't see how we could ever make any sense out of it, I don't see how we could ever write a new sentence in ET's language that was not only grammatically correct but also expressed an idea that was true and non-trivial</span><span class="gmail_default">; but somehow an AI could. Don't ask me how.</span></b></font></div></div></div></blockquote></div></div><div dir="auto"><br></div></div></blockquote><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto"><div dir="auto"><i><font face="georgia, serif" size="4"><span class="gmail_default" style="font-family:arial,helvetica,sans-serif"></span><span class="gmail_default">> </span>An ideal compression of Wikipedia would require not only understanding all the grammar of our languages, but also how our minds think, and what our world looks like and how it behaves.<span class="gmail_default"> </span>Our base 10 numerical representation system would quickly fall to such compression, given all the numbered lists that so commonly appear across the site.</font></i></div></div></blockquote><div><br></div><div><font size="4" face="tahoma, sans-serif"><b>In general it's impossible to prove<span class="gmail_default"> that you're using the ideal compression algorithm on your data, </span>for all you know there might be a way<span class="gmail_default"> to compress it even more.</span></b></font></div></div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto">Not impossible, just computationally infeasible.</div><div dir="auto">For example, we can brute force determine whether we've found the shortest compression of a 40-bit string by iterating over all 2^40 strings of shorter length, then choosing the shortest.</div><div dir="auto"><br></div><div dir="auto">But the intractability of finding the ideal compression, vs. a good bit not perfect compression, doesn't undermine my point that the information is there to be extracted, all the patterns and meanings, learned, from the mere patterns in data, absent any references.</div><div dir="auto"><br></div><div dir="auto">After all, consider that the brain only gets neural spikes, from different nerves at different times. These are just symbols, bits. And yet, from these mere patterns of firings, the brain is able to construct your entire world.</div><div dir="auto"><br></div><div dir="auto">This test is no less magical than what LLMs can do from "just text". The text, like the sensory input, embodies patterns that inherit from a world of regularities. These regularities can be learned and used to predict. And having models that can be applied for prediction is all "understanding" is.</div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_quote"><div><font size="4" face="tahoma, sans-serif"><b><span class="gmail_default"> OK, I can see how you might be able to determine that a book written by ET was about arithmetic, and that some of the symbols represented integers and not letters, and that a base 10 system was used. But I don't see how you could use the same procedure to determine that another book was about chemistry unless you already had a deep understanding of how real world chemistry worked, and I don't see how you could obtain such chemical knowledge without experimentation and by just looking at sequences of squiggles. But apparently there is a way. </span></b></font></div></div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto">A student can learn a great deal from reading a chemistry text books, without ever entering a lab and taking out a beaker.</div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_quote"><div><br></div><div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><font face="georgia, serif" size="4"><i><span class="gmail_default" style="font-family:arial,helvetica,sans-serif">> </span>The periodic table could then be understood as elements containing different numbers of fundamental particles.</i></font></blockquote><div><br></div><div><font face="tahoma, sans-serif" size="4"><b>The existence of isotopes<span class="gmail_default"> would greatly complicate things, for example we know that the element Tin has 10 stable isotopes and 32 radioactive ones, they all have identical chemical properties but, because of neutrons, they all have different masses. </span></b></font></div></div></div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto">The periodic table, and Wikipedia's article on each element, lists atomic number (number of protons) in addition to atomic weights.</div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_quote"><div><div><font face="tahoma, sans-serif" size="4"><b><span class="gmail_default">I don't see how you could ever deduce that fact without experimentation if you started with nothing but a knowledge of arithmetic.</span></b></font></div></div></div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto">It is deduced from all the other information contained in the articles.</div><div dir="auto"><br></div><div dir="auto">Learning the meaning of even a few words allows understanding the meaning of many more, and so on. With those initial meanings, a dictionary allows the entire language to be bootstrapped piece by piece.</div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_quote"><div><div><font face="tahoma, sans-serif" size="4"><b><span class="gmail_default"> We obtained our knowledge of chemistry through experimentation but how did an AI, which has never observed anything except sequences of squiggles, obtain such knowledge?  </span> </b></font></div></div></div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto">From reading every book written on the subject.</div><div dir="auto"><br></div><div dir="auto">You'll ask: how did it come to understand the meaning of the words? This is what I am trying to explain in this email and the one before.</div><div dir="auto"><br></div><div dir="auto">There is no meaning other than having a mental model for the behavior and properties of a thing. Such models are necessary for prediction. We train these models to be good predictors, and that requires that the network constructs models for all the things it encounters (words, as well as objects described by those words, math, chemistry z physics, psychology, etc.)</div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_quote"><div><div><br></div><div dir="auto"><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><font size="4" face="georgia, serif"><i><span class="gmail_default" style="font-family:arial,helvetica,sans-serif">> </span>If there's an article on the "triple alpha process" the ideal compression algorithm would know that "carbon" is the most likely word that follows "three helium nuclei can combine to yield ".</i></font></blockquote><div><br></div><div><font size="4" face="tahoma, sans-serif"><b>To be able to predict <span class="gmail_default">that the</span> three alpha process<span class="gmail_default"> produces carbon</span>,<span class="gmail_default"> or even be able to predict that something called an "alpha particle" exists, you'd need to already have a deep understanding of a thing as unintuitive as Quantum Mechanics, and that would be even more difficult to obtain from first principles than knowledge of chemistry. </span></b></font></div></div></div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto">I am just talking about sentence completion here. This was a test I ran on GPT-3 when it was just a raw decoder, it successfully completed the sentence with "a carbon nucleus". But in order for it to know that, it has to have a world model that included the possible behavior of three helium nuclei.</div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_quote"><div><div><font size="4" face="tahoma, sans-serif"><b><span class="gmail_default"> Perhaps Mr. Jupiter Brain </span>could deduce the existence of the physical world<span class="gmail_default"> starting from nothing but arithmetic (but I doubt it) however it is certainly far far beyond the capability of any existing AI, so they must be using some other method. I just wish I knew what it was. </span></b></font></div></div></div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto">Are you familiar with the universal approximation theorem? Neural networks can learn any pattern (given a large enough network and enough training). So just as a Turing machine can replicate any behavior given enough time and memory, neural networks can learn any behavior given enough neurons and training. Both of these classes of universality are incredible, but true.</div><div dir="auto"><br></div><div dir="auto">Given that the patterns can be learned (by the UAT) how they learn the meanings of words and of objects of the world becomes clear, any network that has learned to predict the patterns in language well will by necessity come to understand the patterns of the world that the language describes.</div><div dir="auto"><br></div><div dir="auto">"What does it mean to predict the next token well enough? [...] It's a deeper question than it seems. Predicting the next token well means that you understand the underlying reality that led to the creation of that token."</div><div dir="auto">-- Ilya_Sutskever (of OpenAI)</div><div dir="auto"><a href="https://www.youtube.com/watch?v=YEUclZdj_Sc">https://www.youtube.com/watch?v=YEUclZdj_Sc</a></div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_quote"><div><div><font size="4" face="tahoma, sans-serif"><b><span class="gmail_default"><br></span></b></font></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><font size="4" face="georgia, serif"><i><span class="gmail_default" style="font-family:arial,helvetica,sans-serif">> </span>To compress perfectly is to understand perfectly.</i></font></blockquote><div><br></div><div><font size="4" face="tahoma, sans-serif"><b>But perfection is not possible.<span class="gmail_default"> In general, f</span>inding the "perfect" compression<span class="gmail_default">, the </span>absolute shortest representation of a piece of data<span class="gmail_default">,</span><span class="gmail_default"> </span>is an uncomputable problem.</b></font></div></div></div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto">Infeasible, not uncomputable. But this is irrelevant to my point: that data, even absent any external context, can contain meaning.</div><div dir="auto"><br></div><div dir="auto">Example:</div><div dir="auto">0010010000111111011010101000100010000101101000110000100011010011000100110001100110001010001011100000...</div><div dir="auto"><br></div><div dir="auto">It may not look meaningful to you in this form, but more would recognize:</div><div dir="auto">141592653589793238462643383279...</div><div dir="auto"><br></div><div dir="auto">It's the same number. The digits of Pi are self descriptive. Now consider this sequence appears common around terms like "circle" "radius" "diameter", and consider the web of words that surround each of those words. The meaning is all there, and can be extracted so long as the data is compressible (which is only another way of saying there exist patterns within the data ripe to be learned). Compression algorithms (even imperfect ones) depend on this.</div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto">Jason </div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_quote"><div><div><font size="4" face="tahoma, sans-serif"><b><span class="gmail_default"> By chance you might be using the best possible compression algorithm on your data, but there's no way to prove to yourself or to anybody else that you are.</span></b></font></div><div><font size="4" face="tahoma, sans-serif"><b><span class="gmail_default"><br></span></b></font></div><div><font size="4" face="tahoma, sans-serif"><b><span class="gmail_default">  John K Clark</span></b></font></div><div><br></div><div> </div></div></div></div>
</blockquote></div></div></div>