<div dir="auto"><div><br><br><div class="gmail_quote gmail_quote_container"><div dir="ltr" class="gmail_attr">On Tue, Sep 1, 2026, 3:50 PM John Clark via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><font size="4" face="tahoma, sans-serif"><b>Gödel Escher Bach by Douglas Hofstadter is one of my all-time favorite books, it and Drexler's Engines Of Creation have done the most in shaping my current worldview, but the huge advance in AI made during the last 3 to 4 years <span class="gmail_default">have</span> made it clear that many of the ideas expressed in Hofstetter's book are just wrong, and I think even Hofstetter would now admit that. Quantum computing expert Scott Aaronson talks about this in a recent post<span class="gmail_default">:</span></b></font><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><span style="color:rgb(16,21,23);font-family:-apple-system,system-ui,blinkmacsystemfont,"Segoe UI",Roboto,Oxygen-Sans,Ubuntu,Cantarell,"Helvetica Neue",sans-serif;font-size:16px"><br></span></div><font size="4"><span class="gmail_default" style="font-family:arial,helvetica,sans-serif"><b><i>"</i></b></span><b><i>A central thesis that many readers, including me, took from Douglas Hofstadter’s Gödel Escher Bach when young was that the secret of intelligence (and therefore, of AI) was going to have a lot to do with self-referentiality and “strange loops.”</i><span class="gmail_default" style="font-family:arial,helvetica,sans-serif"><i> </i>[...]<i> </i></span><i>LLMs’ ability to talk about themselves popped out as a byproduct of their ability to talk about anything in the discourse universe they were trained on.<u> The big, old ideas about intelligence that ended up basically vindicated were the ideas about how intelligence is about prediction, and prediction is about compression, and compression is about finding better and better upper bounds on Kolmogorov complexity. Not the self-reference stuff</u>.</i><span class="gmail_default" style="font-style:italic;font-family:arial,helvetica,sans-serif"> </span><span class="gmail_default" style="font-family:arial,helvetica,sans-serif">[...]</span><span class="gmail_default" style="font-style:italic;font-family:arial,helvetica,sans-serif"> </span><i>The idea that you’d need explicit self-referentiality before you could get convincing and world-changing conversational intelligence? Let it be buried in a Westminster Abbey or Arlington National Cemetery for the most important wrong ideas in human history — geocentrism, Aristotle’s teleological physics, aether, phlogiston, Freud’s psychology, Marx’s prediction of a workers’ uprising followed by a classless utopia, etc. But buried it needs to be</i><span class="gmail_default" style="font-style:italic;font-family:arial,helvetica,sans-serif">."</span></b></font></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto">I never viewed Hofstadter's strange loops as being necessary for nor central to intelligence. Rather in my readings of G.E.B. I see self-reference and strange loops as the origin of mysteries of the "I" and central to the understanding of how things like free will emerge when the direction of causality gets twisted in strange ways (generally up from low levels influencing higher levels) but then becoming "strange" when high levels in that hierarchy reach back down to influence the low levels again, creating what Hofstadter called a "tangled hierarchy".</div><div dir="auto"><br></div><div dir="auto">Tangled hierarchies are important in both the brain (I can tell you to blink, and your high level thoughts reach back down to influence low level motor neurons) and likewise for a LLM to think or generate more than a token of text, it too just loop back around to send its highest level output back down to the low levels.</div><div dir="auto"><br></div><div dir="auto">Here are some quotes I think are relevant from Hofstadter and others on this:</div><div dir="auto"><br></div><div dir="auto">"Our thoughts seem to run about in their own space, creating new thoughts and modifying old ones, and we never notice any neurons helping us out! But that is to be expected. We can’t. […]</div><div dir="auto">We should remember that physical law is what</div><div dir="auto">makes it all happen–way, way down in neural nooks and crannies which are too remote for us to reach with our high-level introspective probes."</div><div dir="auto">— Douglas Hofstadter in “Gödel, Escher, Bach” (1979)</div><div dir="auto"><br></div><div dir="auto">This points out that we are as ignorant of what our own neurons are doing as LLMs are ignorant of what their own low level activations and weights are doing. Minds, being high level phenomena, will generally lack access and introspection to the low levels supporting them.</div><div dir="auto"><br></div><div dir="auto">"Gödel’s Theorem follows from a consequence of the general fact: I am trapped inside myself and therefore can’t see how other systems see me. Thus the objectivity-subjectivity dilemmas that Nagel has sharply posed are somehow related to epistemological problems in both mathematical logic, and as we saw earlier, the foundations of physics."</div><div dir="auto">— Douglas Hofstadter and Daniel Dennett in “The Mind’s I” (1981)</div><div dir="auto"><br></div><div dir="auto">I think this insight is powerful. It extends the known mathematical limits of self reference to explain the incommunicability and unknowability of the qualia of other systems. In other words, self reference (and it's limitations) answer Nagel's question of why he cannot know what it is like to be a bat, unless he is a bat, but then he is no longer Nagel. So Nagel (the system) is trapped in itself, and thus cannot access bat-like knowledge.</div><div dir="auto"><br></div><div dir="auto">"In order to deal with the full richness of the</div><div dir="auto">brain/mind system, we will have to be able to slip between levels comfortably. Moreover, we will have to admit various types of “causality”: ways in which an event at one level of description can “cause” events at other levels to happen. Sometimes event A will be said to “cause” event B simply for the reason that the one is a translation, on another level of description, of the other. Sometimes “cause” will have its usual meaning: physical causality. Both types of causality–and perhaps some more–will have to be admitted in any explanation of mind, for we will have to admit causes that propagate both</div><div dir="auto">upwards and downloads in the Tangled Hierarchy of mentality […]."</div><div dir="auto">— Douglas Hofstadter in “Gödel, Escher, Bach” (1979)</div><div dir="auto"><br></div><div dir="auto">I regard this as generally true. When we speak of a person wanting a glass of milk, and going to get it, this is still meaningful, even though everything could fundamentally be explained in terms of interacting quantum fields, and no laws of physics are violated by a person's mind or will, without this insight, we face a dilemma in explaining what the point of consciousness is if it "doesn't do anything" above and beyond what the mere atomic forces and interactions alone accomplish. Here we see the mind as causally efficacious, just as we see molecules, cells, and neural networks as each operating within their own level and domain of causality.</div><div dir="auto"><br></div><div dir="auto">Thoughts can affect thoughts, just as the thoughts on my brain are now reaching and affecting thoughts in your brain.</div><div dir="auto"><br></div><div dir="auto">"My belief is that the explanations of “emergent” phenomena in our brains–for instance, ideas hopes, images, analogies, and finally consciousness and free will–are based on a kind of Strange Loop, an interaction between levels in which the top level</div><div dir="auto">reaches back down towards the bottom level and influences it, while at the same time being itself determined by the bottom level."</div><div dir="auto">— Douglas Hofstadter in “Gödel, Escher, Bach” (1979)</div><div dir="auto"><br></div><div dir="auto">Note Hofstadter here does not invoke strange loops to explain intelligence. Instead his focus is on its lower to explain and better understand consciousness and free will.</div><div dir="auto"><br></div><div dir="auto">"Perhaps consciousness arises when the brain’s simulation of the world becomes so complete that it must include a model of itself. Obviously the limbs and body of a survival machine must constitute an important part of its simulated world; presumably for the same kind of reason, the simulation itself could be regarded as part of the world to be simulated. Another word for this might indeed be “self-awareness,” […]</div><div dir="auto">— Douglas Hofstadter and Daniel Dennett in “The Mind’s I” (1981)</div><div dir="auto"><br></div><div dir="auto">This but sounds almost exactly like what Aaronson said. Once the model of the world is complete enough, it must necessarily include some kind of model of itself, as an agent acting and existing within the world, itself being something it must also explain and predict, or at least contain a sort of self referential notion of. Note the insurances where the LLM uses the word "me" within its answers. That is an example of this sort of modeling self-reference.</div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto">Some other (possibly useful) insights from others on self reference:</div><div dir="auto"><br></div><div dir="auto">"When people talk about consciousness, something often mentioned is “self-awareness” or the ability to “think about one’s own processes of thinking”. Without the conceptual framework of computation,</div><div dir="auto">this might seem quite mysterious. But the idea of universal computation instead makes it seem almost inevitable. The whole point of a universal computer is that it can be made to emulate any computational system—even itself."</div><div dir="auto">— Stephen Wolfram in “What is Consciousness” (2021)</div><div dir="auto"><br></div><div dir="auto">"The power of recursion evidently lies in the</div><div dir="auto">possibility of defining an infinite set of objects by a finite statement. In the same manner, an infinite number of computations can be described by a finite recursive program, even if this program contains no explicit repetitions."</div><div dir="auto">— Niklaus Wirth in “Algorithms + Data Structures = Programs” (1976)</div><div dir="auto"><br></div><div dir="auto">"There was a young man who said, “Though,</div><div dir="auto">it seems that I know that I know,</div><div dir="auto">what I would like to see</div><div dir="auto">is the ‘I’ that knows ‘me’</div><div dir="auto">when I know that I know that I know.”"</div><div dir="auto">— Alan Wattsin “The Book On the Taboo Against Knowing Who You Are” (1966)</div><div dir="auto"><br></div><div dir="auto">"The soul is that to which one refers when one says ‘I’."</div><div dir="auto">— Ibn al-Nafīsin “Theologus Autodidactus of Ibin Al Nafis” (1288)</div><div dir="auto"><br></div><div dir="auto">"To exist, [consciousness] must have cause–effect power; to exist from its own intrinsic perspective, independent of extrinsic factors, it must have cause–effect power upon itself: its present mechanisms and state must ‘make a difference’ to the probability of some past and future state of the system (its cause–effect space), independent of extrinsic factors."</div><div dir="auto">— Giulio Tononi and Christof Koch in “Consciousness: here, there and everywhere?” (2015)</div><div dir="auto"><br></div><div dir="auto">"It is not because some “information processing” could support consciousness that we can conclude that all information processing can support consciousness. You need at least one reflexive loop.</div><div dir="auto">You need two reflexive loop for having self-</div><div dir="auto">consciousness (Löbianity)."</div><div dir="auto">— Bruno Marchal in discussion list (2019)</div><div dir="auto"><br></div><div dir="auto">"In the end, we self-perceiving, self-inventing,</div><div dir="auto">locked-in mirages are little miracles of self-</div><div dir="auto">reference."</div><div dir="auto">— Douglas Hofstadter in “I Am a Strange Loop” (2007)</div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto">As a process, it’s not always easy to tell where a mind-process ends and where its exterior environment begins.</div><div dir="auto"><br></div><div dir="auto">Consider that: over time, a thermostat can be affected by its own previous actions. Does this cyclical action over time qualify as having cause–effect power over itself?</div><div dir="auto"><br></div><div dir="auto">Likewise, in large language models (or LLMs), a single invocation is purely a feed-forward neural network — devoid of loops. But to generate more than a few characters of text, the output of this network must be fed back in as input to the next cycle of invocation. This thereby forms a reflexive loop.</div><div dir="auto"><br></div><div dir="auto">If we could ask the LLM where its output text came from, the only valid answer it could give would have to involve some kind of reference to itself.</div><div dir="auto"><br></div><div dir="auto"></div><div dir="auto">As Dennett speculated, such reflection may be the path to consciousness:</div><div dir="auto"><br></div><div dir="auto">"Is the process of unconscious reflection, then, a path by which a zombie could turn itself into</div><div dir="auto">[something that monitors its own activities,</div><div dir="auto">including even its own internal activities, in an</div><div dir="auto">indefinite upward spiral of reflexivity], and thereby render itself conscious?"</div><div dir="auto">— Daniel Dennett in “Consciousness Explained” (1991)</div><div dir="auto"><br></div><div dir="auto">Computational process that keep a memory updated across time, hence, any Turing machine, can be viewed equivalently as recursive functions.</div><div dir="auto"><br></div><div dir="auto">Recursion and self-reference are then, indispensable features of almost every computation.</div><div dir="auto"><br></div><div dir="auto">Jason </div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div><br></div><div><br></div><div><font size="4" face="tahoma, sans-serif"><b><a href="https://scottaaronson.blog/" target="_blank" rel="noreferrer">LLMs and self-referentiality</a><br></b></font></div><div><font size="4" face="tahoma, sans-serif"><br></font></div><div><div style="color:rgb(80,0,80)"><b><font face="tahoma, sans-serif"><font size="4">John K Clark    See what's on my list at  </font><font size="6"><a href="https://groups.google.com/g/extropolis" rel="nofollow noreferrer" target="_blank">Extropolis</a></font></font></b></div><div><b><font face="tahoma, sans-serif"><span class="gmail_default" style="font-family:arial,helvetica,sans-serif"><font size="1" color="#f3f3f3">7ui</font></span><br></font></b></div><br></div><div><font size="4"><b><i><span class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></span></i></b></font></div><div><font size="4"><b><i><span class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></span></i></b></font></div><div><font size="4"><b><i><span class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></span></i></b></font></div></div></div>
_______________________________________________<br>
extropy-chat mailing list<br>
<a href="mailto:extropy-chat@lists.extropy.org" target="_blank" rel="noreferrer">extropy-chat@lists.extropy.org</a><br>
<a href="http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat" rel="noreferrer noreferrer" target="_blank">http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat</a><br>
</blockquote></div></div></div>