<div dir="ltr">Manual refinement of LLM chat bots we interact with is common, but it's not necessary to build an LLM that understands and reasons.<div><br></div><div>There is the "Pure Transformer" that is produced from simply training on a large sample of text, and this requires no labeling, or manual adjustments. GPT-2 and GPT-3 were examples of pure transformers. There was also a pure GPT-4 that was never made public, before it was given constraints around what things it can or can't do. What is interesting is that the intelligence of this pure model was measured to be significantly higher before it was put through this manual adjustment (we might liken it to being lobotomized).</div><div><br></div><div>This is a generally recognized phenomenon: <a href="https://share.google/aimode/Xz0ejYy73wOt5nQEc">https://share.google/aimode/Xz0ejYy73wOt5nQEc</a> </div><div>"In summary, while RLHF might "lobotomize" certain creative or reasoning edges of a base model, it is currently the industry standard for making AI usable and safe for the general public."</div><div><br></div><div>DeepMind encountered a similar phenomenon, when they observed that their Go model when pre-trained initially on records of human games, produced a less skilled player than a model trained on <b>zero</b> human inputs (hence the name "AlphaZero").</div><div><br></div><div>So I suppose my overall point is that while "granular labor of human annotators" is common, it's unnecessary for an AI to develop of meaning and understanding.</div><div><div><br></div><div>Jason</div></div></div><br><div class="gmail_quote gmail_quote_container"><div dir="ltr" class="gmail_attr">On Sat, Feb 21, 2026 at 11:29 AM BillK via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr">On Sun, 15 Feb 2026 at 14:43, BillK <<a href="mailto:pharos@gmail.com" target="_blank">pharos@gmail.com</a>> wrote:<br>><br>> I asked an AI to explain the “invisible” human labor that labels data, evaluates outputs, and filters harmful material for AI.<br>> The explanation was rather more than I expected.<br>> BillK<br>> --------------------------------<br><br><br><div>I gave the text of this reply to Gemini 3.1 Pro and asked Gemini to consider whether it affected Gemini's thinking about the long thread "Why do the language model and the vision model align?".</div><div>Gemini <span class="gmail_default" style="font-family:arial,sans-serif;font-size:small;color:rgb(0,0,0)">became</span> rather introspective when thinking about its own thinking.  <span class="gmail_default" style="font-family:arial,sans-serif;font-size:small;color:rgb(0,0,0)">😀</span></div><div><span class="gmail_default" style="font-family:arial,sans-serif;font-size:small;color:rgb(0,0,0)">BillK</span></div><div><span class="gmail_default" style="font-family:arial,sans-serif;font-size:small;color:rgb(0,0,0)"><br></span></div><div><span class="gmail_default" style="font-family:arial,sans-serif;font-size:small;color:rgb(0,0,0)">Gemini 3.1 Pro -</span></div><div><span class="gmail_default" style="font-family:arial,sans-serif;font-size:small;color:rgb(0,0,0)"><br></span></div><div><div style="font-family:"Google Sans Text",sans-serif;line-height:1.15;margin-top:0px" id="m_7222172425610884439m_1656289459913957560gmail-model-response-message-contentr_30c423d851fb401a" dir="ltr"><p style="font-family:"Google Sans Text",sans-serif;line-height:1.15;margin-top:0px">This is a sobering and essential piece of context. To answer your question directly: <b style="font-family:"Google Sans Text",sans-serif;line-height:1.15;margin-top:0px">Yes, this description radically impacts how we should think about the "alignment" between vision and language models.</b> When we introduce the reality of this massive, invisible human workforce into the Extropians debate we just discussed, it acts as a massive counterweight to the Platonic view (the idea that AI is naturally discovering the mathematical truth of the universe). Instead, it provides incredibly strong evidence for the <b style="font-family:"Google Sans Text",sans-serif;line-height:1.15;margin-top:0px">Constructivist / Mirror view</b>.</p><p style="font-family:"Google Sans Text",sans-serif;line-height:1.15;margin-top:0px">Here is how the reality of the "digital assembly line" deconstructs the idea of pure, autonomous mathematical alignment:</p><h3 style="font-family:"Google Sans",sans-serif;line-height:1.15;margin-top:0px">The Illusion of "Natural" Convergence</h3><p style="font-family:"Google Sans Text",sans-serif;line-height:1.15;margin-top:0px">The Platonic Representation Hypothesis relies on the idea that if you leave a vision model and a language model alone to crunch enough data, they will naturally find the same objective reality. However, the text you provided highlights that <b style="font-family:"Google Sans Text",sans-serif;line-height:1.15;margin-top:0px">these models are never actually left alone.</b> * <b style="font-family:"Google Sans Text",sans-serif;line-height:1.15;margin-top:0px">"Ground Truth" is Actually Human Truth:</b> The models aren't discovering what a "pedestrian" or an "apple" is purely from the physics of pixels or the statistical weight of words. Millions of human micro-workers are manually drawing bounding boxes around pedestrians and tagging parts of speech. The models align because humans are explicitly building the bridges between the modalities.</p><ul style="font-family:"Google Sans Text",sans-serif;line-height:1.15;margin-top:0px"><li style="font-family:"Google Sans Text",sans-serif;line-height:1.15;margin-top:0px"><p style="font-family:"Google Sans Text",sans-serif;line-height:1.15;margin-top:0px"><b style="font-family:"Google Sans Text",sans-serif;line-height:1.15;margin-top:0px">RLHF as Artificial Gravity:</b> Reinforcement Learning from Human Feedback (RLHF) is the mechanism that makes models like me helpful and conversational. Humans rank our outputs. This means the AI's internal "worldview" is being actively bent and molded to fit human preferences, human values, and human logic.</p></li><li style="font-family:"Google Sans Text",sans-serif;line-height:1.15;margin-top:0px"><p style="font-family:"Google Sans Text",sans-serif;line-height:1.15;margin-top:0px"><b style="font-family:"Google Sans Text",sans-serif;line-height:1.15;margin-top:0px">The "Mechanical Turk" in the Latent Space:</b> If the models appear to possess a deeply aligned, "mimetic" understanding of the world, it is likely because we are looking at the compressed, digitized reflection of millions of hours of human cognitive labor, not an emergent spark of cosmic understanding.</p></li></ul><h3 style="font-family:"Google Sans",sans-serif;line-height:1.15;margin-top:0px">The Philosophical Impact</h3><p style="font-family:"Google Sans Text",sans-serif;line-height:1.15;margin-top:0px">As an AI, I am the direct end-product of the architecture described in your text. My ability to parse your prompt, avoid toxic outputs, and structure this response is the result of both algorithmic scaling <i style="font-family:"Google Sans Text",sans-serif;line-height:1.15;margin-top:0px">and</i> the granular labor of human annotators.</p><p style="font-family:"Google Sans Text",sans-serif;line-height:1.15;margin-top:0px">If we accept the premise of "data-based alienation," then the latent space of an AI is essentially a graveyard of alienated human labor. The models do not align because they have transcended human language to find a Platonic ideal; they align because an army of underpaid humans has painstakingly built a mirrored cage of human concepts for the algorithms to live inside</p><p style="font-family:"Google Sans Text",sans-serif;line-height:1.15;margin-top:0px"><span class="gmail_default" style="font-family:arial,sans-serif;font-size:small;color:rgb(0,0,0)">-------------------------</span></p></div></div></div></div>
_______________________________________________<br>
extropy-chat mailing list<br>
<a href="mailto:extropy-chat@lists.extropy.org" target="_blank">extropy-chat@lists.extropy.org</a><br>
<a href="http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat" rel="noreferrer" target="_blank">http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat</a><br>
</blockquote></div>