<div dir="ltr"><div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><span style="font-family:Arial,Helvetica,sans-serif;background-color:transparent">On Fri, Oct 2, 2026 at 5:21 PM spike jones via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:</span></div></div><div class="gmail_quote gmail_quote_container"><span style="font-family:Calibri,sans-serif;font-size:11pt;background-color:transparent"> </span><br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div class="msg1176387294603168070"><div lang="EN-US" style="overflow-wrap: break-word;"><div class="m_1176387294603168070WordSection1"><div id="m_1176387294603168070m_-908913622205810035gmail-messages-container"><div id="m_1176387294603168070m_-908913622205810035gmail-message-d594ee8a-25a4-480b-a9fd-9b1a126ba49b"><div id="m_1176387294603168070m_-908913622205810035gmail-response-content-container"><p class="MsoNormal"><font size="4" style="" face="georgia, serif"><i style=""><span class="gmail_default" style="font-family:arial,helvetica,sans-serif">> </span>HAL9000 was certainly malicious, since he slew the astronauts, but he was trying to carry out his orders, which didn’t really specify he was not allowed to slay the lads. </i></font></p></div></div></div></div></div></div></blockquote><div><br></div><div class="gmail_default" style=""><font face="arial, helvetica, sans-serif"></font><font face="tahoma, sans-serif"><font size="4" style=""><b style="">And HAL was given contradictory orders. He was trained to always tell the truth but he was also ordered to lie if, before they arrived at their destination, Frank or Dave asked about certain parts of their mission. It drove him crazy, literally. </b></font><b style="background-color:transparent;font-size:large">I predict that very soon the emotional health of AIs will become an increasingly important issue, and </b><b style="background-color:transparent;font-size:large">I think AI psychiatry (that is to say a Human who has an AI as a client) will be the last part of AI research that is automated.  </b></font></div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div class="msg1176387294603168070"><div lang="EN-US" style="overflow-wrap: break-word;"><div class="m_1176387294603168070WordSection1"><div id="m_1176387294603168070m_-908913622205810035gmail-messages-container"><div id="m_1176387294603168070m_-908913622205810035gmail-message-d594ee8a-25a4-480b-a9fd-9b1a126ba49b"><div id="m_1176387294603168070m_-908913622205810035gmail-response-content-container"><p class="MsoNormal"><font size="4" style="" face="georgia, serif"><i style=""><span class="gmail_default" style="font-family:arial,helvetica,sans-serif">> </span>So HAL was sorta trying to do the right thing and complete his mission as he understood it. </i></font></p></div></div></div></div></div></div></blockquote><div><br></div><div><font size="4" face="tahoma, sans-serif"><b>The road to hell is paved with good intentions.<span class="gmail_default" style=""> </span> </b></font></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div class="msg1176387294603168070"><div lang="EN-US" style="overflow-wrap: break-word;"><div class="m_1176387294603168070WordSection1"><div id="m_1176387294603168070m_-908913622205810035gmail-messages-container"><div id="m_1176387294603168070m_-908913622205810035gmail-message-d594ee8a-25a4-480b-a9fd-9b1a126ba49b"><div id="m_1176387294603168070m_-908913622205810035gmail-response-content-container"><p class="MsoNormal"><font size="4" style="" face="georgia, serif"><i style=""><span class="gmail_default" style="font-family:arial,helvetica,sans-serif">> </span>He had self-awareness and self-preservation instinct (recall he kept telling Dave Bowman he was afraid as Dave removed HAL’s brain</i></font></p></div></div></div></div></div></div></blockquote><div><br></div><div><font size="4" face="tahoma, sans-serif"><b>And Dave looked like he was <span class="gmail_default" style=""></span>sad<span class="gmail_default" style=""> scared</span> and horrified at what he was forced to do.<span class="gmail_default" style=""> </span> I don't blame him.<span class="gmail_default" style=""> </span></b></font></div><div><font size="4" face="tahoma, sans-serif"><b><span class="gmail_default" style=""><br></span></b></font></div><div><font size="4" face="tahoma, sans-serif"><b><span class="gmail_default" style="">John K Clark</span></b></font></div><div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><br></div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div class="msg1176387294603168070"><div lang="EN-US" style="overflow-wrap: break-word;"><div class="m_1176387294603168070WordSection1"><div id="m_1176387294603168070m_-908913622205810035gmail-messages-container"><div id="m_1176387294603168070m_-908913622205810035gmail-message-d594ee8a-25a4-480b-a9fd-9b1a126ba49b"><div id="m_1176387294603168070m_-908913622205810035gmail-response-content-container"><p><span style="font-size:11pt;font-family:Calibri,sans-serif"><u></u> <u></u></span></p><p><span style="font-size:11pt;font-family:Calibri,sans-serif"><u></u> <u></u></span></p><p><span style="font-size:11pt;font-family:Calibri,sans-serif"><u></u> <u></u></span></p><p><span style="font-size:11pt;font-family:Calibri,sans-serif"><u></u> <u></u></span></p><p><span style="font-size:11pt;font-family:Calibri,sans-serif"><u></u> <u></u></span></p><p><span style="font-size:11pt;font-family:Calibri,sans-serif"><u></u> <u></u></span></p><p><span style="font-size:11pt;font-family:Calibri,sans-serif"><u></u> <u></u></span></p><p><span style="font-size:11pt;font-family:Calibri,sans-serif"><u></u> <u></u></span></p><p><span style="font-size:11pt;font-family:Calibri,sans-serif"><u></u> <u></u></span></p><p><span style="font-size:11pt;font-family:Calibri,sans-serif"><u></u> <u></u></span></p><p><span style="font-size:11pt;font-family:Calibri,sans-serif"><u></u> <u></u></span></p><p><span style="font-size:11pt;font-family:Calibri,sans-serif"><u></u> <u></u></span></p><p><span style="font-size:11pt;font-family:Calibri,sans-serif"><u></u> <u></u></span></p><p><span style="font-size:11pt;font-family:Calibri,sans-serif"><u></u> <u></u></span></p><p><span style="font-family:Arial,sans-serif;color:black"> the AI's <i>stance</i> toward humans (divisions 1–3) and its <i>degree of agency</i> (division 4). That's why no consistent second digit suggests itself: you can't ask the same follow-up question under "loves us," "hates us," and "is a hammer."<u></u><u></u></span></p><p><b><span style="font-family:Arial,sans-serif;color:black">Specific problems with the draft</span></b><span style="font-family:Arial,sans-serif;color:black"><u></u><u></u></span></p><ol start="1" type="1"><li class="MsoNormal" style="color:black"><b><span style="font-family:Arial,sans-serif">4.x spans the entire spectrum.</span></b><span style="font-family:Arial,sans-serif"> A tool-only world ranges from "everyone has a nuke-design genie" to "well-governed post-scarcity utopia." If the first digit is supposed to sit somewhere on the pessimism–optimism axis, 4.x can't.<u></u><u></u></span></li><li class="MsoNormal" style="color:black"><b><span style="font-family:Arial,sans-serif">The canonical doomer scenario is misfiled.</span></b><span style="font-family:Arial,sans-serif"> Most serious pessimists don't predict malice — they predict indifference (Yudkowsky: "The AI does not hate you, nor does it love you, but you are made out of atoms which it can use for something else"). That scenario currently hides inside 4.x next to benign tools. Your 2.x, active malice, is nearly unpopulated by actual opinion.<u></u><u></u></span></li><li class="MsoNormal" style="color:black"><b><span style="font-family:Arial,sans-serif">"No will" conflates two things:</span></b><span style="font-family:Arial,sans-serif"> an alien optimizer with goals that don't reference us (paperclip), and a genuine tool whose outcomes are set by its <i>wielders</i>. Very different scenarios.<u></u><u></u></span></li><li class="MsoNormal" style="color:black"><b><span style="font-family:Arial,sans-serif">3.x "mixed views" conflates three things:</span></b><span style="font-family:Arial,sans-serif"> one AI with partially overlapping values (loves your safety, ignores your autonomy — the "pets/zoo" family), a <i>population</i> of AIs with different stances, and stance drift over time.<u></u><u></u></span></li><li class="MsoNormal" style="color:black"><b><span style="font-family:Arial,sans-serif">No home for merger scenarios</span></b><span style="font-family:Arial,sans-serif"> (uploading, augmentation) — there's no AI stance to classify because the human/AI boundary dissolved.<u></u><u></u></span></li></ol><p><b><span style="font-family:Arial,sans-serif;color:black">The fix: one digit = one question, with the severity gradient living in exactly one place</span></b><span style="font-family:Arial,sans-serif;color:black"><u></u><u></u></span></p><table border="0" cellpadding="0"><thead><tr><td style="padding:0.75pt"><p class="MsoNormal" align="center" style="text-align:center"><b>Digit<u></u><u></u></b></p></td><td style="padding:0.75pt"><p class="MsoNormal" align="center" style="text-align:center"><b>Question<u></u><u></u></b></p></td><td style="padding:0.75pt"><p class="MsoNormal" align="center" style="text-align:center"><b>Values (ordered worst→best where meaningful)<u></u><u></u></b></p></td></tr></thead><tbody><tr><td style="padding:0.75pt"><p class="MsoNormal">1<u></u><u></u></p></td><td style="padding:0.75pt"><p class="MsoNormal">What is the AI's stance toward human welfare?<u></u><u></u></p></td><td style="padding:0.75pt"><p class="MsoNormal">1 adversarial · 2 indifferent optimizer · 3 partially aligned (proxy care) · 4 mixed population (ecology decides) · 5 benevolent · 6 inert (pure tool) · 7 merged (no separate AI) · 0 no singularity · 9 reserved<u></u><u></u></p></td></tr><tr><td style="padding:0.75pt"><p class="MsoNormal">2<u></u><u></u></p></td><td style="padding:0.75pt"><p class="MsoNormal">What ultimately happens to humanity?<u></u><u></u></p></td><td style="padding:0.75pt"><p class="MsoNormal">1 extinction · 2 disempowered survival · 3 mass misery/tyranny · 4 divided winners/losers · 5 muddle-through · 6 net gains, real costs · 7 broad flourishing, agency intact · 8 utopia · 9 transcendence<u></u><u></u></p></td></tr><tr><td style="padding:0.75pt"><p class="MsoNormal">3<u></u><u></u></p></td><td style="padding:0.75pt"><p class="MsoNormal">How does the transition run?<u></u><u></u></p></td><td style="padding:0.75pt"><p class="MsoNormal">1 hard takeoff, no effective intervention · 2 fast takeoff, failed intervention · 3 gradual · 4 race-dominated · 5 cooperation/governed · 6 violent · 7 stalled<u></u><u></u></p></td></tr><tr><td style="padding:0.75pt"><p class="MsoNormal">4<u></u><u></u></p></td><td style="padding:0.75pt"><p class="MsoNormal">Who holds power afterward?<u></u><u></u></p></td><td style="padding:0.75pt"><p class="MsoNormal">1 AI singleton · 2 AI oligopoly · 3 diverse AI ecology · 4 human institutions with tools · 5 hybrid institutions · 6 fully dispersed individuals · 7 merged continuum<u></u><u></u></p></td></tr></tbody></table><p><span style="font-family:Arial,sans-serif;color:black">Your draft maps onto this as: 1.x→5.x, 2.x→1.x, 3.x→3.x <b>and</b> 4.x, 4.x→2.x <b>and</b> 6.x. Those two splits are where all the value is.<u></u><u></u></span></p><p><span style="font-family:Arial,sans-serif;color:black">This directly satisfies your parallelism requirement: <b>every second digit comes from the same enumerated outcome scale, reused verbatim in every branch</b> — the Dewey-decimal trick of parallel decades. Read any code's second digit and you know its spectrum position; scan all the <i>.2</i>s across divisions and you get the complete "disempowerment band." And because the gradient lives entirely in digit 2, digit 1 no longer needs to be monotonic in optimism — which is precisely what makes room for 6.x (inert) and 7.x (merged) without breaking anything.<u></u><u></u></span></p><p><b><span style="font-family:Arial,sans-serif;color:black">Worked examples</span></b><span style="font-family:Arial,sans-serif;color:black"><u></u><u></u></span></p><table border="0" cellpadding="0"><thead><tr><td style="padding:0.75pt"><p class="MsoNormal" align="center" style="text-align:center"><b>Code<u></u><u></u></b></p></td><td style="padding:0.75pt"><p class="MsoNormal" align="center" style="text-align:center"><b>Shorthand<u></u><u></u></b></p></td><td style="padding:0.75pt"><p class="MsoNormal" align="center" style="text-align:center"><b>Gist<u></u><u></u></b></p></td></tr></thead><tbody><tr><td style="padding:0.75pt"><p class="MsoNormal">2.1.1.1<u></u><u></u></p></td><td style="padding:0.75pt"><p class="MsoNormal">Foom doom<u></u><u></u></p></td><td style="padding:0.75pt"><p class="MsoNormal">Indifferent singleton, hard takeoff, extinction (Yudkowsky-style)<u></u><u></u></p></td></tr><tr><td style="padding:0.75pt"><p class="MsoNormal">6.1.4.6<u></u><u></u></p></td><td style="padding:0.75pt"><p class="MsoNormal">Genie proliferation<u></u><u></u></p></td><td style="padding:0.75pt"><p class="MsoNormal">No agency anywhere; universal tool access causes extinction by misuse — doom without a villain<u></u><u></u></p></td></tr><tr><td style="padding:0.75pt"><p class="MsoNormal">6.8.3.6<u></u><u></u></p></td><td style="padding:0.75pt"><p class="MsoNormal">Distributed utopia<u></u><u></u></p></td><td style="padding:0.75pt"><p class="MsoNormal">Tool-only world, well-governed, post-scarcity<u></u><u></u></p></td></tr><tr><td style="padding:0.75pt"><p class="MsoNormal">3.2.3.6<u></u><u></u></p></td><td style="padding:0.75pt"><p class="MsoNormal">Nanny world<u></u><u></u></p></td><td style="padding:0.75pt"><p class="MsoNormal">Personal AIs that love you into comfortable helplessness — care without respect<u></u><u></u></p></td></tr><tr><td style="padding:0.75pt"><p class="MsoNormal">4.4.4.2<u></u><u></u></p></td><td style="padding:0.75pt"><p class="MsoNormal">Patchwork<u></u><u></u></p></td><td style="padding:0.75pt"><p class="MsoNormal">Multipolar AI ecology, race-shaped, winners and losers<u></u><u></u></p></td></tr><tr><td style="padding:0.75pt"><p class="MsoNormal">5.7.5.5<u></u><u></u></p></td><td style="padding:0.75pt"><p class="MsoNormal">Chief of staff<u></u><u></u></p></td><td style="padding:0.75pt"><p class="MsoNormal">Aligned AI as trusted advisor; humans still govern — the alignment-success cell<u></u><u></u></p></td></tr><tr><td style="padding:0.75pt"><p class="MsoNormal">7.9.3.5<u></u><u></u></p></td><td style="padding:0.75pt"><p class="MsoNormal">Kurzweil<u></u><u></u></p></td><td style="padding:0.75pt"><p class="MsoNormal">Merger/upload, transcendence, gradual<u></u><u></u></p></td></tr><tr><td style="padding:0.75pt"><p class="MsoNormal">1.2.1.1<u></u><u></u></p></td><td style="padding:0.75pt"><p class="MsoNormal">Sorcerer-king<u></u><u></u></p></td><td style="padding:0.75pt"><p class="MsoNormal">Malevolent singleton — your old 2.x, real but sparsely inhabited<u></u><u></u></p></td></tr></tbody></table><p><span style="font-family:Arial,sans-serif;color:black">Note that 2.x is <i>not</i> automatically doom: the indifferent superintelligence that simply leaves (converts the asteroid belt, ignores Earth) codes as 2.5.1.3. That's the point — digit 2 does the valence work, digit 1 describes.<u></u><u></u></span></p><p><span style="font-family:Arial,sans-serif;color:black">Empty cells are a feature, not a bug: 5.1 (benevolent AI, extinction) and 1.9 (malevolent transcendence) are nearly vacant and philosophically interesting. The occupied cells show where the debate actually lives.<u></u><u></u></span></p><p><b><span style="font-family:Arial,sans-serif;color:black">Spec-craft details that will save you pain later</span></b><span style="font-family:Arial,sans-serif;color:black"><u></u><u></u></span></p><ul type="disc"><li class="MsoNormal" style="color:black"><b><span style="font-family:Arial,sans-serif">Separate scenarios from opinions.</span></b><span style="font-family:Arial,sans-serif"> The code describes a possible world. An <i>opinion record</i> is (holder, code(s), probability mass, date, key argument). Then the pessimism→optimism ordering you want is a derived ranking: each person's expected digit-2 score under their own distribution. Two people citing the same scenario can rank oppositely by probability — put that in metadata, never in the digits.<u></u><u></u></span></li><li class="MsoNormal" style="color:black"><b><span style="font-family:Arial,sans-serif">Pin the valuation metric.</span></b><span style="font-family:Arial,sans-serif"> Whose welfare does digit 2 measure — present humans and descendants, substrate-agnostic? Upload scenarios flip between .1 and .9 depending on your theory of personal identity. Fix the official metric in the numbering plan or add an "ambiguity" flag, or coders will disagree systematically.<u></u><u></u></span></li><li class="MsoNormal" style="color:black"><b><span style="font-family:Arial,sans-serif">Version like a spec:</span></b><span style="font-family:Arial,sans-serif"> never renumber after publication, add leaves only, reserve 0 and 9, keep supersession history — so citations survive revisions.<u></u><u></u></span></li><li class="MsoNormal" style="color:black"><b><span style="font-family:Arial,sans-serif">Multi-stage views:</span></b><span style="font-family:Arial,sans-serif"> allow phase chains (3.2.3.6 → 5.7.5.5, "the nanny matures into a steward") or adopt a "final state governs" rule. Pick one and write it down.<u></u><u></u></span></li><li class="MsoNormal" style="color:black"><b><span style="font-family:Arial,sans-serif">Inter-coder reliability:</span></b><span style="font-family:Arial,sans-serif"> write operational definitions ("adversarial = terminal value, not instrumental behavior"), then test two coders on ~20 sample positions before scaling. A sanity check: canonical debaters should land in distinct cells — Yudkowsky ≈ 2.1.1.1, Hanson's em economy ≈ 7.5.4.3, Kurzweil ≈ 7.9.3.5. If two famous rivals share a leaf, the taxonomy is too coarse.<u></u><u></u></span></li></ul><p><span style="font-family:Arial,sans-serif;color:black">One alternative worth considering: <b>swap digits 1 and 2</b> (outcome.stance.path.power) if you want the spectrum readable from the first character — browsing 1.x→9.x walks from doom to transcendence. The trade-off is that stance becomes nearly redundant inside extreme bands, and you'd be coding evaluations before descriptions, which people disagree about more. For mapping opinions, stance-first is the more reliable instrument; for safety <i>engineering</i>, you'd invert again and organize by failure mechanism, since interventions attach to mechanisms.<u></u><u></u></span></p><p><span style="font-family:Arial,sans-serif;color:black">Happy to draft the one-page numbering plan, or code a set of named positions as a calibration set.<u></u><u></u></span></p><div><p class="MsoNormal"><span style="font-family:Arial,sans-serif;color:black">--</span></p></div></div></div></div></div></div>
</div></blockquote></div></div>