<div dir="auto"><div><br><br><div class="gmail_quote gmail_quote_container"><div dir="ltr" class="gmail_attr">On Fri, Oct 23, 2026, 4:26 PM Stuart LaForge via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">On 2026-10-23 08:45, Jason Resch wrote:<br>
> On Fri, Oct 23, 2026 at 11:26 AM Stuart LaForge via extropy-chat<br>
> <<a href="mailto:extropy-chat@lists.extropy.org" target="_blank" rel="noreferrer">extropy-chat@lists.extropy.org</a>> wrote:<br>
> <br>
>> On 2026-10-22 12:15, John Clark via extropy-chat wrote:<br>
>>> On Thu, Oct 22, 2026 at 12:30 PM BillK via extropy-chat<br>
>>> <<a href="mailto:extropy-chat@lists.extropy.org" target="_blank" rel="noreferrer">extropy-chat@lists.extropy.org</a>> wrote:<br>
> Every individual, human, species, sub-species, group, family, tribe,<br>
> nation, model of robot, version of AI, alien, alien civilization, has<br>
> some number of overlapping goals, some number of different goals, and<br>
> some number of mutually incompatible goals. What does alignment mean<br>
> in such a universe of various goals? What could it mean? It can't mean<br>
> that all individuals and classes must share the exact same goals.<br>
<br>
Of course not everybody can have the same goals. But various different <br>
"tribes" could have their own dedicated AI that fosters and strengthens <br>
the tribes way of life. Something like historical patron deities, <br>
cultural icons, or folk-heroes. Each championing and embodying their <br>
respective and specific cultural norms and mores. Imagine the American <br>
AI being the actual physical and spiritual embodiment of the U.S. <br>
Constitution and liberal Whig ideals. While China could have a Confucian <br>
Mao-bot defending their way of life. </blockquote></div></div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto">It's funny you mention this, I know someone working on a project to use AI to preserve and teach Hawaiian culture:</div><div dir="auto"><br></div><div dir="auto"><a href="https://aloha-intelligence.ai/">https://aloha-intelligence.ai/</a></div><div dir="auto"><br></div><div dir="auto">Using AI to preserve human languages that are rapidly disappearing might be their best hope.</div><div dir="auto"></div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">I think diversity and competition <br>
between tribes with their diverse and distinctive ideals and morality <br>
embodied by AI would be the way forward. Thus the great game can <br>
continue with imaginary totems or legendary archetypes given virtual and <br>
physical existence and let the best creed win. I would rather a thousand <br>
diverse imperfect strategies striving for stability than a single <br>
monolithic stagnating attempt at Utopia.<br></blockquote></div></div><div dir="auto"><br></div><div dir="auto">Yes I share that inclination. After all, evolution selects for what works, rather than for truth.</div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
> <br>
> I think the alignment problem isn't really a problem of aligning<br>
> goals, but is much more simply: "Do good things, Don't do bad things."<br>
> But how do we objectively measure, decide, or define which things are<br>
> good and which are bad? This is the perennial problem in ethics /<br>
> moral philosophy.<br>
<br>
That begs the question. Should these ethics be Utilitarian in nature or <br>
more like Kantian categorical imperatives? I say try both and see what <br>
remains in a century?<br></blockquote></div></div><div dir="auto"><br></div><div dir="auto">I think the foundation of all systems is utilitarian/consequentialist, but predicting the long term consequences is impossible due to imperfect knowledge and finite resources, not to mention the "simming problem" ( <a href="http://www.replicatedtypo.com/the-simming-problem/5677.html">http://www.replicatedtypo.com/the-simming-problem/5677.html</a> ), so moral systems compromise with this limitations with a set of heuristics or rules practicable by humans.</div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
> One answer that I have seen proposed for this is Zuboff's "Morality as<br>
> What one Really Desires [1]." This paper defines "good" as what one<br>
> would still desire if one had a perfect grasp of everything entailed<br>
> by and involved in that thing. Since the "perfect grasp" is<br>
> viewpoint-agnostic, this definition produces a viewpoint-agnostic<br>
> (i.e. objective) definition of what things are good. Though a perfect<br>
> grasp is not attainable by any entity, it is something that can be<br>
> approached, approximated, or refined over time through deeper<br>
> understanding and analysis.<br>
<br>
Yes, truth and beauty can and should be asymptotically approachable by <br>
the same process. Truth and beauty are different sides of the same <br>
evolutionary coin of fitness.<br></blockquote></div></div><div dir="auto"><br></div><div dir="auto">This reminds me of the definition of the devil, owes to Raymond Smullyan being the unfortunate but necessary evil that occurs throughout the long learning process and evolution to become a more moral, enlightened individual or society:</div><div dir="auto"><br></div><div dir="auto">"Smullyan comes up with a wonderful definition of the Devil: the unfortunate length of time it takes for sentient beings as a whole to come to be enlightened. This idea of the necessary time it takes for a complex state to come about has been explored mathematically in a provocative way by Charles Bennett and Gregory Chaitin. They theorize that it may be possible to prove, by arguments similar to those underlying Gédel’s Incompleteness Theorem, that there is no shortcut to the development of higher and higher intelligences (or, if you prefer, more and more “‘enlightened”’ states); in short, that “the Devil’’ must get his due."</div><div dir="auto"><br></div><div dir="auto"><a href="https://archive.org/details/mindsifantasiesr0000hofs/page/334/mode/2up?q=Devil">https://archive.org/details/mindsifantasiesr0000hofs/page/334/mode/2up?q=Devil</a></div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
> Should intelligent agents (humans, robots, AI, aliens) use this<br>
> framework/definition to decide which actions are good and which are<br>
> bad, then we should have nothing to fear, as there will be broad<br>
> agreement between all entities as to which actions are desirable and<br>
> which ones are not.<br>
<br>
Life has made me a consequentialist. I don't think that the goodness or <br>
badness of an action can be determined before the end results including <br>
any unforeseen ones are tallied. </blockquote></div></div><div dir="auto"><br></div><div dir="auto">Right. It is a bit like mathematicians know what truth means, but they are often in a situation where they are unable to prove whether something is true or not.</div><div dir="auto"><br></div><div dir="auto">We know what to aim at but have now clear path to get there. A further wrinkle: we have no access to what it is like to be anyone else, and this is, in a sense, impossible to know from ones present vantage point as another, so the , how can we properly weigh the pains and suffering of others whose internal states we are not privileged to experience?</div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">If Jesus were real, then he should have <br>
been very upset over Christian crusaders baptizing Muslim babies before <br>
dashing their heads against the rocks.<br></blockquote></div></div><div dir="auto"><br></div><div dir="auto">Horrible.</div><div dir="auto"><br></div><div dir="auto">Jason </div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
</blockquote></div></div></div>