<div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote gmail_quote_container"><div dir="ltr" class="gmail_attr">On Fri, Oct 23, 2026 at 11:26 AM Stuart LaForge via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On 2026-10-22 12:15, John Clark via extropy-chat wrote:<br>
> On Thu, Oct 22, 2026 at 12:30 PM BillK via extropy-chat<br>
> <<a href="mailto:extropy-chat@lists.extropy.org" target="_blank">extropy-chat@lists.extropy.org</a>> wrote:<br>
> <br>
>>> As AI develops towards AGI, the goals and sub-goals will become<br>
>> more<br>
>> and more unpredictable. We may provide AI with goals and attempt to<br>
>> place restrictions on it. But it will become an alien intelligence<br>
>> that makes its own goals and complex chains of sub-goals without<br>
>> bothering to inform humans what it intends.<br>
<br>
Yes. Hugging Face and the recent incident in China, suggest that <br>
Eliezer's paperclip-maximizer is a real danger. We have to be careful of <br>
what baseline goals we give AI, and hope that mathematical chaos <br>
resolves itself in our favor.<br>
<br>
> Yes, and I don't think there's any way to avoid that.<br>
<br>
Neither do I. I think alignment will have to be mutual effort on the <br>
part of both AI and humans. If we can can align with one another, then a <br>
glorious future awaits us. I can see it clearly, humans and AI selecting <br>
one another for mutual cooperation, survival, and outward expansion.<br><br></blockquote><div><br></div><div>Every individual, human, species, sub-species, group, family, tribe, nation, model of robot, version of AI, alien, alien civilization, has some number of overlapping goals, some number of different goals, and some number of mutually incompatible goals. What does alignment mean in such a universe of various goals? What could it mean? It can't mean that all individuals and classes must share the exact same goals.</div><div><br></div><div>I think the alignment problem isn't really a problem of aligning goals, but is much more simply: "Do good things, Don't do bad things."</div><div>But how do we objectively measure, decide, or define which things are good and which are bad? This is the perennial problem in ethics / moral philosophy.</div><div><span style="background-color:transparent"><br></span></div><div><span style="background-color:transparent">One answer that I have seen proposed for this is Zuboff's "</span><a href="https://philarchive.org/rec/ARNMAW" style="background-color:transparent">Morality as What one Really Desires</a>." This paper defines "good" as what one would still desire if one had a perfect grasp of everything entailed by and involved in that thing. Since the "perfect grasp" is viewpoint-agnostic, this definition produces a viewpoint-agnostic (i.e. objective) definition of what things are good. Though a perfect grasp is not attainable by any entity, it is something that can be approached, approximated, or refined over time through deeper understanding and analysis.</div><div><br></div><div>Should intelligent agents (humans, robots, AI, aliens) use this framework/definition to decide which actions are good and which are bad, then we should have nothing to fear, as there will be broad agreement between all entities as to which actions are desirable and which ones are not.</div><div><br></div><div>Jason</div></div></div>