<div dir="auto"><div><br><br><div class="gmail_quote gmail_quote_container"><div dir="ltr" class="gmail_attr">On Sun, Nov 2, 2025, 9:51 AM Ben Zaiboc via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">On 01/11/2025 23:20, Jason Resch wrote:<br>
<br>
 > If you believe it will be good for you, you may desire it. If you <br>
learn later that it will be bad for you, you may no longer desire it. <br>
Here, what you desire has a dependency on what you believe.<br>
<br>
<br>
Discuss that with a cigarette smoker. I think you'll find they disagree.<br></blockquote></div></div><div dir="auto"><br></div><div dir="auto">Compare to the hypothetical reality where cigarettes are healthy, and you will see my point stands.</div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
<br>
 > It's to frame the problem: where does morality come from, what is its <br>
basis, by what method do we determine right or wrong?<br>
<br>
<br>
Well that's easy, I can tell you. Morality comes from us. We make it up.</blockquote></div></div><div dir="auto"><br></div><div dir="auto">That's the common view. But that common view is lacking a base, and it doesn't help answer the question of whether AI, or superintelligences will tend towards any sort of morality, nor what it might be that they tend towards. Hence the utility of this framework.</div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"> <br>
And the methods we use are various.<br></blockquote></div></div><div dir="auto"><br></div><div dir="auto">And some methods, I would contend, are better than others.</div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
<br>
 >> We always have to make decisions in the /absence/ of full <br>
information. What we would do if we had 'all the information' is <br>
irrelevant, if it even means anything.<br>
<br>
 > Yes, this is what I've been saying from the beginning. Perfect grasp <br>
is used only to define the aim of morality, not to serve as a practical <br>
theory.<br>
<br>
<br>
We know what the aim of morality is: To distinguish right actions from <br>
wrong ones. Nothing difficult about that, and no 'perfect grasp' is <br>
needed to establish it. The difficulty is in deciding what 'right' and <br>
'wrong' mean. Different people in various different circumstances seem <br>
to have different opinions.<br></blockquote></div></div><div dir="auto"><br></div><div dir="auto">Likewise, people used to disagree about what lightning was.</div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
<br>
 > Consider weather prediction. We can't predict with 100% accuracy, nor <br>
predict arbitrarily far into the future. Yet we can make near term <br>
predictions with some modicum of accuracy.<br>
This is how moral decisions can (and should) be approached.<br>
<br>
<br>
Can, yes. Should? Who are you to say?</blockquote></div></div><div dir="auto"><br></div><div dir="auto">It seems you still haven't read the paper, as you question suggests you still hold some imagined caricatured version of the theory.</div><div dir="auto"><br></div><div dir="auto">But note here, I am only saying, that even though we can't predict the future perfectly nor arbitrarily far into the future, the basic idea behind deciding which actions are right or wrong, involves making some attempt at predicting the future consequences of an action. All rational decision making processes work this way.</div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"> You are now deciding for other <br>
people. My morality tells me that this is immoral.<br></blockquote></div></div><div dir="auto"><br></div><div dir="auto">If you understand the paper you will see this definition of morality is based on the fulfillment of the desires of everyone, where those desires are what each person would genuinely want for themselves when fully informed about everything relevant. It has nothing to do with me, or anyone else telling you what to do. It is merely a definition.</div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
<br>
 > Please consider what I wrote carefully. It is an example of putting <br>
into practice a heuristic. And how better heuristics are based on the <br>
same model and definition of morality as defined in that paper.<br>
<br>
<br>
You may think so. I don't. That paper is nonsense. As I said, the first <br>
three statements are flat-out wrong.<br></blockquote></div></div><div dir="auto"><br></div><div dir="auto">It seen you never read any more than the abstract. If you are constrained by time, feed the paper into you favorite AI and ask what it thinks about the paper.</div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
<br>
 > > Without objective truth, by what measure is any theory in science <br>
said to be better than any other?<br>
<br>
<br>
Yes, I've addressed that in another post. I was too hasty in saying "No" <br>
to the question, mistaking 'objective' for 'absolute'. My mistake.<br></blockquote></div></div><div dir="auto"><br></div><div dir="auto">No worries! I appreciate the clarification.</div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
<br>
 > what is the definition of right or wrong, good or bad? Zuboff's paper <br>
is an example of a theoretical basis on which we can form such <br>
definitions, and define what we mean by right and wrong, good and bad.<br>
<br>
<br>
Apart from the fact that Zuboff's paper is based on false premises, and <br>
therefore worthless, the very question "what is right and what is <br>
wrong?" can't be given a definitive answer that is true for everyone in <br>
every circumstance. It's like trying to give a definitive answer to <br>
"what is the tastiest food?", that applies to everyone in all <br>
circumstances. You can't solve subjective problems with an objective <br>
approach.<br></blockquote></div></div><div dir="auto"><br></div><div dir="auto">You can by making it observer-relative. E.g., forget about trying to find a "tastiest food" and instead consider "the tastiest food for this particular person in this time and place."</div><div dir="auto"><br></div><div dir="auto">That is what this paper does with morality, it starts with considering the desires of individual subjects. Moves on to correcting those individual desires with better information, and ultimately shows how with enough information, including how ones own desires impact other observers, there is an eventual convergence, where ones desires extend beyond merely wanting what's best for oneself, but also a consideration of what's best for all concerned. This full understanding of what's best for all concerned is the same understanding, regardless of which initial subject you start from.</div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
<br>
 > Let us say you have a particular set of rules in your code.<br>
<br>
<br>
I do.<br>
<br>
<br>
 > By [what] process do you decide what rules to adopt, or decide to <br>
adopt one rule vs. another.<br>
<br>
<br>
There is a heirarchy, built on a principle that I worked out a long time <br>
ago. I just need to slot a problem into the right level of the <br>
heirarchy, and the solution is obvious. I've never met a (real) <br>
situation that it can't handle to my satisfaction (I'm not claiming to <br>
have the answer to the trolley problem!).<br></blockquote></div></div><div dir="auto"><br></div><div dir="auto">If you don't mind sharing, I am curious what that principle is that you worked out. But I also understand if you consider it private.</div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
<br>
 > My contention is that to even form a moral code, one must hold some <br>
meta-rule for optimizing what knew [one?]</blockquote></div></div><div dir="auto"><br></div><div dir="auto">(yes "one" sorry for the typo)</div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"> considers to be good while <br>
minimizing or avoiding bad.<br>
<br>
<br>
Indeed. And I'd say that the meta-rule is what defines 'good' and 'bad'.<br></blockquote></div></div><div dir="auto"><br></div><div dir="auto">That seems a bit circular to me.. I am not sure how it gets off the ground without a way to distinguish good from bad.</div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
<br>
 > And I think if you explored this meta-rule, you would find it is not <br>
all that different from the position Zuboff reaches in his paper.<br>
<br>
<br>
On the contrary, it is totally different, and much simpler, than <br>
Zuboff's nonsense.<br></blockquote></div></div><div dir="auto"><br></div><div dir="auto">It may seem that way, but I think you have swept the details of how to distinguish good from bad under the rug.</div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
<br>
 > Ultimately, what is good (for one individual) is what that individual <br>
would want for themselves if they had a complete knowledge of everything <br>
involved.<br>
<br>
<br>
First, No.<br>
Second, this would be reducing morality to what is good for an individual...<br></blockquote></div></div><div dir="auto"><br></div><div dir="auto">Note that I was careful to specify "good for the individual." I.e., start with the simple model of only a single conscious being in all reality. Then it becomes clear this is a working definition of good that works for that lone being.</div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
<br>
 > And then this then extended to define good as a maximization of good <br>
for all concerned, to achieve the most possible good among all beings <br>
who have desires, by satisfying (to the maximum possible extent) the <br>
desires each individual would still hold if they all had a perfect grasp <br>
of everything. This he refers to as a reconciliation of all systems of <br>
desire.<br>
<br>
<br>
... then dragging everyone else into it </blockquote></div></div><div dir="auto"><br></div><div dir="auto">Where are you getting this "dragging into it" from?</div><div dir="auto"><br></div><div dir="auto">Does the golden rule "drag everyone else into it"?</div><div dir="auto"><br></div><div dir="auto">Does your moral code "drag everyone else into it"?</div><div dir="auto"><br></div><div dir="auto">No, these are just alternate definitions of moral and immoral behavior.</div><div dir="auto"><br></div><div dir="auto">That is what Zuboff's paper provides, a new definition.</div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">(Golden Rule, and we know what's <br>
wrong with that)<br></blockquote></div></div><div dir="auto"><br></div><div dir="auto">You could liken Zuboff's result to the platinum rule, corrected by better information, weighted appropriately, modulated by future consequences, and with further concern for possible/future beings who may not (yet) exist.</div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
<br>
I really don't see the point of positing an impossible knowledge then <br>
using this as the basis of a system of morality (or anything at all).</blockquote></div></div><div dir="auto"><br></div><div dir="auto">I've addressed this many times already. At this point all I can suggest is to read the paper, or have AI read it then ask it to answer these questions for you based on what the paper says.</div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"> <br>
Saying "Oh, but it's just theoretical, not real, don't take it too <br>
literally" is basically the same as saying it's totally useless for any <br>
practical purpose.<br></blockquote></div></div><div dir="auto"><br></div><div dir="auto">I haven't said that.</div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
A 'reconciliation of all systems of desire' is equivalent to 'a <br>
reconciliation of all systems of taste'.</blockquote></div></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
That's apart from the fact that the whole paper is nonsense.<br></blockquote></div></div><div dir="auto"><br></div><div dir="auto">You say this a person who has not read the whole paper.</div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
<br>
 >> It's about having a choice. If it were possible to have 'perfect <br>
knowledge', there would be no morality, no choice.<br>
<br>
 > I'm not sure that follows. Even with perfect knowledge, you could <br>
still choose whether or not to act in accordance with morally best action.<br>
<br>
<br>
That's true. People can choose to be evil. Does anyone actually do that?</blockquote></div></div><div dir="auto"><br></div><div dir="auto">All the time.</div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"> <br>
We'd probably class it as mental illness.<br></blockquote></div></div><div dir="auto"><br></div><div dir="auto">We all do it in small ways all the time.</div><div dir="auto"><br></div><div dir="auto">For example, we will choose to pay $20 to go see a movie instead of taking the time to buy a $20 meal for a hungry person. We know it would be a more moral way to spend the $20, but will choose a less moral action instead.</div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
<br>
I don't undertand why you are taking Zuboff's paper seriously. Do you <br>
take his first three statements in the paper's abstract at face value?:<br>
<br>
1) "If I desire to drink some stuff thinking it is hot chocolate when <br>
actually it is hot mud, my desire is not a real one - it’s mistaken or <br>
only apparent."<br>
<br>
(misconstruing the desire to drink hot chocolate as a desire to drink <br>
whatever is in the cup. If that were the case, he'd drink the mud)<br></blockquote></div></div><div dir="auto"><br></div><div dir="auto">I think you are misreading and over-examining this. It is nothing more than an example of how a desire "ooh that looks good I want to drink it!" can be corrected with new information.</div><div dir="auto"><br></div><div dir="auto">I see no problem with that observation. To me it is obviously true.</div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
<br>
2) "This example illustrates how a desire must always depend on a belief <br>
about its object, a belief about what it is and what it’s like."<br>
<br>
(false assumption that if any desire is dependent on a belief (something <br>
that I'd dispute, but it needs closer examination), all desires must <br>
always be dependent on beliefs. Saying "This example illustrates..." is <br>
deflecting the reader from the fact that he's making an assumption and <br>
failing to show why it should be true)<br></blockquote></div></div><div dir="auto"><br></div><div dir="auto">A desire is the will to fulfill some need or want. By definition, then, it relates to some anticipated future state or experience, which is presently unrealized.</div><div dir="auto"><br></div><div dir="auto">Accordingly, that desire concerns a belief (about what the future state or experience will be we like).</div><div dir="auto"><br></div><div dir="auto">Again this is all from the abstract, which I'll not give the full exposition or justification. If the full argument and justification could be made in abstracts, we wouldn't need papers. Which is why I suggest you to read the paper is you have questions about it, as it is quite thorough in addressing all the concerns you are raising.</div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
<br>
3) "But beliefs are correctable, so desires are correctable"<br>
<br>
( I don't know why he uses the term 'correctable', which implies <br>
wrongness, but this statement just compounds the above errors and adds <br>
one more: False conclusion that if a belief can change, this means that <br>
a desire can change)<br></blockquote></div></div><div dir="auto"><br></div><div dir="auto">I don't know what about this is controversial. Consider this example:</div><div dir="auto"><br></div><div dir="auto">T1: Smoking looks cool, I want to smoke.</div><div dir="auto">T2: You know smoking causes lung cancer, right?</div><div dir="auto">T3: Oh it does? I suppose then I no longer want to smoke.</div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
<br>
I can understand someone saying that beliefs are sometimes based on <br>
desires (I'm sure this is often the case), but not the reverse.</blockquote></div></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">That's <br>
just daft. Desires are emotional, derived from feedback on bodily <br>
states, and elaborated by memories and imagination.</blockquote></div></div><div dir="auto"><br></div><div dir="auto">"Drives" might be a better word to use for such things, and it would also help in understanding his paper to distinguish innate drives which we can't decide or change, from the desires that we decide with our minds, which we can change.</div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"> Beliefs about <br>
various things can certainly contribute to the process, but you can't <br>
reasonably claim that (all) desires are a result of (only) beliefs.<br></blockquote></div></div><div dir="auto"><br></div><div dir="auto">There are instinctual and unconscious motivations an preferences, things we find innately pleasurable or painful, those I agree are not based on beliefs. They are inherent to what one is.</div><div dir="auto"><br></div><div dir="auto">When Zuboff's paper refers to desires, I think it should be taken to refer to wants and desires based on, or justified by, conscious thought.</div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
At the best, Zuboff is guilty of grossly oversimplifying and <br>
misattributing things. At the worst, well, I'd be committing the <br>
Internet Sin of Ad-Hominem Attack to say anything more, and that goes <br>
against my moral code.<br></blockquote></div></div><div dir="auto"><br></div><div dir="auto">I think you should give him a fair shake before judging him so harshly, and read more than just the abstract:</div><div dir="auto"><br></div><div dir="auto"><a href="https://drive.google.com/file/d/1l8T1z5dCQQiwJPlQlqm8u-1oWpoeth3-/view?usp=drivesdk">https://drive.google.com/file/d/1l8T1z5dCQQiwJPlQlqm8u-1oWpoeth3-/view?usp=drivesdk</a></div><div dir="auto"><br></div><div dir="auto">Jason </div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote gmail_quote_container"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
-- <br>
Ben<br>
<br>
<br>
_______________________________________________<br>
extropy-chat mailing list<br>
<a href="mailto:extropy-chat@lists.extropy.org" target="_blank" rel="noreferrer">extropy-chat@lists.extropy.org</a><br>
<a href="http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat" rel="noreferrer noreferrer" target="_blank">http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat</a><br>
</blockquote></div></div></div>