<div dir="ltr">On Fri, Oct 25, 2013 at 1:51 PM, Eugen Leitl <span dir="ltr"><<a href="mailto:eugen@leitl.org" target="_blank">eugen@leitl.org</a>></span> wrote:<br><div class="gmail_extra"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">

<div>On Fri, Oct 25, 2013 at 11:48:25AM -0600, Kelly Anderson wrote:<br>
<br>
> Even Ray doesn't expect Moore's Law to run indefinitely. In his book TSIN,<br>
<br>
</div>Ray thinks everything is exponential.<br></blockquote><div><br></div><div>That's simply not true Eugen. You're better than that.</div><div><br></div><div>I believe MORE things are exponential than Ray does, and even I don't believe everything is exponential. That being said, lots of things are, like the savings in your bank account.</div>

<div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
<div>> he talks about the ultimate physical limitations of computing with matter.<br>
> If we stay on the current track, as Ray predicts, we will hit limitations<br>
> of physics in a dozen decades or so. The interesting point for humanity is<br>
<br>
</div>We are constantly running into limits, but people have a short memory.<br>
Nobody remembers the time when the clocks stopped doubling. </blockquote><div><br></div><div>I do. I pointed that out in a recent post in fact.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">

People<br>
forget that hard drives stopped doubling, at least for a short while.<br></blockquote><div><br></div><div>Because of a flood in Thailand. Nobody has said there wouldn't be bumps in the road, just that there was an overall trend.</div>

<div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
People are unaware of finer points like<br>
<a href="http://postbiota.org/pipermail/tt/2013-October/014179.html" target="_blank">http://postbiota.org/pipermail/tt/2013-October/014179.html</a></blockquote><div><br></div><div>Ok, I read that, and what it said in a nut shell is "fuck this is hard". Not, I expect it to come to a screeching halt.</div>

<div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><span style="color:rgb(80,0,80)">> that point puts computers at many billions of times smarter than us in a</span><br>

<div>
<br>
</div>Many billions times smarter than us, using which metric?<br></blockquote><div><br></div><div>Any you wish to put forward. </div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">


<div>> relatively short time frame compared to the ultimate limits.<br>
<br>
</div>My personal time is very short, probably less than 40 years if<br>
I'm lucky. My personal interests lie squarely with a working<br>
suspend function, the future better get the resume part<br>
right.<br></blockquote><div><br></div><div>If they read your posts here Eugen, they might decide not to thaw you out. Who needs a pessimist in a utopia... :-)</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">


<div>> I know you MUST believe that computers will continue to get faster, even if<br>
> they don't quite keep up the doubling pace. Right?<br>
<br>
</div>What does faster mean? The only reliable way is a benchmark.<br>
The only really relevant benchmark is the one that runs your<br>
problem. As such faster never kept up with Moore's law.<br>
Moore's law is about affordable transistors, and that one<br>
gives you a canvas for your potential. So your gains are less<br>
than Moore, and sometimes a lot less. For me personally,<br>
the bottleneck in classical (GPGPU is classical) computers<br>
is worst-case memory bandwidth. Which is remarkably sucky,<br>
if you look it up.<br></blockquote><div><br></div><div>The problem I care about the most is computer vision. We are now approaching automated vehicles becoming a reality. I thought it would happen in 2014 since 2004. It may be delayed a year or two by bureaucrats and lawyers, but the technology should be cheap enough for luxury cars to have highway cruise control (including steering) by 2014 or 2015. So my venture into guessing the future was pretty close, using Ray's technique.</div>

<div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">Ok. So, now your transistor budget no long doubles in<br>

constant time, but that time keeps increasing. It's roughly<br>
three years by end of this year, no longer 18 months.<br>
Physical feature size limits are close behind, and your<br>
Si real state is a 400 mm pizza, max. WSI gives you a<br>
factor of two by making yield quantitative, but it wrecks<br>
havoc to your computation model, because grain size starts<br>
being tiny (less than mm^2), and asks for asynchronous<br>
shared-nothing, and did I mention fine-grained? So no<br>
TBytes of RAM for your LUT. The next step is FPGA, as in<br>
runtime reconfigurable. That *might* give you another<br>
factor of 2, or maybe even 4. Stacking is off-Moore, but<br>
it will do something, particularly giving cache-like<br>
access to your RAM, as long as it's few 10 MBytes max.<br></blockquote><div><br></div><div>I've predicted that they will go to 3D. It is the only logical way to go from here, other than maybe 2 1/2 D first...</div>
<div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
And then you have to go real 3d, or else there's gap.<br></blockquote><div><br></div><div>True, unless something completely different comes along, which may not be highly likely.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">


My guess the gap is somewhere 15-20 years long, but<br>
we've got maybe 10 years until saturation curve is pretty<br>
damn flat.<br></blockquote><div><br></div><div>Ok. Then we can start making larger structures. It won't speed up due to decreasing transistor size, but it will be able to do useful work. Imagine a 3d CPU 5 inches on a side. That could do some serious work. More than a human brain.</div>
<div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
<div>> > The trouble with cornucopians like Kurzweil is that they<br>
> > cheerfully and cherrypickingly apply LAR to anything under<br>
> > the sun, and never admit it when reality disproves them.<br>
> ><br>
><br>
> I'd be happy to admit when reality disproves anything. Ray has never<br>
> applied LAR to oil seeking technology, for example, as it just doesn't<br>
<br>
</div>He implicitly implied we'll run on 100% of thin-film PV in 16 years.<br>
That was 2011, so make that 14 years. This means 4.2 TWp/year just<br>
for power in a linear model, nevermind matching synfuel capability<br>
(try doubling that, after all is sung and done -- 8 shiny TWp/year).<br>
We're not getting the linear model. In fact, we arguably sublinear,<br>
see <a href="http://cleantechnica.com/2013/10/14/third-quarter-2013-solar-pv-installations-reach-9-gw/" target="_blank">http://cleantechnica.com/2013/10/14/third-quarter-2013-solar-pv-installations-reach-9-gw/</a></blockquote>
<div><br></div><div>You obviously don't understand the nature of his prediction. If he says that the doubling in solar efficiency is 3.5 years (going from memory) then half of the solar he envisions will be installed between July 2023 and 2027. What's being installed now probably is sublinear, that's what an exponential would predict. He didn't predict a linear model. We'll revisit his prediction in 2027 if we're both still communicating by then.</div>
<div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">> apply. However, in a sense it does apply. We do get some percent better at<br>
<div>
> extracting what's left each year. That doesn't mean we get an exponential<br>
<br>
</div>No, in terms of net energy we're not getting better. We're actually<br>
getting worse.<br>
<div><br>
> amount of oil, since there's a limited amount of the stuff. But it does<br>
> mean that we get exponentially better at finding what's left (note that<br>
<br>
</div>We're not getting better. We've mapped all the stuff, there are almost<br>
no unknown unknowns. And dropping EROEI and even dropping volume<br>
(not net energy, volume!) per unit of effort is pretty much the<br>
opposite of exponential. Do 40% of decay rate/well/year mean a<br>
thing to you?<br></blockquote><div><br></div><div>You misunderstand my point again. I know it's harder to get oil. But we develop new technologies for getting at what's left.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">

<div>> this curve is likely much more gentle than computing, with a doubling of<br>
> reserves we can get at maybe every 20 or 50 years. I don't know.)<br>
<br>
</div>There are no exponentials in infrastructure. There is an early<br>
sigmoidal that looks that way, but we've left that already.<br></blockquote><div><br></div><div>Infrastructure can change rapidly. How long did it take for everyone to get a cell phone? Smart Phones? When electric cars make financial sense (if they ever do) then people will switch to them quickly. Large infrastructure like roads and so forth will remain problematic until robotics is good enough to do much more of the job.</div>
<div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
<div>><br>
> > This is the opposite of science.<br>
> ><br>
><br>
> It is a part of science, the hypothesis part. LAR applied to computing<br>
> available per dollar in particular is a hypothesis formed in the mid 1960s.<br>
> As far as I know, we are still more or less on that track, though they have<br>
<br>
</div>No, we're not. See benchmarks.<br></blockquote><div><br></div><div>Data please. I can't find any. I have looked.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">

<div>> had to cheat with multiple cores, which does make writing software that<br>
<br>
</div>Multiple core SMP doesn't scale. People who thought multithreading will scale<br>
are going to get a nasty surprise. </blockquote><div><br></div><div>Agreed.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
People who expect global coherent<br>
caches scaling are going to get a nasty surprise. People who assume<br>
global shared memories are a thing are going to get a nasty surprise.<br></blockquote><div><br></div><div>Agreed.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">

People who hear about Amdahl's Law the first time have to stop worrying,<br>
and embrace nondeterminism. People who expect reliable systems at hardware<br>
level are gonna have a bad time.<br></blockquote><div><br></div><div>I disagree with that. There will be reliable hardware, or they won't be able to sell it. No matter how slow the previous generation was. It is hard enough to get programmers to do multi-threading. It would be damn close to impossible to get them to switch to a model where the answer might not be right.</div>
<div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
<div>> takes advantage of it much more difficult. For the next few years, we can<br>
> safely believe that computers will continue to get cheaper. Maybe for the<br>
> next fifty years, but who knows. For sure for the next 5 though. Intel has<br>
> it all mapped out.<br>
><br>
><br>
> > We've had a number of such people, which turned out a liability<br>
> > to transhumanism in the end. Our handicap is already sufficiently<br>
> > high, we don't need such monkeys on our back.<br>
> ><br>
><br>
> How is being pessimistic about the future more helpful?<br>
<br>
</div>It obviously isn't. You have to be a realist. The problem with<br>
optimists is that they think they're realists. But, unfortunately,<br>
they aren't.  When in a tough spot, never, ever team up<br>
with an optimist.<br></blockquote><div><br></div><div>A pessimist will just hole up in his cave. I refer you to "The Croods" to see how that worked out in one fictional setting.</div><div><br></div><div>-Kelly</div>
<div><br></div></div></div></div>