<div dir="ltr">On Mon, Oct 28, 2013 at 4:37 AM, Eugen Leitl <span dir="ltr"><<a href="mailto:eugen@leitl.org" target="_blank">eugen@leitl.org</a>></span> wrote:<br><div class="gmail_extra"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
<div class="im">On Sun, Oct 27, 2013 at 01:50:23PM -0600, Kelly Anderson wrote:<br>
<br>
> That's simply not true Eugen. You're better than that.<br>
<br>
</div>That was obviously hyperbole, to make a point. He is, however,<br>
prone to see exponentials where there are none.<br></blockquote><div><br></div><div>I think his data is well researched. Whether all of the curves extend into the future, and just how far they will extend is guess work.</div>
<div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
<div class="im">> I believe MORE things are exponential than Ray does, and even I don't<br>
> believe everything is exponential. That being said, lots of things are,<br>
> like the savings in your bank account.<br>
<br>
</div>Exponential growth of compound interest is a textbook case<br>
where your numerical model of physical layer processes and reality<br>
increasingly diverge, requiring periodic, painful readjustments.<br></blockquote><div><br></div><div>I have never heard of a case where a bank simply refused to pay interest because there was just too much money in the account. So what are you referring to here?</div>
<div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
<div class="im">> > People<br>
> > forget that hard drives stopped doubling, at least for a short while.<br>
> ><br>
><br>
> Because of a flood in Thailand. Nobody has said there wouldn't be bumps in<br>
<br>
</div>Thailand was not the reason.<br>
<br>
We're stuck at 4 TB because they ran into limits of a particular technology.<br></blockquote><div><br></div><div>I'm baffled by your use of the word "stuck" here. We just got to 4 Tbytes not that long ago. We always get "stuck" by this definition. I have attached my spreadsheet of hard drive prices that I have been maintaining for a few years, but initially got elsewhere. I welcome comments.</div>
<div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
In case of platters full of spinning rust the snag is temporary,<br>
as there are two successor technologies about to enter the<br>
marketplace (HAMR and BPM, not new but close to becoming<br>
mature enough for practical applications) so there's probably<br>
another order of magnitude still to go before end of the line.<br>
That makes it 40 TB.<br></blockquote><div><br></div><div>That hardly seems like "stuck" to me. Knowing how we're going to get the next order of magnitude is good enough for me. </div><div><br></div><div>Aside from that, there are things out there that promise to give the next order of magnitude after that... such as:</div>
<div><a href="https://en.wikipedia.org/wiki/Racetrack_memory">https://en.wikipedia.org/wiki/Racetrack_memory</a><br></div><div>Which is clearly not ready for prime time, but is a good idea of the sorts of things that might happen when brilliant people are tasked with an objective.</div>
<div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">Coincidentally, NOR flash has recently also entered<br>

scaling limits.<br>
<br>
The time for surface scaling is running out. The only<br>
alternative is 3d volume integration. We do not have anything<br>
in the pipeline to arrive in time, so there will be a gap.<br>
The only technology to interpolate would be Langmuir-Blodgett<br>
serial layer deposition, with according 2d liquid mosaic<br>
self-assembly/alignment. I'm not aware of this technology<br>
to be ready for deployment. Next after that is 3d crystal<br>
self-assembly from solution. This is even further away.<br></blockquote><div><br></div><div>That's ok, we have time to get this stuff right before falling off the curve.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">

<div class="im">> the road, just that there was an overall trend.<br>
><br>
><br>
> > People are unaware of finer points like<br>
> > <a href="http://postbiota.org/pipermail/tt/2013-October/014179.html" target="_blank">http://postbiota.org/pipermail/tt/2013-October/014179.html</a><br>
><br>
><br>
> Ok, I read that, and what it said in a nut shell is "fuck this is hard".<br>
<br>
</div>Yes, this is the nature of limits. Instead of constant doubling<br>
times the last few show longer and longer steps. As I told you,<br>
we're no longer at 18 months but at 3 years doubling time this<br>
moment. The next doubling times will be longer. This means<br>
that linear semilog plot is no longer linear. No more Moore for you.<br></blockquote><div><br></div><div>And yet, it is still doubling rapidly. The end result is the same, just at a slightly different time scale. And there is no guarantee that we won't make a hop with a new technology and get back on any given curve. It can happen.</div>
<div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
<div class="im"><br>
> Not, I expect it to come to a screeching halt.<br>
<br>
</div>Why do you expect that? Look at the price tag of the<br>
zEnterprise 196. Obviously, a somewhat higher margin<br>
than on a 50 USD ARM SoC.<br></blockquote><div><br></div><div>Sorry, you've lost me here. I don't know what these things are.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">

<div class="im">> If they read your posts here Eugen, they might decide not to thaw you out.<br></div><div class="im">
> Who needs a pessimist in a utopia... :-)<br>
<br>
</div>Utopia? I'm afraid I have another piece of bad news for you.<br>
Very bad news, I'm afraid...<br></blockquote><div><br></div><div>Anyone looking at 2013 from the time frame of 1913 would clearly call this utopia, at least from the technological standpoint. Also from the number of people operating under democracy, decreased violence and a number of other points. Not that it is utopia in every way.</div>
<div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
<div class="im">> > > I know you MUST believe that computers will continue to get faster, even<br>
> > if<br>
> > > they don't quite keep up the doubling pace. Right?<br>
> ><br>
> > What does faster mean? The only reliable way is a benchmark.<br>
> > The only really relevant benchmark is the one that runs your<br>
> > problem. As such faster never kept up with Moore's law.<br>
> > Moore's law is about affordable transistors, and that one<br>
> > gives you a canvas for your potential. So your gains are less<br>
> > than Moore, and sometimes a lot less. For me personally,<br>
> > the bottleneck in classical (GPGPU is classical) computers<br>
> > is worst-case memory bandwidth. Which is remarkably sucky,<br>
> > if you look it up.<br>
> ><br>
><br>
> The problem I care about the most is computer vision. We are now<br>
<br>
</div>Computer vision is very easy, actually, and quite well understood.<br></blockquote><div><br></div><div>You are clearly stark raving MAD. There is no computer on earth that can tell a cat from a dog reliably at this point.</div>
<div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
The low number of layers and connectivity (fanout), all local at<br>
that, a retina needs are within the envelope of silicon fabrication.<br></blockquote><div><br></div><div>The retina is not what I'm talking about. I'm discussing image understanding. "That is a picture of a dog in front of a house. The house has a victorian architecture. The 1957 Cadillac next to the house would indicate that the picture was most likely taken between 1956 and 1976."</div>
<div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
<div class="im">> approaching automated vehicles becoming a reality. I thought it would<br>
> happen in 2014 since 2004. It may be delayed a year or two by bureaucrats<br>
> and lawyers, but the technology should be cheap enough for luxury cars to<br>
<br>
</div>I'm afraid luxury something is going to be a very, very small market<br>
in the coming decades.<br></blockquote><div><br></div><div>Stop. This is just irritating and unhelpful.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
I agree that autonomous cars are mostly a very good thing, unless<br>
you happen to be a trucker, or a car maker. </blockquote><div><br></div><div>I'm not sure how autonomous cars are bad for car makers. I do get why they are bad for truckers.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
Whatever Germany<br>
earns on car making is about enough to pay for the fossil fuel<br>
imports.<br></blockquote><div><br></div><div>You're confusing me again.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">

<div class="im">> have highway cruise control (including steering) by 2014 or 2015. So my<br>
> venture into guessing the future was pretty close, using Ray's technique.<br>
><br>
><br>
> > Ok. So, now your transistor budget no long doubles in<br>
> > constant time, but that time keeps increasing. It's roughly<br>
> > three years by end of this year, no longer 18 months.<br>
> > Physical feature size limits are close behind, and your<br>
> > Si real state is a 400 mm pizza, max. WSI gives you a<br>
> > factor of two by making yield quantitative, but it wrecks<br>
> > havoc to your computation model, because grain size starts<br>
> > being tiny (less than mm^2), and asks for asynchronous<br>
> > shared-nothing, and did I mention fine-grained? So no<br>
> > TBytes of RAM for your LUT. The next step is FPGA, as in<br>
> > runtime reconfigurable. That *might* give you another<br>
> > factor of 2, or maybe even 4. Stacking is off-Moore, but<br>
> > it will do something, particularly giving cache-like<br>
> > access to your RAM, as long as it's few 10 MBytes max.<br>
> ><br>
><br>
> I've predicted that they will go to 3D. It is the only logical way to go<br>
<br>
</div>Everybody and his dog predicted that, since early 1970s.<br>
The difficult is actually making it happen, just in time<br>
when semiconductor photolitho just runs out of steam.<br>
Guess what, that time is now. So, where is your 3d integration<br>
technology?<br>
<div class="im"><br>
> from here, other than maybe 2 1/2 D first...<br>
<br>
</div>You can't have that by semiconductor photolitho. Stacking is<br>
off-More. What else have you got?<br>
<div class="im"><br>
><br>
> > And then you have to go real 3d, or else there's gap.<br>
> ><br>
><br>
> True, unless something completely different comes along, which may not be<br>
> highly likely.<br>
<br>
</div>New technologies typically take decades of development, until<br>
they're sufficiently matured so that they can take on mature<br>
technologies that have ran into their scaling limits.<br></blockquote><div><br></div><div>I totally agree that the 2d processes we are currently using are running into limits. But we will keep making the stuff we're making now cheaper. In my mind, that keeps us on Moore until such time as a 3D solution is worked out that makes things faster.</div>
<div><br></div><div>The main problem in my mind isn't making stuff smaller, but in dissipating heat so you can stack it up close to each other. That's what I mean by 2.5 D.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">

<div class="im"><br>
><br>
> > My guess the gap is somewhere 15-20 years long, but<br>
> > we've got maybe 10 years until saturation curve is pretty<br>
> > damn flat.<br>
> ><br>
><br>
> Ok. Then we can start making larger structures. It won't speed up due to<br>
> decreasing transistor size, but it will be able to do useful work. Imagine<br>
> a 3d CPU 5 inches on a side. That could do some serious work. More than a<br>
> human brain.<br>
<br>
</div>The human brain is a 3d integrated assembly of computational<br>
elements which are built from features on nm scale.<br></blockquote><div><br></div><div>Sure is. And I'm convinced that we'll soon enough have similar computational devices. Maybe we'll even figure out how to grow them. Who knows.</div>
<div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
<div class="im">> > He implicitly implied we'll run on 100% of thin-film PV in 16 years.<br>
> > That was 2011, so make that 14 years. This means 4.2 TWp/year just<br>
> > for power in a linear model, nevermind matching synfuel capability<br>
> > (try doubling that, after all is sung and done -- 8 shiny TWp/year).<br>
> > We're not getting the linear model. In fact, we arguably sublinear,<br>
> > see<br>
> > <a href="http://cleantechnica.com/2013/10/14/third-quarter-2013-solar-pv-installations-reach-9-gw/" target="_blank">http://cleantechnica.com/2013/10/14/third-quarter-2013-solar-pv-installations-reach-9-gw/</a><br>

><br>
><br>
> You obviously don't understand the nature of his prediction. If he says<br>
<br>
</div>Obviously. I expect prediction to be brittle, and that the originator<br>
is prepared to eat some crow, in case she is wrong. I'm old-fashioned<br>
this way.<br></blockquote><div><br></div><div>No Eugen. Let's simplify. If I predict that there will be 20 billion cats running loose in Germany in 16 years and that the number of cats will increase exponentially with a doubling every two years, and you come back in two years and say "We don't yet have 2 billion cats, so the prediction must be wrong." Then you clearly don't have an understanding of what exponential means.</div>
<div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
<div class="im">> that the doubling in solar efficiency is 3.5 years (going from memory) then<br>
> half of the solar he envisions will be installed between July 2023 and<br>
<br>
</div>Thank you for explaining exponential growth to me. I think I've first<br>
understood it before I was 10. </blockquote><div><br></div><div>Clearly not so much.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
The nature of solar cells is the only<br>
way to double the output is to double the surface. And the according<br>
infrastructure in the background, simple things like 10 GUSD plants,<br>
electric grid upgrades, storage systems, and the like.<br>
<div class="im"><br>
> 2027. What's being installed now probably is sublinear, that's what an<br>
> exponential would predict. He didn't predict a linear model. We'll revisit<br>
<br>
</div>You're not understanding me. It used to be exponential. Because it's<br>
very easy to double very little. Until suddenly you have to double<br>
quite a lot. This isn't a lily pond or a bacterial culture, this is<br>
infrastructure work.<br>
<br>
So Ray is already wrong, once again. The trend is no longer exponential.<br></blockquote><div><br></div><div>The only thing Ray said about solar is that the cost of the panels themselves was on an exponential curve. There is a lot more to solar costs than that. So if you hold him to something he didn't say, then yes, we're off the curve. If you have data showing that the panels themselves have fallen off the curve, then I'll give you credit for being correct, and will admit that Kurzweil is off, at least for the moment. (Unfortunately for you, you can sometimes hop back on the curve later with a new technology.)</div>
<div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
<div class="im">> his prediction in 2027 if we're both still communicating by then.<br>
<br>
</div>The prediction is 100% of electricity in 16 years. He then scaled<br>
that back by saying 20 years. That's 2021.<br>
<br>
Given that we're already off-exponential, I expect that you keep<br>
posting "I'm wrong" every year.<br></blockquote><div><br></div><div>I will give you this. Ray made a prediction about the price of solar panels and then extrapolated that to the price of solar generated electricity (which includes infrastructure, inverters, batteries and the like) which is not the same thing. I don't think Ray is right when he says things that imply that lots of infrastructure will just pop into existence. But, how much more infrastructure would pop into existence if solar panels were nearly free? A little more, but the other parts are still damn pricey, better than half of a current home installation.</div>
<div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
<div class="im">> > apply. However, in a sense it does apply. We do get some percent better at<br>
> > > extracting what's left each year. That doesn't mean we get an exponential<br>
> ><br>
> > No, in terms of net energy we're not getting better. We're actually<br>
> > getting worse.<br>
> ><br>
> > > amount of oil, since there's a limited amount of the stuff. But it does<br>
> > > mean that we get exponentially better at finding what's left (note that<br>
> ><br>
> > We're not getting better. We've mapped all the stuff, there are almost<br>
> > no unknown unknowns. And dropping EROEI and even dropping volume<br>
> > (not net energy, volume!) per unit of effort is pretty much the<br>
> > opposite of exponential. Do 40% of decay rate/well/year mean a<br>
> > thing to you?<br>
> ><br>
><br>
> You misunderstand my point again. I know it's harder to get oil. But we<br>
> develop new technologies for getting at what's left.<br>
<br>
</div>Fracking is 40 years old. Fracking is running into diminishing returns.<br>
So where are your new technologies, which need to be already in wide<br>
deployment, now?<br></blockquote><div><br></div><div>Fracking is currently producing a fair amount of oil. It's produced a lot of buzz. I am not an expert on oil production techniques, so I'm not going to argue from ignorance.</div>
<div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
<div class="im">> > > this curve is likely much more gentle than computing, with a doubling of<br>
> > > reserves we can get at maybe every 20 or 50 years. I don't know.)<br>
> ><br>
> > There are no exponentials in infrastructure. There is an early<br>
> > sigmoidal that looks that way, but we've left that already.<br>
> ><br>
><br>
> Infrastructure can change rapidly. How long did it take for everyone to get<br>
<br>
</div>No. Infrastructure takes 30 years, frequently longer. That's a constant.<br>
<div class="im"><br>
> a cell phone? Smart Phones? When electric cars make financial sense (if<br>
<br>
</div>How long did take for everybody to get their own synfuel plant?<br></blockquote><div><br></div><div>I agree larger infrastructure is harder. But things can change rapidly when they have to.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">

<div class="im">> they ever do) then people will switch to them quickly. Large infrastructure<br>
<br>
</div>Do you understand the logictics of car production? Battery manufacturing?<br>
Dynamics of fleet exchange? Recharging infrastructure? Including the money<br>
to fund it all? Do the math, it is really quite illuminating.<br></blockquote><div><br></div><div>I'm sure it is a hard problem. I do know the US car fleet turns over every 16 years or so. That would indicate that if it became a real issue and we had a real solution that it could be done in 16 years.</div>
<div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
<div class="im">> like roads and so forth will remain problematic until robotics is good<br>
> enough to do much more of the job.<br>> > ><br>
> > > > This is the opposite of science.<br>
> > > ><br>
> > ><br>
> > > It is a part of science, the hypothesis part. LAR applied to computing<br>
> > > available per dollar in particular is a hypothesis formed in the mid<br>
> > 1960s.<br>
> > > As far as I know, we are still more or less on that track, though they<br>
> > have<br>
> ><br>
> > No, we're not. See benchmarks.<br>
> ><br>
><br>
> Data please. I can't find any. I have looked.<br>
<br>
</div>Try Stream, though it's a synthetic benchmark<br>
<a href="http://www.admin-magazine.com/HPC/Articles/Finding-Memory-Bottlenecks-with-Stream" target="_blank">http://www.admin-magazine.com/HPC/Articles/Finding-Memory-Bottlenecks-with-Stream</a><br>
It would be a reasonable assumption for retina-like processing<br>
scaling. Deeper visual pipelines are different. Here, you need<br>
to access something like fetching from a large (>>10 GByte) of<br>
random pointers.<br></blockquote><div><br></div><div>A coprocessor with direct access to the "memory" of a retina would be very good for problems like this.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">

<div class="im"><br>
> > People who hear about Amdahl's Law the first time have to stop worrying,<br>
> > and embrace nondeterminism. People who expect reliable systems at hardware<br>
> > level are gonna have a bad time.<br>
> ><br>
><br>
> I disagree with that. There will be reliable hardware, or they won't be<br>
<br>
</div>If you want to not run into Amdahl you need to embrace nondeterminism.<br>
Building test harnesses just got a bit harder.<br></blockquote><div><br></div><div>You would need a new generation of programmers to go there, I think.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">

<div class="im">> able to sell it. No matter how slow the previous generation was. It is hard<br>
<br>
</div>Yes, there will be unreliable hardware. This is one of the problems in<br>
exascale: unreliable transport and unreliable components (as in: parts<br>
of your system keep failing at runtime, and you diagnose and remap to<br>
hot spares, all without breaking a stride). Beyond that, you've got<br>
stochastical computing elements. That's one of the joys of living at<br>
nanoscale.<br></blockquote><div><br></div><div>But it has to be dealt with at a low level, or programmers won't stand for it.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">

<div class="im"><br>
> enough to get programmers to do multi-threading. It would be damn close to<br>
> impossible to get them to switch to a model where the answer might not be<br>
> right.<br>
<br>
</div>There is no longer "exactly right" there is only "good enough".<br></blockquote><div><br></div><div>Well, for now we have exactly right for computation, in the future, and for certain algorithms that are NP complete, for example, good enough is fine. But for credit card processing, good enough isn't good enough.</div>
<div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
<div class="im"><br>> A pessimist will just hole up in his cave. I refer you to "The Croods" to<br>
<br>
</div>I don't know what a pessimist would do. I do know that the only guy who'd<br>
still have water when his cars break down in the desert is a realist.<br>
<br>
The optimists always end up as bleached bones. Your call.<br></blockquote><div><br></div><div>I prefer the extra years of life. Perhaps I'll spend them in a cave in the desert.</div><div><br></div><div>-Kelly</div><div>
<br></div></div></div></div>