<div class="gmail_quote">On Sun, Dec 30, 2012 at 10:42 PM, spike <span dir="ltr"><<a href="mailto:spike66@att.net" target="_blank">spike66@att.net</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div link="blue" vlink="purple" lang="EN-US"><div><p class="MsoNormal"><span style="color:#1f497d">>…</span>  In the real world, we all have access to externalized knowledge.  The test is designed to show how effectively the technician can access that external knowledge pool out there on the internet.<span style="color:#1f497d">  </span>All suggestions welcome.<span style="color:#1f497d">  </span>Spike<span style="color:#1f497d"></span></p>
</div></div></blockquote><div><br>Be careful: if your test becomes popular enough, then someone<br>is likely to eventually write up the questions and answers they<br>faced.  In other words, their version of the test itself may become<br>
part of this externalized knowledge.<span style="color:#1f497d"><br></span><span style="color:#1f497d"> <br></span></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div link="blue" vlink="purple" lang="EN-US"><div><p class="MsoNormal"><span style="color:#1f497d">What I am toying with now is using one of Thune’s techniques to have a scaled score.  For instance, if the word “valve” or “valves” does not appear in the answer, I see no way to award any points.  But there should be a way to give a little more credit if the geek answered “Adjusting valve lash.”  Even more if the response is “Adjusting exhaust valve lash, which you know is the exhaust valve because of discoloration.”   Even more if the response is “Adjusting valve lash on one of the old BMW  air cooled boxer twin motorcycles, which you know was built before 1993 because of the way those pushrods come in on the under-side of the cylinder.”</span></p>
</div></div></blockquote><br>What if they just said "Adjusting lash", with all those other words,<br>rather than "Adjusting valve lash".  They clearly got it, but 0 points<br>for leaving out the one word?  Such all-or-nothing rules can fall prey<br>
to that type of problem in any sufficiently complex situation, such<br>as identifying what the person in that photo is doing.<br></div>