Tag: social sciences

The misuse of significance tests

The examples elaborated in the foregoing sections of numerical discrepancies arising from tbe rigid formulation of a rule, which at first acquaintance it seemed natural to apply to all tests of significance, constitute only one aspect of the deep-seated difference in point of view which arises when Tests of Significance are reinterpreted on the analogy of Acceptance Decisions. It is indeed not only numerically erroneous conclusions, serious as these are, that are to be feared from an uncritical acceptance of this analogy.

An important difference is that Decisions are final, while the state of opinion derived from a test of significance is provisional, and capable, not only of confirmation, but of revision. An acceptance procedure is devised for a whole class of cases. No particular thought is given to each case as it arises, nor is the tester’s capacity for learning exercised. A test of significance on the other hand is intended to aid the process of learning by observational experience.[100]

Unnatural science

If a broad line of demarcation is drawn between the natural sciences and what can only be described as the unnatural sciences, it will at once be recognized as a distinguishing mark of the latter that their practitioners try most painstakingly to imitate what they believe—quite wrongly, alas for them—to be the distinctive manners and observances of the natural sciences. Among these are:

(a) the belief that measurement and numeration are intrinsically praiseworthy activities (the worship, indeed, of what Ernst Gombrich calls idola quantitatis);

(b) the whole discredited farrago of inductivism—especially the belief that facts are prior to ideas and that a sufficiently voluminous compilation of facts can be processed by a calculus of discovery in such a way as to yield general prin­ciples and natural-seeming laws;

(c) another distinguishing mark of unnatural scientists is their faith in the efficacy of statistical formulas, particularly when processed by a computer—the use of which is in itself interpreted as a mark of scientific manhood. There is no need to cause offense by specifying the unnatural sciences, for their practitioners will recognize themselves easily: the shoe belongs where it fits. [167]

Fisher on the logic of null hypotheses

In relation to any experiment we may speak of this hypothesis as the “null hypothesis,” and it should be noted that the null hypothesis is never proved or established, but is possibly disproved, in the course of experimentation. Every ex­periment may be said to exist only in order to give the facts a chance of disproving the null hypothesis.

It might be argued that if an experiment can disprove the hypothesis that the subject possesses no sensory discrimi­nation between two different sorts of object, it must therefore be able to prove the opposite hypothesis, that she can make some such discrimination. But this last hypothesis, however reasonable or true it may be, is ineligible as a null hypothesis to be tested by experiment, because it is inexact. If it were asserted that the subject would never be wrong in her judgements we should again have an exact hypothesis, and it is easy to see that this hypothesis could be dis­proved by a single failure, but could never be proved by any finite amount of experimentation. [16]

Fisher on Bayesianism

[A]dvocates of inverse probability seem forced to regard mathematical probability, not as an objective quantity mea­sured by observable frequencies, but as measuring merely psychological tendencies, theorems respecting which are useless for scientific purposes. [6-7]

Fisher on significance tests

In considering the appropriateness of any proposed experimental design, it is always needful to forecast all possible results of the experiment, and to have decided without ambiguity what interpretation shall be placed upon each one of them. Further, we must know by what argument this interpretation is to be sustained. …

It is open to the experimenter to be more or less exacting in respect of the smallness of the probability he would require before he would be willing to admit that his observations have demonstrated a positive result. It is obvious that an experiment would be useless of which no possible result would satisfy him. Thus, if he wishes to ignore results having probabilities as high as 1 in 20—the probabilities being of course reckoned from the hypothesis that the phenomenon to be demonstrated is in fact absent … . It is usual and convenient for the experimenters to take 5 per cent. as a standard level of significance, in the sense that they are prepared to ignore all results which fail to reach this standard, and, by this means to eliminate from further discussion the greater part of the fluctuations which chance causes have intro­duced into their experimental results. No such selection can eliminate the whole of the possible effects of chance co­incidence, and if we accept this convenient convention, and agree that an event which would occur by chance only once in 70 trials is decidedly “significant”, in the statistical sense, we thereby admit that no isolated experiment, how­ever significant in itself, can suffice for the experimental demonstration of any natural phenomenon; for the “one chance in a million” will undoubtedly occur, with no less and no more than its appropriate frequency, however surprised we may be that it should occur to us. In order to assert that a natural phenomenon is experimentally demonstrable we need, not an isolated record, but a reliable method of procedure. In relation to the test of significance, we may say that a pheno­menon is experimentally demonstrable when we know how to conduct an experiment which will rarely fail to give us a statistically significant result. [12-4]

So you did one study? Do some more.

If one in twenty does not seem high enough odds, we may, if we prefer it, draw the line at one in fifty (the 2 per cent. point), or one in a hundred (the 1 per cent. point). Personally, the writer prefers to set a low standard of significance at the 5 per cent. point, and ignore entirely all results which fail to reach this level. A scientific fact should be regarded as experimentally established only if a properly designed experiment rarely fails to give this level of significance. The very high odds sometimes claimed for experimental results should usually be discounted, for inaccurate methods of esti­mating error have far more influence than has the particular standard of significance chosen. [504-5]

Weak statistical tests

The distinction between the strong and the weak use of significance tests is logical or epistemological; it is not a statistical issue. The weak use of significance tests asks merely whether the observations are attributable to “chance” (i.e., no relation exists) when a weak theory can only predict some sort of relation, but not what or how much. The strong use of significance tests asks whether observations differ significantly from the numerical values that a strong theory predicts, and it leads to the fourth figure of the syllogism—p ⊃ q, ~q , infer ~p—which is formally valid, the logician’s modus tollens (“destroying mode”). Psychologists should work hard to formulate theories that, even if somewhat weak, permit derivation of numerical point values or narrow ranges, yielding the possibility of modus tollens refutations. [422]

The objectivity of a critical tradition

Elfte These: Es ist gänzlich verfehlt anzunehmen, daß die Objektivität der Wissenschaft von der Objektivität des Wissenschaftlers abhängt. Und es ist gänzlich verfehlt zu glauben, dass der Naturwissenschaftler objektiver ist als der Sozialwissenschaftler. Der Naturwissenschaftler ist ebenso parteiisch wie alle anderen Menschen, und er ist leider – wenn er nicht zu den wenigen gehört, die dauernd neue Ideen produzieren – gewöhnlich äußerst einseitig und par­teiisch für seine eigenen Ideen eingenommen. Einige der hervorragendsten zeitgenössischen Physiker haben sogar Schulen gegründet, die neuen Ideen einen mächtigen Widerstand entgegensetzen.

Meine These hat aber auch eine positive Seite, und diese ist wichtiger. Sie ist der Inhalt meiner zwölften These.

Zwölfte These: Was man als wissenschaftliche Objektivität bezeichnen kann, liegt einzig und allein in der kritischen Tradition; in jener Tradition, die es trotz aller Widerstände so oft ermöglicht, ein herrschendes Dogma zu kritisieren. Anders ausgedrückt, die Objektivität der Wissenschaft ist nicht eine individuelle Angelegenheit der verschiedenen Wissenschaftler, sondern eine soziale Angelegenheit ihrer gegenseitigen Kritik, der freundlich-feindlichen Arbeits­teilung der Wissenschaftler, ihres Zusammenarbeitens und auch ihres Gegeneinanderarbeitens. Sie hängt daher zum Teil von einer ganzen Reihe von gesellschaftlichen und politischen Verhältnissen ab, die diese Kritik ermöglichen. [88]

The naive “anthropologist from Mars”

Zehnte These: Der Sieg der Anthropologie ist der Sieg einer angeblich beobachtenden, angeblich beschreibenden und angeblich induktiv-generalisierenden Methodologie, und vor allem anderen einer angeblich objektiveren und daher dem Anschein nach naturwissenschaftlichen Methode. Es ist ein Pyrrhussieg; noch ein solcher Sieg, und wir sind verloren – das heißt nämlich die Anthropologie und die Soziologie.

Meine zehnte These ist, wie ich gerne zugebe, ein wenig zu scharf gefasst. Vor allem muß ich zugeben, daß viel Interessantes und Wichtiges von der sozialen Anthropologie entdeckt wurde und daß sie eine der erfolgreichsten Sozialwissenschaften ist. Und ich will auch gerne zugeben, daß es für uns Europäer von großem Reiz und von großem Interesse sein kann, uns einmal selbst durch die Brille des sozialen Anthropologen zu betrachten. Aber obwohl diese Brille vielleicht farbiger ist als andere Brillen, so ist sie eben deshalb wohl kaum objektiver. Der Anthropologe ist nicht der Beobachter vom Mars, der er oft zu sein glaubt, und dessen soziale Rolle er nicht selten und nicht ungern zu spielen versucht; und es gibt auch keinen Grund, anzunehmen, daß ein Bewohner vom Mars uns „objektiver“ sehen würde, als wir uns zum Beispiel selbst sehen. [85]

Misguided “scientism”

Um den Gehalt dieser meiner Hauptthese und ihre Bedeutung für die Soziologie ein wenig anzudeuten, wird es zweck­mäßig sein, ihr gewisse andere Thesen einer weit verbreiteten und oft ganz unbewußt absorbierten Methodologie gegenüberzustellen.

Da ist zum Beispiel der verfehlte und mißverständliche methodologische Naturalismus oder Szientismus, der verlangt, daß die Sozialwissenschaften endlich von den Naturwissenschaften lernen, was wissenschaftliche Methode ist. Dieser verfehlte Naturalismus stellt Forderungen auf wie: Beginne mit Beobachtungen und Messungen; das heißt zum Bei­spiel, mit statistischen Erhebungen; schreite dann induktiv zu Verallgemeinerungen vor und zur Theorienbildung. Auf diese Weise wirst Du dem Ideal der wissenschaftlichen Objektivität näher kommen, soweit das in den Sozialwissen­schaften überhaupt möglich, ist. Dabei mußt Du Dir darüber klar sein, daß in den Sozialwissenschaften die Objektivität weit schwieriger zu erreichen ist (falls sie überhaupt zu erreichen ist) als in den Naturwissenschaften; denn Objektivität bedeutet Wertfreiheit, und der Sozialwissenschaftler kann sich nur in den seltensten Fällen von den Wertungen seiner eigenen Gesellschaftsschicht soweit emanzipieren, um auch nur einigermaßen zur Wertfreiheit und Objektivität vor­zudringen.

Meiner Meinung nach ist jeder der Sätze, die ich hier diesem verfehlten Naturalismus zugeschrieben habe, grund­falsch und auf ein Mißverständnis der naturwissenschaftlichen Methode begründet, ja geradezu auf einen Mythus – einen leider allzu weit verbreiteten und einflußreichen Mythus vom induktiven Charakter der naturwissenschaftlichen Methode und vom Charakter der naturwissenschaftlichen Objektivität. [83]