Tag: theory

Scientific methodology (German edition)

3. Die deduktive Überprüfung der Theorien. Die Methode der kritischen Nachprüfung, der Auslese der Theorien, ist nach unserer Auffassung immer die folgende: Aus der vorläufig unbegründeten Antizipation, dem Einfall, der Hypothese, dem theoretischen System, werden auf logisch-deduktivem Weg Folgerungen abgeleitet; diese werden untereinander und mit anderen Sätzen verglichen, indem man feststellt, welche logischen Beziehungen (z. B. Äquivalenz, Ableitbarkeit, Vereinbarkeit, Widerspruch) zwischen ihnen bestehen.

Dabei lassen sich insbesondere vier Richtungen unterscheiden, nach denen die Prüfung durchgeführt wird: der logische Vergleich der Folgerungen untereinander, durch den das System auf seine innere Widerspruchslosigkeit hin zu unter­suchen ist; eine Untersuchung der logischen Form der Theorie mit dem Ziel, festzustellen, ob es den Charakter einer empirisch-wissenschaftlichen Theorie hat, also z. B. nicht tautologisch ist; der Vergleich mit anderen Theorien, um unter anderem festzustellen, ob die zu prüfende Theorie, falls sie sich in den verschiedenen Prüfungen bewähren sollte, als wissenschaftlicher Fortschritt zu bewerten wäre; schließlich die Prüfung durch „empirische Anwendung“ der abgeleiteten Folgerungen.

Diese letzte Prüfung soll feststellen, ob sich das Neue, das die Theorie behauptet, auch praktisch bewährt, etwa in wis­senschaftlichen Experimenten oder in der technisch-praktischen Anwendung. Auch hier ist das Prüfungsverfahren ein deduktives: Aus dem System werden (unter Verwendung bereits anerkannter Sätze) empirisch moglichst leicht nach­prüf­bare bzw. anwendbare singuläre Folgerungen („Prognosen“) deduziert und aus diesen insbesondere jene ausgewählt, die aus bekannten Systemen nicht ableitbar sind, bzw. mit ihnen in Widerspruch stehen. Über diese – und andere – Folgerungen wird nun im Zusammenhang mit der praktischen Anwendung, den Experimenten usw. entschieden. Fällt die Entscheidung positiv aus, werden die singulären Folgerungen anerkannt, verifiziert, so hat das System die Prüfung vorläufig bestanden; wir haben keinen Anlaß, es zu verwerfen. Fällt eine Entscheidung negativ aus, werden Folgerungen falsifiziert, so trifft ihre Falsifikation auch das System, aus dem sie deduziert wurden.

Die positive Entscheidung kann das System immer nur vorläufig stützen; es kann durch spätere negative Entscheidungen immer wieder umgestoßen werden. Solang ein System eingehenden und strengen deduktiven Nachprüfungen standhält und durch die fortschreitende Entwicklung der Wissenschaft nicht überholt wird, sagen wir, daß es sich bewährt.

Induktionslogische Elemente treten in dem hier skizzierten Verfahren nicht auf; niemals schließen wir von der Geltung der singulären Satze auf die der Theorien. Auch durch ihre verifizierten Folgerungen können Theorien niemals als „wahr“ oder auch nur als „wahrscheinlich“ erwiesen werden.

Inducing absolute truth

Universal generalisations are certainly testable, even if not provable, in the sense that it is always possible that the experiments we perform or the observations we make should turn out to falsify them. So the substitution of testability for provability allows universal generalisations to be included in science all right. Indeed Karl Popper has built a whole philosophy of science on the principle that what distinguishes science from non-science is its ‘falsifiability’.

This weakening of the empiricist requirements on science does not really solve the problem of induction. Even if the requirement of testability succeeds in picking out what people standardly and intuitively count as proper science, it leaves us with a problem of explaining why such proper science is a good thing. We have still been given no account of why success in past tests should be a good basis for accepting generalisations which predict the future. [21]

Infinite learning

Thus every statement (or ‘basic statement’) remains essentially conjectural; but it is a conjecture which can be easily tested. These tests, in their turn, involve new conjectural and testable statements, and so on, ad infinitum; and should we try to establish anything with our tests, we should be involved in an infinite regress. But as I explained in my Logic of Scientific Discovery (especially section 29), we do not establish anything by this procedure: we do not wish to ‘justify’ the ‘acceptance’ of anything, we only test our theories critically, in order to see whether or not we can bring a case against them. [521]

Severely risky

A serious empirical test always consists in the attempt to find a refutation, a counterexample. In the search for a counterexample, we have to use our background knowledge; for we always try to refute first the most risky predictions, the ‘most unlikely … consequences’ (as Peirce already saw); which means that we always look in the most probable kinds of places for the most probable kinds of counterexamples—most probable in the sense that we should expect to find them in the light of our background knowledge. Now if a theory stands up to many such tests, then, owing to the incorporation of the results of our tests into our background knowledge, there may be, after a time, no places left where (in the light of our new background knowledge) counter examples can with a high probability be expected to occur. But this means that the degree of severity of our test declines. This is also the reason why an often repeated test will no longer be considered as significant or as severe: there is something like a law of diminishing returns from repeated tests (as opposed to tests which, in the light of our background knowledge, are of a new kind, and which therefore may still be felt to be significant). These are facts which are inherent in the knowledge-situation; and they have often been described—especially by John Maynard Keynes and by Ernest Nagel—as difficult to explain by an inductivist theory of science. But for us it is all very easy. And we can even explain, by a similar analysis of the knowledge-situation, why the empirical character of a very successful theory always grows stale, after a time. We may then feel (as Poincaré did with respect to Newton’s theory) that the theory is nothing but a set of implicit definitions or conventions—until we progress again and, by refuting it, incidentally re-establish its lost empirical character. (De mortuis nil nisi bene: once a theory is refuted, its empirical character is secure and shines without blemish.) [325-6]

Fisher’s severe tests

In choosing the grounds upon which a general hypothesis should be rejected, the exprimenter will rightly consider all points on which, in the light of current knowledge, the hypothesis may be imperfectly accurate, and will select tests, so far as possible, sensitive to these possible faults, rather than to others. [47]

The freedom to come up with different answers

Poppers Botschaft ist klar. „Wir können nicht wissen“, sagt er, „wir können nur mutmaßen.“ Da keine wissenschaftliche Theorie endgültig beweibar ist, kommt es darauf an, immer erneut und mit ganzer Kraft zu prüfen, ob akzeptierte Theo­rien falsch sind, irrig oder widerlegt. Um dies zu tun, müssen wir die Bedingungen rationaler, kritischer Auseinander­setzung aufrechterhalten, unter denen es möglich bleibt, verschiedener Auffassung zu sein. Was für unser Wissen gilt, gilt auch für unser Verhalten und unsere Politik. Da niemand alle Antworten kennt, müssen wir vor allem sicherstellen, daß es möglich bleibt, unterschiedliche Antworten zu geben. [13]

Provoking the ‘belief philosophers’

In upholding an objective third world [World 3] I hope to provoke those whom I call ‘belief philosophers’: those who, like Descartes, Locke, Berkeley, Hume, Kant, or Russell, are interested in our subjective beliefs, and their basis or origin. Against these belief philosophers I urge that our problem is to find better and bolder theories; and that critical pre­ference counts, but not belief. [107]

Nothing can be proved

The critical attitude, the tradition of free discussion of theories with the aim of discovering their weak spots so that they may be improved upon, is the attitude of reasonableness, of rationality. It makes far-reaching use of both verbal argu­ment and observation—of observation in the interest of argument, however. The Greeks’ discovery of the critical method gave rise at first to the mistaken hope that it would lead to the solution of all the great old problems; that it would establish certainty; that it would help to prove our theories, to justify them. But this hope was a residue of the dogmatic way of thinking; in fact nothing can be justified or proved (outside of mathematics and logic). The demand for rational proofs in science indicates a failure to keep distinct the broad realm of rationality and the narrow realm of rational certainty: it is an untenable, an unreasonable demand. [67]

Misguided “scientism”

Um den Gehalt dieser meiner Hauptthese und ihre Bedeutung für die Soziologie ein wenig anzudeuten, wird es zweck­mäßig sein, ihr gewisse andere Thesen einer weit verbreiteten und oft ganz unbewußt absorbierten Methodologie gegenüberzustellen.

Da ist zum Beispiel der verfehlte und mißverständliche methodologische Naturalismus oder Szientismus, der verlangt, daß die Sozialwissenschaften endlich von den Naturwissenschaften lernen, was wissenschaftliche Methode ist. Dieser verfehlte Naturalismus stellt Forderungen auf wie: Beginne mit Beobachtungen und Messungen; das heißt zum Bei­spiel, mit statistischen Erhebungen; schreite dann induktiv zu Verallgemeinerungen vor und zur Theorienbildung. Auf diese Weise wirst Du dem Ideal der wissenschaftlichen Objektivität näher kommen, soweit das in den Sozialwissen­schaften überhaupt möglich, ist. Dabei mußt Du Dir darüber klar sein, daß in den Sozialwissenschaften die Objektivität weit schwieriger zu erreichen ist (falls sie überhaupt zu erreichen ist) als in den Naturwissenschaften; denn Objektivität bedeutet Wertfreiheit, und der Sozialwissenschaftler kann sich nur in den seltensten Fällen von den Wertungen seiner eigenen Gesellschaftsschicht soweit emanzipieren, um auch nur einigermaßen zur Wertfreiheit und Objektivität vor­zudringen.

Meiner Meinung nach ist jeder der Sätze, die ich hier diesem verfehlten Naturalismus zugeschrieben habe, grund­falsch und auf ein Mißverständnis der naturwissenschaftlichen Methode begründet, ja geradezu auf einen Mythus – einen leider allzu weit verbreiteten und einflußreichen Mythus vom induktiven Charakter der naturwissenschaftlichen Methode und vom Charakter der naturwissenschaftlichen Objektivität. [83]

The problem is epistemology, not statistics

Significance tests have a role to play in social science research but their current widespread use in appraising theories is often harmful. The reason for this lies not in the mathematics but in social scientists’ poor understanding of the logical relation between theory and fact, that is, a methodological or epistemological unclarity. Theories entail observations, not conversely. Although a theory’s success in deriving a fact tends to corroborate it, this corroboration is weak unless the fact has a very low prior probability and there are few possible alternative theories. The fact of a nonzero difference or correlation, such as we infer by refuting the null hypothesis, does not have such a low probability because in social science everything correlates with almost everything else, theory aside. In the “strong” use of significance tests, the theory predicts a numerical point value, or narrow range, so the hypothesis test subjects the theory to a grave risk of being falsified if it is objectively incorrect. In general, setting up a confidence interval is preferable, being more informa­tive and entailing null hypothesis refutation if a difference falls outside the interval. Significance tests are usually more defensible in technological contexts (e.g., evaluating an intervention) than for theory appraisal. [393]