Post Hoc Rides Again.
To avoid falling for the post hac fallacy and thus wind up believing many things that are not so, you need to put any statement of relationship through a sharp inspection.
The correlation, that convincingly precise figure that seems to prove that something is because of something, can actually be any of several types.
One is the correlation produced by chance. You may be able to get together a set of figures to prove some unt likely thing in this way, but if you try again, your next set may not prove it at all. As with the manufacturer of the tooth paste that appeared to reduce decay, you simply throw away the results you don't want and publish widely those you do. Given a small sample, you are likely to find some substantial correlation between any pair of characteristics or events that you can think of.
A common kind of co-variation is one in which the relationship is real hut it is not possible to be sure which of the variables is the cause and which the effect. In some of these instances cause and effect may change places from time to time or indeed both may be cause and effect at the same time. A correlation between income and ownership of stocks might be of that kind. The more money you make, the more stock you buy, and the more stock you buy, the more income you get; it is not accurate to say simply that one has produced the other.
Perhaps the trickiest of them all is the very common instance in which neither of the variables has any effect at all on the other, yet there is a real correlation. A good dee of dirty work has been done with this one. The poor grades among cigarette smokers is in this category, as are all too many medical statistics that are quoted without the qualification that although the relationship has been shown to be real, the cause-and-effect nature of it is only ratter of speculation. As an instance of the nonsense or Spurious correlation that is a real statistical fact, someone has gleefully pointed to this: There is a close relationship between the salaries of Presbyterian ministers in Massachusetts and the price of rum in Havana.
Which is the cause and which the effect? In other words, are the ministers benefiting from the rum trade or supporting it? All right. That's so farfetched that it is ridiulous at a glance. But watch out for other applications of post hoc logic that differ from this one only in being more subtle. In the case of the ministers and the rum it easy to see that both figures are growing because of the influence of a third factor: the historic and world-wide risen the price level of practically everything.
And take the figures that show the suicide rate to be at paximum in june. Do snicides produce June brides or do June weddings precipitate suicides of the jilted? A sortewhat more convincing (though equally unproved) explanation is that the fellow who licks his depression all through the winter with the thought that things will look rosier in the spring gives up when June comes and he still feels terrible.
SomeboDy once went to a good deal of trouble to nd out if cigarette smokers make lower college grades than non-smokers. It turned out that they did. This pleased a good many people and they have been making much of it ever since. The road to good grades, it would appear, lies in giving up smoking; and, to carry the conclusion one reasonable step further, smoking makes dull minds.
This particular study was, I believe, properly done: sample big enough and honestly and carefully chosen, correlation having a high significance, and so on.
The fallacy is an ancient one which, however, has a powerful tendency to crop up in statistical material, where it is disguised by a welter of impressive figures. It is the one that says that if B follows A, then A has caused B.
—-
An unwarranted assumption is being made that since smoking and low grades go together, smoking causes low grades. Couldn't it just as well be the other way around?
Perhaps low marks drive students not to drink but to to-bacco. When it comes right down to it, this conclusion is about as likely as the other and just as well supported by the evidence. But it is not nearly so satisfactory to propa-gandists.
It seems a good deal more probable, however, that neither of these things has produced the other, but both are a product of some third factor. Can it be that the sociable sort of fellow who takes his books less than seriously is also likely to smoke more? Or is there a clue in the fact that somebody once established a correlation be tween extroversion and low grades-a closer relationship apparentiy than the one between grades and intelligence?
Maybe extroverts smoke more than introverts. The point is that when there are many reasonable explanations you are bardly entitled to pick one that suits your taste and insist on it. But many people do.
This particular study was, I believe, properly done: sample big enough and honestly and carefully chosen, correlation having a high significance, and so on.
The fallacy is an ancient one which, however, has a powerful tendency to crop up in statistical material, where it is disguised by a welter of impressive figures. It is the one that says that if B follows A, then A has caused B.
—-
An unwarranted assumption is being made that since smoking and low grades go together, smoking causes low grades. Couldn't it just as well be the other way around?
Perhaps low marks drive students not to drink but to to-bacco. When it comes right down to it, this conclusion is about as likely as the other and just as well supported by the evidence. But it is not nearly so satisfactory to propa-gandists.
It seems a good deal more probable, however, that neither of these things has produced the other, but both are a product of some third factor. Can it be that the sociable sort of fellow who takes his books less than seriously is also likely to smoke more? Or is there a clue in the fact that somebody once established a correlation be tween extroversion and low grades-a closer relationship apparentiy than the one between grades and intelligence?
Maybe extroverts smoke more than introverts. The point is that when there are many reasonable explanations you are bardly entitled to pick one that suits your taste and insist on it. But many people do.
To avoid falling for the post hac fallacy and thus wind up believing many things that are not so, you need to put any statement of relationship through a sharp inspection.
The correlation, that convincingly precise figure that seems to prove that something is because of something, can actually be any of several types.
One is the correlation produced by chance. You may be able to get together a set of figures to prove some unt likely thing in this way, but if you try again, your next set may not prove it at all. As with the manufacturer of the tooth paste that appeared to reduce decay, you simply throw away the results you don't want and publish widely those you do. Given a small sample, you are likely to find some substantial correlation between any pair of characteristics or events that you can think of.
A common kind of co-variation is one in which the relationship is real hut it is not possible to be sure which of the variables is the cause and which the effect. In some of these instances cause and effect may change places from time to time or indeed both may be cause and effect at the same time. A correlation between income and ownership of stocks might be of that kind. The more money you make, the more stock you buy, and the more stock you buy, the more income you get; it is not accurate to say simply that one has produced the other.
Perhaps the trickiest of them all is the very common instance in which neither of the variables has any effect at all on the other, yet there is a real correlation. A good dee of dirty work has been done with this one. The poor grades among cigarette smokers is in this category, as are all too many medical statistics that are quoted without the qualification that although the relationship has been shown to be real, the cause-and-effect nature of it is only ratter of speculation. As an instance of the nonsense or Spurious correlation that is a real statistical fact, someone has gleefully pointed to this: There is a close relationship between the salaries of Presbyterian ministers in Massachusetts and the price of rum in Havana.
Which is the cause and which the effect? In other words, are the ministers benefiting from the rum trade or supporting it? All right. That's so farfetched that it is ridiulous at a glance. But watch out for other applications of post hoc logic that differ from this one only in being more subtle. In the case of the ministers and the rum it easy to see that both figures are growing because of the influence of a third factor: the historic and world-wide risen the price level of practically everything.
And take the figures that show the suicide rate to be at paximum in june. Do snicides produce June brides or do June weddings precipitate suicides of the jilted? A sortewhat more convincing (though equally unproved) explanation is that the fellow who licks his depression all through the winter with the thought that things will look rosier in the spring gives up when June comes and he still feels terrible.
Another thing to watch out for is a conclusion in which a correlation has been inferred to continue beyond the data with which it has been demonstrated. It is easy to show that the more it rains in an area, the taller the corn grows or even the greater the crop. Rain, it seems, is a blessing. But a season of very heavy rainfall may damage or even ruin the crop. The positive correlation holds up to a point and then quickly becomes a negative one. Above so-many inches, the more it rains the less corn you get.
We're going to pay a little attention to the evidence on the money value of education in a minute. But for now let's assume it has been proved that high-school graduates make more money than those who drop out, that each year of undergraduate work in college adds some more in-come. Watch out for the general conclusion that the more you go to school the more money you'll make. Note that this has not been shown to be true for the years beyond an undergraduate degree, and it may very well not apply to them either. People with Ph.D.s quite often become
Постфактум снова в седле.
We're going to pay a little attention to the evidence on the money value of education in a minute. But for now let's assume it has been proved that high-school graduates make more money than those who drop out, that each year of undergraduate work in college adds some more in-come. Watch out for the general conclusion that the more you go to school the more money you'll make. Note that this has not been shown to be true for the years beyond an undergraduate degree, and it may very well not apply to them either. People with Ph.D.s quite often become
Постфактум снова в седле.
Кто-то однажды потратил немало усилий, чтобы выяснить, получают ли курящие студенты в колледже более низкие оценки, чем некурящие. Оказалось, что да.
Это обрадовало многих людей, и с тех пор они вовсю этим пользуются. Казалось бы, путь к хорошим оценкам лежит через отказ от курения; и, делая еще один разумный шаг в этом выводе, курение делает ум тупым.
Я полагаю, это конкретное исследование было проведено правильно: выборка достаточно велика и честно, тщательно подобрана, корреляция имела высокую значимость и так далее.
Заблуждение это древнее, однако оно имеет мощную тенденцию всплывать в статистических материалах, где маскируется под грудой внушительных цифр. Оно заключается в утверждении, что если B следует за A, то A стало причиной B.
—-
Делается необоснованное предположение, что раз курение и низкие оценки идут рука об руку, то курение вызывает низкие оценки. Но не могло ли быть с тем же успехом наоборот?
Возможно, низкие оценки толкают студентов не к выпивке, а к табаку. Если разобраться, этот вывод примерно так же правдоподобен, как и первый, и столь же хорошо подтверждается имеющимися данными. Однако он не так уж удобен для пропагандистов.
Гораздо более вероятным, однако, кажется, что ни одно из этих явлений не породило другое, а оба они являются продуктом какого-то третьего фактора. Может ли быть так, что общительный тип парня, который не слишком серьёзно относится к учёбе, также с большей вероятностью будет курить? Или подсказка кроется в том, что кто-то когда-то установил корреляцию между экстраверсией и низкими оценками — связь, по-видимому, даже более тесную, чем между оценками и интеллектом?
Возможно, экстраверты курят больше, чем интроверты. Суть в том, что когда существует множество правдоподобных объяснений, вы едва ли вправе выбрать то, что соответствует вашему вкусу, и настаивать на нём. Но многие так и делают.
Чтобы не поддаться на уловку *post hoc* и в итоге не верить во множество неправдоподобных вещей, нужно подвергать любое утверждение о взаимосвязи тщательному анализу.
Корреляция — эта убедительно точная цифра, которая, кажется, доказывает, что одно происходит из-за другого, — на самом деле может быть одного из нескольких типов.
Первый — корреляция, порождённая случайностью. Вы можете подобрать набор цифр, чтобы доказать таким способом какую-нибудь маловероятную вещь, но если попытаетесь снова, следующий набор может вовсе этого не доказать. Как и производитель зубной пасты, которая, как оказалось, снижала кариес, вы просто отбрасываете нежелательные результаты и широко публикуете те, что вам подходят. При небольшой выборке вы, вероятно, обнаружите значительную корреляцию между любой парой характеристик или событий, которые вам придут в голову.
Распространённый вид сопряжённой вариации — тот, в котором взаимосвязь реальна, но невозможно с уверенностью сказать, какая из переменных является причиной, а какая — следствием. В некоторых случаях причина и следствие могут меняться местами время от времени или даже могут быть одновременно и причиной, и следствием.
Это обрадовало многих людей, и с тех пор они вовсю этим пользуются. Казалось бы, путь к хорошим оценкам лежит через отказ от курения; и, делая еще один разумный шаг в этом выводе, курение делает ум тупым.
Я полагаю, это конкретное исследование было проведено правильно: выборка достаточно велика и честно, тщательно подобрана, корреляция имела высокую значимость и так далее.
Заблуждение это древнее, однако оно имеет мощную тенденцию всплывать в статистических материалах, где маскируется под грудой внушительных цифр. Оно заключается в утверждении, что если B следует за A, то A стало причиной B.
—-
Делается необоснованное предположение, что раз курение и низкие оценки идут рука об руку, то курение вызывает низкие оценки. Но не могло ли быть с тем же успехом наоборот?
Возможно, низкие оценки толкают студентов не к выпивке, а к табаку. Если разобраться, этот вывод примерно так же правдоподобен, как и первый, и столь же хорошо подтверждается имеющимися данными. Однако он не так уж удобен для пропагандистов.
Гораздо более вероятным, однако, кажется, что ни одно из этих явлений не породило другое, а оба они являются продуктом какого-то третьего фактора. Может ли быть так, что общительный тип парня, который не слишком серьёзно относится к учёбе, также с большей вероятностью будет курить? Или подсказка кроется в том, что кто-то когда-то установил корреляцию между экстраверсией и низкими оценками — связь, по-видимому, даже более тесную, чем между оценками и интеллектом?
Возможно, экстраверты курят больше, чем интроверты. Суть в том, что когда существует множество правдоподобных объяснений, вы едва ли вправе выбрать то, что соответствует вашему вкусу, и настаивать на нём. Но многие так и делают.
Чтобы не поддаться на уловку *post hoc* и в итоге не верить во множество неправдоподобных вещей, нужно подвергать любое утверждение о взаимосвязи тщательному анализу.
Корреляция — эта убедительно точная цифра, которая, кажется, доказывает, что одно происходит из-за другого, — на самом деле может быть одного из нескольких типов.
Первый — корреляция, порождённая случайностью. Вы можете подобрать набор цифр, чтобы доказать таким способом какую-нибудь маловероятную вещь, но если попытаетесь снова, следующий набор может вовсе этого не доказать. Как и производитель зубной пасты, которая, как оказалось, снижала кариес, вы просто отбрасываете нежелательные результаты и широко публикуете те, что вам подходят. При небольшой выборке вы, вероятно, обнаружите значительную корреляцию между любой парой характеристик или событий, которые вам придут в голову.
Распространённый вид сопряжённой вариации — тот, в котором взаимосвязь реальна, но невозможно с уверенностью сказать, какая из переменных является причиной, а какая — следствием. В некоторых случаях причина и следствие могут меняться местами время от времени или даже могут быть одновременно и причиной, и следствием.
Корреляция между доходом и владением акциями может быть как раз такого рода. Чем больше денег вы зарабатываете, тем больше акций покупаете, и чем больше акций покупаете, тем больше дохода получаете; будет неточно просто сказать, что одно породило другое.
Возможно, самый коварный из всех — очень распространённый случай, когда ни одна из переменных никак не влияет на другую, и тем не менее существует реальная корреляция. С помощью этого приёма проделано немало грязной работы. Низкие оценки среди курящих студентов попадают в эту категорию, как и слишком многие медицинские статистические данные, которые цитируются без оговорки о том, что хотя взаимосвязь и была доказана, её причинно-следственная природа всё же остаётся лишь предметом спекуляций. В качестве примера бессмысленной, или ложной корреляции, которая является реальным статистическим фактом, кто-то с радостью указал на следующее: существует тесная связь между зарплатами пресвитерианских священников в Массачусетсе и ценой на ром в Гаване.
Что здесь причина, а что следствие? Другими словами, священники получают выгоду от торговли ромом или поддерживают её? Ладно. Это настолько натянуто, что с первого взгляда выглядит нелепо. Но будьте начеку в отношении других применений логики *post hoc*, которые отличаются от этого примера лишь большей тонкостью. В случае со священниками и ромом легко увидеть, что обе цифры растут из-за влияния третьего фактора: исторического и общемирового роста цен практически на всё.
Или возьмём данные, показывающие, что уровень самоубийств достигает пика в июне. Неужели самоубийства порождают июньских невест, а июньские свадьбы провоцируют самоубийства брошенных? Более правдоподобное (хотя и столь же недоказанное) объяснение состоит в том, что человек, который всю зиму боролся с депрессией мыслью, что весной всё станет лучше, сдаётся, когда приходит июнь, а он всё ещё чувствует себя ужасно.
Ещё одна вещь, на которую стоит обратить внимание, — это вывод, в котором предполагается, что корреляция сохраняется и за пределами данных, на которых она была продемонстрирована. Легко показать, что чем больше дождя выпадает в регионе, тем выше растёт кукуруза и тем больше урожай. Кажется, дождь — это благословение. Но сезон очень сильных дождей может повредить или даже погубить урожай. Положительная корреляция сохраняется до определённого момента, а затем быстро превращается в отрицательную. Свыше определённого количества дюймов осадков — чем больше дождя, тем меньше кукурузы вы получаете.
Мы через минуту уделим немного внимания доказательствам денежной ценности образования. Но пока предположим, что было доказано: выпускники школ зарабатывают больше, чем те, кто бросил учёбу, и что каждый год обучения в колледже добавляет к доходу определённую сумму. Остерегайтесь общего вывода, что чем дольше вы учитесь, тем больше денег вы заработаете. Заметьте, что это не было доказано для лет учёбы после получения степени бакалавра, и вполне может быть, что к ним это тоже не относится. Обладатели докторских степеней довольно часто становятся...
Sent from my iPhone
Возможно, самый коварный из всех — очень распространённый случай, когда ни одна из переменных никак не влияет на другую, и тем не менее существует реальная корреляция. С помощью этого приёма проделано немало грязной работы. Низкие оценки среди курящих студентов попадают в эту категорию, как и слишком многие медицинские статистические данные, которые цитируются без оговорки о том, что хотя взаимосвязь и была доказана, её причинно-следственная природа всё же остаётся лишь предметом спекуляций. В качестве примера бессмысленной, или ложной корреляции, которая является реальным статистическим фактом, кто-то с радостью указал на следующее: существует тесная связь между зарплатами пресвитерианских священников в Массачусетсе и ценой на ром в Гаване.
Что здесь причина, а что следствие? Другими словами, священники получают выгоду от торговли ромом или поддерживают её? Ладно. Это настолько натянуто, что с первого взгляда выглядит нелепо. Но будьте начеку в отношении других применений логики *post hoc*, которые отличаются от этого примера лишь большей тонкостью. В случае со священниками и ромом легко увидеть, что обе цифры растут из-за влияния третьего фактора: исторического и общемирового роста цен практически на всё.
Или возьмём данные, показывающие, что уровень самоубийств достигает пика в июне. Неужели самоубийства порождают июньских невест, а июньские свадьбы провоцируют самоубийства брошенных? Более правдоподобное (хотя и столь же недоказанное) объяснение состоит в том, что человек, который всю зиму боролся с депрессией мыслью, что весной всё станет лучше, сдаётся, когда приходит июнь, а он всё ещё чувствует себя ужасно.
Ещё одна вещь, на которую стоит обратить внимание, — это вывод, в котором предполагается, что корреляция сохраняется и за пределами данных, на которых она была продемонстрирована. Легко показать, что чем больше дождя выпадает в регионе, тем выше растёт кукуруза и тем больше урожай. Кажется, дождь — это благословение. Но сезон очень сильных дождей может повредить или даже погубить урожай. Положительная корреляция сохраняется до определённого момента, а затем быстро превращается в отрицательную. Свыше определённого количества дюймов осадков — чем больше дождя, тем меньше кукурузы вы получаете.
Мы через минуту уделим немного внимания доказательствам денежной ценности образования. Но пока предположим, что было доказано: выпускники школ зарабатывают больше, чем те, кто бросил учёбу, и что каждый год обучения в колледже добавляет к доходу определённую сумму. Остерегайтесь общего вывода, что чем дольше вы учитесь, тем больше денег вы заработаете. Заметьте, что это не было доказано для лет учёбы после получения степени бакалавра, и вполне может быть, что к ним это тоже не относится. Обладатели докторских степеней довольно часто становятся...
Sent from my iPhone
Комментарии
Отправить комментарий