Чарльз Уилан - Голая статистика. Самая интересная книга о самой скучной науке Страница 17

Очевидно, что справедливо и обратное. Даже небольшой процент от огромной суммы может выражаться большой абсолютной величиной. Допустим, министр обороны говорит, что расходы на его ведомство в этом году вырастут всего на 4 %. Замечательно! Но не стоит радоваться, если принять во внимание, что бюджет Министерства обороны составляет примерно 700 миллиардов долларов. Четыре процента от этой суммы равны 28 миллиардам долларов – на такие деньги можно купить очень много сэндвичей с индейкой. В действительности это скромное на первый взгляд четырехпроцентное повышение бюджета оборонного ведомства превышает бюджет НАСА и почти равняется совокупному бюджету Министерства труда и Казначейства США.

Аналогично, ваш добросердечный и справедливый босс может объявить о повышении всем сотрудникам в этом году заработной платы на 10 %. Какой великодушный жест! Правда, если вспомнить, что годовой доход вашего босса составляет 1 миллион долларов, а ваш – 50 000 долларов, то окажется, что его годовой доход повысится на 100 000 долларов, а ваш – на 5000 долларов. Между тем заявление «В этом году заработная плата всех сотрудников повысится на 10 %» звучит для вашего слуха гораздо приятнее, чем такие слова вашего босса: «Повышение моего годового дохода окажется в двадцать раз большим, чем вашего». Однако и то и другое не будет ложью.

Любое количественное изменение, происходящее в течение какого-то времени, всегда имеет начальную и конечную точки. И этими точками можно манипулировать так, как того требуют обстоятельства. Один из моих преподавателей любил повторять, что у него есть «республиканские» и «демократические» слайды. Он имел в виду данные о расходах на оборону, а под слайдами подразумевал то, что готовясь к выступлению перед сторонниками Республиканской или Демократической партии, он мог организовать одни и те же данные таким образом, чтобы его выступление понравилось соответствующей аудитории. Выступая перед сторонниками Республиканской партии, он показал бы им слайды с данными о повышении оборонных расходов в период правления Рональда Рейгана. Разумеется, Рейган показал нам, насколько важно уделять должное внимание вопросам обороны и безопасности, что, в свою очередь, помогло нам выиграть холодную войну. Глядя на эти числа, невозможно не оценить по достоинству непреклонную решимость Рональда Рейгана запугать Советы.

Для демократов мой бывший преподаватель использовал бы те же (номинальные) данные, но за более продолжительный отрезок времени. Выступая перед этой аудиторией, он бы отметил, что именно Джимми Картер заслуживает уважения за наращивание оборонной мощи страны. Как следует из приведенного ниже «демократического» слайда, рост оборонных расходов с 1977 по 1980 год демонстрирует ту же базовую тенденцию, что и их рост в период правления Рональда Рейгана. Таким образом, нам остается лишь порадоваться тому, что Джимми Картер – выпускник Военно-морской академии США в Аннаполисе и бывший офицер ВМС – инициировал процесс возрождения военной мощи Америки!

Источник: http://qoo.by/bz6.

Хотя основная задача статистики – представить содержательную картину интересующих нас явлений, во многих случаях мы также рассчитываем опираться на эти данные. Командам NFL требуется какой-либо простой показатель эффективности действий куортербека, с помощью которого можно было бы находить и включать в свои составы талантливых игроков из высших учебных заведений. Компании оценивают эффективность действий своих работников, чтобы продвигать по службе тех, кто приносит им наибольшую пользу, и увольнять тех, кто абсолютно бесполезен. В бизнесе популярен такой афоризм: «Вы не можете управлять тем, что не в состоянии измерить». И это действительно так. Однако вы должны быть твердо уверены в следующем: то, что вы измеряете, действительно является тем, чем вы пытаетесь управлять.

Рассмотрим вопрос качества школ, которое очень важно уметь измерять, поскольку, с одной стороны, это позволило бы поощрять и ставить в пример хорошие школы, а с другой – наказывать плохие и исправлять ситуацию в них. (А в рамках каждой школы перед нами стоит аналогичная цель – измерить качество преподавания.) Ключевым показателем качества школ и работы преподавателей являются результаты экзаменов. Если по итогам хорошо продуманного стандартизованного теста учащиеся демонстрируют впечатляющие баллы, то у нас есть все основания полагать, что учителя и школа отлично справляются со своей задачей. И наоборот, плохие результаты теста – это четкий сигнал о том, что многих преподавателей соответствующей школы нужно уволить, причем чем раньше, тем лучше. Такие статистические данные способны помочь улучшить государственную систему образования, не так ли?

Нет, не так. Любое оценивание школ и учителей, которое базируется исключительно на результатах экзаменов, представит очень неточную картину. У каждого учащегося свой жизненный опыт и способности, и они могут сильно разниться между собой. Нам известно, например, что уровень образования и величина дохода родителей ученика существенно влияют на его успеваемость, в какой бы школе он ни учился. Оказывается, только статистика, которой мы в данном случае не располагаем, а именно в какой мере успеваемость ученика (какой бы она ни была – хорошей или плохой) обусловливается происходящим в его школе (или классе, где он учится), имеет для нас значение.

Ученики из обеспеченных семей с высоким образовательным уровнем, как правило, демонстрируют хорошие результаты тестов буквально с первых и до последних дней учебы. Обратное также верно. Есть немало школ, где учатся исключительно дети из бедных семей и где преподаватели буквально творят чудеса, стремясь передать ученикам максимум знаний, но даже в этом случае трудно рассчитывать на хорошие баллы при сдаче тестов (хотя если бы в таких школах работали посредственные учителя, итоги экзаменов были бы еще плачевнее). Итак, нам необходим некий показатель «добавленной стоимости» на школьном уровне, или даже уровне класса. Нам не нужно знать абсолютный уровень успеваемости ученика – мы лишь хотим знать, в какой мере его успеваемость определяется образовательными факторами, которые мы пытаемся оценить.

На первый взгляд это кажется довольно легкой задачей, поскольку мы можем просто предложить ученику сдать сначала предварительный тест, а затем – заключительный. Если нам известен результат предварительного теста, который сдается при поступлении в определенную школу или класс, то мы можем оценить успеваемость ученика в момент окончания учебы в этой школе или классе, а разницу результатов «до» и «после» объяснить полученными им знаниями.

Увы, опять ничего не выйдет. Ученики с разными способностями, к тому же выходцы из семей с полярно разными уровнями дохода и образования, могут и знания усваивать с разной скоростью. Кто-то из учеников схватывает материал буквально на лету, а кому-то приходится объяснять по нескольку раз, причем все это не имеет никакого отношения к качеству преподавания. Таким образом, если ученики в Школе состоятельных родителей A и ученики в Школе бедных родителей B начинают изучать алгебру в одно и то же время и с одного и того же исходного уровня, то объяснить тот факт, что через год ученики школы A сдали экзамен по алгебре лучше, чем ученики школы B, можно либо тем, что в школе A преподают более квалифицированные учителя, либо тем, что в школе A учатся более способные ученики, быстрее усваивающие учебный материал, либо и тем и другим одновременно. Исследователи пытаются разработать статистические методы, которые при измерении качества преподавания учитывали бы способности учеников, а также материальное положение и образовательный уровень их родителей. А тем временем наши попытки выявить «наилучшие» школы могут оказаться до смешного несостоятельными.

Каждую осень несколько чикагских газет и журналов публикуют рейтинги лучших школ региона, основанные на результатах сдачи стандартизованного теста штата Иллинойс. Вот один из выводов, совершенно смехотворных с точки зрения статистики: поступление в несколько школ, постоянно занимающих высокие места в рейтинге, возможно лишь на конкурсной основе; для этого нужно предварительно подать соответствующие документы, причем в школу будет зачислена лишь малая часть из тех, кто их подал. Одним из важнейших критериев для поступления в такие школы являются результаты сдачи стандартизованных тестов. Итак, подведем итоги: 1) эти школы считаются «лучшими», потому что их ученики имеют высокие баллы на экзаменах; 2) чтобы попасть в такую школу, нужно иметь высокие баллы стандартизованных тестов. Это, по сути, то же самое, как если бы вы наградили баскетбольную команду за то, что в ее составе выступают очень рослые ребята.