.RU

Каузальные (причинные) отношения - Рич Р. К. Политология. Методы исследования: Пер с англ. / Предисл. А. К. Соколова



^ Каузальные (причинные) отношения указывают, что изменения в одном или нескольких понятиях приведут к изменениям в одном или нескольких других понятиях. Например, мы могли бы утверждать, что, чем сильнее у человека развита идентификация партийной принадлежности, тем выше вероятность того, что он (или она) примет участие в голосовании. Осознание того, что ты [с.54] являешься членом партии, может заставить человека принять участие в голосовании, однако высокая вероятность участия в голосовании не формирует идентификации партийной принадлежности.

Мы все в обыденной жизни привыкли рассуждать в терминах причины и следствия, однако, как правило, эти понятия используются нестрого. Часто бывает крайне трудно установить причины или последствия человеческих поступков: чем значительнее событие, тем более трудным может оказаться установление его причин. Что является причиной войны, общественного движения или образования новой политической партии?

Вследствие всех этих сложностей мы должны с осторожностью постулировать каузальные отношения и лишь в тех случаях, когда одновременно выполняются четыре условия. Во-первых, постулированные причина и следствие должны изменяться вместе, т.е. находиться в отношении ковариации. Во-вторых, причина должна предшествовать следствию. В-третьих, мы должны иметь возможность идентифицировать каузальную связь между предполагаемой причиной и следствием. (Это означает, что мы должны иметь возможность идентифицировать процесс, посредством которого изменения А вызывают изменения В.) В-четвертых, ковариация между явлениями причины и следствия не должна возникать из-за их одновременной соотнесенности каким-то третьим фактором.

Это последнее условие напоминает нам о проблеме мнимых отношений. Когда А и В изменяются вместе, поскольку оба они вызваны С, а в отсутствие С они совместно не изменяются, то усматриваемое нами отношение между А и В называется мнимым. Очень важно внимательно следить за предположениями, которые мы выдвигаем, пытаясь выявить возможные мнимые отношения, прежде чем включать их в теорию, посчитав результатом каузального взаимодействия. Классическим примером мнимого отношения служит следующий случай: вначале исследователь обнаруживает, что цена импортного рома и жалованье министров испытывают одновременные колебания, и затем делает вывод, что изменение цен на ром вызывает изменение министерского жалованья. Гораздо вероятнее, что и цены на ром, и жалованье министров изменяются в результате изменения общих экономических условий и общего уровня цен. Отношение между первыми [с.55] двумя переменными – это отношение ковариации, а не отношение каузации.

Важно понимать еще две особенности социальной каузации. Во-первых, одно явление может вызывать другое либо прямо, либо косвенно А может вызвать В лишь в том смысле, что будет являться причиной С, которое уже непосредственно будет вызывать В. Чтобы строить по возможности полные теории, необходимо очень внимательно следить за косвенной каузацией. Во-вторых, следует учитывать тот факт, что поведение человека обычно бывает обусловлено более чем одной причиной. При разработке теории необходимо избегать излишнего упрощения и отводить должное место в общественной жизни множественной каузации. Это означает, что любое событие может иметь несколько различных причин и что осуществление некоторого события иногда требует одновременного осуществления многих событий2.

Для того чтобы справиться со всеми этими трудностями, обычно бывает полезно построить каузальную модель теории. Каузальная модель – это диаграмма, которая в явном виде задаст все отношения, принятые в теории, и, таким образом , все следствия, вытекающие из наших посылок, становятся более наглядными. На рис.2.2 представлен пример такой модели. Каждая стрелка модели изображает каузальное воздействие, а направление стрелки указывает, какая переменная в нашей теории является зависимой, а какая – независимой. В теории, изображенной на рис.2.2, утверждается, что на решение члена палаты представителей голосовать за или против законов о социальном 'обеспечении влияет множество как прямых, так и косвенных факторов. Так, на схеме показано, что такой фактор, как численность бедного населения в избирательном округе данного представителя, влияет на его голосование по вопросам социального обеспечения как прямо (независимо), так и косвенно – через избирательную состязательность округа и уровень старшинства представителя.

И ковариационные, и каузальные отношения могут быть как положительными, так и отрицательными. Это означает, что два приятия могут изменяться либо в одном и том же направлении, либо в противоположных. Если они изменяются в одном и том же направлении, отношение считается положительным. Положительное отношение представлено утверждением: чем сильнее относительное неравноправие национальных меньшинств в [c.56] обществе, тем выше вероятность политического насилия. Отрицательное отношение представлено утверждением: чем сильнее степень политического отчуждения, испытываемого человеком, тем ниже вероятность того, что он (или она) будет принимать участие в традиционной политической деятельности. В теории должно быть указано, какое именно отношение между понятиями (положительное [c.57] или отрицательное) нами ожидается. Эта информация может быть добавлена к каузальной диаграмме с помощью знаков плюс (+) или минус (–), приписанных каждой стрела к указывающих на то, положительным или отрицательным мыслится данное отношение. [c.58]

^ ПРОВЕРКА И СОВЕРШЕНСТВОВАНИЕ ТЕОРИИ

К теории никогда не следует относиться как к чему-то завершенному. Ее следует рассматривать в качестве инструмента, время от времени требующего пересмотра и постоянного совершенствования. Начинать нужно с постановки проблемы исследования, которая требует объяснения наблюдаемых событий. Мы выбираем понятия, полезные для объяснения этих событий, мы связываем эти понятия с помощью утверждений, логически выведенных из множества предположений, которые мы выбираем, чтобы обеспечить такое объяснение. Теперь мы как бы приперты к стене. Имеет ли наша конструкция какую-нибудь пользу? На первый взгляд, она объясняет то, что мы хотим понять, но можно ли это проверить? Можем ли мы испытать ее полезность, с тем чтобы не только знать степень нашей уверенности в ней, но и иметь возможность убедить в ее ценности других?

^ Проверка теории занимает центральное место в процессе исследования. Поскольку наши теории разрабатываются на основе фрагментов знаний о реальных отношениях, проверка теории в основном заключается в том, чтобы, используя теорию, сформулировать определенные прогнозы относительно остальных отношений, которые мы не рассматривали, и затем проверить, согласуются ли действительные наблюдения с тем, что мы ожидали увидеть. Мы не можем опираться на отношения, которые уже рассматривались, поскольку демонстрация того факта, что теория заставляет нас ожидать именно тех отношений, для объяснения которых она построена, вовсе не является проверкой теории.

Возьмем пример с лифтом. Понаблюдав за лифтами в каком-нибудь здании, мы можем быть совершенно уверены, что они в этом здании действуют в соответствии с системой настенных кнопок. Быть может, мы даже захотим обобщить наши наблюдения и придем к выводу, что так работают все лифты. Правильность этого вывода можно [c.58] проверить, лишь испытав другие лифты. Перепроверка лифтов в здании, с которого мы начинали, ничего не даст, поскольку мы уже знаем, что они реагируют на кнопки, а демонстрация того, что это так и есть, не прибавляет нам уверенности, что и с другими лифтами дело обстоит так же. Нам придется пойти в другие здания и посмотреть, как там работают лифты. Мы никогда не сможем окончательно доказать, что наша теория работы лифтов верна, поскольку никогда не сможем обследовать все на свете лифты. По мере того как выявляется все больше и больше лифтов, работающих именно таким образом, а не иначе, наша уверенность в правильности нашего обобщения будет возрастать. Если же мы не обнаружим больше ни одного лифта, приводимого в действие кнопками, мы быстро сделаем вывод, что ошиблись, перенеся свое первое наблюдение на все другие лифты.

Проверка теории в социальных науках подчиняется тем же принципам. Мы должны перейти от того, что мы наблюдали при разработке теории, к тому, чего мы не наблюдали, для того что бы выяснить, дает ли нам теория верное отражение реального мира. Предположим, например, что мы хотим построить теорию, объясняющую поведение на выборах. Мы просматриваем предшествующие исследования на эту тему и обнаруживаем, что в случае жителей США высшее образование положительно связано с участием в голосовании. Чем дольше человек учился, тем выше вероятность такого участия. Основываясь на этом наблюдении, мы включаем в нашу теорию предположение, утверждающее, что более высокий уровень образования способствует более высокой вероятности участия в голосовании. Мы знаем, что в Соединенных Штатах эти факторы взаимосвязаны, а как обстоит дело в других странах? Можно ли без всяких сомнений распространять результаты наблюдений, проведенных в США, на другие страны?, Не могло ли случиться так, что в системе образования США есть нечто особенное, что и порождает эту зависимость? Единственный способ выяснить это – провести исследования за рубежом.

Из предположения, что образование повышает вероятность участия в голосовании, мы могли бы сделать вывод, что человек, окончивший колледж, скорее поймет участие в голосовании, чем тот, кто имеет лишь диплом об [c.59] окончании средней школы. Мы можем проверить это предположение, посмотрев, соответствует ли оно данным ряда других стран. Чем чаще мы будем убеждаться, что данные согласуются с выдвинутым предположением, тем сильнее будет наша уверенность в том, что теория адекватно предсказывает поведение людей. Мы никогда не можем быть абсолютно уверены, что теория “верна”, так как она не в состоянии ни учесть все случаи, ни предусмотреть возможные изменения эмпирических взаимосвязей с течением времени. Однако мы можем обрести большую или меньшую уверенность в применимости теории, сравнив выводимые из нее предположения со своими наблюдениями. Если теория позволяет правильно предсказать ранее не наблюдавшиеся явления, она полезна.

Теории, представляющие собой множества понятий, предположений и утверждений, никогда не бывают раз и навсегда доказаны или опровергнуты. Правильнее считать, что мы приобретаем уверенность в полезности теории по мере того, как у нас накапливаются наблюдения, согласующиеся с выводимыми из нее ожиданиями, или гипотезами. Наоборот, по мере того как накапливаются наблюдения, не согласующиеся с гипотезами, следующими из теории, наша уверенность уменьшается. Поэтому то, что мы называем проверкой теории, в действительности сводится к проверке гипотез. Совершенствование теории в значительной степени основано на процессе сравнения условий, предсказываемых Гипотезой, с действительностью и модификации теории на основе полученных результатов, с тем чтобы выводимые из нее гипотезы все более и более соответствовали тому, что мы наблюдаем. В этой связи крайне важно учитывать, как стоящие перед нами проблемы преобразуются в гипотезы, которые берутся на вооружение при эмпирическом исследовании и предоставляют нам сведения, позволяющие установить адекватность теоретических объяснений. [c.60]

^ РОЛЬ ГИПОТЕЗ

Гипотеза – это, в сущности, утверждение о том, как, по нашему мнению, обстоят дела в действительности. Она сообщает о том, что мы ожидаем увидеть в результате правильно организованных наблюдений за событиями, [c.60] происходящими в реальном мире. Гипотезы представляют собой декларативные предположения, описывающие ожидаемые нами взаимосвязи между явлениями, обозначаемыми нашими понятиями. Обычно они формулируются в следующем общем виде:

Чем выше (ниже, значительнее, больше, медленнее и т. п.) _______, тем выше (ниже, значительнее, больше, медленнее и т. п.)______.

Прочерки будут заполнены названиями явлений, которые, как мы ожидаем, изменяются одновременно. Например, исходя из теории, модель которой дана на рис.2.2, мы могли бы предложить следующую гипотезу:

^ Чем выше в округе процент бедного населения, тем скорее их представитель будет голосовать в поддержку законов о социальном обеспечении.

Это предсказывающая, ковариционная гипотеза. Она не сообщает, как определяются результаты голосования, однако указывает нам нечто, что мы можем наблюдать, пытаясь получить данные о соответствии между теорией и действительностью.

Получение этих данных с помощью эмпирического наблюдения требует перехода от теории, сформулированной в самом общем виде, к более конкретному уровню, на котором можно организовывать наблюдение. Поступая таким образом, мы должны начать рассуждать в терминах переменных. Переменная может быть определена как эмпирически наблюдаемое свойство некоторого явления, которое может принимать более одного значения. Например, такие переменные, как пол и национальность, могут принимать ограниченное число значений, и могут быть “измерены” лишь качественно, путем приписывания им таких характеристик, как “мужской” или “англичанин”. Другие переменные, как, например, возраст и годовой доход, могут иметь гораздо более широкий спектр значений; их можно измерять количественно путем подсчета.

Переменные позволяют переводить утверждения, содержащие лишь абстрактные понятия, в утверждения с более точными эмпирическими определениями, так что эмпирическая правильность утверждений Может быть оценена. У нас нет необходимости использовать различные термины для понятий, имеющих Точные эмпирические определения, таких, как возраст или пол. Однако более абстрактные понятия для проведения исследований могут потребовать представления в виде переменных. Например, [c.61] важное место в политологии занимает понятие плюрализма, однако его эмпирические референты не совсем ясны. Чтобы проверить эмпирическую правильность утверждения, связывающего плюрализм с другими объектами, мы должны представить это понятие в виде переменной или множества переменных, имеющих отчетливые эмпирические определения. В качестве переменной, представляющей в нашем исследовании понятие плюрализма, можно было бы использовать число организованных групп в стране, связанных определенными интересами. Затем мы можем обдумать все, начиная с отношений между переменными, чтобы оценить эмпирическую правильность утверждений об отношениях между понятиями. Если нам захочется считать, что переменная число организованных групп по интересам отражает основное значение понятия плюрализм, мы захотим получить подтверждение, что эта переменная связана с некоторой другой переменной (такой, как уровень правительственных расходов на социальное обеспечение), в доказательство того, что плюрализм также связан с этой второй переменной или понятием, которое она отражает.

Переменные занимают центральное место в процессе исследования по двум причинам. Во-первых, предоставляя более четкие эмпирические определения, они помогают установить, за чем следует наблюдать, чтобы проверить нашу теорию. Во-вторых, зная, какова роль переменных в рамках гипотез, мы можем организовать наше наблюдение. Переменные, которые рассматриваются как меняющие свое значение в ответ на изменение значения других переменных, называются зависимыми переменными. Их значение зависит от значения других переменных. Переменные, которые воздействуют на значение других переменных, меняя свои собственные значения, называются независимыми переменными.

Будет ли переменная зависимой или независимой, определяется отношением, утверждаемым гипотезой, содержащей данную переменную. Одна и та же переменная может быть зависимой в одном исследовании и независимой в другом. Например, некий исследователь, наблюдая за лоббистской борьбой заинтересованных групп, мог бы сделать вывод, что, чем больше в государстве организованных групп, связанных определенными интересами, тем выше будет [c.62] уровень правительственных расходов на программы по социальному обеспечению. В этом случае число групп является независимой переменной (НП), а уровень расходов – зависимой переменной (ЗП). Другой исследователь мог бы прийти к выводу, что группы, связанные определенными интересами, возникают в результате осознания людьми возможности получения от правительства определенных благ, и утверждать, что, чем больше средств правительство тратит на социальное обеспечение, тем больше будет число организованных групп, имеющих свои интересы. Здесь правительственные расходы – независимая переменная, а количество групп – зависимая. Различие между двумя точками зрения на возникающие в этих случаях отношения изображены на рис.2.3.

Все это очень важно, так как цель исследования отчасти определяется той ролью, которая приписана различным переменным. Если мы утверждаем, что рост числа заинтересованных групп ведет к увеличению правительственных расходов, мы не собираемся исследовать увеличение правительственных ассигнований в период между 1970 и 1980 гг., а затем отмечать изменение количества организованных групп в период между 1980 и 1990 гг. Этот рост никак не связан с уровнем предшествовавших ему расходов. Если же мы выдвигаем гипотезу, что увеличение расходов ведет к росту числа групп, то подойдет только что описанная стратегия исследования. Поскольку знания о зависимом или независимом статусе переменных помогают организовать проведение исследования, наши гипотезы должны очень аккуратно фиксировать этот статус. [c.63]

При внимательном рассмотрении рис.2.3 мы обнаруживаем еще один тип переменной, важной для социального анализа. В теории, представленной в виде диаграммы на рис.2.3a, лоббистская деятельность является промежуточной переменной; она возникает между числом организованных групп, связанных общими интересами, и уровнем правительственных ассигнований. Промежуточные переменные осуществляют связь между независимыми и зависимыми переменными. В этом случае заинтересованные группы не могли бы воздействовать на уровень правительственных ассигнований, если бы они не занялись парламентской деятельностью, чтобы получить фонды, предназначенные для этой цели. Если бы организациям было запрещено действовать в кулуарах законодательных органов, появление организаций, представляющих заинтересованные группы, не связывалось бы с уровнем правительственных ассигнований.

На рис.2.3б в качестве промежуточной переменной выступает осознание возможных благ. Переменная организация заинтересованных групп не была бы связана с уровнем общественных ассигнований, если бы члены группы не осознавали выгод организованности. Если бы, например, почти все правительственные ассигнования шли на оборонные проекты и лишь небольшая часть – на внутренние программы, многие граждане могли бы не видеть никакой пользы от увеличения правительственных ассигнований и не организовывались бы в группы даже тогда, когда общественные ассигнования быстро возрастали.

Промежуточные переменные регулируют взаимосвязи между другими переменными. Это означает, что значение, принимаемое промежуточными переменными, может воздействовать на силу и направление отношений между другими переменными. Если лоббистская деятельность в ситуации, изображенной на рис.2.3a, незначительна, связь между организацией заинтересованных групп и общественными ассигнованиями будет слабой. Если Деятельность носит активный характер, связь между двумя другими переменными будет сильной.

Поскольку промежуточные переменные определяют отношения между другими переменными, знание роли, которую они играют, будет оказывать влияние на наши ожидания, касающиеся связей между переменными. Если [c.64] мы строим теорию, в соответствии с которой лоббистская деятельность занимает промежуточное положение между организацией групп и увеличением ассигнований, мы можем дать следующие прогнозы:

Организация заинтересованных групп будет положительным образом связана с увеличением правительственных ассигнований в том случае, если лоббистская деятельность носит активный характер.

Организация заинтересованных групп будет лишь незначительно связана с правительственными ассигнованиями в том случае, когда лоббистская деятельность очень ограничена.

При этом недостаточно просто предсказать, что организация заинтересованных групп будет связана с увеличением правительственных ассигнований, так как, по нашему мнению, наличие связи между двумя переменными зависит от значения промежуточной переменной – лоббистской деятельности. Поэтому в наших теориях мы должны точно определить порядок отношений и роль, выполняемую каждой переменной.

Последний тип переменной, существенный в этой связи, – это антецедентная переменная. В то время как промежуточные переменные занимают место между независимой и зависимой переменными, антецедентные переменные вступают в действие до независимой переменной. Проводившиеся в США исследования поведения на выборах показали, что люди, глубоко осознающие партийную принадлежность, с большей вероятностью принимают участие в голосовании, чем те, у кого такого осознания нет. Мы могли бы сделать из этого вывод, что осознание партийной принадлежности способствует участию в голосовании. Однако что заставляет одних глубоко чувствовать партийную принадлежность, а других нет? Вероятно, важную роль в формировании у человека чувства партийной принадлежности играет глубина чувства партийной принадлежности, свойственного его родителям. Таким образом, партийная принадлежность родителей является антецедентной переменной в каузальной цепи, обусловливающей вероятность голосования.

Использование в наших теориях промежуточных и антецедентных переменных помогает уточнить понятие каузальных цепей, реально действующих и способствующих появлению явлений, которые мы хотим объяснить. Это увеличивает возможности по формированию гипотез, с [c.65] помощью которых мы можем проверить полезность наших теорий, поскольку гипотезы – это в значительной степени утверждения об отношениях между переменными. Они создают основу для сбора данных об эмпирической полезности всей нашей теоретической конструкции. Чем больше отношений мы постулируем и чем детальнее эти отношения, тем больше прогнозов об окружающем мире мы можем дать и тем более мощными средствами проверки нашей теории мы располагаем.

Остается открытым вопрос, каким образом мы получаем эти прогнозы, или гипотезы. Как именно мы решаем, какие отношения между переменными использовать при формулировании гипотез, вокруг которых организуются исследовательские проекты? [c.66]

^ ФОРМУЛИРОВАНИЕ ГИПОТЕЗ

Мы приходим к гипотезам либо путем индуктивного, либо путем дедуктивного рассуждения; это зависит от стадии процесса исследования, на которой мы находимся. Если для построения теории мы пользуемся методом проб и ошибок, гипотезы можно выдвигать с помощью процесса индуктивного обобщения. Например, отметив, что в США уровень участия граждан в политической жизни в разных штатах различен и при этом пропорционален уровню индустриализации, мы могли бы расширить данное наблюдение и утверждать, что это отношение между переменными может быть найдено и при сравнении разных государств. Если найдутся данные, подтверждающие эту гипотезу, у нас будет больше оснований включить индустриализацию в качестве переменной в теорию, предназначенную для объяснения политической активности. Однако до тех пор, пока у нас нет теории, позволяющей ответить на вопрос, почему индустриализация и политическая активность связаны друг с другом, мы не можем использовать факт их связи для объяснения политической активности.

Гипотезы, полученные индуктивным путем, могут играть важную роль в поисковом исследовании, которое полезно при построении теорий, но они оказываются бесполезными для объяснения явлений. Как только мы построили теорию, соединяющую наши переменные в логически связную систему, мы можем выводить из нее гипотезы [c.66] с помощью дедуктивного рассуждения. Так как эти гипотезы являются прогнозами о мире, логически следующими из теории, с которой мы работаем, то выявление фактов, подтверждающих гипотезу, помогает давать объяснение событиям, поскольку обнаружение таких фактов отражает валидность теоретической системы, из которой выведены гипотезы.

Дедуктивное рассуждение – очень хорошо разработанная дисциплина, и мы не будем здесь объяснять ее правила3. Однако важно отметить, что дедуктивная логика – это процесс, с помощью которого может быть эксплицирована информация, содержащаяся в наборе утверждений. Пользуясь одной лишь дедукцией, мы не в состоянии узнать об отношениях между переменными ничего нового. Мы используем дедукцию, только чтобы извлечь всю возможную информацию из того, что уже известно об этих отношениях. Дедукция используется для уточнения выводов, следующих из наших предположений, и именно это уточнение создает гипотезы.

Дедукция, приведенная на рис.2.1б, демонстрирует следующее. Если сформулированное предположение правильно, т.е. если республиканская партия привлекает только консерваторов, то любое подмножество членов этой партии также будет консервативным, а поскольку республиканцы Мидлтауна являются членами этой партии, они также будут консерваторами. Именно такой способ рассуждения мы имеем в виду, когда говорим, что одно следствие “логически вытекает” из другого. Вывод о том, что все республиканцы в Мидлтауне будут консерваторами, логически следует из предположения, что республиканская партия привлекает одних лишь консерваторов.

Задача построения гипотезы состоит в том, чтобы логическим путем сделать такой вывод, исходя из предположений, входящих в состав наших теорий. Именно потому, что гипотезы выводятся из теорий таким способом, проверка гипотез является косвенной проверкой теорий. Если мы опросим должным образом сформированную выборку из числа республиканцев Мидлтауна и обнаружим, что не все они консервативны, у нас будут все основания усомниться в валидности нашего предположения. Обнаружение среди республиканцев Мидлтауна либералов покажет, что республиканская партия привлекает не одних лишь [c.67] консерваторов. В этом случае нам нужно изменить свое предположение так, чтобы теория более точно соответствовала действительности, например, чтобы оно звучало следующим образом: “Республиканская партия имеет тенденцию привлекать скорее консерваторов, чем либералов”. Из этого предположения мы можем вывести гипотезу: “Среди членов республиканской партии в Мидлтауне будет больше консерваторов, чем либералов”.

Если среди республиканцев Мидлтауна мы обнаружим нескольких либералов и много консерваторов, мы сможем утверждать, что данные согласуются с гипотезой и с тем видоизмененным предположением, из которого она была выведена. И тем не менее мы не можем считать сделанное предположение валидным до тех пор, пока не убедимся, что оно подтверждается данными о консервативном или либеральном характере более обширной выборки из числа членов республиканской партии на общенациональном уровне. В конце концов, Мидлтаун мог быть в каком-то отношении уникальным. Возможно, например, что во всем городе наберется всего лишь десяток либералов, и тот факт, что лишь некоторые из членов республиканской партии являются либералами, оказывается результатом скорее этого, чем относительной привлекательности партии для либералов или консерваторов.

Здесь важно подчеркнуть, что данные, подтверждающие правильность гипотез, являются данными, подтверждающими правильность теории, лишь тогда, когда гипотезы связаны с теорией правилами дедуктивной логики. Только в этом случае мы можем без опасений переходить от данных относительно валидности гипотезы к любому суждению, касающемуся исходной теории. В ходе такого процесса логического вывода гипотез, проверки их фактами действительности и оценки теории в свете полученных результатов теории развиваются, дополняются и совершенствуются.

Особенно важную роль в этом процессе играет один вид гипотез – это альтернативные конкурирующие гипотезы. У любого события много возможных объяснений. Некоторые из этих объяснений будут полностью согласованы друг с другом, по крайней мере одно объяснение может быть правильным. Однако в некоторых случая объяснения могут противоречить одно другому: если правильно [c.68] одно, не может быть правильно другое. Если мы формулируем объяснения в виде гипотез, то гипотезы, не согласованные друг с другом, называются альтернативными конкурирующими гипотезами. Они альтернативные, поскольку дают разные способы рассмотрения или понимания объясняемого события. Они конкурирующие, поскольку не могут быть одновременно валидными. Если верна одна из гипотез, другая должна быть неверной. Мы не можем проверять и сопоставлять все возможные альтернативные гипотезы, связанные с любым событием, однако если мы хотим доверять хотя бы одной гипотезе, то должны попытаться проверить основные конкурирующие гипотезы, чтобы убедиться, что наши наблюдения не увели нас в неверном направлении.

Широко распространенная форма альтернативной конкурирующей гипотезы – это гипотеза, в которой утверждается, что отношение между любыми двумя переменными является мнимым и что изменения обеих переменных на самом деле обусловлены некоторым третьим фактором. Этот тип альтернативных конкурирующих гипотез особенно полезен при проверке теорий, так как он предлагает способ исследования, дающий твердую основу для оценки того, какая из двух рассматриваемых гипотез более правильная.

Вспомним приводившийся выше пример с установлением причинного отношения между ценами на ром и жалованьем министров, где отношение устанавливалось на том основании, что две эти переменные статистически действительно связаны. Основная альтернативная конкурирующая гипотеза состоит в том, что изменения обеих переменных вызваны изменениями общих экономических условий, представленных в виде уровня цен. Если данная гипотеза правильна, связь между ценами на ром и жалованьем министров исчезнет, как только мы сможем “контролировать”, т.е. поддерживать постоянным, воздействие уровня цен. Существуют статистические методы и исследовательские проекты, позволяющие определить, так ли это. Если мы обнаружим, что при условии контроля за общим уровнем цен статистическая связь между ценами на ром и жалованьем министров исчезает, у нас появится основание отвергнуть первоначальную гипотезу и заменить ее конкурирующей. Если соотношение между [c.69] ценами на ром и жалованьем сохраняется даже после того, как установлен контроль за общим уровнем цен, мы сможем в большей степени доверять гипотезе о том, что эти переменные действительно связаны. [c.70]

ЗАКЛЮЧЕНИЕ

Теории получают признание как полезные интеллектуальные инструменты при выполнении двух условий: при обнаружении данных, согласующихся с предсказаниями теорий, и при исключении конкурирующих гипотез. Однако необходимо помнить, что никакое отдельно взятое исследование не дает достаточных данных для принятия или отклонения какой бы то ни было теории или части теории, которая имеет дело с явлениями, не рассматривавшимися в данном исследовании. Всегда остается вероятность, что в ходе будущих исследований появятся данные, опровергающие валидность теории. Мы всегда должны быть готовы к встрече с противоречащими фактами и охотно обращаться к индукции для включения новых данных в более полезные теории. Построение теории – это процесс постоянного взаимодействия между предположениями и данными, между рассуждением и исследованием. Он требует и творческой изобретательности, и практического эмпиризма. Хорошую порцию последнего мы надеемся преподнести вам в следующих главах. [c.70]

^ ДОПОЛНИТЕЛЬНАЯ ЛИТЕРАТУРА К ГЛАВЕ 2

Литература по теории социологии часто имеет настолько специальный характер, что может быть понята лишь теми, кто хорошо знаком с терминологией, свойственной такой академической дисциплине, как философия науки. Однако эта усложненность не должна скрывать от [c.70] нас того факта, что в основе процесса построения теории кроется несколько легко формулируемых принципов. В качестве ценных источников для понимания проблемы мы предлагаем книги, в которых содержится доступное изложение предмета.

Одной из наиболее солидных разработок принципов социологического исследования является кн.: ^ Stinchcombе A.L. Constructing Social Theories. – Chicago: University of Chicago Press, 1987. Назовем еще две авторитетные книги, в которых рассматриваются вопросы разработки и использования теории в процессе исследования: Hoover К.R. The Elements of Social Scientific Thinking. – N.Y.: St. Martin's Press, 1984, 3d еd.; Reynolds P.D. A Primer in Theory Construction. – Indianapolis: Bobbs Merrill, 1971.

Кн.: Rosenbеrg M. The Logic of Survey Analysis. – N.Y.: Basic Books, 1968, – посвящена главным образом методам анализа данных, однако в ней содержится также прекрасное обсуждение природы переменных и отношений между переменными. Небольшая кн.: Сnudde Сh.P. Democracy in the American South. – Chicago: Marcham publishing Company, 1971 – даст вдумчивую и ясную характеристику этапов концептуализации, построения теории, проверки гипотез. Прочитав ее, вы получите наглядную картину взаимосвязей между теорией и исследованием. [c.71]

^ 3. ОТ АБСТРАКТНОГО К КОНКРЕТНОМУ: ОПЕРАЦИОНАЛИЗАЦИЯ И ИЗМЕРЕНИЕ

Каждое качество проявляет себя в определенном количестве, а без количества не может быть качества. До настоящего времени многие наши товарищи все еще не понимают, что необходимо уделять внимание количественному аспекту вещей – основополагающей статистике, основным процентным соотношениям и количественным пределам, определяющим качество вещей. У них в голове нет “цифр”, и в результате они не могут не делать ошибок.

^ Мао Цзэдун

 

Эмпирическое исследование– это способ получения ответов на вопросы о действительности. Наши вопросы могут быть главным образом практическими либо представлять преимущественно академический интерес. В любом случае они, возможно, будут сформулированы в абстрактной форме. Тем не менее ответы, которые мы хотим получить, обычно носят конкретный и специальный характер. Одна из первых проблем исследования – разработать способы перехода от абстрактного уровня вопросов к конкретным наблюдениям, которые позволят нам ответить на них.

Приведем пример не из области политики: предположим, мы хотим разрешить спор, какой из двух профессиональных футбольных защитников является лучшим спортсменом. Очевидно, нам придется каким-то образом сравнивать этих двоих, чтобы выработать свои аргументы. Но на каких основаниях мы будем их сравнивать? Мы хотим определить, у кого из них больше качеств хорошего спортсмена, однако спортивное мастерство – абстрактное понятие. Чтобы оценить каждого защитника в терминах этого качества, нам придется количественно определить понятие спортивного мастерства. Мы могли бы подсчитывать число сделанных ими передач во время игр, транслировавшихся по телевидению, поделить это число на число передач, которые они пытались сделать, и считать получающуюся в результате количественную оценку показателем спортивного мастерства. Или, что более вероятно, мы могли бы выполнять несколько таких операций по оценке действий игроков, так чтобы иметь более полную [c.72] картину того, насколько хорошо эти спортсмены выполняют функции защитника, и затем определенным образом их комбинировать. Получив новые количественные отношения, мы сможем сделать конкретные сравнения и разрешить спор.

То, что мы только что описали, – это, по существу, процесс, посредством которого в социальном исследовании осуществляется переход от абстрактного понятия к конкретным наблюдениям. Это решающий этап процесса исследования, поскольку лишь в том случае, если он выполнен правильно, собранная нами информация даст сведения о полезности наших теорий или позволит получить ответы на наши вопросы. Процесс сбора наблюдаемых явлений для представления абстрактных понятий известен как операционализация, а уточнение шагов, которые следует предпринять при ведении наблюдений, называется инструментализацией. Результатом ее является измерение, а измерение мы в конце концов используем в качестве свидетельства, принимая решения и отвечая на вопросы.

В настоящей главе мы подробно опишем эти процессы и обсудим проблемы, которые могут возникнуть при попытке операционализации и измерения понятий. Усвоив эту главу, вы сможете сформулировать объяснения, выработанные в результате анализа литературы, в форме, допускающей их проверку посредством реальных наблюдений. Обсуждаемые здесь действия представляют собой тот этап процесса исследования, после которого можно приступать к разработке плана исследования и сбору данных. [c.73]

^ ОПЕРАЦИОНАЛИЗАЦИЯ: СВЯЗЬ МЕЖДУ ТЕОРИЕЙ И НАБЛЮДЕНИЕМ

В гл. 2 мы подчеркивали важность наличия теории для руководства наблюдением. В самых общих чертах процесс исследования описан как процесс сравнения реальных наблюдений с теоретическими представлениями, для того чтобы мы могли оценить, насколько можно доверять теориям как объяснениям политических явлений. Эти представления формулируются в виде гипотез, предсказывающих наличие взаимосвязей между переменными, которые Представляют понятия теории. Цель настоящей главы – описать план проведения наблюдений, которые позволят произвести такие сравнения. Проблема заключается [c.73] в том, каким образом количественно представить наши понятия, так чтобы иметь возможность точно сказать, подтверждаются или нет наблюдениями наши теоретические представления.

Возникающие при этом проблемы в области социальных наук, по существу, не отличаются от проблем в области естественных наук. Простой пример помогает дать кое-какие пояснения на этот счет. Допустим, мы хотим проверить гипотезу о том, что минеральное удобрение, внесенное на одном поле, в большей степени стимулирует рост, чем естественные питательные вещества, обнаруженные на другом поле. Рост – это абстрактное понятие. Мы не можем увидеть его непосредственно, необходимо перевести рост в эмпирически наблюдаемую переменную, так чтобы мы могли определить, когда одно растение характеризуется им в большей степени, чем другие.

Можно представить понятие росте с помощью переменной достигнутая высота, поскольку относительная высота эмпирически наблюдаема. Однако стебли кукурузы отметок высоты не имеют; мы должны установить их сами. Но как это сделать? Мы попытаемся оценить с помощью наблюдателя кукурузу на двух полях как высокую или низкую. Однако такая процедура позволяет осуществить лишь грубое сравнение растений; при этом возможны разного рода ошибки, поскольку люди могут оценить переменную высота по-разному. Если мы хотим делать осмысленные сравнения, необходим более точный и надежный способ определения высоты.

Переменную высоты следует представить в виде значений какого-либо измерительного прибора, который может быть использован для получения точных, стандартизированных сведений о степени проявления данной характеристики у отдельных растений. Можно допустить, чтобы высота была представлена показателем, таким, как длина в дюймах, и измерить растения с помощью мерной ленты. Тогда данные, считываемые с мерной ленты, становятся значениями, которые мы приписываем растениям по переменной высота; эти значения и есть то, что мы реально сравниваем, пытаясь определить правильность нашего предсказания относительно величины роста растения на одном поле по сравнению с другим. [c.74]

Итак, мы перешли от абстрактного понятия рост к переменной высота и далее к показателю длина в дюймах. Это преобразование и есть то, что называется операционализацией, поскольку мы свели абстрактное понятие к множеству значений, которые могут быть получены с помощью специальных операций. И наконец, мы производим сравнения, на основании которых сможем оценить правильность нашей гипотезы об относительном росте, воспользовавшись сравнением значений, полученных в результате процесса измерения (в нашем примере – показаний, считанных с мерной ленты). Когда мы говорим о наблюдении в исследовании, мы имеем в виду процесс использования измерительного инструмента в целях приписывания значений некоторой характеристики или свойcтва рассматриваемого явления тем объектам, которые подвергаются изучению. Иными словами, наблюдение означает использование инструмента для измерения свойства или поведения.

Это очень важный момент. Он поясняет роль операционализации и измерения в процессе исследования. Мы никогда не можем реально сравнивать понятия, хотя наши теории, а зачастую и проблемы, будут сформулированы в терминах понятий. Мы сравниваем показатели понявший. В приведенном выше примере мы не можем сравнивать рост растений на двух полях. Мы можем сравнивать лишь данные, считанные с мерной ленты измерения, полученные с помощью показателя, который, как мы решили, представляет наше понятие.

Это означает, что наши сравнения могут быть точны лишь в той степени, в которой выбранные показатели отражают понятие, для измерения которого они предназначены. Если мы неправильно операционализировали наши понятия, отношение между показателями может неверно отражать отношение между понятиями, которые они должны представлять. В результате любые выводы, которые мы получаем исходя из понятий или теории, частью которой эти понятия являются, оказываются ошибочными.



Рис. 3.1. Операционализация: отношения между понятием, переменной и измерением

Рис.3.1 иллюстрирует эту ситуацию. Теория устанавливает отношение между двумя абстрактными понятиями. Гипотеза предсказывает наличие отношения между двумя эмпирически наблюдаемыми переменными, которые мы сводим к измеряемым показателям, а наши наблюдения выявляют [c.75] отношение (или отсутствие отношения) между двумя множествами значений этих показателей. Совершенно ясно, что мы можем сделать некоторые выводы о действительности на основе теоретических отношений лишь в том случае, если переменные хорошо соответствуют понятиям и показатели хорошо соответствуют переменным. Операционализация почти неизбежно приводит к некоторому упрощению или частичной утрате смысла, поскольку показатели редко передают все, что мы вкладываем в понятие. И хотя нам почти всегда приходится мириться с частичной утратой смысла, необходимо проводить операционализацию так, чтобы минимизировать этот недостаток. Нужно подыскивать такие показатели, которые передают возможно большую часть содержания понятий или отдельные его аспекты настолько точно, насколько это возможно.

Из всего этого вытекает ряд следствий, которые можно проиллюстрировать в нашем примере из области сельского хозяйства. После того как исследование начато, мы можем осознать, что в понятие “рост” входит нечто большее, чем высота, и что показатель “длина в дюймах” не полностью отражает то, что мы хотим измерить. Например, может оказаться, что два поля существенно различаются с точки зрения роста растений, однако все различия касаются диаметра стебля, ширины листьев и веса початка, а высота растений на обоих полях может различаться не очень существенно. В этом случае если при оценке результатов применения удобрения мы будем учитывать только высоту, то допустим серьезную ошибку, так как связь между понятием (рост) и переменной, которая его представляет (высота), неполноценна. Взятая переменная не полностью операционализирует понятие, которое она [c.76] представляет. Она не улавливает все значение понятия, и ее использование дает неправильное представление о связи, существующей в реальном мире.

Это особенно часто встречающаяся ситуация в социологических науках, так как наиболее важные их понятия многомерны в том смысле, что они имеют более чем один аспект или компонент. Вводимые нами критерии этих понятий должны отражать их многомерность (т.е. многообразие, несходство), если мы хотим, чтобы они были использованы как индикаторы концепции. Например, если критерием понятия “демократия” мы изберем только проведение регулярных выборов, то существует вероятность того, что мы классифицируем как демократические диктаторские режимы, которые также проводят выборы, но только с одним кандидатом на пост и не допускают свободы выражения мнений. В таком случае диктатуру мы будем рассматривать как западноевропейскую демократию. Чтобы получить корректный критерий того, какую нацию считать демократической, мы, несомненно, нуждаемся в индикаторах, отражающих все разнообразие этого понятия.

Этот простой пример поясняет, почему операционализации принадлежит решающая роль в проверке теории и во всем процессе исследования. Гораздо труднее объяснить, как обеспечить должную операционализацию. Это происходит потому, что подбор переменных для передачи понятий и разработка показателей для переменных в значительной степени требуют приложения творческих способностей и не могут быть сведены к множеству стандартизованных действий, которые безошибочно позволят получить необходимые измерения. Единственное, что мы можем сделать, – это указать некоторые подводные камни в процессе операционализации, которых следует избегать, и описать способы оценки адекватности операционализации, которые уже сделаны. Об этом мы расскажем в разделах главы, посвященных измерению. [c.77]

^ ОПЕРАЦИОННЫЕ ОПРЕДЕЛЕНИЯ

Однако, прежде чем перейти к обсуждению проблемы измерения в социальной науке, необходимо рассмотреть, из чего состоит операционализация понятия. Это делается путем уточнения набора процедур, которым надо [c.77] следовать, или операций, которые надо выполнять для получения эмпирического показателя проявления понятия в каждом отдельном случае. Эти процедуры дают операционное определение понятия и соответствующей ему переменной. Процесс операционализации в существенной степени сводится к задаче выбора операционных определений для понятий.

Чтобы приносить пользу (т. е. давать валидные и надежные измерения понятий), операционные определения должны точно и эксплицитно сообщать, что следует делать для определения того, какое количественное значение должно быть приписано переменной в каждом отдельном случае. Операционные определения должны точно задавать все шаги, выполняемые в процессе измерения.

Мы хотим быть точными в этом вопросе по крайней мере по трем причинам. Во-первых, мы стремимся к тому, чтобы точно сообщить другим исследователям, что именно мы сделали для получения наших измерений, так чтобы они могли оценить нашу работу и, быть может, повторить наше исследование для проверки результатов в другой ситуации. Во-вторых, если у нас есть ассистенты, занимающиеся сбором информации, мы захотим сделать наши инструкции достаточно детальными и точными, чтобы все они осуществляли измерения в равных условиях. Если наши инструкции расплывчаты, наши ассистенты при осуществлении измерений будут предпринимать несколько отличные способы действий, их результаты окажутся несопоставимы и мы не сможем сделать на их основании валидные выводы. И наконец, точные и детальные утверждения о том, как операционализировать переменную, помогут нам в оценке полученных результатов и в устранении конкурирующих объяснений для результатов, полученных из-за дефектов процесса измерения. (Мы подробнее поговорим об этом в других разделах данной главы.)

Рассмотрение следующего гипотетического примера поможет вам понять, что требуется при построении операционного определения. Предположим, по заданию университета вы должны провести работу по оценке результатов воздействия сладких безалкогольных напитков на академическую успеваемость студентов. На основании этого исследования должно быть решено, оставлять ли в [c.78] университетском городке торговые автоматы. Эта задача в основном сводится к проверке следующей гипотезы:

Чем большее количество сладких безалкогольных напитков выпивает студент, тем ниже качество его (или ее) академической успеваемости.

Для решения задачи вам придется построить операционные определения для ключевых понятий потребление безалкогольных напитков и академическая успеваемость. Для простоты предположим, что понятие академической успеваемости вы представили в виде переменной средняя оценка, второе ключевое понятие – в виде ответов студентов на прямой вопрос о потреблении ими безалкогольных напитков. После выбора колледжей и студентов, которые войдут в исследование, вы должны разработать процедуры для выполнения соответствующих измерений и проинструктировать ассистентов относительно того, как применять эти процедуры. Чтобы обеспечить сведения о зависимости переменной (академическая успеваемость), вам придется точно определить, откуда можно взять оценки, как подсчитать среднюю оценку и как формализовать информацию. Чтобы обеспечить измерение независимой переменной, вам придется дать точную формулировку вопросов, которые будут задаваться, и точно определить, как записывать различные возможные ответы на эти вопросы.

При разработке операционных определений для переменных, используемых в исследовании, вам необходимо дать скрупулезное описание процедур, используемых для осуществления измерений. Каждый шаг должен быть детально расписан. Это не только позволяет сделать описание исследования и обеспечивает стандартность процедур измерения, но и дает возможность продумать весь процесс осуществления измерения для определения возможных ошибок, которые могут сказаться на надежности результатов.

Предположим, мы хотим измерить степень поддержки, которую члены двух основных партий оказывают своей партии в законодательных органах штата. Мы можем операционализировать понятие “партийное единство” путем обращения к поименному голосованию и в дальнейшем использовать процент совпадений голосования среднего члена партии с голосованием большинства его партии как показатель единства при голосовании. Однако, решив [c.79] поступить таким образом, мы столкнемся с многовариантностью при реальной операционализации нашей переменной.

Информация о том, как голосует каждый законодатель, может быть получена из протоколов законодательного органа, однако после этого необходимо решить, какое из многих зафиксированных в протоколе голосований следует включить в наш подсчет. Одни голосования являются единодушными (такие, как голосование о выпуске прокламации в честь какого-нибудь национального героя) и не отражают партийного единства, поскольку не включают партийных проблем. Включение всех голосований снижает степень, в которой наше измерение отражает наше понятие. Мы должны выработать критерии для отбора голосований, подлежащих учету. Например, для того чтобы сосредоточивать внимание только на дискуссионных вопросах, мы могли бы отбирать для исследования только те поименные голосования, в которых принимают участие по крайней мере 2/3 законодателей и в которых побежденная сторона получает не менее 30% голосов.

Необходимо также решить, как разработать процедуру определения результатов голосования большинства членов партии, для того чтобы установить, соответствует ли голосование каждого члена партии позиции большинства. Мы должны решить, как поступать с воздержавшимися: считать ли их поведение за отказ от поддержки своей партии или исключать их из подсчета? Кроме того, нам нужно точно определить процедуру первоначального подсчета и последующего усреднения процентного содержания согласованных голосований для каждого законодателя.

При каждой операционализации мы сталкиваемся с необходимостью принимать сходные решения при определении того, какими процедурами пользоваться для получения соответствующих измерений. Полное операционное определение демонстрирует, как мы решили поступать с такими проблемами, и не оставляет никаких сомнений относительного того, что мы реально делали, производя наши измерения.

В результате построения операционного определения разрабатывается инструмент для выполнения измерений. В естественных науках для получения показателей, характеризующих степень проявления у физических [c.80] объектов некоторого свойства, применяются такие инструменты, как шкалы, экспонометры и микрометры. В социальных науках используются измерительные инструменты совсем иного рода. К числу типичных для социальных наук инструментов относятся: вопросы о форме проведения исследования; инструкции по проведению и описанию наблюдений за определенными событиями, такими, как дебаты на заседаниях ООН; множество характеристик, получаемых из справочника, и правила их объединения для формирования измерения.

Надлежащий инструментарий в социальных науках не менее важен, чем в естественных. Точно так же, как мы не стали бы измерять вес с помощью линейки, мы не захотели бы измерять политическое отчуждение с помощью вопросов, не выявляющих состояния людей, испытывающих отчуждение. Обсуждая в следующем разделе валидность и надежность измерений, мы предложим некоторые способы проверки инструментов, разработанных в процессе операционализации, которые укрепляют нашу уверенность в том, что эти инструменты измеряют то, что мы хотим. [c.81]

ИЗМЕРЕНИЕ

Мы операционализируем переменные, чтобы иметь возможность количественно представлять абстрактные понятия и осуществлять осмысленное сравнение явлений реального мира в терминах свойств, задаваемых этими понятиями. Такое приписывание числовых значений для представления свойств носит название измерения1. В результате измерения в каждом конкретном случае с переменной ассоциируется некоторое значение2. Это означает только то, что мы с большей точностью можем говорить о том, в какой степени данный объект наблюдения (например, человек, город, нация или организация) проявляет свойство, которое представлено измеряемой переменной. Вместо того чтобы говорить, что в городе “плохи дела в связи с преступностью”, мы сможем говорить о конкретных размерах преступности. Вместо того чтобы говорить о ком-то “преданный республиканец”, можно сказать, что он (или она) получил 5 баллов по нашей шкале силы идентификации партийной принадлежности. [c.81]

^ УРОВНИ ИЗМЕРЕНИЯ

Процедуры измерения предоставляют средство категоризации и упорядочения явлений. Вместе с тем одни процедуры дают возможность выявить более тонкие и детальные различия между событиями, чем другие. Поэтому нам приходится констатировать различные уровни измерения. Говоря о том, что процедура обеспечивает данный уровень измерения, мы квалифицируем ее в соответствии с количеством поставляемой ею информации об измеряемых явлениях и их взаимоотношениях друг с другом. Уровни измерения носят название номинального, порядкового и интервального.

iizmenenie-prilagatelnih-po-rodam-chislam-i-padezham-glasnie-i-soglasnie-bukvi-i-zvuki.html
ij-otchet-z-a-2009-2010-uchebnij-god-obshaya-harakteristika-obsheobrazovatelnogo-uchrezhdeniya-ou.html
ik-pogorelov-vv-firstov-ve-firstov-predislovie.html
ikanskoe-obrazovanie-i-odnovremenno-priobshitsya-k-bogatomu-kulturnomu-naslediyu-evropi.html
ikitin-d-a-nikitina-sborni-k-osnovnih-terminov-buhgalterskogo-ucheta-utverzhdeno-redakcionno-izdatelskim-sovetom-rgotupsa-v-kachestve-uchebnogo-posobiya-moskva-2-0-0-0-stranica-5.html
ikompyuter-kmegmen-esepter-shiarutehnologiyasi.html
  • notebook.bystrickaya.ru/i-organizacionnie-voprosi-russian-original-english-konferenciya-storon-konvencii-o-biologicheskom-raznoobrazii.html
  • universitet.bystrickaya.ru/uchebnie-programmi-dlya-vix-klassov-specialnih-korrek-cionnih-obsheobrazovatelnih-shkol-viii-vida-dlya-umstvenno-otstalih-detej-stranica-9.html
  • uchebnik.bystrickaya.ru/utverdit-plan-podgotovki-i-provedeniya-edinogo-gosudarstvennogo-ekzamena-v-tihoreckom-rajone-v-2011-godu-prilozhenie-poruchit.html
  • composition.bystrickaya.ru/polozhenie-o-vserossijskom-konkurse-klassnih-vospitatelej-mi-rastim-budushee-rossii.html
  • university.bystrickaya.ru/gorod-tomsk-stranica-4.html
  • college.bystrickaya.ru/-6-konkurs-volnogo-ekonomicheskogo-obshestva-istoriya-rossii-s-drevnejshih-vremen-do-konca-xx-veka-v-3-h-knigah.html
  • teacher.bystrickaya.ru/glava-1-otkuda-berutsya-bolezni-aleksandr-sviyash.html
  • znaniya.bystrickaya.ru/psihologiya-byulleten-novih-postuplenij-za-maj-2003-goda-kazan.html
  • notebook.bystrickaya.ru/kaledarno-tematicheskoe-planirovanie-smart-beginner-5-klass-tematicheskoe-planirovanie-smart-beginner-5-klass.html
  • textbook.bystrickaya.ru/ilyavarshavskij-biotrangulyaciya-lekochki-rasplyueva-stranica-4.html
  • zadachi.bystrickaya.ru/osnovnie-obyazannosti-osuzhdennih.html
  • knigi.bystrickaya.ru/sposobi-lirizacii-v-malih-zhanrah-russkoj-klassicheskoj-prozi.html
  • bukva.bystrickaya.ru/nachalnik-otdela-kontrolya-kachestva-programma-obespecheniya-kachestva-proektno-konstruktorskih-rabot-po-sozdaniyu-oborudovaniya.html
  • report.bystrickaya.ru/kniga-den-za-dnem-stranica-9.html
  • grade.bystrickaya.ru/neizvestnie-pomoshniki-tihoplav-v-yu-tihoplav-t-s.html
  • essay.bystrickaya.ru/ekaterinburgchelyabinsk-pod-uralom-v-sobstvennom-smisle-podrazumevaetsya-uralskij-hrebet-on-zanimaet-ogromnoe.html
  • writing.bystrickaya.ru/kritika-liberalnoj-finansovoj-sistemi-chast-7.html
  • vospitanie.bystrickaya.ru/zhan-piazhe.html
  • literatura.bystrickaya.ru/selskohozyajstvennoe-mashinostroenie-ukraini.html
  • lektsiya.bystrickaya.ru/programma-disciplini-vvedenie-v-yazikoznanie-dlya-napravleniya-035800-62-fundamentalnaya-i-prikladnaya-lingvistika-podgotovki-bakalavra-1-kurs.html
  • uchit.bystrickaya.ru/tematicheskoe-planirovanie-profilnogo-kursa-obshaya-biologiya-10-klass.html
  • spur.bystrickaya.ru/metodicheskie-rekomendacii-po-prohozhdeniyu-praktik-i-napisaniyu-vipusknoj-kvalifikacionnoj-raboti-dlya-studentov-specialnosti-100201-turizm-penza.html
  • testyi.bystrickaya.ru/analiticheskie-metodicheskie-materiali-i-informacionnoe-obsluzhivanie-vuzov-po-problemam-inzhenernogo-obrazovaniya.html
  • teacher.bystrickaya.ru/gosduma-rf-monitoring-smi-17-19.html
  • institut.bystrickaya.ru/stati-annotaciya-i-klyuchevie-slova-na-russkom-i-anglijskom-yazikah.html
  • notebook.bystrickaya.ru/igor-bunich-groza-stranica-18.html
  • universitet.bystrickaya.ru/tehnicheskogo-sostoyaniya-elementov-pri-sooruzhenii-i-vvode-v-ekspluataciyu-energobloka-as.html
  • crib.bystrickaya.ru/gosudarstvennij-ekzamen-po-specialnosti.html
  • zadachi.bystrickaya.ru/postanovleniesoveta-ministrov-respubliki-belarus-stranica-10.html
  • thesis.bystrickaya.ru/programma-elektivnij-kurs-reshenie-zadach-po-fizike.html
  • paragraph.bystrickaya.ru/kontrolnaya-rabota-3-metodicheskie-rekomendacii-k-vipolneniyu-kontrolnoj-raboti.html
  • esse.bystrickaya.ru/raspisanie-disputovkruglih-stolov-i-master-klassov-dokladchiki.html
  • esse.bystrickaya.ru/razdel-i-razvitie-gotovnosti-sohrannih-analizatorov-k-obucheniyu-orientirovke.html
  • universitet.bystrickaya.ru/tema-6-obektivnaya-storona-prestupleniya-metodicheskie-rekomendacii-dlya-podgotovki-k-seminarskim-i-prakticheskim.html
  • uchit.bystrickaya.ru/tema-7-organi-upravleniya-akcionernih-obshestv-a-p-shihverdiev-proekt-korporativnij-menedzhment-uchebnoe-posobie.html
  • © bystrickaya.ru
    Мобильный рефератник - для мобильных людей.