Оценка эффективности бюджетных расходов: сравнительный анализ подходов и модель многокритериальной оценки

Содержание

Введение

Повышение эффективности бюджетных расходов относится к числу центральных проблем теории государственных финансов и практики управления общественными ресурсами. Бюджет аккумулирует значительную часть создаваемого в стране продукта. От результативности использования этих средств зависит способность государства создавать общественные блага, поддерживать доверие граждан и обеспечивать устойчивость социально-экономического развития. Категория «эффективность бюджетных расходов» при этом не является однозначной. Она соединяет несколько разнородных начал: экономичность, результативность, целевой характер затрат и общественную значимость. Каждое из них задает собственный угол зрения на один и тот же расход. Экономичность требует минимизации затрат при заданном результате. Результативность связывает затраты с достигнутыми целями. Целевой характер отражает соответствие расходов принятым решениям. Общественная значимость выводит оценку за пределы финансового контура и обращает ее к потребностям получателей благ. Из этого соединения возникает принципиальный вопрос. Как измерять и сопоставлять достигнутые результаты, если расходные направления различаются по содержанию, масштабу и горизонту отдачи? Прямое сравнение затруднено. Универсального натурального измерителя, пригодного для всех видов расходов, не существует. Приходится конструировать искусственные шкалы и агрегировать разнородные показатели.

Актуальность темы исследования определяется ограниченностью бюджетных ресурсов и постоянным ростом требований к качеству общественных услуг. В этих условиях сравнение расходных направлений между собой становится не вспомогательной, а ключевой аналитической процедурой. Любое решение о перераспределении средств опирается на явное или неявное сопоставление. Одно направление расходов признается более предпочтительным, чем другое. Итог такого сопоставления в значительной степени предопределяется набором критериев и их весами. Изменение набора критериев способно изменить не только количественные оценки, но и сам порядок предпочтений. Тем самым проблема выбора критериев перестает быть технической деталью методики. Она превращается в содержательный вопрос, определяющий выводы оценки. Актуальность усиливается и другим обстоятельством. Существующие методики оценки эффективности бюджетных расходов ориентированы преимущественно на отдельные расходные направления либо на проверку соблюдения процедур. Сравнение разнородных расходов в единой системе координат остается слабо проработанным.

Степень изученности вопроса. Проблематика оценки эффективности бюджетных расходов разрабатывалась в нескольких исследовательских традициях. В теории общественных финансов и экономике общественного сектора сформировались представления о бюджетных расходах как форме коллективного потребления. Там же показана принципиальная сложность соизмерения затрат и результатов в этой сфере. В концепциях управления по результатам и программно-целевого бюджетирования предложены подходы. Они связывают расходы с целями, задачами и показателями результата. Существенный вклад внесли исследования в области государственного аудита и контроля. В них акцент сделан на законности, целевой направленности и результативности использования средств. В прикладной и методологической литературе активно развиваются методы многокритериального анализа решений. Они позволяют агрегировать разнородные показатели в итоговую оценку. Указанные направления развиваются относительно автономно. Вопросы выбора критериев и определения их весов нередко рассматриваются как вспомогательные. Между тем именно они определяют результаты сравнительной оценки. Это противоречие задает исследовательскую проблему настоящей работы. Оно состоит в разрыве между высокой практической востребованностью сравнительных оценок и слабой проработанностью вопроса о влиянии выбора критериев на их результат.

Объект исследования — система оценки эффективности бюджетных расходов. Она рассматривается как совокупность принципов, критериев, показателей и процедур, применяемых для формирования суждений о результативности использования бюджетных средств.

Предмет исследования — совокупность критериев и показателей, а также процедур их взвешивания и агрегирования. Эти элементы определяют результаты сравнительной оценки эффективности бюджетных расходов. Отдельно изучается влияние выбора критериев на такие результаты.

Цель исследования — на основе теоретического сопоставления существующих подходов к оценке эффективности бюджетных расходов разработать модель многокритериальной оценки и определить, каким образом состав критериев и их веса влияют на результаты сравнительной оценки.

Достижение поставленной цели предполагает решение следующих задач:

1) раскрыть содержание понятия бюджетных расходов как объекта оценки, определить цели, возможности и ограничения их оценивания;<br>2) систематизировать эволюцию подходов к оценке эффективности бюджетных расходов и выявить логику их развития;<br>3) определить, каким образом состав и структура критериев влияют на сравнительную оценку расходных направлений;<br>4) провести сравнительный анализ существующих методик оценки эффективности бюджетных расходов и выявить их допущения и ограничения;<br>5) сформировать систему критериев и показателей многокритериальной оценки, определить алгоритм взвешивания и агрегирования оценок;<br>6) построить синтетическую многокритериальную модель, проанализировать ее поведение на условных сценариях, обозначить ограничения модели и направления совершенствования оценки.

Соответствие перечисленных задач и методов их решения приведено в таблице 1.

Таблица 1 – Соответствие задач исследования и применяемых методов

Научная новизна исследования носит теоретико-методический характер. Она состоит в разработке синтетической многокритериальной модели. В этой модели выбор критериев и их весов рассматривается не как техническая предпосылка, а как фактор, объясняющий расхождения в результатах сравнительной оценки. На защиту выносится положение о том, что изменение состава критериев и структуры весов способно приводить к изменению упорядочения расходных направлений. Из этого вытекает необходимость явного обоснования критериев и процедуры проверки устойчивости. Новизна не связывается с эмпирической проверкой на реальных данных. Анализ поведения модели проводится на синтетических, то есть условно сконструированных, сценариях. Это специально оговаривается при изложении результатов.

Практическая значимость исследования состоит в возможности использования предложенной системы критериев и алгоритма агрегирования в аналитической работе. Речь идет о подготовке сравнительных оценок расходных направлений. Модель может применяться как методическая рамка для анализа чувствительности оценок к изменению весов. Она также позволяет выявлять скрытые допущения в существующих методиках. Отдельное направление применения — учебный процесс при подготовке специалистов в области государственных финансов. Практическая значимость носит потенциальный характер. Имеется в виду применимость предлагаемого инструментария, а не его внедрение в деятельность конкретных организаций.

Методы исследования. Работа опирается на общенаучные методы теоретического анализа и синтеза, сравнения, систематизации и классификации. Для сопоставления методик используется сравнительный анализ. Он предполагает выделение оснований сравнения, допущений и ограничений. При построении модели применяются методы многокритериального анализа решений. Среди них — методы взвешенного суммирования, методы анализа иерархий и методы оценивания по расстоянию до идеальной точки. Для исследования поведения модели используются сценарный подход и анализ чувствительности результатов к изменению весов критериев. Модельные расчеты выполняются на синтетических данных. Они служат исключительно иллюстрацией свойств модели.

Положения, выносимые на защиту:

1) выбор критериев представляет собой содержательное решение, а не техническую процедуру, поскольку состав критериев предопределяет возможные выводы сравнительной оценки;<br>2) система критериев оценки эффективности бюджетных расходов должна включать экономичность, результативность, общественную значимость и институциональные условия, а их веса должны задаваться явно и обосновываться;<br>3) многокритериальная модель с прозрачным алгоритмом агрегирования обеспечивает более полное представление о расходных направлениях, чем однокритериальные оценки, однако ее результаты не являются инвариантными к изменению структуры весов;<br>4) корректное применение модели требует обязательной процедуры анализа чувствительности, а выводы должны формулироваться с учетом устойчивости упорядочения;<br>5) ограничения синтетической модели должны быть эксплицированы; такая модель не заменяет эмпирическую проверку и не может служить основанием для выводов о фактической эффективности конкретных расходов.

Апробация результатов исследования на момент подготовки работы не проводилась. Обсуждение отдельных положений предполагается на научно-методических семинарах и в профессиональных дискуссиях по проблематике оценки эффективности бюджетных расходов. Сведения о публикациях и конкретных мероприятиях будут приведены по факту их проведения.

Структура работы. Диссертация состоит из введения, трех глав, заключения и списка использованных источников. Первая глава посвящена теоретическим основам оценки эффективности бюджетных расходов. В ней раскрывается содержание категории, рассматривается эволюция подходов и анализируется влияние критериев на сравнительную оценку. Во второй главе выполняется сравнительный анализ существующих методик. Там же формируется система критериев и показателей, определяются веса критериев и алгоритм агрегирования оценок. Третья глава содержит описание условий применения и ограничений синтетической многокритериальной модели. В ней анализируются условные сценарии, интерпретируются полученные результаты и обозначаются направления совершенствования оценки. В заключении обобщаются результаты исследования и формулируются выводы, соответствующие поставленным задачам.

Логика работы строится как последовательное движение от теоретического осмысления категории к построению методического инструментария. Каждая глава опирается на результаты предыдущей. Такой порядок позволяет проверить исходное предположение о том, что выбор критериев и их весов не является нейтральным по отношению к результатам сравнительной оценки. Эта зависимость составляет содержательное ядро исследования и определяет построение всех последующих разделов.

Теоретические основы оценки эффективности бюджетных расходов

Раздел посвящён теоретическим основаниям оценки эффективности бюджетных расходов. Рассматриваются природа бюджетных расходов как объекта оценки, историческая эволюция подходов к их оцениванию, а также влияние системы критериев на результаты сравнительного анализа. Изложение строится как теоретическое сопоставление подходов; синтетические примеры в тексте помечены и не воспроизводят эмпирических результатов.

Бюджетные расходы как объект оценки: понятие, цели и ограничения

Бюджетные расходы принадлежат к числу фундаментальных категорий экономической науки и практики публичного управления. В общем виде их определяют как форму перераспределения части общественных ресурсов, аккумулированных в распоряжении публично-правовых образований, для выполнения закреплённых за ними функций и удовлетворения общественно значимых потребностей. Определение фиксирует два связанных аспекта явления: ресурсный, отражающий движение стоимости, и функциональный, отражающий направленность этого движения на задачи, которые не решаются исключительно рыночными механизмами.

Экономическое содержание бюджетных расходов раскрывается через отношения между государством, хозяйствующими субъектами и гражданами по поводу использования централизованных денежных фондов. Средства, изъятые из первичного оборота в форме налогов, сборов и иных обязательных платежей, возвращаются в экономическую систему в виде оплаты товаров, работ и услуг, бюджетных инвестиций, трансфертов и социальных выплат. Расходы бюджета выступают инструментом вторичного распределения и перераспределения созданного продукта. Их структура и динамика отражают приоритеты общественного развития, сложившиеся на конкретном историческом этапе.

Правовая природа бюджетных расходов состоит в том, что они получают нормативное закрепление и реализуются в рамках регламентированных процедур планирования, утверждения, исполнения и контроля. Юридическая форма придаёт расходным обязательствам общеобязательный характер, обеспечивает их предсказуемость для получателей бюджетных средств и создаёт основу для последующей оценки законности и обоснованности затрат. Единство экономического и правового начал позволяет рассматривать бюджетные расходы одновременно как стоимостную величину и как совокупность обязательств публично-правового образования перед обществом.

Двойственность категории имеет принципиальное значение для понимания её места в бюджетном процессе. Расходы не являются изолированным элементом бюджетной деятельности. Они завершают цикл, который начинается с формирования доходов, продолжается составлением и рассмотрением проекта бюджета и получает практическое воплощение на стадии исполнения. Будучи итоговой, результативной стадией цикла, расходы одновременно выступают исходной точкой для оценки того, насколько достигнутые результаты соответствуют заявленным целям. В расходах бюджета материализуются управленческие решения, принятые на более ранних этапах. Именно поэтому они оказываются наиболее удобным и вместе с тем наиболее сложным объектом анализа.

Связь бюджетных расходов с целями государственной политики носит системный характер. Любое направление политики — социальное, экономическое, инфраструктурное, оборонное, экологическое — получает ресурсное обеспечение через расходную часть бюджета. Объём и структура расходов служат не только финансовым, но и политическим индикатором. Они показывают, какие общественные потребности признаны приоритетными и какие обязательства публично-правовое образование готово принять на себя в среднесрочной и долгосрочной перспективе. В этом смысле расходы бюджета представляют собой формализованный ответ государства на запросы общества, зафиксированный в плановых и программных документах.

Обязательства публично-правовых образований образуют отдельный срез категории. Часть расходов носит безусловный характер и связана с исполнением принятых социальных и иных обязательств. Часть имеет инвестиционную или стимулирующую направленность. Часть обеспечивает работу самих органов власти. Соотношение этих групп не является постоянным: оно изменяется под влиянием демографических, экономических и институциональных факторов. Оценка расходов не может строиться на едином универсальном основании, поскольку должна учитывать природу конкретного обязательства и характер общественной потребности, на удовлетворение которой оно направлено.

Особого внимания требует разграничение близких по смыслу, но не тождественных понятий, которыми оперирует теория и практика оценки. Экономичность характеризует отношение произведённых затрат к объёму использованных ресурсов и отвечает на вопрос, не мог ли заданный результат быть получен при меньших издержках. Продуктивность отражает соотношение между выпуском и затратами факторов производства и показывает, насколько интенсивно используются вложенные ресурсы. Результативность фиксирует степень достижения запланированного результата, записанного в виде целевого показателя, независимо от величины затрат. Качество описывает свойства самого создаваемого блага или услуги с точки зрения их пригодности для удовлетворения потребности получателя. Эффективность выступает наиболее широкой и наиболее сложной категорией. Она связывает результат с затратами и одновременно учитывает соответствие полученного эффекта поставленной цели.

Таблица 1 – Соотношение понятий, используемых при оценке бюджетных расходов

Разграничение понятий имеет не только терминологическое, но и методологическое значение. Смешение перечисленных понятий приводит к тому, что в качестве критерия оценки используется показатель, не соответствующий поставленному вопросу. Например, достижение целевого индикатора интерпретируется как свидетельство высокой эффективности, хотя стоимость его достижения не принимается во внимание. Столь же ошибочна обратная ситуация, когда экономия бюджетных средств рассматривается как самостоятельный признак эффективности безотносительно к полученному общественно значимому результату. Корректная оценка предполагает сознательное и обоснованное соотнесение каждого из названных аспектов с той задачей, которую призвано решить конкретное оценочное исследование.

Необходимость оценки бюджетных расходов вытекает прежде всего из ограниченности ресурсов, находящихся в распоряжении общества. Объём средств, который публично-правовое образование может направить на те или иные цели, всегда конечен. Количество заявленных потребностей, как правило, превышает имеющиеся возможности. Это обстоятельство превращает распределение расходов в задачу выбора, а всякий выбор требует обоснования. Оценка эффективности выступает инструментом такого обоснования. Она позволяет сопоставить альтернативные направления использования средств и определить, какие из них обеспечивают наибольшую отдачу с точки зрения общественно значимого результата.

Второй фактор, делающий бюджетные расходы объектом оценки, связан с требованиями подотчётности. Средства, поступающие в бюджет, имеют своим источником обязательные платежи налогоплательщиков. Это порождает закономерный запрос на информацию о том, как именно они были использованы. Подотчётность предполагает не только формальное представление отчётности, но и содержательное объяснение достигнутых результатов, а также готовность органов власти корректировать свою деятельность по итогам проведённого анализа. Оценка встраивается в механизм обратной связи между управленческими решениями и их последствиями.

Третий фактор — общественный контроль, который приобретает всё более разнообразные институциональные формы. Публичное обсуждение бюджетных приоритетов, участие гражданских институтов в экспертизе программ и проектов, открытость данных о расходных обязательствах формируют среду, в которой оценка эффективности перестаёт быть исключительно внутренней процедурой органа власти и становится элементом общественного диалога. Это предъявляет к оценочным методикам дополнительные требования: результаты должны быть понятны не только специалистам, но и широкой аудитории, а используемые критерии — поддаваться содержательной интерпретации.

Четвёртый фактор связан с потребностью в обосновании управленческих решений. Выбор между сохранением действующей структуры расходов и её изменением, между продолжением финансирования программы и её пересмотром, между централизацией и делегированием полномочий требует аргументации, опирающейся на систематизированные представления о результатах уже произведённых затрат. Оценка эффективности выполняет здесь двоякую роль. Она служит основанием для корректировки текущей политики и одновременно формирует информационную базу для стратегического планирования.

Из изложенного вытекают основные цели оценки бюджетных расходов. Первая состоит в оптимизации структуры расходов: оценка позволяет выявить направления, отдача от которых несоразмерна произведённым затратам, и перераспределить ресурсы в пользу более результативных направлений. Вторая цель — повышение качества общественных благ и услуг. Анализ ориентирует распорядителей бюджетных средств не на формальное освоение ассигнований, а на удовлетворение конкретных потребностей получателей. Третья цель — обеспечение достижения целевых показателей, заданных в программных и плановых документах. Четвёртая цель связана с поддержанием устойчивости бюджетной системы. Оценка позволяет своевременно обнаружить нарастающие диспропорции и тем самым снизить риски невыполнения принятых обязательств.

Перечисленные цели не всегда согласуются между собой и в ряде случаев вступают в противоречие. Это само по себе указывает на сложность объекта. Стремление к экономии может ограничивать возможности повышения качества. Ориентация на краткосрочные целевые показатели способна подрывать долгосрочную устойчивость. Оценка бюджетных расходов не может быть сведена к измерению одного показателя или к проверке одного критерия. Она объективно предполагает обращение к системе взаимодополняющих характеристик.

Многоаспектность бюджетных расходов как объекта оценки проявляется в нескольких измерениях. Прежде всего следует различать количественные и качественные эффекты. Первые поддаются прямому измерению и выражаются в натуральных или стоимостных показателях: объёмы построенных объектов, число получателей услуг, величина выплат. Вторые отражают изменения в состоянии общества или отдельных его групп и с трудом поддаются формализации. Речь идёт об укреплении доверия к институтам, снижении социальной напряжённости, повышении качества жизни, расширении возможностей для развития. Игнорирование качественных эффектов обедняет оценку. Попытка их механического сведения к количественным индикаторам порождает искажённые выводы.

Второе измерение связано с временным горизонтом. Часть результатов бюджетных расходов проявляется непосредственно в период исполнения бюджета. Другие имеют отложенный характер и обнаруживаются спустя годы. Образовательные и научные вложения, инфраструктурные проекты, природоохранные мероприятия дают эффект, распределённый во времени. Их оценка в пределах одного бюджетного цикла заведомо неполна. Отсюда следует необходимость различать краткосрочные и долгосрочные последствия и учитывать их раздельно, не смешивая в едином агрегированном показателе без соответствующей оговорки.

Третье измерение разграничивает прямые и косвенные результаты. Прямой результат непосредственно связан с деятельностью получателя бюджетных средств и может быть относительно точно атрибутирован конкретному расходному направлению. Косвенный результат возникает как следствие множества взаимодействующих факторов и нередко проявляется за пределами той сферы, в которой были произведены затраты. Примером может служить влияние транспортной инфраструктуры на развитие смежных отраслей или воздействие мер социальной поддержки на демографическое поведение. Учёт косвенных эффектов расширяет представление об отдаче от бюджетных расходов, однако усложняет установление причинно-следственных связей и повышает требования к качеству используемых данных.

Бюджетные расходы как объект оценки обладают рядом ограничений, которые не устраняются простым совершенствованием методического инструментария. Первое ограничение связано с множественностью целей. Бюджетные расходы практически никогда не преследуют единственную цель: одна и та же расходная программа одновременно направлена на социальный, экономический, инфраструктурный и институциональный эффект. Часть этих целей формулируется явно, часть остаётся латентной. Цели различных субъектов бюджетного процесса могут не совпадать. Для распорядителя средств приоритетом выступает исполнение доведённых показателей, для получателя бюджетных средств — доступность ресурса, для общества — конечный результат в виде качества жизни, для органа финансового контроля — соблюдение законности и целевого характера использования средств. Одна и та же совокупность расходов может получать различные оценки в зависимости от того, чья система целей принимается за точку отсчёта. Корректная оценка предполагает предварительную экспликацию целевой структуры и её явное согласование.

Второе ограничение носит темпоральный характер. Между осуществлением расходов и проявлением их результатов существуют временные лаги. Часть эффектов возникает непосредственно в момент предоставления бюджетных средств, часть — с задержкой в один-два бюджетных цикла. Отдельные эффекты, особенно в сфере образования, здравоохранения, науки и инфраструктуры, реализуются на протяжении многих лет и даже десятилетий. Оценка, проводимая в пределах одного финансового года или среднесрочного периода, фиксирует лишь промежуточные, а не конечные результаты. Возникает проблема сопоставления затрат и результатов, относящихся к разным моментам времени. Её решение требует процедур дисконтирования, а значит, и дополнительных допущений о ставке дисконта, горизонте планирования и характере распределения эффектов во времени. Изменение этих допущений способно изменить итоговый вывод о сравнительной эффективности расходов.

Третье ограничение обусловлено наличием внешних эффектов, или экстерналий. Значительная часть выгод от бюджетных расходов не локализуется в границах той группы, для которой предназначалась программа, а распределяется шире — на другие территории, отрасли и социальные группы. Часть издержек может переноситься на иных субъектов, не участвующих в принятии решения о расходовании средств. Возникает эффект перелива выгод и издержек. Он затрудняет определение действительного круга бенефициаров и создаёт риск как двойного счёта одних и тех же результатов, так и их недоучёта. Оценка, ориентированная исключительно на непосредственных получателей бюджетных средств, систематически занижает общественную значимость расходов. Оценка, стремящаяся учесть все косвенные эффекты, рискует утратить строгость и воспроизводимость.

Четвёртое ограничение связано с неполнотой и асимметрией данных. Информация о бюджетных расходах формируется преимущественно в ведомственном порядке и в значительной степени остаётся у распорядителей средств. Это порождает асимметрию между теми, кто предоставляет сведения, и теми, кто использует их для оценки. Добавляется проблема отсутствия данных о контрфактическом сценарии. Для строгого вывода о результативности расходов необходимо знать, что произошло бы при их отсутствии или при ином объёме, однако такая информация в большинстве случаев не наблюдаема. Установление причинно-следственных связей между расходами и результатами осложняется действием множества сопутствующих факторов, взаимным влиянием переменных и эффектами самоотбора. Наблюдаемая корреляция не может автоматически интерпретироваться как доказательство причинного воздействия.

Пятое ограничение проявляется в виде системы устойчивых дихотомий. Первая — противоречие между экономией и качеством. Сокращение издержек может достигаться за счёт снижения качества общественных благ, уменьшения их доступности или замедления темпов развития соответствующей сферы. Критерии экономичности и качества оказываются разнонаправленными. Вторая дихотомия — противоречие между ведомственной и общественной эффективностью. Оптимизация расходов с позиции отдельного ведомства нередко приводит к локальному улучшению при ухудшении общего результата. Ведомство оценивает лишь ту часть эффекта, которая входит в его зону ответственности. Третья дихотомия — противоречие между текущими и стратегическими результатами. Расходы, обеспечивающие быстрый и наблюдаемый эффект, конкурируют за ресурсы с расходами, результаты которых отложены, но имеют более высокую общественную ценность в долгосрочной перспективе.

Перечисленные ограничения непосредственно определяют методическую конструкцию оценивания. Они влияют на выбор критериев. Множественность целей требует, чтобы система критериев была достаточно полной и охватывала различные аспекты результата. Избыточность критериев порождает дублирование и усиливает произвол при агрегировании. Наличие временных лагов вынуждает либо ограничивать горизонт оценки и явно оговаривать это ограничение, либо вводить дисконтированные и прогнозные показатели, точность которых ниже точности отчётных данных. Внешние эффекты требуют решения вопроса о том, включаются ли косвенные результаты в состав оцениваемых. Если включаются, необходимо обеспечить предотвращение двойного счёта. Неполнота и асимметрия данных задают ограничения на степень детализации критериев. Чем дробнее система показателей, тем выше риск того, что значительная их часть окажется или необеспеченной данными, или заполненной экспертными оценками, которые трудно верифицировать. Сложность установления причинно-следственных связей ориентирует оценку в сторону сопоставления альтернативных вариантов расходования средств, а не в сторону механического измерения достигнутых значений индикаторов.

Ограничения сказываются и на сопоставимости показателей. Сравнительная оценка предполагает определённую однородность объектов сопоставления. Бюджетные расходы различных ведомств, территорий и программ различаются по масштабу, структуре, исходным условиям и характеру решаемых задач. Показатели, выраженные в абсолютных величинах, оказываются несопоставимыми уже в силу различий в объёмах финансирования. Переход к относительным величинам порождает новые сложности, связанные с выбором базы нормирования. Можно рассмотреть условный пример. Две сопоставляемые программы демонстрируют одинаковое значение удельного показателя результата на единицу затрат. Одна из них реализуется в условиях уже достигнутого высокого уровня обеспеченности, другая — в условиях его дефицита. Формально равные оценки будут отражать принципиально разное содержание. Пример носит иллюстративный характер и не воспроизводит результатов какого-либо конкретного исследования.

Ограничения сказываются и на интерпретации сравнительных результатов. Любая агрегированная оценка представляет собой упрощение, при котором многомерная картина замещается одним числом или упорядоченным рядом. Такое упрощение удобно для принятия решений, но создаёт риск ложной точности. Незначительные различия в итоговых значениях воспринимаются как доказательство превосходства одного объекта над другим. Результаты сравнительной оценки зависят от структуры критериев и от весовых коэффициентов, приписываемых отдельным направлениям. Изменение весов, отражающее смену приоритетов бюджетной политики, способно изменить не только количественные значения интегральных оценок, но и взаимное расположение объектов в рейтинге. Сравнительная оценка не может рассматриваться как нейтральный измерительный инструмент. Она всегда несёт в себе нормативное содержание, связанное с представлениями о желаемом распределении приоритетов. Процедура взвешивания должна быть прозрачной и поддающейся содержательной интерпретации.

Изложенное позволяет сформулировать вывод по подразделу. Бюджетные расходы представляют собой сложный, многомерный объект оценки, характеристики которого не сводятся к одному измерению. Множественность целей, темпоральная распределённость эффектов, наличие внешних воздействий, информационная неполнота, трудность установления причинно-следственных связей, внутренние противоречия между экономичностью и качеством, ведомственными и общественными, текущими и стратегическими результатами означают, что попытка построить оценку на основе единственного критерия неизбежно искажает картину. Единственный критерий либо абсолютизирует один аспект в ущерб остальным, либо скрывает содержательные противоречия за формально однозначным итогом. Возникает потребность в системе критериев, то есть в наборе показателей, который охватывает различные стороны результата и одновременно позволяет сохранить возможность агрегирования для целей сравнительного анализа. Переход от единичного критерия к системе критериев порождает необходимость в многокритериальном подходе как особой логике оценивания. Такой подход предполагает не простое суммирование разрозненных показателей, а осознанное конструирование системы критериев, определение их относительной значимости и выбор алгоритма агрегирования. Многокритериальность не устраняет рассмотренные ограничения, но делает их явными и управляемыми. Она переводит проблему из плоскости поиска единственно верного измерителя в плоскость обоснованного согласования целей, приоритетов и способов интерпретации.

Эволюция подходов к оценке эффективности бюджетных расходов

Проблема оценки эффективности бюджетных расходов принадлежит к числу тех предметных областей, в которых содержательный ответ невозможен без предварительного уточнения того, что понимается под эффективностью и в русле какой концептуальной традиции выстраивается оценка. Бюджетные расходы представляют собой многомерный объект. Они одновременно выступают формой перераспределения публичных ресурсов, инструментом выполнения социальных обязательств государства и механизмом достижения общественно значимых целей. Попытка дать однозначную оценку эффективности таких расходов опирается на определённую систему теоретических допущений. Эти допущения исторически изменялись вместе с представлениями о роли государства, о границах его ответственности и о критериях успешности его деятельности.

Исходная задача состоит в том, чтобы различить исторически сменяющие друг друга подходы и стоящие за ними концептуальные основания. В исследовательской литературе термин «оценка эффективности» нередко используется как обобщающий и объединяет качественно различные процедуры. Разные подходы отвечают на разные по существу вопросы. Один — о законности, адресности и целевом характере расходования средств. Другой — об экономичности использования ресурсов. Третий — о достигнутых результатах и их общественной значимости. Смешение этих вопросов порождает методологическую ошибку. Отсутствие нарушений интерпретируется как эффективность, а полное освоение выделенных ассигнований — как достижение поставленной цели.

Прежде чем перейти к характеристике отдельных этапов, необходимо разграничить три базовых понятия: экономичность, эффективность и результативность. Под экономичностью понимают минимизацию затрат ресурсов при заданном качестве и объёме приобретаемых благ. Экономичность отвечает на вопрос, насколько рационально использованы ресурсы и нет ли возможности получить тот же результат с меньшими издержками. Эффективность отражает соотношение между полученными результатами и произведёнными затратами и предполагает явное сопоставление результата с издержками. Результативность характеризует степень достижения запланированной цели независимо от величины затрат. Она отвечает на вопрос, получен ли тот общественно значимый эффект, ради которого расходы осуществлялись.

Разграничение понятий определяет, какие данные должны быть собраны, какие показатели сопоставлены и какой вывод может быть признан обоснованным. Если оценка строится на критерии экономичности, её логическим завершением становится вывод о рациональности использования ресурсов. Если на критерии результативности — вывод о достижении или недостижении цели. Возможны ситуации, когда расходы оказываются экономичными, но нерезультативными, либо результативными, но неэкономичными. Итоговая оценка напрямую зависит от того, какой критерий признан приоритетным. В бюджетном законодательстве принцип эффективности использования бюджетных средств раскрывается через единство двух требований: достижения заданного результата с использованием наименьшего объёма средств и достижения наилучшего результата при заданном объёме средств. Такая формулировка фиксирует связь экономичности и результативности, но не устраняет необходимости их аналитического разграничения при построении конкретной методики оценки.

Ранний этап развития оценки бюджетных расходов можно охарактеризовать как этап доминирования контроля затрат. В центре внимания находились законность, адресность и целевое использование бюджетных средств, а также соответствие фактических расходов утверждённым бюджетным назначениям. Основным инструментом выступал финансовый контроль, ориентированный прежде всего на выявление нарушений, нецелевого расходования и искажений отчётности. Оценка носила преимущественно ретроспективный характер и строилась по входным параметрам: объём ассигнований, структура расходов, степень исполнения бюджета по расходам, соблюдение процедур. Неявным допущением модели было представление о том, что корректно спланированные, законно и полностью освоенные расходы уже являются эффективными.

Ограниченность оценки по входным параметрам становится очевидной при её последовательном применении. Полное освоение бюджетных средств само по себе не свидетельствует о достижении общественно значимого результата: расходы могут быть произведены своевременно и в полном объёме, но не привести к желаемому изменению ситуации. Контроль затрат не создаёт устойчивых стимулов к экономии, поскольку ориентирует распорядителя средств на исчерпание выделенного лимита, а не на поиск более рациональных способов решения задачи. Оценка по входным параметрам практически не позволяет сопоставлять между собой различные направления расходования средств, так как не содержит критерия сравнения их вклада в достижение общественно значимых целей. Такая модель слабо учитывает отсроченные эффекты, характерные для значительной части бюджетных расходов, особенно в социальной сфере. Совокупность этих ограничений обусловила последующий сдвиг в сторону оценки результатов.

Переход к оценке результатов связан с распространением идей нового государственного управления, сформировавшихся в 1980–1990-е годы. Эти идеи предложили перенести в публичный сектор ряд принципов и инструментов управления частного сектора: ориентацию на результат, измеримость целей, персональную ответственность за достижение показателей, конкурентное распределение ресурсов и регулярную оценку достигнутого. В логике бюджетирования, ориентированного на результат, акцент переносится с освоения ассигнований на достижение измеримых показателей. Бюджетные расходы начинают рассматриваться не столько как совокупность затрат, подлежащих контролю, сколько как вложение ресурсов в достижение общественно значимых целей. Это меняет соотношение плана и результата. Ключевым становится вопрос не о том, сколько израсходовано, а о том, что достигнуто и с какими издержками.

Переход к оценке результатов не был одномоментным и не приобрёл завершённого характера. Он сопровождался накоплением практических трудностей, связанных с измеримостью социальных эффектов, риском подмены целей показателями и возможностью манипулирования индикаторами. В научной литературе обращается внимание на то, что показатели результативности могут отбираться исходя из удобства их измерения, а не из их значимости для конечного эффекта. Это порождает расхождение между формально достигнутыми индикаторами и действительным изменением ситуации. Уже на этом этапе обнаруживается проблема качества критериев: ориентация на результат не гарантирует корректности оценки, если система показателей не отражает существенные свойства объекта.

Развитие программно-целевого и проектного подходов стало логическим продолжением этой линии. Программно-целевой подход предполагает увязку расходов с целями и задачами через систему программ. Для каждой программы определяются целевые показатели, ожидаемые результаты, сроки и ответственные исполнители. Проектный подход дополняет его акцентом на ограниченность сроков, уникальность решаемых задач, управляемость и измеримость промежуточных результатов, а также на возможность пересмотра состава мероприятий при изменении условий. Смещение акцента с освоения средств на достижение общественно значимых результатов проявляется в переходе от оценки исполнения бюджета к оценке достижения целевых показателей программ и в попытках увязать объёмы финансирования с фактически полученными результатами. Усложняется и сам объект оценки: им становится не отдельное расходное обязательство, а программа как совокупность взаимосвязанных мероприятий, распределённых во времени и по исполнителям.

Российская специфика эволюции подходов состоит в сочетании нескольких параллельно развивающихся линий: внешнего государственного финансового контроля, аудита эффективности, мониторинга государственных программ и оценки результативности деятельности органов власти. В 2000-е годы были приняты программные документы, ориентированные на повышение результативности бюджетных расходов и внедрение принципов бюджетирования, ориентированного на результат. В дальнейшем идея результативности получила развитие в практике государственных программ, а затем — в концептуальных документах, направленных на повышение эффективности бюджетных расходов. Указанные линии развивались не изолированно: требования к обоснованию расходов, формируемые в рамках программного планирования, постепенно проникали и в практику контрольной деятельности.

Внешний контроль также претерпел заметную трансформацию. Наряду с финансовым аудитом в его предмет вошли аудит эффективности и стратегический аудит. Это расширило контроль за пределы законности и целевого использования средств. В отечественной практике сложилась конструкция, в которой оценка эффективности бюджетных расходов осуществляется одновременно по нескольким направлениям: контроль соответствия расходов законодательству, анализ экономичности использования ресурсов, проверка достижения запланированных результатов и оценка последствий расходования средств для развития соответствующих сфер. Такое сочетание создаёт предпосылки для перехода от моноцентрической модели оценки к более сложной, учитывающей разнородные аспекты бюджетной деятельности. Одновременно возникает проблема согласования критериев, применяемых разными субъектами оценки.

Сравнение исторически сменяющихся подходов целесообразно вести по нескольким аналитическим линиям, позволяющим выявить не только различия в акцентах, но и внутреннюю логику трансформации модели оценивания. В качестве таких линий рассматриваются объект оценки, субъект оценивания, доминирующие критерии, применяемые методы, временной горизонт и информационная база. Многомерное сопоставление по указанным параметрам даёт возможность установить, какие именно свойства бюджетных расходов попадают в поле зрения исследователя на каждом этапе и какие остаются за рамками анализа.

Таблица 2 – Сопоставление этапов эволюции подходов к оценке эффективности бюджетных расходов

Сопоставление по перечисленным линиям показывает, что смена подходов не носит характера механического замещения. Каждый новый подход не вытесняет предыдущий, а наслаивается на него, образуя сосуществующие методические традиции. Контроль целевого и законного использования средств сохраняет свою значимость и в условиях ориентации на результат, поскольку без соблюдения формальных требований любая содержательная оценка утрачивает основание. Аудит эффективности, в свою очередь, не отменяет программно-целевой логики, а дополняет её, акцентируя вопросы соотношения затрат и достигнутых результатов, а также обоснованности выбранных способов достижения целей. Мониторинг государственных программ не подменяет проектную оценку, а взаимодействует с ней, поскольку программный и проектный уровни управления требуют различных наборов индикаторов и различных горизонтов планирования. В современной практике одновременно присутствуют элементы нескольких подходов, и конкретная методика оценки, как правило, представляет собой их комбинацию, а не чистую реализацию одного из исторических типов.

Такое сосуществование порождает ключевую методологическую проблему, имеющую принципиальное значение для настоящего исследования: выбор критериев предопределяет сравнительную оценку и способен приводить к разным выводам при одной и той же бюджетной практике. Одна и та же совокупность расходов может быть признана высокоэффективной с точки зрения своевременности и полноты освоения ассигнований, удовлетворительной с позиции достижения непосредственных результатов и низкоэффективной при оценке по конечным социально значимым эффектам. Даже внутри одной критериальной группы результат зависит от способа нормирования, от выбора базы сравнения, от периода наблюдения и от процедуры агрегирования частных показателей в интегральную оценку. Сравнительная оценка не является нейтральной операцией измерения. Она представляет собой аналитическую конструкцию, в которой оценочные суждения имплицитно присутствуют уже на стадии отбора критериев. Методологически корректная оценка требует не только обоснования набора показателей, но и явной рефлексии по поводу того, какие ценности и приоритеты этот набор выражает.

Из сказанного вытекает ограниченность моноцентрических и однокритериальных моделей применительно к современным бюджетным расходам. Такие модели предполагают наличие единственного доминирующего критерия, по отношению к которому все прочие характеристики рассматриваются как второстепенные либо сводятся к нему через упрощённые коэффициенты. Подобная конструкция может быть работоспособной в узких задачах, например при сопоставлении однотипных расходов с близкими по характеру результатами. Она оказывается недостаточной, когда объект оценки обладает многомерными эффектами. Бюджетные расходы в большинстве своём одновременно порождают экономические, социальные, институциональные и территориальные последствия, которые не сводятся к одному измеримому показателю и не всегда могут быть выражены в стоимостной форме. Попытка свести их к единому критерию неизбежно сопровождается потерей существенной информации и порождает искажения, тем более значимые, чем сложнее оцениваемая программа. Моноцентрическая модель, ориентированная на единственный субъект оценивания, не учитывает расхождения в интересах и информационных возможностях участников бюджетного процесса, а потому не позволяет корректно интерпретировать расхождения в оценках, получаемых разными аналитическими позициями.

Преодоление указанных ограничений связано с переходом к многокритериальной оценке, которая рассматривает эффективность бюджетных расходов как сложное, внутренне неоднородное свойство. В рамках такого подхода целесообразно выделять несколько относительно самостоятельных измерений: экономичность, характеризующую соотношение затрат и полученных результатов; результативность, отражающую степень достижения поставленных целей; социальную значимость, фиксирующую соответствие расходов общественным потребностям и приоритетам; устойчивость, описывающую способность достигнутых результатов сохраняться во времени и воспроизводиться при изменении внешних условий; управленческую технологичность, охватывающую качество планирования, мониторинга, отчётности и организационного обеспечения расходов. Каждое измерение имеет собственную логику оценки и собственный набор индикаторов. Их совместное рассмотрение позволяет получить более полную и более сбалансированную картину, чем любая одномерная схема. Многокритериальность не означает простого суммирования показателей. Она предполагает осознанное определение весов, правил агрегирования и процедур интерпретации, поскольку именно эти элементы определяют содержательный смысл интегральной оценки.

Вывод по подразделу состоит в следующем. Эволюция подходов к оценке эффективности бюджетных расходов носит нелинейный характер. Она не представляет собой последовательной смены парадигм, при которой каждая последующая полностью отрицает предыдущую. Накопленные подходы сохраняются, взаимодействуют и образуют многослойную методическую традицию, в которой сосуществуют контрольные, результативные и программно-ориентированные элементы. Расширение объекта оценки, усложнение критериев и дифференциация субъектов оценивания отражают усложнение самого объекта управления и рост требований к обоснованности управленческих решений. Ни один из рассмотренных подходов не даёт универсального инструмента, свободного от ограничений, связанных с выбором критериев и способов их сведения в итоговую оценку. Это формирует предпосылки для построения синтетической многокритериальной модели, которая рассматривается в последующих разделах работы. Такая модель призвана не заменить существующие методики, а интегрировать их наиболее продуктивные элементы, обеспечивая прозрачность критериального выбора, сопоставимость оценок и содержательную интерпретируемость получаемых результатов.

Критерии эффективности и их влияние на сравнительную оценку

Оценка эффективности бюджетных расходов представляет собой аналитическую процедуру, содержание которой определяется тем, какие требования предъявляются к результатам использования бюджетных средств и в каких измеримых величинах эти требования фиксируются. Исходным пунктом анализа выступает разграничение близких по смыслу, но не тождественных понятий: «критерий», «показатель» и «индикатор». В научной литературе эти категории нередко употребляются как взаимозаменяемые. Это приводит к смешению нормативного и измерительного уровней анализа и к искажению выводов сравнительного характера.

Под критерием эффективности бюджетных расходов понимается нормативное представление о желаемом состоянии или результате, относительно которого устанавливается, следует ли считать использование бюджетных средств успешным. Критерий отвечает на вопрос о том, что признаётся хорошим результатом, и задаёт ценностную, целеполагающую рамку оценки. Показатель представляет собой измеримую характеристику, посредством которой критерий операционализируется, то есть переводится в форму, допускающую наблюдение, расчёт и сопоставление. Индикатор фиксирует пороговое, ориентировочное или сигнальное значение показателя, позволяющее судить о степени достижения критерия и о необходимости корректирующих воздействий. Из приведённого соотношения следует принципиальный вывод: критерий первичен по отношению к показателю, поскольку именно он определяет, какие величины имеют значение для оценки. Обратная логика, при которой критерии подстраиваются под доступные данные, ведёт к подмене содержательного анализа отчётностью: оценивается то, что легко измерить, а не то, что существенно для результата.

Выбор критериев не является технической процедурой, сводимой к отбору удобных метрик. Он предопределяет логику сравнительной оценки: какие расходы окажутся «лучшими», какие направления будут признаны приоритетными, а какие выпадут из поля анализа. Критериальная рамка действует подобно фильтру, который не просто упорядочивает объекты сравнения, но и заранее очерчивает множество объектов, доступных сопоставлению. Если в качестве ведущего критерия принимается экономичность, преимущество получают направления расходов с низкой удельной стоимостью единицы результата. Если доминирует критерий социальной результативности, предпочтительными могут оказаться объективно более затратные программы, но воздействующие на наиболее уязвимые группы населения. Смена критериальной рамки при неизменном наборе исходных данных способна привести к прямо противоположным управленческим выводам.

Критериальный фильтр действует не только в отношении ранжирования, но и в отношении включения объектов в анализ. Направления расходов, результаты которых проявляются с существенным временным лагом, носят профилактический характер или достигаются в межведомственном взаимодействии, слабо представлены в системах показателей, ориентированных на немедленно наблюдаемый эффект. Такие направления либо оцениваются заведомо ниже, либо исключаются из сравнения как «неизмеримые». Аналогично обстоит дело с расходами, эффект которых распределён между несколькими получателями и не может быть отнесён к одному ведомству. Выбор критериев обладает не только оценочной, но и селективной функцией. Его последствия носят содержательный, а не процедурный характер.

Систематизация критериев, представленных в теоретических подходах, позволяет выделить несколько устойчивых групп. Первую образуют критерии экономичности, характеризующие затратную сторону использования средств. Вторую — критерии результативности, отражающие степень достижения поставленных целей и запланированных значений показателей. Третью — критерии продуктивности, связывающие результат с затратами. Разграничение экономичности, результативности и продуктивности принципиально. Экономия ресурсов сама по себе не свидетельствует о достижении общественно значимого результата, а высокий результат может быть получен при нерациональном использовании средств.

Самостоятельное значение имеют критерии социальной и бюджетной эффективности, которые нередко противопоставляются друг другу. Социальная эффективность отражает вклад расходов в улучшение качества жизни, доступности услуг и снижение неравенства. Бюджетная эффективность связана с влиянием расходов на доходы бюджетной системы, устойчивость бюджетных обязательств и долговую нагрузку. К этой же области примыкают критерии справедливости, фиксирующие распределительные последствия расходов, и критерии устойчивости, ориентированные на сохранение положительного эффекта во времени и на способность системы противостоять внешним шокам. Названные критерии плохо сводятся друг к другу, поскольку выражают разные, а иногда и конкурирующие общественные ценности.

В отдельную группу могут быть выделены критерии процессного характера. Они характеризуют не результат как таковой, а качество управления расходами: обоснованность планирования, качество внутреннего контроля, прозрачность процедур, полноту раскрытия информации, подотчётность распорядителей средств и наличие механизмов обратной связи. Ценность процессных критериев состоит в том, что они сигнализируют о рисках недостижения результата в будущем. Их использование требует осторожности, поскольку качество процедур не тождественно качеству результата.

Таблица 3 – Группы критериев эффективности бюджетных расходов и их назначение

Множественность критериев порождает проблему их сопоставимости, которая является центральной для сравнительной оценки бюджетных расходов. Критерии и соответствующие им показатели различаются по природе: часть имеет количественное выражение и допускает прямой расчёт, другие носят качественный, экспертный или порядковый характер. Они различаются по единицам измерения — стоимостным, натуральным, временным, балльным. Они различаются и по направленности: по одним критериям предпочтительным является большее значение, по другим — меньшее. Это требует процедуры перевода показателей в сопоставимую форму перед любым агрегированием. Критерии различаются и по временному горизонту: эффект одних проявляется в текущем периоде, других — за пределами планового цикла. Это порождает проблему учёта временных лагов и дисконтирования.

Прямое сведение критериев в единый интегральный индекс, будучи технически возможным, не устраняет, а лишь маскирует указанную неоднородность. Агрегирование неизбежно сопровождается потерей информации: разнонаправленные и разноразмерные характеристики складываются в итоговую величину, за которой уже не видно, за счёт какого именно критерия был получен результат. Компенсаторный характер большинства агрегирующих процедур означает, что высокое значение по одному критерию способно перекрыть критически низкое значение по другому. Для целей бюджетной политики это далеко не всегда допустимо. Сопоставимость результатов зависит от однородности условий, в которых используются средства. Различия в масштабе, инфраструктурной обеспеченности и социально-демографических характеристиках подведомственной сети требуют приведения показателей к единому масштабу, без которого сравнение теряет содержательный смысл.

Влияние состава критериев на результат сравнения можно проиллюстрировать на условном, синтетическом примере. Пример носит исключительно иллюстративный характер, не воспроизводит эмпирических результатов, не опирается на отчётные данные и не претендует на обобщение практики. Пусть сопоставляются три условных направления расходов — Д1, Д2 и Д3 — при неизменных исходных данных. В первом сценарии применяется набор критериев, включающий экономичность и бюджетную эффективность. Во втором сценарии к ним добавляются результативность и справедливость. В первом случае ранжирование благоприятствует направлению с наименьшей удельной стоимостью и наибольшей возвратностью средств в бюджет. Направления с выраженным долгосрочным социальным эффектом оказываются в нижней части упорядоченного ряда. Во втором случае ранговые позиции меняются: направление, лидировавшее по затратным характеристикам, уступает место направлению, обеспечивающему более широкий охват получателей и более выраженное выравнивающее воздействие. При этом не изменились ни объёмы расходов, ни их натуральные результаты. Изменилась только критериальная рамка. Пример демонстрирует общий методологический вывод: сравнительная оценка эффективности бюджетных расходов не является нейтральной по отношению к составу критериев и всегда содержит нормативный компонент.

Влияние критериального выбора можно обозначить как смещение оценки (criterion bias). Его суть состоит в том, что включение или исключение отдельного критерия изменяет не только формальные позиции сопоставляемых направлений, но и содержательный вывод о предпочтительности варианта. Критерий не является нейтральным инструментом наблюдения. Он задаёт угол зрения, под которым рассматривается объект, и определяет, какие свойства расходов будут признаны существенными. Если из системы исключается критерий устойчивости, преимущество получают направления с благоприятными текущими параметрами, но отложенными рисками. Введение такого критерия способно изменить ранжирование даже при неизменных исходных данных.

Смещение оценки имеет не только ранговый, но и концептуальный характер. Оно затрагивает сам вопрос о том, что считается эффективным бюджетным расходом. При доминировании экономических параметров предпочтительными выглядят направления с низкими издержками и быстрой окупаемостью. При переносе акцента на социальные или институциональные критерии приоритетными могут стать программы, чей эффект проявляется не сразу и не всегда поддаётся прямому стоимостному измерению. Одна и та же совокупность расходов может быть признана эффективной в одной оценочной модели и недостаточно эффективной в другой. Сравнительная оценка не является зеркальным отражением объективной реальности. Она представляет собой конструкцию, в которой критериальный выбор выполняет роль нормативного фильтра.

Особенно отчётливо эффект смещения проявляется при исключении критерия, фиксирующего ограничения или побочные эффекты. Если при сравнении учитываются только экономичность и непосредственная результативность, но не принимаются во внимание справедливость распределения выгод или бюджетная устойчивость, направления с быстрым и легко измеримым результатом получают завышенную оценку. При добавлении критерия справедливости или устойчивости их позиции могут измениться. Исключение критерия равнозначно введению неявного допущения о том, что соответствующий аспект не имеет значения для оценки. Это допущение редко формулируется открыто, но именно оно может определять итоговый вывод.

Принципиальное значение приобретает вопрос о весах критериев. Даже при согласованном наборе критериев изменение весовой схемы равнозначно переопределению приоритетов бюджетной политики. Веса не являются технической надстройкой над «объективными» показателями. Они выражают относительную значимость различных целей и ценностей. Если наибольший вес получает экономичность, оценка тяготеет к выбору менее затратных направлений. Если доминирует социальная результативность, предпочтение может быть отдано направлениям с более высокой общественной отдачей, даже если их текущие издержки выше. Весовая схема выступает скрытым нормативным выбором, который требует явной фиксации, обоснования и проверки на устойчивость.

Веса могут устанавливаться разными способами: на основе равного отношения, экспертных суждений, статистических процедур или политических приоритетов. Каждый способ имеет ограничения. Равные веса создают иллюзию нейтральности, но фактически предполагают, что все критерии одинаково важны, что редко соответствует реальной практике. Экспертные веса отражают профессиональное мнение, однако могут воспроизводить групповые предпочтения и институциональные интересы. Статистические веса, основанные на вариативности показателей, способны выявить различия между объектами, но не отвечают на вопрос о нормативной желательности результатов. Политические веса прямо отражают приоритеты принятия решений, но нуждаются в публичном обосновании и прозрачной процедуре согласования. Во всех случаях весовая схема должна рассматриваться как часть оценочной модели, а не как её внешний и технически нейтральный элемент.

Изменение весов может приводить к перестановке мест даже при неизменном наборе критериев. Сравнительная оценка обладает высокой чувствительностью к параметрам агрегирования. Если веса не зафиксированы и не обоснованы, результаты оценки легко оспорить или целенаправленно скорректировать. Корректная методика должна предусматривать анализ чувствительности, то есть проверку устойчивости итоговых выводов при варьировании весов в разумных пределах. Если при незначительном изменении весовой схемы лидеры и аутсайдеры меняются местами, итоговый рейтинг не может считаться надёжным. Устойчивое ранжирование при разных весовых сценариях свидетельствует о том, что выводы в меньшей степени зависят от субъективного выбора.

Необходимым этапом оценки является нормализация показателей — приведение их к сопоставимому виду. Выбор метода нормализации (линейное масштабирование, ранжирование, стандартизация) также не является полностью нейтральным. Он может повлиять на итоговые результаты, особенно при наличии выбросов и асимметричных распределений. Кроме того, необходимо учитывать временные лаги между расходами и получаемыми эффектами. Если оценка ориентирована на краткосрочный горизонт, преимущество получают направления с быстрым эффектом. При расширении горизонта более предпочтительными могут оказаться инвестиционные направления с отложенной отдачей. Горизонт оценки является таким же нормативным параметром, как и состав критериев: он определяет, какие эффекты будут учтены, а какие останутся за рамками анализа.

Отдельного внимания заслуживает ограниченность агрегирования разнородных критериев в единственный интегральный индекс. Интегральный показатель удобен для ранжирования и коммуникации, но неизбежно скрывает информацию о том, за счёт каких именно критериев достигнут высокий результат. Два направления могут получить одинаковую интегральную оценку, при этом одно окажется экономичным, но социально слабым, а другое — социально результативным, но затратным. Если итоговый индекс не сопровождается декомпозицией, пользователь оценки лишается возможности понять структуру преимуществ и недостатков. Интегральный индекс предполагает компенсаторность: низкие значения по одному критерию компенсируются высокими по другому. В бюджетной сфере не все критерии взаимозаменяемы. Нарушение бюджетной дисциплины, социальная несправедливость или высокий риск устойчивости не могут быть полностью компенсированы экономией средств. Агрегирование должно либо ограничиваться, либо сопровождаться дополнительными правилами, запрещающими недопустимые сочетания значений.

Вывод по подразделу таков. Результат сравнительной оценки эффективности бюджетных расходов зависит от выбранной системы критериев, весовой схемы, метода нормализации, способа агрегирования и горизонта оценки. Это не означает, что оценка невозможна или бессмысленна. Это означает, что она должна сопровождаться явным указанием на принятые допущения. Корректная интерпретация результатов предполагает не только представление итогового рейтинга, но и раскрытие того, какие критерии были включены, какие веса использовались, какой горизонт рассматривался и как проводилась проверка устойчивости. Только при таком подходе сравнительная оценка может служить инструментом обоснованного выбора, а не средством скрытого продвижения заранее определённых приоритетов. Обоснованный выбор критериев выступает не формальным этапом оценки, а её содержательным ядром. Именно критерии определяют, какие аспекты бюджетных расходов будут признаны значимыми, какие направления получат преимущество и какие выводы будут сформулированы. Веса критериев превращают этот выбор в конкретную шкалу приоритетов. Методы нормализации и агрегирования задают способ сведения разнородной информации к сопоставимому виду. Ошибки или неявные допущения на любом из этих этапов способны исказить итоговую картину. Поэтому методика сравнительной оценки должна быть прозрачной, воспроизводимой и чувствительной к проверке альтернативных допущений. Это создаёт предпосылки для перехода к анализу уже сложившихся методических подходов, в которых критерии эффективности получают конкретную операционализацию, а также для построения многокритериальной модели, позволяющей более последовательно учитывать разнородные требования к бюджетным расходам.

Методические подходы к сравнительной оценке и построению многокритериальной модели

Сравнительный анализ существующих методик оценки эффективности бюджетных расходов

Этот параграф решает предварительную задачу по отношению ко всему дальнейшему исследованию. Прежде чем конструировать собственную систему критериев и показателей многокритериальной оценки, нужно разобраться, какие методические решения уже накоплены в научной литературе. Важно понять, как они устроены, на каких допущениях основаны и какими ограничениями обладают. Без такого анализа новая модель рискует повторить известные конструкции или отказаться от полезных элементов, выработанных ранее. Сравнительный анализ методик выступает здесь не как самостоятельная цель, а как условие для построения собственной многокритериальной модели.

Предмет сравнения нужно зафиксировать сразу. Сопоставляются не выводы о том, насколько эффективны расходы конкретных ведомств, программ или муниципальных образований, а сами методические конструкции. Речь идёт о составе используемых показателей, способах их приведения к сопоставимому виду и правилах сведения частных оценок в итоговую. Объектом анализа становится методический аппарат, а не результаты его применения к тем или иным бюджетам. Такое ограничение принципиально. Оно позволяет обсуждать достоинства и недостатки подходов, не претендуя на суждения о качестве управления конкретными бюджетными средствами.

Ключевая предпосылка сравнения — терминологическое разграничение. В научной литературе понятия «эффективность», «результативность», «экономичность», «результат» и «затраты» нередко используются как синонимы. Между тем за каждым из них стоит самостоятельное содержание. Эффективность в строгом смысле характеризует соотношение полученного результата и произведённых затрат. Результативность отражает степень достижения запланированного результата и может оцениваться независимо от объёма израсходованных ресурсов. Мероприятие может быть выполнено полностью, но оставаться неэффективным, если достижение цели потребовало неоправданно больших средств. Экономичность описывает рациональность использования ресурсов: стремление получить заданный результат при минимальных затратах или максимальный результат при заданном объёме ресурсов. Под результатом понимается наблюдаемое изменение, которое связывается с произведённым расходом. Под затратами — совокупность ресурсов, направленных на его достижение. Разные методики вкладывают в эти термины неодинаковое содержание. Одни фактически отождествляют эффективность и результативность. Другие включают в понятие эффективности также экономичность и социальную значимость. Это становится источником несопоставимости итоговых оценок. Одинаковые по форме выводы могут опираться на принципиально разные конструкты.

Дальнейшее сопоставление требует упорядочить методики по нескольким основаниям. Первое — объект оценки: расходы отдельного ведомства, государственная программа, бюджет муниципального образования в целом или отдельное мероприятие. Второе — уровень агрегирования, то есть степень обобщения, на которой формируется итоговый вывод. Третье — состав критериев. В одних методиках преобладают затратные показатели, в других — результативные, в третьих заметное место занимают социальные и процессные характеристики. Четвёртое — способ сведения частных показателей в интегральную оценку: формализованный или основанный на содержательном суждении. Пятое — тип используемых данных: отчётные, нормативные или экспертные. Совокупность этих оснований задаёт систему координат для сопоставления методик без принудительного сведения их к единой шкале.

В обобщённом виде научная литература последних лет описывает несколько методических семейств. Нормативно-ориентированные подходы строятся на сопоставлении фактических значений с заранее заданными ориентирами. Отклонение от них интерпретируется как признак снижения эффективности. Программно-целевые подходы связывают расходы с достижением целей программы. Последняя рассматривается как основная единица оценки. Индикативные подходы опираются на систему показателей, каждый из которых характеризует отдельную сторону результата или затрат. Экспертно-балльные подходы предполагают содержательное суждение специалистов, формализуемое в виде баллов. Подходы, основанные на сопоставлении затрат и результатов, стремятся прямо соотнести произведённые расходы с полученным эффектом. Описание этих семейств ведётся здесь на уровне логики и структуры, без обращения к содержанию действующих нормативных документов и без приписывания им конкретных числовых параметров.

Чтобы сравнение методик было содержательным, нужно определить критерии сравнения их самих. К таким критериям относятся:

- полнота охвата результатов и затрат;<br>- сопоставимость показателей во времени и между объектами оценки;<br>- прозрачность и воспроизводимость расчёта;<br>- чувствительность итоговой оценки к изменению набора критериев и их весов;<br>- требования к доступности и качеству исходных данных;<br>- устойчивость к манипулированию.

Каждый критерий фиксирует определённое требование к методическому аппарату и позволяет обсуждать его пригодность для конкретных аналитических задач.

Сопоставление методических семейств по этим критериям можно представить в виде таблицы.

Таблица 1 – Сравнительная характеристика методических семейств оценки эффективности бюджетных расходов

Таблица носит обобщающий характер. Она отражает логику каждого семейства, а не результаты его применения к конкретным бюджетам.

Первичное сопоставление показывает, что методики, ориентированные преимущественно на затраты, дают устойчивые и легко воспроизводимые, но содержательно ограниченные оценки. Они позволяют судить о рациональности использования ресурсов, однако мало говорят о достигнутых общественно значимых результатах. Методики, ориентированные на результаты, содержательнее, но существенно сильнее зависят от качества и сопоставимости показателей, а также от полноты отчётных данных. Экспертные методики обладают наибольшей гибкостью и позволяют учитывать трудноформализуемые аспекты. Их воспроизводимость ниже, поскольку итоговая оценка в значительной мере зависит от состава экспертов и процедуры согласования мнений.

Сравнительный анализ имеет и собственные ограничения. Разнородные методики невозможно напрямую свести к единой шкале: они различаются единицами измерения, направленностью показателей и логикой интерпретации. Публикуемые описания методик зачастую неполны, что затрудняет воспроизведение расчётов. Любое межметодическое сопоставление требует явной фиксации допущений. Без такой фиксации выводы о преимуществах того или иного подхода утрачивают доказательную силу.

Сравнение методик продуктивно не как поиск «лучшей» из них, а как выявление элементов методического аппарата, пригодных для включения в синтетическую многокритериальную модель. Такой ракурс позволяет перейти от критики существующих подходов к конструированию собственной системы критериев и показателей. Эта система должна учитывать требования полноты и сопоставимости, а также практические ограничения, связанные с доступностью и качеством исходных данных.

Переход от сопоставления методик к анализу внутренней логики отдельной методики обнаруживает, что итоговое ранжирование объектов определяется не только исходными данными. Не меньшее значение имеет состав используемых критериев. Если рассматривать эффективность бюджетных расходов как многомерное свойство, не сводимое к одному показателю, то любая интегральная оценка представляет собой результат последовательных содержательных решений. Нужно определить, какие стороны расходования бюджетных средств признаются существенными, как они измеряются, как соотносятся между собой и каким правилом сводятся в единую величину. Каждое из этих решений самостоятельно и не выводится автоматически из предыдущего. Их совокупность образует методическую конструкцию с собственными свойствами. Сравнение методик не может ограничиваться перечислением используемых показателей. Необходимо выявить, как изменение состава критериев при неизменных исходных данных способно изменить взаимное расположение оцениваемых объектов.

Такое изменение не является ни парадоксом, ни следствием ошибки в расчётах. Оно вытекает из природы многомерной оценки. Если объекты различаются по нескольким признакам и ни один из них не доминирует по всем признакам одновременно, упорядочение зависит от того, какие признаки принимаются во внимание и с каким относительным значением. Объект, превосходящий остальные по одному критерию и уступающий по другому, меняет позицию в зависимости от того, включён ли второй критерий в состав оцениваемых. Исключение или добавление критерия приводит к перегруппировке объектов, тогда как первичные сведения остаются теми же. В теории многокритериального выбора подобная зависимость результата от состава и параметров модели рассматривается как принципиальное свойство, а не как технический дефект. Это обстоятельство имеет прямое отношение к оценке эффективности бюджетных расходов, поскольку бюджетная деятельность по определению преследует несколько разнородных целей.

Отсюда следует, что вопрос о критериях не может решаться как вопрос удобства или полноты данных. Отбор критериев есть содержательное решение о том, какие результаты бюджетных расходов признаются значимыми, а какие — второстепенными или вовсе не принимаются во внимание. Методика, включающая преимущественно затратные характеристики, будет устойчива к изменениям внешней среды и к качеству отчётности. Её информационная ценность при этом ограничена: она позволяет судить о дисциплине расходования средств, но не о достигаемых результатах. Методика, построенная на результативных показателях, даёт более содержательную картину, но оказывается чувствительной к сопоставимости этих показателей между объектами и во времени. Методика со значительной экспертной составляющей обладает гибкостью, однако её воспроизводимость снижается. Результат зависит от состава экспертов и от процедуры согласования суждений. Выбор критериев задаёт не только содержание оценки, но и пределы её доказательной силы.

Отдельная проблема — сопоставимость шкал. Показатели, используемые для оценки бюджетных расходов, разнородны по своей природе. Среди них встречаются абсолютные величины в денежных или натуральных единицах, относительные величины, характеризующие структуру или интенсивность, балльные оценки по заранее заданной шкале и качественные характеристики без естественной метрики. Сведение таких показателей в единую конструкцию требует предварительной нормализации, то есть приведения значений к сопоставимому виду. Способы нормализации различаются: приведение к интервалу, отнесение к эталонному значению, стандартизация относительно среднего уровня и вариации, перевод в ранги, переход к порядковым или бинарным шкалам. Каждый приём по-разному реагирует на выбросы, по-разному учитывает разброс значений и по-разному трактует расстояние между объектами. Выбор приёма оказывается содержательным решением, влияющим на итог не меньше, чем выбор самого набора критериев.

Особенно заметно это тогда, когда исходные показатели имеют разную направленность. Для одних характеристик большее значение означает лучший результат, для других — худший. Это характерно, например, для показателей затрат и показателей результата. Неучёт направленности или формальное её устранение без обоснования приводит к искажению смысла оценки. Экономия ресурсов может интерпретироваться как ухудшение, а рост расходов — как улучшение, вне зависимости от достигнутых результатов. Нормализация чувствительна и к составу совокупности объектов. Приёмы, основанные на минимальных и максимальных значениях, при изменении перечня оцениваемых объектов меняют шкалу и тем самым влияют на оценки всех участников, даже если их собственные показатели не изменились. Сопоставимость результатов достигается не автоматически, а является отдельной задачей, требующей явной фиксации правил обработки первичных данных.

Не менее значим вопрос о способе агрегирования частных оценок в интегральную величину. Существуют две принципиально различающиеся логики сведения. Первая, компенсаторная, предполагает, что высокий балл по одному критерию способен перекрыть низкий балл по другому. Наиболее известная реализация такой логики — взвешенная сумма, в которой итоговая оценка формируется как линейная комбинация нормализованных показателей и их весов. Такая конструкция удобна, прозрачна и легко интерпретируется. Она молчаливо допускает полную взаимозаменяемость результатов: значительный успех в одной сфере может уравновесить провал в другой. Вторая логика, некомпенсаторная, ограничивает или исключает подобное замещение. К ней относятся конструкции, в которых итог определяется наихудшим из показателей, последовательным отсечением объектов по пороговым значениям, лексикографическим упорядочением или умножением нормированных величин. При умножении низкое значение хотя бы одного критерия существенно снижает интегральную оценку.

Выбор между компенсаторным и некомпенсаторным агрегированием не является техническим вопросом. Он отражает нормативное представление о допустимости замещения одних результатов бюджетных расходов другими. Если в рамках принятой системы приоритетов недостижение отдельного результата признаётся недопустимым независимо от успехов в остальных направлениях, компенсаторная свёртка противоречит этому представлению. Она маскирует провал высокими достижениями в других областях. Если приоритеты допускают гибкое перераспределение усилий между направлениями, линейная свёртка оказывается адекватной. Выбор правила агрегирования есть выражение ценностной позиции относительно взаимозаменяемости результатов бюджетной деятельности. Эта позиция должна быть сформулирована явно, а не оставаться имплицитной особенностью расчётной схемы.

Самостоятельную проблему образуют веса критериев. В практике оценивания они нередко назначаются исходя из соображений удобства или складываются стихийно. В результате итоговая оценка приобретает вид, не поддающийся содержательной проверке. Между тем веса представляют собой не технический, а содержательный параметр: они фиксируют относительную значимость различных результатов и затрат. Способы их задания различаются принципиально. Экспертное задание опирается на суждения специалистов и позволяет учесть трудноформализуемые приоритеты. Оно зависит от состава экспертной группы и от процедуры согласования. Нормативное задание предполагает, что приоритеты устанавливаются извне. Это обеспечивает единство подхода, однако лишает модель гибкости применительно к разным условиям. Расчётное задание выводит веса из структуры данных, например из их вариации или взаимной корреляции. Оно снижает субъективность, но придаёт весам смысл, не всегда совпадающий с содержательными приоритетами. Показатель с большим разбросом получает высокий вес не потому, что он важен, а потому, что он сильнее дифференцирует объекты.

Отсутствие явной фиксации весов делает результат трудно интерпретируемым и плохо защищаемым при содержательной критике. Если при изменении весовой схемы порядок оцениваемых объектов меняется, а основание для выбора схемы не сформулировано, итоговое ранжирование утрачивает аргументационную силу. Любое заинтересованное лицо может предложить иную схему и получить иной результат, не совершив при этом методологической ошибки. Требование прозрачности весов выступает не формальностью отчётности, а условием содержательной состоятельности оценки.

Проиллюстрировать описанные зависимости можно на условном примере. Пример носит исключительно синтетический характер и приводится лишь для пояснения логики рассуждения. Он не является результатом расчётов по реальным данным. Допустим, что сопоставляются три абстрактных объекта оценки, обозначенных как объект А, объект Б и объект В. Для их сравнения применяются два альтернативных набора критериев. Первый набор ориентирован преимущественно на экономичность и включает характеристики, отражающие отношение затрат к плановым ориентирам и структуру расходования средств. Второй набор включает наряду с характеристиками экономичности показатели достижения результатов и доступности услуг для получателей. При использовании первого набора наиболее высокую позицию занимает объект, продемонстрировавший наибольшую экономичность. При использовании второго набора он может уступить место объекту, который расходовал средства менее экономно, но обеспечил более высокие результаты. Если затем изменить веса внутри второго набора, придав большее значение показателям доступности, порядок может измениться вновь. Первичные сведения об объектах во всех трёх случаях остаются неизменными. Различаются только состав критериев и их относительная значимость. Пример не содержит числовых значений и не претендует на отражение какой-либо конкретной ситуации. Его назначение — показать, что устойчивость ранжирования не гарантируется самой процедурой оценивания. Она зависит от методических решений, которые должны быть эксплицированы.

Наряду с методическими ограничениями нужно учитывать ограничения информационного и институционального характера. Они в равной мере влияют на любую конструкцию оценки. Доступность данных неодинакова для разных объектов и периодов: часть сведений публикуется в агрегированном виде, часть формируется с задержкой, часть вообще не поддаётся прямому измерению. Существенное значение имеют временные лаги между осуществлением расходов и наблюдаемым результатом. Эффект бюджетных вложений может проявляться спустя несколько периодов, тогда как оценка, как правило, привязана к отчётному году. Это порождает систематическое смещение в пользу мероприятий с быстрым результатом. Наблюдаемые результаты зависят и от факторов, находящихся вне сферы деятельности оцениваемого субъекта: демографических, экономических, инфраструктурных, институциональных. Без учёта этих факторов оценка рискует приписать субъекту то, что обусловлено внешней средой. Сопоставимость периодов ограничена изменениями в классификации расходов, в структуре подведомственной сети и в порядке формирования отчётности. Это затрудняет построение длинных динамических рядов.

Изложенное позволяет сформулировать аргумент в пользу перехода от однокритериальных и скрыто-многокритериальных построений к модели с явно заданными критериями, шкалами, весами и правилом агрегирования. Однокритериальные оценки просты и устойчивы, но описывают лишь одну грань бюджетной деятельности. Они не позволяют судить об эффективности в целом. Скрыто-многокритериальные построения учитывают несколько показателей, но не формулируют их соотношение. Они создают иллюзию комплексности, оставляя основание итогового вывода неявным. Модель с эксплицированными параметрами обладает тем преимуществом, что каждое допущение в ней может быть предъявлено, обсуждено и при необходимости изменено. Влияние такого изменения на результат поддаётся проверке. Именно проверяемость допущений отличает методическую конструкцию от совокупности вычислений.

Проведённый сравнительный анализ позволяет сделать вывод. Расхождения в оценках эффективности бюджетных расходов в значительной мере порождаются не различиями в исходных данных, а различиями в выборе критериев, способов нормализации, правил агрегирования и весовых схем. Две методики, опирающиеся на один и тот же массив сведений, могут приводить к несовпадающим и даже противоположным выводам о взаимном расположении оцениваемых объектов. Источник расхождения лежит не в ошибке, а в содержательных решениях, принятых при построении каждой из них. Обсуждение эффективности бюджетных расходов не может ограничиваться сопоставлением итоговых рейтингов. Содержательному анализу подлежат сами методические основания, на которых эти рейтинги построены. Тем самым формируются требования к собственной системе критериев и показателей. Она должна, во-первых, охватывать как затратные, так и результативные характеристики. Во-вторых, она должна предусматривать явные и обоснованные правила нормализации разнородных показателей. В-третьих, она должна содержать сформулированное правило агрегирования, соответствующее принятым представлениям о допустимости замещения результатов. В-четвёртых, она должна фиксировать веса критериев так, чтобы их можно было предъявить и обосновать.

Следует зафиксировать исследовательскую дисциплину, соблюдение которой предполагается в дальнейшем изложении. Все упоминаемые методические семейства описываются на уровне логики и структуры, без приписывания им конкретных числовых параметров и без утверждений о содержании действующих нормативных документов. Конкретные источники подлежат проверке и уточнению при окончательном оформлении работы. Приведённые иллюстрации, включая условный пример с тремя абстрактными объектами оценки, помечены как синтетические. Они не могут рассматриваться в качестве результатов расчётов по реальным данным. Такой подход позволяет сохранить различие между описанием существующих методических конструкций и построением собственной модели.

Формирование системы критериев и показателей многокритериальной оценки

Переход от теоретического осмысления эффективности бюджетных расходов к её практической сравнительной оценке предполагает решение промежуточной задачи. Нужно построить систему критериев и показателей, которая опосредует связь между концептуальными подходами и последующей многокритериальной моделью. Модель агрегирования приобретает содержательный смысл лишь тогда, когда предварительно определено, что именно подлежит измерению, сопоставлению и интерпретации. Система критериев задаёт рамку оценивания. Процедуры нормализации, взвешивания и агрегирования лишь уточняют результат внутри этой рамки. Предметом настоящего параграфа выступают методические конструкции, а не утверждения о действующих нормах или о фактических параметрах бюджетного процесса. Такой ракурс позволяет обсуждать требования к критериям и показателям вне зависимости от конкретных организационных регламентов, которые могут изменяться.

Исходным для дальнейшего анализа является разграничение базовых понятий, нередко употребляемых как синонимы. Такое смешение создаёт существенные затруднения при построении сопоставимых оценок. Под критерием понимается признак, выражающий соответствие оцениваемого объекта поставленной цели. Критерий отвечает на вопрос, что именно считается значимым при вынесении суждения об эффективности. Показатель представляет собой измеримую характеристику, посредством которой фиксируется состояние или динамика объекта по соответствующему критерию. Индикатор целесообразно трактовать как ориентир, то есть некоторое эталонное или пороговое значение, с которым сопоставляется показатель. Индекс — это агрегированная оценка, получаемая путём сведения множества разнородных показателей к единому числовому выражению. Смешение перечисленных понятий приводит к тому, что критерий подменяется отдельным показателем, а индекс начинает восприниматься как самоцель. Сравнительная оценка теряет прозрачность и обоснованность.

Из разграничения понятий вытекают требования к корректно построенной системе критериев и показателей. Прежде всего речь идёт о релевантности: каждый критерий должен быть содержательно связан с целями бюджетных расходов, а не отражать удобство сбора данных. Важна измеримость, предполагающая наличие доступного способа количественной или качественной фиксации значения показателя. Сопоставимость требует, чтобы показатели допускали сравнение во времени и в пространстве. Полнота системы означает охват существенных аспектов результата. Неизбыточность предполагает отсутствие дублирующих друг друга показателей. Прозрачность обеспечивает возможность воспроизведения расчёта независимым исследователем. Устойчивость к манипулированию снижает стимулы к искусственному улучшению отчётных значений. Доступность данных определяет практическую реализуемость всей конструкции: критерий, для которого отсутствует надёжный источник сведений, остаётся декларативным.

Требования к системе критериев и показателей можно представить в виде таблицы.

Таблица 2 – Требования к системе критериев и показателей многокритериальной оценки

Методически продуктивной представляется многоуровневая структура системы. В ней последовательно разворачивается логика «цели — результаты — эффекты — ограничения». Верхний уровень образуют цели бюджетных расходов, задающие общую направленность оценивания. Далее следуют непосредственные результаты, характеризующие объём и качество произведённых благ или услуг, и конечные результаты, отражающие изменения в состоянии объекта. Следующий уровень составляют эффекты. Их целесообразно дифференцировать на экономический, социальный, бюджетный и институциональный. Экономический эффект связан с динамикой производственных и стоимостных параметров. Социальный — с изменениями в уровне и качестве жизни. Бюджетный — с влиянием на доходы и обязательства бюджета. Институциональный — с изменениями в правилах, практиках и качестве управления. Замыкающий уровень образуют ограничения и риски. Они не являются результатом в собственном смысле, но способны существенно корректировать интерпретацию достигнутых эффектов. Связь уровней носит не механический, а интерпретационный характер. Один и тот же непосредственный результат может порождать различные конечные эффекты в зависимости от контекста.

Многоуровневую структуру системы критериев можно представить схематически на рисунке 1.

```<br>Цели бюджетных расходов<br> │<br> ▼<br>Непосредственные результаты ──► Конечные результаты<br> │<br> ▼<br>Эффекты: экономический, социальный, бюджетный, институциональный<br> │<br> ▼<br>Ограничения и риски<br>```

Рисунок 1 – Многоуровневая структура системы критериев оценки эффективности бюджетных расходов

Существенное значение имеет классификация критериев. Она позволяет упорядочить их множество и избежать произвольного смешения разнородных оснований. По объекту оценки критерии могут относиться к отдельному мероприятию, программе, отрасли или территории. По уровню агрегирования различаются критерии нижнего уровня, описывающие частные характеристики, и критерии верхнего уровня, отражающие интегральные свойства. По временному горизонту выделяются краткосрочные, среднесрочные и долгосрочные критерии. Расхождение горизонтов порождает проблему временных лагов. По типу эффекта критерии соотносятся с экономическими, социальными, бюджетными и институциональными результатами. По характеру измерения они делятся на количественные, качественные и смешанные. По возможности сопоставления — на абсолютные и относительные, что непосредственно влияет на выбор способа нормализации. Приведённая классификация не является единственно возможной. Она позволяет системно упорядочить отбор показателей и сделать его аргументированным.

Классификацию критериев удобно представить в табличной форме.

Таблица 3 – Классификация критериев оценки эффективности бюджетных расходов

Процедура отбора показателей может опираться на три взаимодополняющих подхода. Нормативный подход исходит из заранее заданных требований и ориентиров. Он применим тогда, когда цели оценки формализованы достаточно строго. Экспертный подход предполагает привлечение специалистов для содержательной оценки значимости и реализуемости показателей. Он расширяет аналитические возможности, но вносит элемент субъективности. Аналитический подход основан на статистической и логической проверке свойств показателей. Он позволяет выявить их взаимную зависимость. Практическая последовательность отбора включает фильтрацию по доступности данных, устранение дублирования, проверку на корреляционную избыточность и приведение набора в соответствие принципу минимально достаточного состава. При этом система сохраняет полноту, но не разрастается избыточно. Формирование системы критериев в настоящей работе опирается на проблематику, активно обсуждаемую в научных публикациях последних лет. Конкретные источники привлекаются только в той мере, в какой они доступны и проверяемы, без приписывания им выводов, которые в них не содержатся.

В качестве условной иллюстрации методической логики можно привести синтетический пример. Все его числовые параметры являются искусственными и не отражают реальных данных. Предположим, что сопоставляются два условных объекта. Система включает три критерия: результативность, экономичность и социальный эффект. Каждому критерию соответствует один показатель. Если первый объект превосходит второй по результативности, но уступает по экономичности и социальному эффекту, итоговое ранжирование зависит от выбранных весов и правил агрегирования. Пример носит иллюстративный характер. Он приведён для демонстрации того, что система критериев не является нейтральным измерителем. Она во многом предопределяет результат сравнительной оценки ещё до этапа расчётов. Обоснование состава критериев следует рассматривать как самостоятельную методическую задачу. Её решение создаёт предпосылки для последующего определения весовых коэффициентов и построения алгоритма агрегирования.

Система критериев и показателей не является нейтральным измерительным инструментом. Она не фиксирует механически заранее заданную эффективность бюджетных расходов. Она представляет собой методическую конструкцию. В ней уже на этапе отбора заложены определённые представления о значимости тех или иных результатов, о допустимых сроках их достижения и о соотношении количественно измеримых и качественно описываемых эффектов. Изменение состава критериев при неизменных первичных данных способно привести к изменению итогового ранжирования сравниваемых объектов. Каждый включённый критерий привносит в интегральную оценку собственный вклад и тем самым перераспределяет позиции объектов относительно друг друга. Это обстоятельство имеет принципиальное значение для понимания границ применимости любых рейтингов и сопоставлений. Полученное упорядочение следует интерпретировать не как объективно существующую «истинную» эффективность, а как результат согласованного применения определённой системы критериев к определённому набору данных в определённом контексте.

Отсюда вытекает требование методологической рефлексивности. Исследователь или аналитик обязан эксплицитно фиксировать, какие критерии были включены в оценку, по каким основаниям они были отобраны и какие альтернативные критерии остались за рамками анализа. Если такая экспликация отсутствует, сравнительная оценка приобретает вид технически оформленного, но содержательно неопределённого результата. Такой результат легко может быть оспорен путём указания на неучтённые аспекты. Возможность построения нескольких конкурирующих систем критериев для одного и того же объекта свидетельствует о том, что эффективность бюджетных расходов не является одномерной характеристикой, сводимой к единственному числовому значению. Многокритериальный подход в этом смысле не усложняет оценку искусственно. Он стремится привести методический аппарат в соответствие с реальной многоаспектностью бюджетной деятельности.

Второй принципиальный вопрос связан с проблемой соизмеримости разнородных эффектов. Критерии, включаемые в систему, как правило, описываются показателями, имеющими различную природу и различные единицы измерения. Это объёмные натуральные величины, стоимостные характеристики, доли, проценты, балльные экспертные оценки. Непосредственное суммирование таких величин методически некорректно. Оно предполагает неявное допущение о взаимозаменяемости несопоставимых по смыслу измерений. До этапа агрегирования необходимо привести все показатели к сопоставимому виду, то есть выполнить их нормализацию. Нормализация — это преобразование исходных значений в безразмерную шкалу, сохраняющее порядок и относительные различия между объектами. На практике применяются различные приёмы нормирования: линейное масштабирование относительно минимального и максимального значений, пересчёт через отношение к эталонному значению, стандартизация по среднему и стандартному отклонению, переход к рангам или перцентилям. Каждый приём по-разному реагирует на выбросы и на асимметрию распределения. Выбор способа нормализации также влияет на итоговый результат и должен быть обоснован содержательно, а не продиктован исключительно удобством вычислений.

Наряду с нормализацией требуется определить направленность каждого показателя. Нужно указать, соответствует ли его рост улучшению оцениваемой характеристики или её ухудшению. Показатели экономии бюджетных средств, снижения издержек, сокращения сроков предоставления услуг относятся к позитивным. Показатели аварийности, доли нарушений, уровня износа инфраструктуры относятся к негативным и подлежат обратному преобразованию перед включением в интегральную оценку. Игнорирование направленности приводит к содержательно абсурдным результатам. Объект с худшими характеристиками получает более высокую оценку исключительно из-за знака показателя. Для ряда критериев целесообразно устанавливать пороговые значения — минимально приемлемые уровни. Ниже них оценка объекта признаётся неудовлетворительной независимо от значений остальных показателей. Пороговые значения выполняют функцию содержательных ограничений, отражающих представления о социально или нормативно допустимых границах. Тем самым они удерживают многокритериальную оценку от чрезмерного формализма.

Третий аспект — проблема компенсаторности и конфликтности критериев. При использовании аддитивных правил агрегирования, основанных на взвешенном суммировании, низкие значения по одному критерию в принципе могут быть компенсированы высокими значениями по другому. Такая полная компенсаторность удобна вычислительно. Содержательно она означает, что существенное отставание в достижении социального результата может быть «перекрыто» экономией бюджетных средств. Это далеко не всегда приемлемо с точки зрения целей бюджетных расходов. Мультипликативные и нелинейные правила свёртки ограничивают возможности компенсации. Они делают интегральную оценку чувствительной к «провалам» по отдельным направлениям. Лексикографические и пороговые схемы исключают компенсацию по тем критериям, которые признаны приоритетными или обязательными к исполнению. Выбор правила агрегирования является не технической, а содержательной методологической операцией. Он прямо определяет интерпретацию итоговой оценки.

Критерии в рамках одной системы нередко находятся в отношениях объективного конфликта. Повышение качества услуги, как правило, требует дополнительных расходов. Расширение охвата получателей может достигаться за счёт снижения глубины воздействия на каждого отдельного получателя. Ускорение сроков реализации сопряжено с ростом стоимости. Конфликтность критериев не является дефектом методики. Она отражает реальную противоречивость управленческих решений, в которых выбор одного направления развития ограничивает возможности другого. Задача системы критериев состоит не в устранении этих противоречий, а в их явной фиксации. Такая фиксация позволяет увидеть, за счёт каких именно результатов достигается итоговое преимущество того или иного объекта. Интерпретация многокритериальной оценки должна сопровождаться анализом структуры вкладов отдельных критериев, а не ограничиваться сопоставлением итоговых значений.

Система критериев и показателей обладает и рядом объективных ограничений. Их необходимо учитывать при построении и применении многокритериальной модели. Прежде всего, отбор критериев почти всегда включает экспертную составляющую и потому несёт в себе элемент субъективности. Даже при использовании формализованных процедур согласования мнений итоговый набор отражает позиции привлечённых специалистов, их профессиональный опыт и неявные предпочтения. Существенным ограничением выступает неполнота данных. Часть значимых характеристик либо не наблюдается, либо фиксируется с недостаточной степенью детализации, либо доступна лишь в агрегированном виде. Это вынуждает исключать соответствующие критерии или заменять их косвенными индикаторами. Отдельного внимания заслуживают временные лаги между осуществлением бюджетных расходов и проявлением их результатов. Эффекты могут обнаруживаться со значительной задержкой, тогда как оценка, как правило, привязана к отчётному периоду. Система критериев оказывается смещённой в сторону быстро наблюдаемых, но не обязательно наиболее значимых результатов.

К этим ограничениям примыкает риск неучтённых эффектов, в том числе побочных и внешних по отношению к оцениваемому объекту. Расходы, направленные на достижение одной цели, способны порождать последствия в смежных сферах. Последствия бывают как благоприятные, так и нежелательные, и не находят отражения в принятом наборе показателей. Система критериев зависит от контекста. То, что признаётся существенным для одной территории, отрасли или стадии бюджетного цикла, может утратить значимость в иных условиях. Универсальной системы критериев, пригодной для любых задач сравнительной оценки, по-видимому, не существует. Речь может идти лишь о типовых конструкциях, адаптируемых к конкретным целям оценивания. Осознание этих ограничений не отменяет многокритериальный подход. Оно требует осторожности в выводах и отказа от придания итоговым оценкам избыточной точности.

Для пояснения логики построения системы критериев целесообразно рассмотреть условный иллюстративный сценарий. Все данные в нём являются синтетическими и приведены исключительно для демонстрации методических операций. Предположим, что сравниваются три условных объекта — А, Б и В. Система критериев включает четыре показателя. Первый — достижение непосредственного результата, выраженное в балльной шкале. Второй — социальный эффект, измеряемый условной долей получателей, отметивших улучшение. Третий — бюджетный эффект, отражающий условную экономию ресурсов. Четвёртый — институциональный эффект, оцениваемый экспертно по дискретной шкале. Допустим далее, что при равной значимости всех четырёх критериев объект А демонстрирует наибольшее значение по бюджетному эффекту, объект Б — по социальному, объект В — по институциональному. По остальным критериям объекты различаются незначительно. В такой конфигурации итоговое ранжирование в значительной степени определяется тем, как соотносятся между собой разбросы значений по отдельным критериям после нормализации, а не абсолютными величинами этих значений. Если из системы исключить институциональный критерий, позиция объекта В может измениться, хотя первичные характеристики объектов остаются неизменными. Приведённый пример носит исключительно иллюстративный характер. Он не воспроизводит данные реальных наблюдений и не может служить подтверждением каких-либо эмпирических закономерностей. Его назначение — показать, что результат сравнительной оценки производен от состава критериев и правил их преобразования.

Изложенное подводит к необходимости разграничения двух взаимосвязанных, но различных этапов методического конструирования. Первый этап — формирование системы критериев и показателей — задаёт содержательную рамку оценки. Он определяет, какие аспекты бюджетных расходов вообще принимаются во внимание, в каких единицах и с какой степенью детализации они фиксируются, какие ограничения признаются принципиальными. Второй этап — определение весов критериев и выбор алгоритма агрегирования — уточняет сравнительную оценку внутри уже заданной рамки. Он позволяет отразить относительную значимость отдельных направлений и установить правила взаимодействия показателей между собой. Никакая корректировка весов не способна компенсировать содержательные дефекты исходного набора критериев. Если значимый аспект не включён в систему, он не может быть «добавлен» на этапе взвешивания. Вместе с тем и безупречно подобранный набор показателей не гарантирует корректной оценки, если правила агрегирования противоречат содержательному смыслу критериев и допускают неоправданную компенсацию разнородных эффектов.

Качество сравнительной оценки эффективности бюджетных расходов определяется не только совершенством расчётных методов. Оно определяется обоснованностью системы критериев и показателей, лежащей в её основании. Именно на этом уровне закладываются такие свойства оценки, как релевантность целям бюджетных расходов, сопоставимость во времени и пространстве, полнота и неизбыточность, прозрачность и устойчивость к манипулированию. Методическая конструкция критериальной системы, будучи однажды зафиксированной, предопределяет границы возможных выводов и характер их интерпретации. Поэтому она подлежит столь же внимательному обоснованию, как и последующие вычислительные процедуры. Сформированная система критериев и показателей создаёт необходимую основу для перехода к следующему этапу анализа — определению весов критериев и разработке алгоритма агрегирования оценок. На этом этапе будут конкретизированы правила сведения частных показателей в интегральную характеристику эффективности.

Определение весов критериев и алгоритм агрегирования оценок

Формирование системы критериев и показателей задаёт лишь состав оценочного пространства. Само по себе оно ещё не позволяет сопоставлять альтернативы. Сравнительная оценка эффективности бюджетных расходов становится возможной только тогда, когда каждому критерию приписан вес, отражающий его относительную значимость. Кроме того, должно быть выбрано правило сведения частных оценок в единую интегральную характеристику. На этом этапе методика переходит из плоскости описательной, где определяются направления оценки, в плоскость операциональную, где формируется итоговый рейтинг. Одна и та же совокупность критериев и одна и та же информационная база при различных весах и различных операторах агрегирования могут приводить к несовпадающим, а иногда и прямо противоположным выводам о предпочтительности альтернатив. Определение весов и выбор алгоритма свёртки являются не технической деталью, а содержательным методическим решением, во многом определяющим результат оценивания.

Целесообразно выделить два относительно самостоятельных, но тесно связанных методических решения. Первое состоит в определении весов критериев, то есть в установлении того, какой вклад вносит каждый частный показатель в итоговую оценку. Второе заключается в выборе алгоритма агрегирования, то есть способа, которым частные оценки объединяются в интегральный показатель. Самостоятельность этих решений относительна. Они могут приниматься независимо друг от друга, однако их влияние на итоговый результат носит совместный характер. Изменение весовой структуры способно изменить результат не только количественно, но и качественно, вплоть до смены лидера рейтинга. Выбор некомпенсаторного оператора агрегирования может нейтрализовать эффект даже значительного увеличения веса отдельного критерия. При построении многокритериальной модели названные решения следует рассматривать как взаимозависимую пару, а не как изолированные этапы расчёта.

Ключевое понятие здесь — вес критерия как мера его относительной значимости в общей системе оценки. Вес не выводится из эмпирических данных автоматически и не является их непосредственным отражением. Он выражает приоритеты субъекта оценки — государства, отрасли, территории или отдельной бюджетной программы. В этом смысле вес имеет нормативный, ценностно нагруженный характер. Приписывая критерию больший вес, субъект оценки утверждает, что соответствующее направление расходования средств является более важным с точки зрения поставленных целей. Весовая структура должна быть не только рассчитана, но и обоснована. Её обоснование должно быть зафиксировано и доступно для последующей проверки.

В научной литературе последних лет сложилось несколько подходов к назначению весов, различающихся логикой и условиями применимости. Наиболее прост подход равных весов, при котором все критерии признаются равноценными. Его достоинство состоит в прозрачности и отсутствии субъективных допущений. Однако он фактически игнорирует различия в значимости критериев и потому применим преимущественно на предварительных, поисковых этапах анализа. Экспертные процедуры — анкетирование, метод Дельфи, метод анализа иерархий Саати, парные сравнения — опираются на суждения специалистов и позволяют учесть содержательные представления о приоритетах. Их ограничения связаны с трудоёмкостью, зависимостью от компетентности и согласованности экспертов, а также с риском конформности суждений при групповом обсуждении. Статистико-математические процедуры — энтропийный метод, метод главных компонент, факторный анализ, корреляционные веса — извлекают веса из структуры самих данных. Это снижает произвольность решения, но одновременно переносит центр тяжести на качество и однородность информационной базы. Устойчивые веса здесь возможны лишь при достаточной вариативности показателей и представительности выборки. Нормативно-целевые веса задаются стратегическими документами и отражают официально закреплённые приоритеты. Их преимущество состоит в прямой связи оценки с целями политики. Основной риск — в возможной несогласованности декларируемых приоритетов с фактической структурой расходов.

Подходы к назначению весов удобно сопоставить в табличной форме.

Таблица 4 – Подходы к назначению весов критериев

Необходимым предварительным шагом выступает нормирование частных показателей. Без него никакое взвешивание не даёт корректного результата. Критерии, как правило, измеряются в несопоставимых единицах, обладают разной размерностью и разной направленностью. По одним показателям предпочтительнее большее значение, по другим — меньшее. Приведение к безразмерной шкале устраняет эту несопоставимость. Наиболее распространены линейное масштабирование, метод минимакса, нормирование по эталонному значению и z-стандартизация. Выбор способа нормирования не является нейтральным. Разные процедуры по-разному реагируют на выбросы и по-разному сжимают или растягивают диапазон значений. Это в конечном счёте отражается на интегральной оценке.

Следующий шаг — агрегирование частных оценок. Аддитивная свёртка, то есть взвешенная сумма, наиболее распространена благодаря простоте и наглядности. Она предполагает полную взаимозаменяемость критериев. Мультипликативная свёртка усиливает влияние низких оценок и тем самым мягко ограничивает компенсацию. Аддитивно-мультипликативные схемы сочетают оба начала. Методы расстояния до эталона, к числу которых относится семейство TOPSIS, строят оценку исходя из близости альтернативы к идеальному состоянию. Минимаксные и пороговые правила ориентированы на худший результат по совокупности критериев. Ранговые свёртки оперируют не значениями, а местами альтернатив.

Формально аддитивная свёртка может быть записана следующим образом:

I = Σ (wⱼ · xⱼ),

где I — интегральная оценка альтернативы; wⱼ — вес j-го критерия, причём сумма весов равна единице; xⱼ — нормированное значение j-го показателя; суммирование ведётся по всем критериям.

Мультипликативная свёртка часто записывается в виде:

I = Π (xⱼ)^(wⱼ),

где обозначения те же, что и выше, а произведение берётся по всем критериям. При таком правиле низкое значение хотя бы одного показателя существенно снижает интегральную оценку.

Принципиальное различие здесь проходит между компенсаторными и некомпенсаторными правилами. В первом случае низкая оценка по одному критерию может быть перекрыта высокой оценкой по другому. Во втором такая компенсация блокируется. Для бюджетной сферы это различие имеет прямое содержательное значение. Провал по отдельному критерию, например по доступности услуги, не всегда допустимо «перекрывать» успехом по другому направлению.

Правила агрегирования удобно сопоставить в табличной форме.

Таблица 5 – Сравнение правил агрегирования частных оценок

Следует учитывать чувствительность и устойчивость интегральной оценки. Изменение весов, способа нормирования или оператора агрегирования способно изменить ранжирование альтернатив. В отдельных случаях возникает инверсия рангов, когда соотношение двух альтернатив меняется на противоположное при неизменных исходных данных. Проиллюстрируем это условным синтетическим примером. Пример не воспроизводит реальных данных и приведён исключительно для пояснения логики. Пусть сопоставляются три абстрактные альтернативы — A1, A2, A3 — по трём критериям K1, K2, K3. При равных весах и аддитивной свёртке преимущество получает A1. При смещении весов в пользу K2 лидером становится A2. При переходе к мультипликативной свёртке, сдерживающей компенсацию, на первое место выходит A3, поскольку именно эта альтернатива не имеет ни одной низкой частной оценки. Пример носит иллюстративный характер. Он показывает, что итоговая оценка представляет собой не «объективное измерение», а результат конструирования. Она зависит от явных и неявных нормативных допущений, заложенных в весовую структуру и правило свёртки.

Методические последствия выбора весов и оператора агрегирования выходят далеко за пределы технической процедуры. Они затрагивают само содержание получаемого результата. Итоговая интегральная оценка не является результатом «объективного измерения» в том смысле, в каком измерением является фиксация объёма расходов в денежных единицах. В последнем случае измеряемое свойство существует независимо от измерительного прибора. В многокритериальной оценке эффективности само свойство, подлежащее упорядочению, конституируется процедурой. Совокупность критериев, способ их нормирования, приписанные веса и выбранное правило свёртки совместно определяют то, что в дальнейшем именуется «уровнем эффективности». Изменение любого из этих элементов способно изменить не только количественное значение интегрального показателя, но и взаимное расположение альтернатив. Меняются и выводы, формулируемые по результатам оценки. Отсюда следует принципиальное методологическое положение. Интегральная оценка эффективности бюджетных расходов всегда условна. Она должна интерпретироваться как суждение вида «при данных критериях, данных весах и данном операторе агрегирования альтернатива А превосходит альтернативу Б», а не как констатация внепроцедурного факта.

Совокупность нормативных допущений, определяющих результат, не исчерпывается теми, которые осознанно фиксируются субъектом оценки. Наряду с явными допущениями — перечнем критериев, значениями весов, выбором шкалы и оператора — в модель проникают допущения неявные. К ним относятся трактовка эффективности преимущественно как соотношения результата и затрат либо как многомерного качества, включающего доступность, своевременность и адресность. Сюда же относятся горизонт оценивания и учёт отложенных эффектов, отношение к риску и неопределённости, способ обращения с межтерриториальными и межгрупповыми различиями. Наконец, к неявным допущениям относится молчаливое решение о допустимости компенсации провала по одному измерению успехом по другому. Последнее допущение особенно значимо. Оно предопределяет выбор между компенсаторными и некомпенсаторными правилами агрегирования и тем самым задаёт границы того, какие результаты оценки вообще могут быть получены. Прозрачность модели поэтому требует экспликации не только количественных параметров, но и содержательных предпосылок, лежащих в их основе.

Особого внимания требует проблема согласованности экспертных суждений, если веса определяются экспертными процедурами. Матрица парных сравнений, получаемая в рамках метода анализа иерархий или аналогичных подходов, может рассматриваться как пригодная к дальнейшему использованию лишь тогда, когда суждения эксперта внутренне непротиворечивы. Транзитивность предпочтений и отсутствие циклических предпочтений выступают минимальным требованием к такой матрице. На практике полной согласованности достичь не удаётся. Поэтому применяются специальные индексы согласованности и их отношения к эталонным значениям. Они позволяют оценить, насколько полученная матрица отклоняется от идеально согласованной. Превышение критического уровня рассматривается как сигнал к пересмотру суждений либо к уточнению формулировок критериев. Рассогласованность нередко свидетельствует не о небрежности эксперта, а о нечёткости или пересекающемся содержании самих критериев. При групповой экспертизе дополнительно возникает задача синтеза индивидуальных матриц. Применяются процедуры геометрического осреднения, итеративные процедуры типа метода Дельфи, а также анализ влияния отдельных экспертов на итоговые веса методом последовательного исключения. Такой анализ позволяет выявить суждения, непропорционально сильно смещающие результат. Он позволяет установить, является ли итоговый весовой профиль устойчивым или же он обязан своим существованием позиции одного участника. При этом следует различать согласованность и валидность. Внутренне непротиворечивая матрица может отражать устойчивое, но содержательно спорное представление о значимости критериев. Никакая процедура проверки согласованности не способна заменить содержательной аргументации выбора.

Повышение робастности модели представляет собой основной ответ на неизбежную условность весовых и агрегирующих решений. Первое направление состоит в сценарном варьировании весов. Вместо единственного весового профиля формируется несколько альтернативных. Они соответствуют различным приоритетам: профиль, акцентирующий экономию, профиль, акцентирующий результативность, и профиль, акцентирующий социальную доступность. Сравнение ранжирований, полученных при каждом из профилей, позволяет выделить ядро устойчивости. Это те альтернативы, взаимное расположение которых не меняется при переходе от одного профиля к другому. Второе направление — анализ чувствительности. Он предполагает пошаговое или непрерывное изменение отдельных весов и параметров нормирования с отслеживанием моментов, в которых происходит инверсия рангов. Такие критические точки информативны сами по себе. Они показывают, какой именно вес является решающим и насколько далеко он отстоит от принятого значения. Третье направление связано с отказом от точечных оценок в пользу интервальных или рейтинговых. Представление результата в виде диапазона или упорядоченной группы снижает риск ложной точности и делает явной неопределённость, порождаемую методическими решениями. Четвёртое направление — параллельное применение нескольких операторов агрегирования. Совпадение выводов при аддитивной и мультипликативной свёртке, а также при правилах расстояния до эталона служит дополнительным аргументом в пользу полученного ранжирования. Расхождение сигнализирует о том, что результат определяется не состоянием оцениваемых объектов, а свойствами выбранной процедуры. Наконец, включение некомпенсаторных элементов — пороговых ограничений и правил «вето» — выступает не только содержательным, но и робастностным механизмом. Оно блокирует возможность получения высокого интегрального значения при критическом провале по отдельному измерению.

Перечисленные меры не устраняют принципиальных ограничений рассматриваемого подхода. Во-первых, субъективность весов не может быть полностью элиминирована. Статистико-математические процедуры, включая энтропийный метод и методы снижения размерности, позволяют вывести веса из структуры данных. Тем самым они замещают содержательное суждение о значимости суждением о вариативности. Это не одно и то же. Критерий, по которому все альтернативы различаются слабо, может быть чрезвычайно важен содержательно, но получит малый вес. Во-вторых, результат оценки критически зависит от исходного набора критериев. Неполный или концептуально смещённый набор не может быть скомпенсирован никакой изощрённостью последующих вычислений. Качество интегральной оценки ограничено качеством её входных элементов. Никакая процедура взвешивания и агрегирования не способна восполнить отсутствие существенного измерения или включение измерения, не отражающего целевое назначение расходов. В-третьих, агрегирование сопряжено с необратимой потерей информации. Свёртка частных оценок в единый показатель скрывает профиль сильных и слабых сторон альтернативы. Компенсаторные правила дополнительно маскируют критические дефициты за высокими значениями по другим критериям. В-четвёртых, интерпретируемость итогового интегрального показателя ограничена. Будучи безразмерной величиной, он не имеет самостоятельного содержательного смысла и не поддаётся прямой содержательной трактовке вне сопоставления с другими альтернативами и вне сведений о частных оценках. Наконец, существует риск манипулирования. Поскольку веса и оператор агрегирования являются предметом выбора, они могут подбираться под желаемый результат. Это достигается посредством корректировки весового профиля, изменения набора критериев, способа нормирования, периода усреднения или пороговых значений. Такая возможность не является гипотетической. Она вытекает из самой конструкции многокритериальной оценки. Её нейтрализация требует институциональных, а не только расчётных решений.

Из сказанного вытекают методические требования к прозрачности процедуры оценивания. Целесообразно рассматривать их как обязательный элемент корректно построенной модели. К ним относятся:

- фиксация и развёрнутое обоснование весового профиля с указанием источника весов и процедуры их получения;<br>- документирование всех шагов нормирования и агрегирования с приведением формул и параметров;<br>- обеспечение воспроизводимости расчёта, при которой независимый субъект, располагая исходными данными и описанием процедуры, получает идентичный результат;<br>- публичное раскрытие содержательных допущений, включая трактовку эффективности, горизонт оценивания и отношение к компенсаторности;<br>- обязательная проверка альтернативных сценариев с предъявлением результатов анализа чувствительности;<br>- раздельное предъявление частных и интегральной оценок, чтобы потребитель результата мог самостоятельно оценить вклад каждого измерения в итоговый вывод.

Целесообразно также институциональное отделение субъекта, определяющего веса, от субъекта, заинтересованного в оценке. Это снижает стимулы к целенаправленному конструированию весового профиля.

Определение весов критериев и выбор алгоритма агрегирования представляют собой не техническую деталь, а содержательное методическое решение. Оно во многом определяет сравнительную оценку эффективности бюджетных расходов. Именно на этом этапе нормативные представления о приоритетах публичной политики преобразуются в количественные параметры, а затем — в итоговое ранжирование. Последнее воспринимается как результат оценивания, но фактически является результатом конструирования. Осознание этого обстоятельства не означает отказа от многокритериальных методов. Оно означает лишь, что их результаты должны сопровождаться указанием на условия их получения и на границы их применимости.

Изложенные решения о весах, нормировании показателей и операторах агрегирования составляют операциональное ядро синтетической многокритериальной модели. Дальнейшее рассмотрение должно быть перенесено в плоскость условий применения и ограничений такой модели. Там подлежит уточнению вопрос о том, при каких предпосылках зафиксированные весовые профили и правила свёртки сохраняют содержательную осмысленность. Сценарные расчёты на синтетических данных позволяют проследить поведение модели при различных весовых профилях и оценить устойчивость получаемых упорядочений.

Синтетическая многокритериальная модель и анализ сценариев оценки эффективности бюджетных расходов

Раздел посвящён проверке того, как ведёт себя многокритериальная модель оценки бюджетных расходов при изменении её параметров. Рассматриваются три вопроса. Первый: при каких условиях агрегированная оценка сохраняет содержательный смысл. Второй: как меняется ранжирование при варьировании состава критериев, весов и процедур нормирования. Третий: какие выводы допустимо извлекать из интегрального показателя, а какие остаются производными от методических допущений. Все числовые значения, наборы критериев и веса, приведённые ниже, являются синтетическими. Они введены для демонстрации логики расчёта и не описывают реальную бюджетную практику. Расчёты по фактическим данным в этой части не выполнялись.

Условия применения и ограничения синтетической многокритериальной модели

Многокритериальная оценка переводит разнородные характеристики бюджетных расходов в единую шкалу. Уже эта операция создаёт риск подмены содержательного анализа технической процедурой. Ценность интегрального показателя определяется не сложностью математической конструкции, а набором предпосылок. При их нарушении рейтинг начинает отражать структуру данных и выбранных шкал, а не различия в эффективности расходов.

Условия применения удобно разграничить по четырём уровням.

Концептуально-методологический уровень требует ясной цели оценки. Модель должна отвечать на конкретный вопрос: сравниваются территории, направления расходования средств или варианты их распределения. Разные цели предполагают разный состав критериев и разную логику агрегирования. Если цель не сформулирована до начала расчётов, набор критериев формируется произвольно. Результат теряет управленческий смысл.

Информационный уровень связан с доступностью, полнотой и сопоставимостью исходных данных. Показатели, рассчитанные по несогласованным методикам, нельзя объединять в один индекс без предварительной гармонизации. Различия в периодах, стандартах учёта и степени агрегирования переносятся в итоговую оценку и искажают сравнение.

Организационный уровень предполагает участие лица, принимающего решения, и привлекаемых экспертов в формировании системы критериев. Такое участие снижает риск отрыва модели от управленческой практики. Процедурный уровень охватывает прозрачность определения весов, обоснованность способа агрегирования и обязательную проверку устойчивости оценок к изменению параметров.

Перечисленные уровни не независимы. Слабая проработка одного из них ослабляет итоговый результат. Безупречная процедура агрегирования теряет смысл, если исходные данные собирались по разным методикам. Разграничение уровней имеет практическое значение. Оно показывает, какие требования нужно выполнить до начала расчётов, а какие допустимо уточнять по их ходу.

К базовым предпосылкам относятся единая временная и территориальная сопоставимость оцениваемых объектов, определённость самого объекта оценки, непротиворечивость критериев, а также возможность нормирования разнородных показателей и приведения их к безразмерному виду. Нарушение любой из предпосылок ведёт к тому, что рейтинг отражает особенности данных, а не различия в эффективности. Условный пример поясняет эту зависимость. Если один объект описывается более полным набором показателей, чем другой, преимущество в интегральном балле может возникнуть из-за различий в информационном обеспечении, а не из-за лучших результатов.

Назначение модели — сравнительная оценка и информационная поддержка решений. Она не заменяет финансовый контроль, аудит эффективности и механизмы политической ответственности за принятые решения. Её задача состоит в том, чтобы упорядочить представления о многомерных результатах расходования бюджетных средств, выявить расхождения между направлениями и обозначить области, требующие более глубокого анализа. Там, где необходима юридическая квалификация нарушений, применяются иные инструменты, и подмена их расчётным индексом недопустима.

Соблюдение условий применения ещё не гарантирует универсальной применимости модели. Её конструкция — выбор критериев, назначение весов, способ агрегирования — создаёт собственные источники искажений. Условия применения подвижны: смена приоритетов бюджетной политики или порядка сбора данных способна сделать ранее корректную оценку несопоставимой с новой. Ограничения не свидетельствуют о непригодности модели. Они обозначают границы, в пределах которых её выводы сохраняют силу.

Ограничения имеют методологический характер и вытекают из самой конструкции оценивания. Первый источник — субъективность выбора критериев и весов. Даже коллегиальное решение с привлечением экспертов не становится полностью объективным. Любая система критериев отражает определённую теоретическую позицию, административные приоритеты и доступность наблюдаемых показателей. Модель не устраняет субъективность. Она формализует её и делает явной. Изменение набора критериев или перераспределение весов способно переставить ранги при неизменных исходных данных. Устойчивость многокритериальных решений — известная методическая проблема, и математическими средствами она не снимается. Прозрачность обоснования критериев и явная фиксация допущений снижают риск необоснованных выводов, но не исключают его.

Второй источник связан с качеством данных. Показатели должны быть полными, достоверными, своевременными, сопоставимыми во времени и пространстве, рассчитанными по единой методологии. На практике эти требования выполняются частично. Бюджетные данные формируются в разных стандартах, относятся к разным периодам, содержат пропуски, различаются по степени агрегирования. Если модель строится на синтетических данных, это позволяет показать логику расчёта, но не подтверждает её применимость к реальным объектам. Синтетические сценарии маркируются как условные, а их результаты — как иллюстративные. На реальных данных возникает дополнительная проблема. Показатель может измерять не эффективность, а особенности отчётности, масштаб территории или структуру расходных обязательств. Тогда интегральная оценка отражает качество информационной среды. Модель не компенсирует дефицит данных. Она делает его последствия заметнее, поскольку собирает разнородные искажения в единый балл.

Третий источник — потеря информации при агрегировании. Сведение частных показателей к интегральному индексу упрощает многомерную картину. Взвешенная сумма предполагает линейную компенсацию: низкое значение одного критерия перекрывается высоким значением другого. Такая логика удобна для ранжирования, но не всегда соответствует содержательным представлениям об эффективности. Недостаточно высокий уровень по ключевому критерию не должен перекрываться успехами по второстепенным направлениям, если речь идёт о правовых требованиях или социально значимых приоритетах. Полная компенсация способна скрыть недопустимые ситуации, придав им приемлемый рейтинг. Некомпенсационные и пороговые процедуры уменьшают этот риск. Одновременно они усложняют расчёт и повышают требования к обоснованию порогов. Выбор способа агрегирования оказывается не только техническим, но и нормативным решением. Он определяет, какие соотношения между критериями считаются допустимыми.

Четвёртый источник — интерпретация интегрального балла. Сам по себе балл не раскрывает причин различий между объектами. Он показывает, что один вариант опережает другой, но не объясняет, за счёт каких критериев это произошло. Поэтому оценку сопровождают разложением по критериям, построением профилей и анализом чувствительности. Профиль оценок показывает сильные и слабые направления без сведения всей информации к одной шкале. Анализ чувствительности показывает, как изменятся ранги при варьировании весов, методов нормирования и пороговых значений. Если при небольших изменениях параметров порядок объектов меняется, выводы нельзя считать устойчивыми. Тогда корректнее говорить о диапазоне возможных интерпретаций в рамках заданных допущений, а не об окончательном рейтинге. Интегральный балл зависит от шкалы, направления показателей, способа нормирования и базовых значений. Один и тот же набор данных при линейном масштабировании и при измерении расстояния до эталона даёт разные результаты. Это не означает равноценности любых результатов. Это означает, что модель должна сопровождаться описанием всех преобразований. Без такого описания сравнительная оценка теряет воспроизводимость. Агрегированный показатель создаёт иллюзию точности, тогда как исходные данные часто имеют интервальный или порядковый характер. Математическая форма расчёта оказывается строже содержательной определённости измеряемых признаков. Индекс допустимо использовать как инструмент предварительного сравнения, но не как окончательный критерий истины.

Пятый источник носит динамический и институциональный характер. Приоритеты бюджетной политики меняются, нормативная среда корректируется, доступность данных расширяется или сужается, объекты оценки претерпевают структурные сдвиги. Межвременные сравнения по одной и той же модели становятся условными. Пересмотр классификации расходов, изменение требований к отчётности и появление новых приоритетов меняют не только значения показателей, но и их смысл. Модель встроена в определённую институциональную среду и воспроизводит её особенности. Результаты, полученные для одного периода, региона или типа расходов, нельзя автоматически переносить на другие условия. Динамические ограничения требуют периодического пересмотра системы критериев и весов либо явного разделения оценок на сопоставимые периоды. Иначе сравнительный анализ создаёт впечатление динамики там, где изменилась лишь методология или информационная база.

Институциональный аспект проявляется и в том, что многокритериальная модель не заменяет финансовый контроль, аудит эффективности, парламентский контроль и политическую ответственность. Решения о бюджетных расходах включают не только расчётную, но и нормативную составляющую. Они затрагивают распределение ресурсов, приоритеты развития, права граждан и обязательства государства. Результаты модели полезны для сравнения вариантов, выявления расхождений и постановки вопросов, требующих дополнительного анализа. Единственным основанием для управленческих решений они быть не могут.

Границы применения определяются точнее следующим образом. Модель предназначена для сравнительной оценки вариантов, а не для абсолютной квалификации эффективности. Она пригодна для сценарных расчётов, когда требуется проверить влияние приоритетов и весов на итоговые соотношения. Она позволяет выявлять чувствительные зоны, то есть критерии, изменение которых сильнее всего сказывается на результате. Она должна дополняться качественным анализом, экспертным обсуждением и проверкой исходных данных. Её результаты сопровождаются отчётливо сформулированными допущениями и ограничениями.

Эффективность модели определяется не математической сложностью, а обоснованностью условий применения, прозрачностью допущений и обязательной проверкой ограничений. Модель не универсальна для всех случаев и периодов. Она требует осторожного обращения с критериями, весами, данными и процедурами агрегирования. Только при таком подходе она выполняет функцию аналитической поддержки сравнительной оценки бюджетных расходов и не подменяет более широкие формы контроля, аудита и политической ответственности.

Синтетические сценарии сравнительной оценки эффективности бюджетных расходов

Синтетический сценарий — это условная, сконструированная конфигурация исходных данных, набора критериев и весов, предназначенная для проверки устойчивости сравнительной оценки. Такой сценарий не описывает реальную бюджетную практику и не претендует на её отражение. Его назначение — показать, каким образом изменение методических решений отражается на итоговом ранжировании условных объектов. Сценарий выступает аналитическим инструментом, а не формой эмпирического обобщения.

Все числовые значения, используемые в сценариях, являются синтетическими и вводятся исключительно для демонстрации поведения модели. Они не являются результатами измерений, опросов, статистических наблюдений или расчётов по фактическим данным. Любые получаемые в ходе сценарного анализа порядки и оценки следует рассматривать как модельные артефакты, а не как свидетельства эффективности или неэффективности реальных расходов.

Принцип построения сценариев предполагает последовательное варьирование нескольких параметров. Изменяется состав критериев: в модель включаются или исключаются критерии результативности, экономичности, социальной значимости и иные. Варьируется распределение весов, что позволяет оценить зависимость итогового порядка от заложенных приоритетов. Задаётся профиль условных объектов, то есть набор их характеристик по выбранным критериям. Применяются различные способы нормирования показателей, приводящие исходные значения к сопоставимому виду. Сочетание этих параметров образует пространство сценариев.

Базовый сценарий выполняет роль точки отсчёта. В нём используется умеренно широкий набор критериев, относительно равномерные веса и линейное нормирование. Такой выбор не означает его предпочтительности или нормативной обоснованности. Он нужен лишь для сопоставления с альтернативными конфигурациями.

Таблица 1 – Параметры синтетических сценариев (условные значения)

Центральное понятие сценарного анализа — чувствительность ранжирования, то есть мера зависимости итогового порядка от выбора критериев и весов. Именно это свойство выступает предметом анализа: насколько устойчив результат к изменению входных параметров, в каких зонах возникает неопределённость, какие критерии влияют на итоговую конфигурацию сильнее всего. Чувствительность служит индикатором методологической надёжности сравнительной оценки.

Поведение аддитивной модели описывается аналитически. Интегральная оценка условного объекта представляется линейной комбинацией нормированных значений критериев:

S_j = Σ (i = 1…n) w_i · x_ij,

где S_j — интегральная оценка j-го объекта; w_i — вес i-го критерия; x_ij — нормированное значение i-го критерия для j-го объекта; n — число критериев. Сумма весов равна единице.

Разность оценок двух объектов определяется как ΔS = Σ w_i · (x_iA − x_iB). Изменение этой разности при корректировке весов равно Σ Δw_i · (x_iA − x_iB). Чувствительность ранжирования к весам прямо пропорциональна расхождениям между объектами по отдельным критериям и обратно пропорциональна близости их итоговых оценок.

Рассмотрим пример расчёта на синтетических данных. Пусть сравниваются два условных объекта A и B по трём критериям. Нормированные значения объекта A равны 0,8; 0,5; 0,6. Значения объекта B равны 0,6; 0,9; 0,5. При весах 0,4; 0,3; 0,3 получаем: S_A = 0,4 · 0,8 + 0,3 · 0,5 + 0,3 · 0,6 = 0,65; S_B = 0,4 · 0,6 + 0,3 · 0,9 + 0,3 · 0,5 = 0,66. Преимущество объекта B составляет 0,01. При весах 0,5; 0,25; 0,25 оценки меняются: S_A = 0,675; S_B = 0,65. Лидером становится объект A. Сдвиг веса первого критерия на 0,1 меняет итоговый порядок. Этот результат относится к условной конструкции и не переносится на реальные расходы.

Приведённый расчёт допускает расширение до трёх объектов и нескольких весовых структур. Значения объектов A и B сохраняются: A — (0,80; 0,50; 0,60), B — (0,60; 0,90; 0,50). Вводится условный объект C с нормированными значениями (0,55; 0,70; 0,85). Первый критерий соответствует результативности, второй — экономичности, третий — адресности. Собственные профили объектов при этом не меняются; варьируется только значимость критериев. Результаты расчёта сведены в таблице 2.

Таблица 2 – Интегральные оценки условных объектов при различных распределениях весов (синтетические данные)

Приведённые значения показывают, что при неизменных профилях объектов лидер меняется трижды: при равномерных весах первое место занимает объект C, при смещении к результативности — объект A, при смещении к экономичности — объект B. Ни один из объектов не удерживает лидерство во всех конфигурациях. Особый интерес представляет последняя строка таблицы: при смещении веса к адресности оценки объектов A и B совпадают и равны 0,625. Модель утрачивает различительную способность, и вопрос о преимуществе одной альтернативы над другой в рамках выбранной конструкции остаётся без ответа. Этот результат относится к синтетической конфигурации, однако он демонстрирует общее свойство аддитивных свёрток: различительная способность индекса конечна и зависит от весовой структуры.

Более детально чувствительность ранжирования прослеживается при непрерывном изменении веса одного критерия. Ниже вес критерия результативности последовательно возрастает, а веса экономичности и адресности распределяются между собой поровну. Данные для построения диаграммы приведены в таблице.

Рисунок 1 - Изменение интегральных оценок условных объектов при росте веса критерия результативности (синтетические данные)

Диаграмма показывает расхождение траекторий условных объектов. Оценка S_A монотонно возрастает с 0,575 до 0,725, тогда как S_B снижается с 0,690 до 0,630, а S_C — с 0,753 до 0,618. Линии пересекаются в интервале между значениями веса 0,30 и 0,50. До точки пересечения лидирует объект C, после — объект A. Объект B не выходит на первое место ни при одном из рассмотренных значений веса. Точка пересечения обозначает зону неопределённости, в которой вывод о превосходстве одной альтернативы над другой не может быть сделан без дополнительных допущений. Именно такие зоны подлежат обязательной идентификации при построении сравнительной оценки.

Чем более перекрёстным является профиль преимуществ сопоставляемых объектов, тем меньшее изменение весов требуется для смены порядка. Если один объект доминирует по большинству критериев, ранжирование устойчиво почти при любом допустимом распределении весов. Ни одно перераспределение значимости не способно изменить знак разности оценок. Чувствительность ранжирования не является характеристикой самих объектов в отрыве от системы критериев. Она представляет собой совместное свойство профиля оценок, набора критериев и структуры весов. Устойчивый рейтинг может свидетельствовать не о бесспорном превосходстве одного направления расходования средств над другим, а лишь о том, что выбранная конфигурация критериев не создаёт условий для конкуренции альтернатив.

Степень чувствительности зависит и от вида агрегирующей функции. В линейной свёртке предельная норма замещения между критериями постоянна и равна отношению их весов. Влияние весового коэффициента на итоговую оценку не зависит от того, на каком участке шкалы находится значение критерия. В мультипликативных и геометрических свёртках это свойство утрачивается. Вклад критерия в итоговую оценку зависит от уровня значений по остальным критериям. Чувствительность к весу оказывается тем выше, чем ниже нормированное значение по данному критерию. Одна и та же корректировка весов может почти не отразиться на положении объекта со сбалансированными показателями и радикально изменить положение объекта с асимметричным профилем. Обсуждение весов в отрыве от способа агрегирования методологически некорректно. Эти два элемента модели образуют единый механизм.

Эффект компенсации внутренне присущ большинству применяемых процедур агрегирования. В аддитивной свёртке высокие значения по одним критериям способны полностью компенсировать низкие значения по другим. Объект с умеренными результатами по всем направлениям может уступить объекту с выраженными достижениями по части критериев и провальными значениями по остальным. Компенсация не является дефектом модели. Она отражает определённую нормативную позицию: различные аспекты эффективности взаимозаменяемы и допускают суммирование в единой шкале полезности. Эта позиция не всегда приемлема применительно к бюджетным расходам. Если речь идёт о критериях, имеющих характер обязательных требований, полная компенсация противоречит содержанию оценки. Она означает допустимость систематического невыполнения отдельных требований за счёт перевыполнения других.

Мультипликативные свёртки ослабляют, но не устраняют эффект компенсации. Низкое значение по одному критерию снижает итоговую оценку, однако при достаточно высоких значениях по остальным объект может сохранить лидирующие позиции. Иной характер имеет агрегирование на основе минимального значения или лексикографические процедуры. При них итоговая оценка определяется наиболее слабым звеном, а компенсация в явном виде исключается. Выбор между этими вариантами не является технической деталью. Он выражает содержательное решение о том, в какой степени достижения по одним направлениям бюджетных расходов могут оправдывать отставание по другим. Способ агрегирования должен указываться явно и сопровождаться обоснованием, а не выбираться исходя из удобства вычислений.

Самостоятельная методологическая проблема — нормирование показателей. Каждый способ приведения разнородных индикаторов к сопоставимому виду вносит в итоговую оценку собственный вклад. Линейное нормирование относительно минимального и максимального значений наблюдаемой совокупности обеспечивает наглядность и единый диапазон. Одновременно оно делает результат зависимым от крайних наблюдений: появление одного аномального значения меняет оценки всех остальных объектов. Нормирование по эталону сохраняет пропорциональность и содержательную интерпретируемость. Оно требует обоснованного выбора эталона, а этот выбор может быть оспорен. Стандартизация на основе среднего значения и стандартного отклонения предполагает допущения о распределении показателей и порождает отрицательные нормированные значения. Это затрудняет применение мультипликативных свёрток. Ранговое нормирование устраняет влияние выбросов, но утрачивает информацию о величине различий между объектами. Ранжирование становится более грубым.

Перечисленные процедуры могут применяться к одному и тому же набору исходных данных и приводить к разным итоговым оценкам. Расхождения в рейтингах, публикуемых различными ведомствами или исследовательскими коллективами, не всегда отражают расхождения в фактическом положении дел. Они могут быть следствием различий в технике нормирования, оставшихся за рамками описания методики. Дополнительную сложность создаёт разнонаправленность критериев и наличие пороговых зависимостей. При них прирост показателя в одной области значений имеет иную содержательную ценность, чем в другой. Линейные процедуры нормирования такие зависимости не улавливают и неявно предполагают равную значимость любого приращения показателя на всём диапазоне его изменения.

Ограничение сценарного подхода фиксируется со всей определённостью. Синтетические сценарии представляют собой условные конфигурации исходных данных, набора критериев и весов. Они не обладают внешней валидностью и не могут служить доказательством эффективности или неэффективности реальных бюджетных расходов. Их назначение — методическое и диагностическое. Они позволяют выявить свойства самой оценочной конструкции, обнаружить точки повышенной чувствительности и определить, какие выводы могут быть сделаны устойчиво, а какие оказываются артефактом выбранных допущений. Перенос результатов сценарного анализа на фактическую бюджетную практику без дополнительной проверки на реальных данных был бы методологически неоправданным. Синтетические сценарии по построению не воспроизводят ни структуру реальных расходов, ни действительную вариацию показателей, ни характер их взаимосвязей.

Допустимые выводы по результатам сценарного анализа ограничиваются несколькими классами утверждений. Это выводы об устойчивости порядка: сохраняется ли соотношение условных объектов при допустимых вариациях критериев, весов и процедур нормирования. Это выделение зон неопределённости, в которых различие агрегированных оценок сопоставимо с величиной их изменения при малых корректировках параметров. Это идентификация критериев, оказывающих наибольшее влияние на итоговый результат. Такие критерии нуждаются в наиболее тщательном обосновании и прозрачном документировании. Это формулирование требований к самой процедуре оценивания: прозрачность весов, явное указание способа агрегирования и нормирования, обоснование выбора показателей и их соответствия целям оценки.

Выбор критериев и весов не является нейтральным техническим этапом, предшествующим собственно оценке. Он в значительной степени определяет сравнительные выводы. Сравнительная оценка эффективности бюджетных расходов должна сопровождаться анализом чувствительности и явной фиксацией принятых допущений. Без такой процедуры различия в итоговых рейтингах отражают не столько свойства оцениваемых расходов, сколько конструкцию применённой методики. В бюджетной сфере это особенно значимо, поскольку результаты оценки могут влиять на распределение ресурсов и на содержание управленческих решений. Отсутствие анализа чувствительности равносильно скрытому принятию набора нормативных решений, не предъявленных для обсуждения.

Интерпретация результатов и направления совершенствования оценки

Цель этого параграфа — показать, каким образом агрегированные оценки, полученные в условных сценариях, преобразуются в содержательные выводы. Все рассматриваемые результаты носят методический и иллюстративный характер. Они основаны на синтетических данных и условных допущениях, а не на эмпирически подтверждённых оценках реальных бюджетных расходов.

Переход от агрегированных оценок к содержательным выводам предполагает несколько последовательных шагов. Сначала альтернативы сравниваются по итоговому интегральному показателю, что позволяет построить упорядоченный рейтинг. Затем анализируются разрывы между сценариями. Если при изменении весов или состава критериев альтернатива резко меняет позицию, это сигнализирует о её чувствительности к отдельным параметрам оценки. Далее рассматриваются профили критериев — совокупность оценок по отдельным направлениям: экономия, результативность, справедливость, адресность, устойчивость, управляемость. Анализ профилей показывает, за счёт каких критериев альтернатива занимает высокое или низкое место и какие содержательные конфликты между критериями при этом возникают. Наконец, устанавливаются причины изменения позиций: какие веса, шкалы или способы агрегирования привели к перестановке альтернатив.

Выбор критериев, шкал, весов и метода агрегирования решающим образом влияет на сравнительную оценку. В рамках синтетического примера это видно отчётливо. Если наибольший вес получает критерий экономии, лидирует альтернатива с минимальными удельными затратами. Если акцент смещается на справедливость или адресность, рейтинг меняется в пользу альтернативы с более равномерным распределением благ. Изменение способа нормировки приводит к перестановке позиций даже при неизменных весах. Многокритериальная оценка не сводится к единственно верному интегральному показателю. Она представляет собой конструкцию, зависящую от явно или неявно принятых методических допущений.

Содержательные конфликты между критериями составляют принципиальную особенность многокритериальной оценки бюджетных расходов. Критерий экономии ориентирует на минимизацию затрат при заданном результате. Критерий результативности акцентирует достижение запланированного эффекта и допускает рост расходов, если он сопровождается опережающим приращением результата. Между этими критериями возникает закономерное напряжение. Решение, предпочтительное с точки зрения экономии, может оказаться проигрышным с точки зрения результативности. Критерий справедливости вносит распределительное измерение и требует учёта того, насколько равномерно результаты и издержки распределяются между получателями средств или между территориями. Критерий адресности конкретизирует это требование и направляет внимание на точность попадания ресурсов в целевую группу. Критерий устойчивости фиксирует сохранение положительного эффекта во времени и отсутствие отложенных негативных последствий. Критерий управляемости отражает реализуемость и контролируемость решения с точки зрения административных процедур и организационных ресурсов. Перечисленные критерии не сводятся один к другому и не образуют иерархии, в которой старший критерий подчинял бы себе младшие. Они фиксируют различные, а иногда и противоположные аспекты эффективности.

Из этого следует важное методическое положение. Многокритериальная оценка не может быть редуцирована к единственному универсальному показателю без существенной потери содержания. Любая свёртка критериев в интегральный индекс предполагает компенсацию, то есть допущение о способности высокого балла по одному критерию возместить низкий балл по другому. Такое допущение методически удобно, но содержательно небезусловно. Провал по критерию адресности или устойчивости не всегда может быть компенсирован экономией затрат. Корректная интерпретация предполагает параллельное рассмотрение агрегированных оценок и частных профилей. Она требует явного указания на то, какие именно компенсации допускает используемая модель.

Ограничения интерпретации связаны с субъективностью выбора весов, компенсаторным характером агрегирования, потерей информации при свёртке и чувствительностью рангов к способу нормировки. Субъективность весов означает, что итоговый рейтинг в значительной степени отражает позицию исследователя или эксперта. Компенсаторный характер агрегации приводит к тому, что высокие оценки по одним критериям нивелируют низкие оценки по другим. Потеря информации при свёртке не позволяет увидеть, какие аспекты деятельности остались проблемными. Чувствительность к нормировке указывает на возможность изменения выводов при незначительных корректировках методики.

Институциональные направления совершенствования оценки связаны с повышением прозрачности процедур выбора критериев и обоснования их весов. Регламентация такого выбора предполагает, что состав критериальной системы и правила её формирования фиксируются заранее, до получения результатов. Это снижает риск подгонки методики под желаемый вывод. Каждый весовой коэффициент сопровождается аргументацией, а не назначается по умолчанию или по соображениям удобства. Независимая верификация результатов предполагает привлечение к проверке расчётов субъектов, не участвовавших в их подготовке. Это позволяет выявить методические ошибки и неявные допущения. Периодическая переоценка необходима потому, что приоритеты бюджетной политики и внешние условия изменяются. Критериальная система и веса не могут рассматриваться как неизменные. Обучение участников оценочного процесса — аналитиков, заказчиков оценки и пользователей её результатов — выступает условием корректной интерпретации. Неправильное понимание смысла агрегированных показателей порождает упрощённые управленческие решения.

Методические элементы совершенствования образуют совокупность взаимодополняющих процедур. Первая из них — систематическая проверка чувствительности итоговых рейтингов к вариации весов, шкал и состава критериев. Такой аудит устанавливает диапазоны весовых значений, в пределах которых ранжирование сохраняется. Это позволяет отделить устойчивые выводы от условных. Второй элемент — введение пороговых значений, при непревышении которых альтернатива не может рассматриваться как эффективная независимо от величины интегральной оценки. Пороги выполняют роль содержательных ограничений и препятствуют неограниченной компенсации. Третий элемент — профили эффективности, то есть наглядное представление частных оценок по каждому критерию. Профили позволяют увидеть структуру преимуществ и недостатков альтернативы, а не только её место в рейтинге. Четвёртый элемент — сценарные паспорта, фиксирующие исходные допущения, состав критериев, веса, способ нормировки и результаты проверки устойчивости. Они обеспечивают воспроизводимость оценки и облегчают её последующий пересмотр. Пятый элемент — отказ от единственного интегрального рейтинга в качестве окончательного управленческого решения. Агрегированная оценка используется как ориентир и как инструмент первичной фильтрации, но не как самодостаточное основание для вывода.

Ограничения предложенных направлений обозначаются столь же отчётливо, как и их возможности. Полное устранение субъективности в многокритериальной оценке принципиально недостижимо. Сам отбор критериев и назначение весов являются результатом содержательного выбора, а не формальной процедуры. Результаты существенно зависят от качества исходных данных, полноты и сопоставимости используемых показателей. Сохраняется риск манипулирования весами, при котором формально прозрачная процедура применяется для получения заранее заданного результата. Этот риск не устраняется простым декларированием открытости. Любые выводы сравнительной оценки требуют учёта контекста: институциональных условий, временного горизонта, особенностей оцениваемой сферы. Одна и та же критериальная система может давать различные результаты в разных условиях. Предлагаемые процедуры не претендуют на универсальность и не отменяют содержательного экспертного суждения. Они структурируют это суждение и делают его проверяемым.

Совершенствование оценки эффективности бюджетных расходов связано в первую очередь с прозрачностью методических решений, адаптивностью критериальных систем, валидацией получаемых результатов и осторожной интерпретацией. Оно не сводится к поиску единственно верной формулы или универсального интегрального показателя. Многокритериальный подход по своей природе не обещает однозначного ответа. Он предлагает язык, на котором противоречивые аспекты эффективности выражаются явно, сопоставляются и обсуждаются. В этом заключается его методическая ценность и одновременно источник его ограничений.

Обобщая результаты проведённого в этой главе анализа, следует выделить главное. Синтетическая многокритериальная модель демонстрирует методические возможности сравнительной оценки бюджетных расходов. Она позволяет проследить, каким образом выбор критериев, шкал, весов и способа агрегирования влияет на итоговые выводы. Вместе с тем модель не снимает вопроса о содержательной обоснованности оценки. Она делает этот вопрос явным и доступным для анализа. Осознанное отношение к критериям, весам и ограничениям интерпретации, проверка устойчивости выводов и отказ от претензии на единственно правильное измерение эффективности образуют ту методическую основу, на которой может строиться дальнейшее развитие подходов к оценке эффективности бюджетных расходов. Полученные выводы подводят к необходимости формулирования обобщающих положений, что и составляет содержание заключительной части исследования.

Заключение

Работа посвящена научно-методической проблеме на пересечении теории государственных финансов и методологии оценочной деятельности. Центральный вопрос исследования состоит в том, каким образом выбор критериев определяет результаты сравнительной оценки эффективности бюджетных расходов. Второй вопрос касается методических решений, которые делают такую оценку обоснованной, прозрачной и воспроизводимой. Ниже подводятся итоги по каждой из поставленных задач. Формулируются обобщающие выводы. Характеризуется теоретико-методическое значение работы. Определяются перспективные направления дальнейших исследований.

Первая задача — раскрыть содержание категории «бюджетные расходы» как объекта оценки — решена в первой главе. Бюджетные расходы представляют собой не только финансовый поток. Они выступают инструментом достижения общественно значимых целей. Их эффективность нельзя свести к отношению «затраты — результат». Объективные границы оценки задаются несколькими факторами. Это многомерность общественных эффектов. Это отложенный характер части результатов. Это асимметрия информации между участниками бюджетного процесса. Это отсутствие единого измерителя для разнородных эффектов. Такой вывод имеет методологическое значение. Он объясняет, почему однокритериальные конструкции не могут претендовать на полноту. Он же обосновывает необходимость перехода к многокритериальной логике.

Вторая задача — систематизировать эволюцию подходов к оценке эффективности бюджетных расходов — решена через сопоставление нескольких линий развития. Рассмотрены затратный, результативный и программно-целевой подходы. Отдельно проанализированы подходы, ориентированные на качество управления и на создание общественной ценности. Развитие методик отражает последовательное смещение акцента от контроля освоения ассигнований к оценке достижения целей и социальной результативности. Каждый новый подход не отменяет предыдущий. Он дополняет его. Существующее многообразие методик можно рассматривать как совокупность взаимодополняющих инструментов. Выбор между ними определяется целями оценки и характером решаемой задачи.

Третья задача — выявить влияние выбора критериев на сравнительную оценку — центральная для настоящего исследования. Критериальный набор выполняет не только измерительную функцию. Он выполняет и селективную функцию. Именно состав критериев определяет, какие объекты попадут в число лучших. Он же определяет, какие объекты окажутся в числе худших. Изменение состава критериев, способов нормирования и агрегирования способно привести к перестановке позиций в итоговом упорядочении. Это происходит даже при неизменных исходных данных. Сравнительная оценка не является технически нейтральной процедурой. Она встроена в определённую систему приоритетов. Это требует её явного раскрытия и аргументации.

Четвёртая задача — сравнительный анализ существующих методик — решена во второй главе. Применяемые подходы тяготеют к одному из двух полюсов. Первый полюс — узкий критериальный набор при высокой прозрачности расчёта. Второй — широкий охват при ослабленной сопоставимости результатов. Выявлены общие уязвимые места. Это недостаточная обоснованность отбора показателей. Это произвольность весовых коэффициентов. Это чувствительность итога к процедуре нормирования. Это ограниченная интерпретируемость агрегированного показателя. Перечисленные наблюдения определили требования, которым должна удовлетворять предлагаемая модель.

Пятая задача — формирование системы критериев и показателей — решена через построение многоуровневой структуры. В неё входят четыре блока. Это результативность, экономичность, социальная значимость и качество управления. Каждый блок раскрывается через набор частных показателей. Предложенная система не позиционируется как универсальная. Она рассматривается как основа, подлежащая адаптации к конкретным целям оценки и особенностям оцениваемых расходных направлений.

Шестая задача — определение весов критериев и алгоритма агрегирования — решена в виде процедуры. Она предполагает явное задание весов, их нормализацию и использование аддитивной свёртки. Возможен переход к мультипликативной форме при наличии пороговых ограничений. Выбор способа свёртки не является технической деталью. Аддитивные и мультипликативные модели по-разному реагируют на низкие значения отдельных показателей. Соответственно, они по-разному трактуют идею компенсируемости частных оценок. В аддитивной модели низкий результат по одному показателю может быть перекрыт высокими значениями по другим. В мультипликативной модели такой эффект ослаблен. Это различие принципиально для практики оценивания.

Седьмая и восьмая задачи — определение условий применения модели и построение сценариев сравнительной оценки — решены в третьей главе. Использованные сценарии носят синтетический, иллюстративный характер. Они сконструированы для проверки логической работоспособности модели. Они не претендуют на отражение реальной бюджетной практики. Их назначение состояло в том, чтобы показать, каким образом изменение критериального набора, весовых коэффициентов и способа агрегирования отражается на итоговом упорядочении объектов. Рассмотрены три типа сдвигов. Первый связан с добавлением или исключением критерия. Второй — с изменением весовых коэффициентов. Третий — с заменой способа свёртки. Каждый тип сдвига по-разному влияет на итоговый рейтинг. Полученные зависимости следует интерпретировать как свойства самой модели. Они не являются эмпирически установленными закономерностями. Такой подход позволяет отделить методические решения от результатов их возможного применения к реальным данным.

Соответствие задач и полученных результатов представлено в таблице 1.

Таблица 1 – Соответствие задач исследования и полученных результатов

Девятая задача — интерпретация результатов и определение направлений совершенствования оценки — завершает исследование. Любую агрегированную оценку необходимо сопровождать анализом чувствительности и раскрытием принятых допущений. Без этого итоговый показатель утрачивает доказательную силу. Он не может служить надёжной основой для управленческих решений. Ограничения предложенной модели сформулированы открыто. Это зависимость от качества исходной информации. Это чувствительность к весам. Это отсутствие встроенного механизма учёта рисков. Такая открытость позволяет корректно очертить границы применимости модели. Она также задаёт ориентиры для её дальнейшего развития.

Обобщая результаты работы, можно сформулировать несколько выводов. Во-первых, эффективность бюджетных расходов является не только характеристикой объекта. Она является и функцией методики его оценивания. Разные критериальные конструкции дают разные ответы на один и тот же вопрос. Во-вторых, многокритериальность не устраняет субъективности оценки. Она делает её более явной и управляемой. Это происходит потому, что многокритериальный подход вынуждает фиксировать приоритеты и допущения. В-третьих, устойчивость итогового рейтинга к изменению параметров модели следует рассматривать как самостоятельный критерий качества методики. Он дополняет её полноту и прозрачность. Выбор критериев — это не предварительная техническая операция. Это содержательное методологическое решение. Оно во многом предопределяет выводы оценки.

Изложенное позволяет констатировать, что цель работы достигнута. Проведён сравнительный анализ подходов к оценке эффективности бюджетных расходов. Выявлены факторы, обусловливающие зависимость результатов сравнения от критериального выбора. Разработана синтетическая многокритериальная модель. Она объединяет систему критериев, процедуру взвешивания и алгоритм агрегирования. Показаны сценарии её применения. Обозначены границы применимости. Поставленные задачи решены в полном объёме. Их решение образует логически связанное целое. Теоретические положения первой главы обосновывают методические решения второй. Эти решения проверяются на концептуальном уровне в третьей главе.

Теоретико-методическое значение работы состоит в систематизации влияния критериального выбора на результаты сравнительной оценки. Оно также состоит в обосновании требований к критериальным системам. Отдельный результат — построение синтетической многокритериальной модели. В ней анализ чувствительности рассматривается как обязательный элемент оценочной процедуры. Он не является факультативным дополнением. Работа не содержит утверждений о внедрении предложенных решений. Она не опирается на эмпирическую проверку на реальных данных. Результаты работы представляют собой методическую основу. Такая основа требует последующей апробации.

Практическая значимость исследования определяется возможностью использования его положений при разработке внутренних методик оценки. Они применимы при проектировании систем мониторинга результативности расходов. Они также востребованы в учебном процессе при подготовке специалистов в области государственных финансов. Предложенная модель может применяться как аналитический шаблон. Он адаптируется к конкретным задачам при условии предварительного согласования состава критериев и весов.

Перспективы дальнейших исследований связаны с несколькими направлениями. Это эмпирическая апробация модели на реальных данных. Это разработка процедур согласования весовых коэффициентов, снижающих долю субъективизма. Это исследование устойчивости итоговых оценок к изменению параметров. Это включение в модель факторов неопределённости и риска. Отдельного внимания заслуживают вопросы сопоставимости результатов, полученных с помощью аддитивных и неаддитивных свёрток. Также важна возможность интеграции количественных и качественных критериев.

Поставленная проблема не имеет окончательного решения. Любая методика оценки эффективности бюджетных расходов остаётся инструментом. Его ценность определяется не только точностью расчёта. Она определяется честностью раскрытия собственных допущений. Главный содержательный итог проведённой работы состоит именно в этом принципе. Прозрачность критериального выбора и его последствий образует основу добросовестной оценочной практики. Дальнейшее развитие этого принципа представляет собой самостоятельную исследовательскую задачу.

Список использованных источников