Translate this page:
Please select your language to translate the article


You can just close the window to don't translate
Library
Your profile

Back to contents

Legal Studies
Reference:

Indicators for optimization of legislation and law enforcement, methods of their identification and usage based on big data (experience of computational experiments on the judicial acts on administrative offenses established by the Chapter 18 Of the Code of Administrative Offenses of the Russian Federation)

Trofimov Egor Viktorovich

ORCID: 0000-0003-4585-8820

Doctor of Law

Deputy Director for Science, St. Petersburg Institute (Branch) of the All-Russian State University of Justice

199178, Russia, g. Saint Petersburg, 10-ya liniya V.O., 19, lit. A, kab. 36

diterihs@mail.ru
Other publications by this author
 

 
Metsker Oleg Gennad'evich

ORCID: 0000-0003-3427-7932

PhD in Technical Science

Researcher

199178, Russia, g. Saint Petersburg, 10-liniya V.O., 19 lit. A

olegmetsker@gmail.com
Other publications by this author
 

 

DOI:

10.25136/2409-7136.2020.9.34149

Received:

20-10-2020


Published:

03-11-2020


Abstract: The subject of this article is the research tools and assessment methods with regards to optimization of legislation and law enforcement. The paper reveals the experience of computational experiments on the judicial acts on administrative offenses established by the Chapter 18 of the Code of Administrative Offenses of the Russian Federation. The research employs various computer methods, including knowledge modeling, methods of natural language processing and machine learning, as well as the related within the framework of interdisciplinary paradigm methods of systemic analysis and expert assessment. Computational experiments were conducted on the empirical basis formed out of texts of 50,438 judicial acts. On the example of big data on administrative offenses, the article demonstrates the interdisciplinary (from computer and legal perspectives)  interpreted results in the context of usage and identification of a number of indicators for optimization of legislation and law enforcement, primarily – time indicator, indicator of individualization of punishment, and indicator of subject uniformity. The conclusions and generalizations are made pertaining to legislation and law enforcement in this area under consideration. Computational methods and the set of indicators can be the groundwork for making decisions in law policy. The advantages of the proposed methodology consist in objectivity of the conclusions that based on methodology open to public verification, as well as big legal data that ensures accuracy of research.


Keywords:

efficiency of law, optimization of law, administrative responsibility, digital state, big data, machine learning, data mining, computer methods, indicators, interdisciplinary study


1. Введение

Стремительное развитие компьютерных технологий, а затем и цифровой реальности обусловило их неизбежное соприкосновение с областью права. С 1950-х гг. во многих странах разрабатываются и внедряются компьютерные методы и системы для изучения права, интеллектуального анализа и моделирования правовой деятельности, так что сегодня наблюдаются успехи в разработке и внедрении поисковых, управленческих, аналитических, предиктивных и контрольных информационных систем, предназначенных для поддержки принятия решений в широком спектре юридических задач [1].

2. Проблема

В условиях динамичного развития правовой системы обработка и анализ юридических данных традиционными методами, включая правовую статистику и экспертные оценки, носят крайне ограниченный характер. Эти ограничения связаны, в частности, с объемами обрабатываемой информации, комплексностью и разнородностью данных, затратами ресурсов на обработку, анализ и интерпретацию результатов. Последствия этих ограничений — скудность информации, предоставляемой правовой статистикой, косность и субъективизм выводов, сделанных экспертами, недоверие и скептицизм к научным знаниям и рекомендациям, проявляемые законодателем, правоприменителем и обществом в целом. В то же время в сегменте AI & Law важную проблему составляет объяснительная задача в построении системы юридической аргументации [2]. Соединение двух названных проблем определяет направление междисциплинарного научного поиска.

3. Цель

Настоящее исследование посвящено разработке и обоснованию методологии качественной оценки оптимизации законодательства и правоприменительной практики на основе анализа больших данных. В качестве перспективного исследовательского средства прорабатываются индикаторы с учетом того, что индикаторы как средства исследования уже предлагались к использованию зарубежными исследователями для измерения права [3] и представляются удобным и понятным научным инструментом. В междисциплинарной юридическо-компьютерной области исследование использования индикаторов требует эвристического поиска адекватных компьютерных методов идентификации этих индикаторов, обоснования, апробации и проверки таких методов в вычислительных экспериментах.

На текущем этапе исследование проводится на данных дел об административных правонарушениях. В настоящей статье представлены результаты вычислительных экспериментов на судебных актах по делам об административных правонарушениях, предусмотренных главой 18 Кодекса Российской Федерации об административных правонарушениях.

4. Методология

В данном исследовании для проведения вычислительных экспериментов были использованы различные компьютерные методы, включая моделирование знаний, методы обработки естественного языка и методы машинного обучения (корреляционный анализ, классификацию, регрессию, ранжирование и др.). С названными методами были сопряжены в рамках междисциплинарной парадигмы методы системного анализа и экспертной оценки.

Вычислительные эксперименты по использованию методов интеллектуального анализа и машинного обучения производились на эмпирической базе, сформированной из текстов 50438 судебных актов по делам об административных правонарушениях, предусмотренных отдельными статьями главы 18 КоАП РФ.

Тексты судебных актов выражены на естественном языке, в связи с чем были подвергнуты автоматизированной обработке для извлечения данных методами, ранее обоснованными авторами [4] [5] [6].

Для верификации полученных результатов привлекались данные судебной статистики, упомянутые ниже.

5. Результаты

На больших данных дел об административных правонарушениях были получены междисциплинарно (с компьютерной и юридической сторон) интерпретируемые результаты при использовании и идентификации ряда индикаторов оптимизации законодательства и правоприменения, прежде всего — временного индикатора, индикатора индивидуализации наказания и индикатора предметной однородности. Одновременно были сделаны некоторые выводы и обобщения относительно законодательства и правоприменения в рассматриваемой области.

Изменение корреляции данных о применении законодательной нормы с данными о периоде времени — это временной (динамический) индикатор, который указывает на наличие изменений в правоприменительной практике, если величина корреляции различна для разных периодов времени. Как правило, изменения в величине корреляции статьи закона на период времени связаны со значительными изменениями в самом законе. На примере корреляционной матрицы (рис. 1) видно, что правонарушения, предусмотренные статьями 18.1, 18.2, 18.8, 18.10, 18.11, 18.15, 18.16 и 18.17 КоАП РФ, не коррелируют на 2016, 2017 и 2018 гг. Этот результат интерпретируется как отсутствие значимых для правоприменения изменений за эти годы в указанных статьях главы 18 КоАП РФ.

Рис 1. Корреляционная матрица данных, извлеченных из судебных актов

Этот вывод подтверждается наблюдением, согласно которому последние существенные изменения законодатель внес: в статью 18.1 — в 2009 г.; в статью 18.2 — в 2014 г.; в статью 18.8 — в 2013 г. (в 2016 г. в этой статье выделены только специальные части с более суровыми санкциями за те же правонарушения, совершенные в городах Москве и Санкт-Петербурге, Московской и Ленинградской областях); в статью 18.10 — в 2015 г.; в статью 18.11 — в 2007 г. (в 2016 г. было внесено техническое изменение, касающееся термина); в статью 18.15 — в 2015 г. (в 2016 г. было внесено техническое изменение, касающееся термина); в статью 18.16 — в 2014 г.; в статью 18.17 — в 2013 г. В названных статьях не было обнаружено изменения нулевого значения корреляции для временных периодов 2016, 2017 и 2018 гг. Напротив, на статье 18.9 идентифицирован временной индикатор: значения корреляции в 2017 и 2018 гг. (нулевая корреляция) изменились по сравнению с 2016 г. (положительная корреляция). В данном случае это динамический показатель, который следует за некоторым существенным изменением практики привлечения к административной ответственности за совершение административного правонарушения, предусмотренного статьей 18.9 КоАП РФ. Наличие правоприменительных изменений объективно подтверждается тем, что законодатель вносил изменения в статью 18.9 КоАП РФ в 2017 и 2018 гг.

При этом важно отметить два момента. Во-первых, результаты вычислительных экспериментов позволяют сделать вывод о том, что не все законодательные изменения влияют на практику применения статей закона. В частности, в отношении статей 18.8, 18.11 и 18.15 КоАП РФ временной индикатор не проявился, поскольку изменения в законе не были связаны с анализируемыми данными: в статье 18.8, помимо общих составов, в некоторых частях статьи были выделены специальные составы, а в статьях 18.11 и 18.15 устаревший термин был актуализирован в системе действующего законодательства. Таким образом, временной индикатор показывает существенность влияния законодательных изменений на реальную правоприменительную практику.

Во-вторых, определение характера изменений, произошедших в рассматриваемые периоды времени, требует использования дополнительных исследовательских средств и методов, определяемых на основе коррелируемых данных. Корреляционный анализ позволяет всего лишь выявить доменные области, в которых произошли изменения в рассматриваемые временные промежутки.

В этом отношении можно указать на связь между корреляцией периода времени со смягчающими и отягчающими обстоятельствами, с одной стороны, и индикатором индивидуализации наказания — с другой.

Индикатором индивидуализации наказания — одного из важнейших принципов юридической ответственности и правовой политики — является корреляция нормы применяемого закона на смягчающие или отягчающие обстоятельства. Отсутствие индивидуализации наказания (нулевая корреляция со смягчающими и отягчающими обстоятельствами) означает нарушения в процессе правоприменения, кроме случая, когда законом предусмотрена безальтернативная санкция. В прочих случаях отсутствие корреляции со смягчающими или с отягчающими обстоятельствами, означает, что правоприменитель чрезмерно упрощает производство по делу, избегая выяснения фактических обстоятельств, которые по закону влияют или могут повлиять на назначение наказания, а налагаемое наказание, таким образом, остается неиндивидуализированным. В таких случаях правоприменительная практика ориентирована на назначение минимального наказания, что сводит к минимуму риск обжалования и, как следствие, риск отмены акта правоприменения. Однако такой правоприменительный подход нарушает правила назначения административного наказания (прежде всего, статью 4.1 КоАП РФ) и делает альтернативные (не минимальные) меры наказания, предусмотренные законодателем, «мертвыми».

Например, статья 18.1 КоАП РФ предусматривает относительно определенные санкции. В наиболее часто применяемых частях 1 и 2 этой статьи наказание для граждан предусмотрено в виде административного штрафа в размере от 2000 до 5000 рублей, однако на практике административный штраф налагается в минимальном размере 2000 рублей (это подтверждают и данные ведомственного статистического наблюдения [7, стр. 201 разд. 1] [8, стр. 246 разд. 1] [9, стр. 261 разд. 1]). Корреляционная матрица (рис. 1) показывает, что статья 18.1 имеет нулевую корреляцию с обстоятельствами, смягчающими и отягчающими административную ответственность. Напротив, статьи 18.8 и 18.15 Кодекса имеют ненулевую (положительную или отрицательную) корреляцию со многими обстоятельствами, влияющими на индивидуализацию наказания.

На рис. 2 на тех же кейсах показана значимость различных параметров дела для определения размера штрафа.

Рис. 2. Значимость признаков для размера административного штрафа

Так, обстоятельства, смягчающие и отягчающие ответственность («Extenuating» и «Aggravating») имеют практически одинаковую значимость для определения размера штрафа, но различные виды смягчающих и отягчающих обстоятельств значительно различаются: например, раскаяние («Repentance») является более значимым смягчающим обстоятельством с показателем 588, чем содействие в расследовании правонарушения («Assistance») с показателем 93. Основными причинами таких различий является привычность обстоятельств для юридической практики. «Раскаяние» в содеянном очень часто устанавливается судом путем получения от правонарушителя ответа на стандартный вопрос: «Раскаиваетесь ли Вы в содеянном?». Для правонарушителя такое «раскаяние» преследует цель добиться более мягкого административного наказания, а доказательством раскаяния являются только слова правонарушителя, как и в случае признания им вины («Guilt admission» с показателем 509). «Содействие» правосудию устанавливается на основе реальных действий правонарушителя, которые случаются редко и еще реже фиксируются документально. Поэтому «содействие» оказывается более редким и непривычным для суда обстоятельством и меньше влияет на размер штрафа, чем «раскаяние», хотя обладает неизмеримо большей социальной полезностью.

Вместе тем описанный метод часто не позволяет установить направленность влияния одних параметров на другие. Для этого могут быть использованы другие методы. В частности, на рис. 3 на массиве судебных актов по отдельным статьям главы 18 КоАП РФ на основе SHAP value [10] показан характер влияния (позитивного или негативного) различных параметров дела на результат судебного пересмотра дела.

Рис. 3. Распределение значимости признаков для исхода дела

Например, установление судом любых смягчающих обстоятельств («Extenuating») связано с оставлением без изменения ранее вынесенного постановления о назначении административного наказания (красный цвет на рисунке смещен в отрицательные значения), тогда как отмена постановления соотносится с отсутствием установленных судом смягчающих обстоятельств (синий цвет на рисунке смещен в положительные значения). Такой результат объясняется тем, что смягчающие обстоятельства устанавливаются судом для смягчения наказания, т.е. в ситуации, когда административное наказание должно быть назначено и когда отсутствуют основания для прекращения производства по делу. Смысл этой связи хорошо объясняют такие смягчающие обстоятельства, как раскаяние («Repentance») и признание вины («Guilt admission»): установление этих обстоятельства означает, что лицо действительно виновно в совершении правонарушения (лицо раскаивается в совершенном деянии или признает свою вину), а потому суд отказывает в отмене ранее вынесенного постановления о назначении наказания.

Напротив, установление обстоятельств, исключающих производство по делу («Exceptional circumstances (Art. 24.5)»), показывает их высокую значимость для отмены ранее вынесенного постановления. Такой же результат показывает установление малозначительности правонарушения («Insignificance (Art. 2.9)»), что влечет освобождение от административной ответственности.

Интересно, что отягчающие обстоятельства («Aggravating»), взятые в совокупности, не имеют явной связи ни с отменой ранее вынесенного постановления, ни с оставлением этого постановления без изменений. Учитывая, что смягчающие и отягчающие обстоятельства по закону в равной мере входят в предмет доказывания по делу, это означает, что на практике процесс установления смягчающих обстоятельств имеет отличия от процесса установления отягчающих обстоятельств. В установлении смягчающих обстоятельств заинтересованы и правонарушитель, который благодаря им может получить менее суровое наказание, и суд, который благодаря им выносит такое решение, которое в дальнейшем с меньшей вероятностью будет обжаловано и отменено по мотивам суровости назначенного наказания. По этим же причинам выявлять отягчающие обстоятельства, которые приведут к ужесточению наказания, никто не заинтересован, и они выявляются в ходе производсьва по делу в силу объективных причин (очевидности, наличия соответствующей информации в официальных базах данных и т.д.).

По рассматриваемым составам административных правонарушений часто привлекаются к ответственности иностранные граждане. Поэтому именно по данной категории дел такое обстоятельство, как наличие у правонарушителя несовершеннолетних детей, в некоторых случаях может оказывать большое влияние на отмену ранее вынесенного постановления о назначении наказания (на рис. 3 — красные точки в положительном значении на строке «Have a baby»). Смысл этой значимости в том, что правонарушитель-иностранец может иметь ребенка с российским гражданством, и в этой ситуации суд иногда находит какие-то основания для отмены ранее вынесенного постановления о назначении наказания, действуя в интересах интернациональной семьи.

Некоторые зависимости более сложные. В частности, в строке размера штрафа («Fine-size») видно, что средние размеры штрафов (фиолетовые точки в отрицательных значениях) хорошо соотносятся с отказом в пересмотре ранее вынесенного постановления, тогда как низкие и высокие штрафы (синие и красные точки) имеют практически нулевую корреляцию с отменой ранее вынесенного постановления. Такой результат по рассматриваемой категории дел может иметь большое количество интерпретаций, что требует дальнейшего интеллектуального анализа.

Описанный выше метод позволяет выявлять значимость влияния любых параметров дела на результат его разрешения, а для прояснения и интерпретации полученных результатов допустимо использовать как традиционные методы, так и другие вычислительные инструменты.

Машинное обучение, основанное на методах классификации и регрессии [11], позволило построить дерево решений (рис. 4) по группе статей главы 18 КоАП РФ (статьи 18.1, 18.2, 18.8, 18.9, 18.10, 18.11, 18.15, 18.16 и 18.17). Полученное дерево показывает, что дерево решений обладает эвристическим потенциалом не только в отношении одной законодательной нормы (в административно-деликтной сфере — одной статьи либо части статьи), как это было показано в ранних работах авторов [12] [13], но и на группе законодательных норм. Это дерево решений построено с учетом не только фактических обстоятельств дела, но и различных статей КоАП РФ и временных периодов (лет).

Рис. 4. Дерево решений по группе статей главы 18 КоАП РФ

Полученное дерево показало, что на основе больших данных можно выявить сходство в решении правовых вопросов (в данном случае: определения размера штрафа) не только по одному виду правонарушения, но по группе правонарушений. Индикатором специфичности правового решения в данном случае выступает статья КоАП РФ (вид правонарушения), которая находится в основании ветвления дерева (статья 18.15) и на более низких уровнях (статья 18.11). Неспецифичные решения не зависят от вида правонарушения, поэтому другие статьи КоАП РФ (18.1, 18.2, 18.8, 18.9, 18.10, 18.16 и 18.17) в дереве не фигурируют, что является вариантом индикатора предметной однородности. На рис. 4 видно, что для решения вопросов по статье 18.15 (правая часть дерева) имеет значение период времени (2016 г.), который определил классификационную значимость одного из двух обстоятельств: содействие в раскрытии правонарушении для 2016 г., признание вины — для прочих лет.

6. Заключение

В современной правовой политике принято оперировать правовыми целями как основанием для принятия определенных решений в сфере законотворчества, толкования права и правоприменения. Использование индикаторов позволяет проверить, были ли достигнуты поставленные политико-правовые цели. При описании юридических целей часто бывает трудно сравнить конкретные показатели с этими целями. В настоящее время эта проблема может быть частично решена привлечением экспертных оценок, но в будущем накопление знаний о взаимосвязи между правовыми целями, индикаторами и вычислительными методами их идентификации может снизить роль экспертных знаний для оценки оптимизации законодательства и правоприменения.

Вычислительные методы и набор индикаторов могут быть разработаны как основа для принятия решений в области правовой политики. Преимущества данной методологии — объективность выводов, основанная на методологии, открытой для публичной проверки, и больших юридических данных, обеспечивающих полноту исследования. В то же время экспертная оценка или иные средства контроля вычислений всегда должны служить одним из инструментов проверки адекватности расчетных выводов на каком-либо этапе исследования.

References
1. Trofimov E. V., Metsker O. G. Ispol'zovanie komp'yuternykh metodov i sistem v izuchenii prava, intellektual'nom analize i modelirovanii pravovoi deyatel'nosti: sistematicheskii obzor // Trudy Instituta sistemnogo programmirovaniya RAN. 2020. T. 32, vyp. 3. S. 147–170. DOI: 10.15514/ISPRAS-2020-32(3)-13.
2. Atkinson K., Bench-Capon T., Bollegala D. Explanation in AI and law: Past, present and future // Artificial Intelligence. 2020. Vol. 289. DOI: 10.1016/j.artint.2020.103387.
3. Davis K. E. Legal indicators: The power of quantitative measures of law // Annual Review of Law and Social Science. 2014. Vol. 10, № 1. Pp. 37–52. DOI: 10.1146/annurev-lawsocsci-110413-030857.
4. Metsker O., Trofimov E., Sikorsky S., Kovalchuk S. Text and Data Mining Techniques in Judgment Open Data Analysis for Administrative Practice Control // Communications in Computer and Information Science. 2019. Vol. 947. Pp. 169–180. DOI: 10.1007/978-3-030-13283-5_13.
5. Metsker O., Trofimov E., Petrov M., Butakov N. Russian Court Decisions Data Analysis Using Distributed Computing and Machine Learning to Improve Lawmaking and Law Enforcement // Procedia Computer Science. 2019. Vol. 156. Pp. 264–273. DOI: 10.1016/j.procs.2019.08.202.
6. Metsker O., Trofimov E., Grechishcheva S. Natural Language Processing of Russian Court Decisions for Digital Indicators Mapping for Oversight Process Control Efficiency: Disobeying a Police Officer Case // Communications in Computer and Information Science. 2020. Vol. 1135. Pp. 295–307. DOI: 10.1007/978-3-030-39296-3_22.
7. Otchet o rabote sudov obshchei yurisdiktsii po rassmotreniyu del ob administrativnykh pravonarusheniyakh (forma № 1-AP) za 12 mesyatsev 2016 g. // Sudebnyi departament pri Verkhovnom Sude Rossiiskoi Federatsii [Sait]. URL: http://www.cdep.ru/userimages/sudebnaya_statistika/2016/F1ap-svod-2016.xls (data obrashcheniya: 01.09.2020).
8. Otchet o rabote sudov obshchei yurisdiktsii po rassmotreniyu del ob administrativnykh pravonarusheniyakh (forma № 1-AP) za 12 mesyatsev 2017 g. // Sudebnyi departament pri Verkhovnom Sude Rossiiskoi Federatsii [Sait]. URL: http://www.cdep.ru/userimages/sudebnaya_statistika/2017/F2-svod-2017.xls (data obrashcheniya: 01.09.2020).
9. Otchet o rabote sudov obshchei yurisdiktsii po rassmotreniyu del ob administrativnykh pravonarusheniyakh (forma № 1-AP) za 12 mesyatsev 2018 g. // Sudebnyi departament pri Verkhovnom Sude Rossiiskoi Federatsii [Sait]. URL: http://www.cdep.ru/userimages/sudebnaya_statistika/2019/F2-svod_vse_sudy-2018.xls (data obrashcheniya: 01.09.2020).
10. Lundberg S. M., Lee S.-I. A unified approach to interpreting model predictions // Advances in Neural Information Processing Systems 30: 31st Annual Conference on Neural Information Processing Systems (NIPS 2017): Proceedings of a meeting held 4–9 December 2017, Long Beach, California, USA / Guyon I., Luxburg U. von, Bengio S., Wallach H. M., Fergus R., Vishwanathan S. V. N., Garnett R. (eds.). Montreal: Curran Associates, 2017. Pp. 4765–4774.
11. Wu X., Kumar V., Quinlan J. R., Ghosh J., Yang Q., Motoda H., McLachlan G. J., Ng A., Liu B., Yu P. S., Zhou Z.-H., Steinbach M., Hand D. J., Steinberg D. Top 10 algorithms in data mining // Knowledge and Information Systems. 2008. Vol. 14. Pp. 1–37. DOI: 10.1007/s10115-007-0114-2.
12. Metsker O. G., Trofimov E. V. Sovershenstvovanie administrativno-deliktnogo regulirovaniya na osnove elektronnykh dannykh sudebnoi praktiki // Pravo. Obshchestvo. Gosudarstvo: sb. nauch. tr. studentov i aspirantov. T. 4 / redkol.: D. V. Rybin (pred.) [i dr.]. SPb.: S.-Peterb. in-t (fil.) VGUYu (RPA Minyusta Rossii), 2018. 152 s. S. 140–151.
13. Trofimov E. V., Metsker O. G. Pravo i iskusstvennyi intellekt: opyt razrabotki vychislitel'noi metodologii dlya analiza i otsenki kachestvennykh izmenenii v zakonodatel'stve i pravoprimenitel'noi praktike (na primere stat'i 20.4 Kodeksa Rossiiskoi Federatsii ob administrativnykh pravonarusheniyakh) // Pravo i politika. 2019. № 8. S. 1–17. DOI: 10.7256/2454-0706.2019.8.30306