Detection and interpretation of erroneous data in statistical analysis of consumption of energy resources

Makarova Irina Leonidovna PhD in Technical Science Head of Department, Department of Applied Mathematics and Computer Science, Sochi State University 354000, Russia, Krasnodarskii krai, g. Sochi, ul. Plastunskaya, 94 ratton@mail.ru Other publications by this author     Ignatenko Anna Mikhailovna Senior Lecturer, Department of Applied Mathematics and Computer Science, Sochi State University 354000, Russia, Krasnodarskii krai, g. Sochi, ul. Plastunskaya, 94 allrededor@mail.ru Other publications by this author

Kopyrin Andrey Sergeevich PhD in Economics Head of Department, Department of Information Technology, Sochi State University 354000, Russia, Krasnodarskii krai, g. Sochi, ul. Plastunskaya, 94 kopyrin_a@mail.ru Other publications by this author

Введение

Мониторинг и анализ потребления энергоресурсов в различных разрезах измерение различных параметров (показателей) во времени крайне важен для современной экономики. Собранные банки данных можно представить в виде временных рядов, которые нуждаются в исследовании для получения характерных признаков, коррелирующих с исследуемыми свойствами.

Для решения подобного класса задач в литературе были предложены различные методы, которые имеют применение в широком спектре предметных областей, например, в медицине ^{[1, 2]}, энергопотреблении ^{[3, 4]} и т.д. В целом рассматриваются три класса задач обработки полученных временных рядов: обнаружение аномалий, получение паттернов поведения (извлечение поведенческих признаков) и прогнозирование будущего поведения.

Во многих приложениях целесообразно выполнять аддитивную или мультипликативную декомпозицию временных рядов. Например, сезонные и трендовые компоненты получены в работе ^[5].

Обычно анализ временных рядов выполняется во временной, частотной и амплитудной областях. Более того, он может быть одномерным или многомерным (включая корреляции с другими временными рядами). Как правило, анализ временных рядов фокусируется на отслеживании аномалий и оценке свойств устросистемы которые могут быть использованы для последующей оптимизации.

Данная работа посвящена исследованию и интерпретации аномалий набора данных по потреблению энергоресурсов (на примере потребления газа) в муниципальном образовании

Потребление газа имеет важное значение для социально-экономической сферы городов. Несанкционированные подключения являются основной причиной нетехнологических потерь ресурса.

В течение длительного времени незаконное хищение газа не было искоренено и, не только наносит огромный экономический ущерб, но и влияет на надежность энергобаланса муниципалитетов. Традиционные методы проверки на предмет хищения неэффективны и отнимают много времени.

Современные технологии анализа данных помогут выявить и интерпретировать аномалии потребления и, среди прочего, сформировать списки на проверку объектов на предмет несанкционированных подключений.

Материалы и методы

Описание данных

Исходные данные представлены в виде таблицы в Excel. При подготовке набора данных использовались методы из работы ^[6]

Они имеют следующее содержание и обозначение:

- месяц проведения измерения - DT;

- идентификационный номер пользователя - ID;

- количество газовых плит - PG;

- количество водонагревательных колонок - BPG;

- количество приборов отопления - OT;

- количество приборов учета - PU;

- количество проживающих - PR;

- площадь помещения - S;

- объём потребляемого газа – V.

Месяц проведения измерения – DT – содержит стандартное обозначение даты: число, месяц, год. Данные охватывают период, состоящий из 22 последовательных месяцев наблюдений, однако, не все пользователи имеют полный набор таких данных. Другими словами, есть пользователи, которые имеют, например, только три или четыре месяца наблюдений. Это необходимо учитывать при дальнейшем анализе данных.

Идентификационный номер пользователя – ID – целые числа в диапазоне от 1 до 16000. Будем считать, что при записи идентификационного номера ошибки не совершаются.

Количество газовых плит – PG - целые числа. В нашем наборе эта величина принимает значения в диапазоне от 0 до 16. Следует отметить, что имеется норматив установки газовых плит в помещении. Опуская подробности, будем считать, что для установки газовой плиты необходима минимальная площадь помещения, например, не менее 4 м2. Таким образом, если на площади 20 м2 размещено 6 газовых плит, будем считать это ошибочными данными.

Количество водонагревательных колонок – BPG – целые числа в диапазоне от 0 до 6. Для размещения водонагревательных колонок также существуют нормативные требования. Общая площадь помещения для установки такой колонки должна быть не менее 12 м2. Значит, если в нашем наборе встретится запись с 2 колонками на площади 20 м2, будем считать это ошибкой в данных.

Количество приборов отопления – OT - целые числа в диапазоне от 0 до 5.

Количество приборов учета – PU - целые числа в диапазоне от 1 до 2.

Количество проживающих – PR - целые числа в диапазоне от 0 до 90. Надо помнить, что если в помещении никто не зарегистрирован, т.е. PR=0 то при расчете коммунальных услуг будет считаться PR=1 ^[7].

Площадь помещения – S - целые числа в диапазоне от 0 до 4000. Ошибочным будет считаться значение S=0, т.к. при отсутствии площади на неё нельзя разместить никакие приборы, тем более её отапливать.

Объём потребляемого газа – V - целые числа. В имеющемся наборе данных эти значения изменяются в диапазоне от -1000 до 100000. Естественно, что отрицательные и «слишком» большие значения требуют пояснения.

Можно предположить, что отрицательные значения могут появиться в показаниях тогда, когда в предыдущие моменты наблюдался перерасход. «Слишком» большие значения получаются в том случае, когда показания долгое время отсутствовали, а потом выставлялись суммарно за несколько периодов. Будем считать ошибочными или аномальными значения V, которые превышают суммарное годовое потребление газа или являются отрицательными при том, что предыдущие показания были меньше нормативного потребления.

Алгоритм подготовки данных к анализу

1. Для каждого ID проверить равенство S=0 по всем наблюдениям. Если

по всем наблюдениям, переходим к следующему пункту. Если S=0 для некоторого наблюдения, а в других случаях имеет ненулевое значение, то заменить нулевое значение S ненулевым и перейти к следующему пункту. Если S=0 для всех наблюдений, то фиксируется ошибка в данных и все наблюдения для этого ID исключаются из дальнейшего рассмотрения.

2. Для каждого ID по всем наблюдениям проверяется значение PR. Если PR=0, то это значение заменяется на PR=1.

3. Для каждого ID по всем наблюдениям проверяется значение PG, которое, во-первых, должно быть целым неотрицательным числом и, во-вторых, не должно превышать установленный норматив для соответствующего значения площади S. Если требования выполняются, то переходим к следующему пункту. Если норматив превышен, то фиксируется ошибка в данных, но наблюдения не исключаются из дальнейшего анализа.

4. Аналогично для каждого ID по всем наблюдениям проверяется значение BPG, которое также должно быть целым неотрицательным числом и не превышающим установленный норматив для соответствующего значения площади S. Если требования выполняются, то переходим к следующему пункту. Если норматив превышен, то фиксируется ошибка в данных, но наблюдения не исключаются из дальнейшего анализа.

5. Значения показателей OT и PU также могут быть проверены на соответствие нормативным значениям, но в нашем исследовании такая проверка не проводилась.

6. Рассчитываются нормативные значения потребления газа для каждого ID и каждого наблюдения, а также суммарное годовое потребление газа для данного ID. С 1 октября по 30 апреля нормативное потребление газа рассчитывается по следующей формуле ^[7-9]:

а с 1 мая по 30 сентября не учитывается отопление, поэтому:

7. Проводится проверка адекватности наблюдаемых значений V. Если значение V неотрицательно и не превышает нормативного значения, то переходим к следующему пункту. Если значение V отрицательно, а предыдущие значения не превышают нормативного значения, то фиксируется ошибка в данных и наблюдения исключаются из дальнейшего рассмотрения. Если значение V отрицательно, а предыдущие значения превышают нормативные значения, то проводится процедура сглаживания данных перед проведением статистического анализа. Если значение V не существенно превышает нормативное значение, а предыдущие значения были меньше нормативного значения, то проводится процедура сглаживания данных. Если значение V существенно превышает нормативное значение, а предыдущие значения не требуют корректировки, то фиксируется ошибка в данных и наблюдения исключаются из дальнейшего рассмотрения. Существенным превышением нормативного значения можно, будем считать превышение суммарного нормативного годового значения потребления газа.

8. Для всех ID, требующих проведения сглаживания данных, такая процедура проводится.

9. Формируются определенные массивы данных для проведения статистического анализа данных по всем наблюдениям в целом или для конкретного месяца.

10. 10. Проводится стандартный статистический анализ данных.

Результаты и обсуждение

Процедура сглаживания данных

1. 1. Для конкретного ID выбирается весь набор наблюдений.

2. Если имеются значения V<0, то проверяется наличие предыдущих превышающих нормативные значения показаний V. Если таких нет, то фиксируется ошибка в данных. Данное наблюдение для этого ID исключается из дальнейшего рассмотрения. Если предыдущее значение превышает норматив, то эти показания складываются и распределяются по месяцам следующим образом: для одинаковых по нормативной оплате месяцам берётся среднее арифметическое, а для различных – определяется в процентном отношении. Например, суммарно за 7 месяцев с отоплением по нормативу объём составляет 4229, а по остальным 5 месяцам, соответственно, 418, то процентное соотношение составит 91:9. Если в результате такого сглаживания оказываются отрицательные показания, то процедура по аналогии охватывает больший диапазон значений. Если отрицательные значения не удается исключить, то фиксируется ошибка в данных, данное наблюдение исключается из рассмотрения.

3. Если имеются значения V, превышающие суммарное годовое нормативное потребление газа, а предыдущие значения были меньше нормативного, то определяются все такие показания и суммируются. Сумма распределяется аналогично предыдущему пункту.

4. Если имеются значения V, превышающие нормативное потребления, но не превышающие суммарное годовое нормативное потребление газа, то при наличии предыдущих малых показаниях проводится перераспределение значений в соответствии с п.2.

Результаты обработки набора данных

Исходный набор данных содержал 1048576 наблюдений (56156 пользователей), представленных таблицей Excel (Таблица 1).

Таблица 1. Выборка из набора данных

Следуя алгоритму подготовки данных к анализу, были исключены наблюдения с нулевой площадью, это привело к исключению 9497 пользователей. Нулевое количество проживающих обнаружено у 207 пользователей, и было заменено на 1. Ошибочные значения PG и BPG, были обнаружены, соответственно в 59239 и 57254 записях, что составило 5,77 % и 5,58 % от общего количества записей.

В результате обработки данных значение объёма потребления V оказалось неотрицательным и не превышающим нормативного значения в 13236 записей ID пользователей, что составило 28,37%.

Отрицательные значения объёма потребления V, вместе с предыдущими значениями, не превышающими нормативного значения, исключались из дальнейшего рассмотрения – 11266 записей ID пользователей, что составило 24,15%. При этом фиксировалась ошибка в данных.

Не существенное превышение нормативного значения V, вместе с предыдущими значениями, которые были меньше нормативного значения, наблюдались в 19110 записях ID пользователей, что составило 40,96%. Для этих пользователей могла быть проведена процедура сглаживания данных.

Существенное превышение нормативного значения V обнаружено в 3047 записях ID пользователей, что составило 6,52%.

Некоторые результаты анализа проведённой обработки представлены в Таблице 2, а также на рис. 1-3.

Таблица 2. Выборочные результаты анализа

Рис. 1. Среднее потребление небольших домовладений

Из графического отображения данных расчетов видно (рис.1), что после очистки и проведения процедуры сглаживания данных средние значения объёма потребления газа выше. Однако противоположная тенденция видна на рисунке 2, где представлена гистограмма средних значений объёмов газа до и после проведения преобразований.

Рис.2. Среднее потребление средних домовладений

Рис.3. Среднее потребление больших домовладений

При площади объекта потребления свыше 500 и до 1000 (рис.3), в среднем значении объема потребления газа нет четко выраженной тенденции или различий после проведения очистки и сглаживания.

Работу сглаживания данных можно продемонстрировать на следующих двух примерах (таблица 3 и рис. 4 и 5).

Таблица 3. Сглаживание данных

Рис.4. График сглаживаения объема в примере 1

Рис.5. График сглаживаения объема в примере 1

Исходя из представленного анализа можно сделать вывод, что аномалии на исследуемом наборе данных делятся на 3 типа:

1. Выбросы, связанные с ошибками сбора данных (отрицательная площадь, отсутствие проживающих и т.п.)

2. Выбросы, связанные с неравномерностью сбора данных (перенос объёмов потребления в следующие месяцы при непредставлении показаний приборов учёта)

3. Выбросы, выбивающиеся из тенденций кластера потребления.

Именно последний класс аномалий и представляет значительный интерес в плане, формирование заданий на обход домовладений и выявлении нарушений учета газа. Причем следует отметить, что данные нарушения могут влиять на потребление в обе стороны: сокрытие приборов учета и проживающих вызывает повышение фиксируемого потребления, а несанкционированный учет – понижение.

Заключение

Основным вкладом нашего подхода было применение совокупности статистических методов, направленных на обработку и выявление аномалий на наборе данных по энергопотреблению муниципального образования. Следует отметить, что применение подобных технологий требует разработки эффективных алгоритмов, и внедрения автоматизации и алгоритмов машинного обучения. Этот новый взгляд на временные ряды облегчает обнаружение аномалий, оптимизацию принятия решений и т.д. Эти процессы могут быть автоматизированы.

Представленная методология, проверенная на временных рядах, описывающих потребление газа, может быть использована для более широкого спектра задач. Представленное исследование может быть объединено с методами обнаружения знаний и алгоритмами глубокого обучения.

Следует отметить, что наши экстраполяции учитывают только потребление при прочих равных условиях. Например, не учитываются изменения в поведении, предпочтениях потребителей и технологические измененияa при изменении климатических показателей (температуры и влажности воздуха) и внедрении технически более совершенных приборов, которые влияют на потребление энергии с течением времени.