Пресса о страховании, страховых компаниях и страховом рынке

Новые Известия, 14 апреля 2021 г.

Без ведома и контроля: чем чреват новый тип управления обществом

458 просмотров

Алгоритмы вершат судьбы людей без их ведома и без какого-либо контроля. Риски дискриминации прав и законных интересов граждан – вот чем, по мнению представителей Комиссии по правовому обеспечению цифровой экономики Московского отделения Ассоциации юристов России, чреват переход к новому типу управления социумом.

Своим мнением юристы поделились с «Новыми Известиями».

Сегодня многие решения, имеющие юридические последствия в отношении граждан, принимаются системами автоматизированного принятия решений (АПР) без участия человека.

Эти решения могут быть основаны на разнообразных входных данных, собранных из разнородных источников, в том числе из социальных сетей, от операторов связи, государственных баз данных и даже так называемых «предполагаемых данных». Подобные алгоритмы нередко имеют в своей основе технологии искусственного интеллекта, в том числе основанные на самообучении.

Системы АПР активно применяются в различных сферах, в том числе банковской, спортивной, в сфере страхования, найма и государственного управления. Например, в США на долю алгоритмов и систем АПР приходится почти 90% всего объема купли-продажи акций на биржах США (согласно докладу банка JP Morgan). Также в ряде европейских стран все больше компаний используют подобные алгоритмы при отборе кандидатов на трудоустройство, тем самым фильтруя более 70% поступающих резюме до их попадания к HR-менеджерам.

В РФ системы АПР уже сейчас активно применяются в банковской сфере. Например, ВТБ и Московский кредитный банк используют подобные алгоритмы при принятии решений по кредитам.

Кроме того, в сфере госуправления системы АПР используются для привлечения к административной ответственности на основе данных видео- или фотофиксации, а также на основе иных технических данных, например, от сотовых операторов. Такого рода системы применялись для привлечения к ответственности весной прошлого года в Москве за нарушение режимов «самоизоляции» и «карантина».

В СМИ фигурировало много курьезных случаев ошибочного привлечения к ответственности, например, парализованных граждан или граждан, чья квартира находилась на границе Москвы и Московской области. По словам экспертов, в данном случае речь идет и о некачественных данных и о некорректных алгоритмах работы таких систем.

По мнению экспертов Комиссии по правовому обеспечению цифровой экономики Московского отделения Ассоциации юристов России, с ускоренной цифровизацией отношений в обществе, все большее количество управленческих решений будет приниматься системами АПР, что повлечет появление нового типа управления – алгоритмического (algorithmic governance).

По словам председателя Комиссии Александра Журавлева, применение систем АПР помогает сократить временные и финансовые издержки, связанные с принятием решений, а также снизить субъективизм при их принятии, но вместе с тем использование подобных алгоритмов несет в себе риски дискриминации прав и законных интересов граждан, в отношении которых действуют системы АПР.

«В рамках систем АПР дискриминационный характер может возникать вследствие несовершенства заложенных в ней алгоритмов или некачественных данных, использованных для обучения системы», - объясняет Журавлев.

Поэтому, по мнению Комиссии, в России уже сейчас важным является вопрос о формировании адекватного правового регулирования систем АПР.

При этом основная цель регулирования – повышение прозрачности функционирования таких систем для гражданина и общества в целом.

В качестве возможных механизмов обеспечения такой прозрачности Комиссия предлагает применять следующую совокупность инструментов.

Одной из важнейших мер, направленных на обеспечение прозрачности при функционировании систем АПР, является обеспечение аудируемости исходного кода такой системы. Кроме того, в частности, целесообразно, по примеру Канады, рассмотреть вопрос о введении механизмов независимой экспертной оценки на этапе закупки и внедрения таких систем в государственном секторе, а также повышения уровня принятия решений об имплементации таких систем.

Крайне важным также является создание эффективных механизмов обжалования принятых в автоматизированном порядке решений госорганов.

Такие механизмы должны быть основаны на качественно иных принципах, нежели обжалование традиционных «аналоговых» решений. По словам экспертов, механизмы обжалования принятых в автоматизированном порядке решений госорганов должны быть максимально «дружелюбными» для граждан и организаций, оперативными и обеспечивающими участие компетентных лиц, рассматривающих жалобу.

Эксперты также отмечают, что следует предусмотреть механизмы, направленные на минимизацию стимулов по автоматическому «штампованию» вынесенных алгоритмами решений, а также обеспечить оперативную и качественную обратную связь по результатам рассмотрения жалоб.

При этом Александр Савельев, зампред Комиссии по правовому обеспечению цифровой экономики Московского отделения Ассоциации юристов России, отмечает:

«В последнее время организации и государство все активнее используют автоматизированные средства принятия решений в отношении граждан, непосредственно влияющие на их права. От таких решений зависит, смогут ли они получить кредит или работу, будут ли они привлечены к административной ответственности и многие другие аспекты их повседневной жизни. В этой связи достаточно насущным является вопрос о выработке адекватного правового регулирования порядка разработки и использования таких систем с целью обеспечения прозрачности их функционирования и их подотчетности обществу. При этом, на мой взгляд, государство должно начать с себя и на начальных этапах распространить такое регулирование на собственные информационные системы, так как в них принимаются наиболее чувствительные для граждан решения, а также в силу наличия общего запроса на повышение прозрачности в деятельности государственных органов. Впоследствии доказавшие свою эффективность подходы можно распространить и на частный сектор. До этого использование коммерческими операторами подобных систем могло бы осуществляться в рамках саморегулирования и существующих норм законодательства с их адаптацией посредством разъяснений со стороны регуляторов».

В тоже время, по мнению Комиссии, системы АПР в сфере судопроизводства могут вводиться только после их апробирования и доведения «до ума» в «цифровых песочницах» в рамках экспериментально-правовых режимов и только в рамках отдельных категорий споров, поскольку чрезмерная «алгоритмизация» российской судебной системы может негативным образом оказать влияние на принцип равенства сторон судопроизводства и предоставить необоснованные преимущества отдельным компаниям, разрабатывающим и применяющим соответствующие технологические решения.

Комиссия по правовому обеспечению цифровой экономики Московского отделения Ассоциации юристов России направила «Новым Известиям» список тех проблем, появление которых могут в различных сферах спровоцировать системы автоматизированного принятия решений.

Банковская сфера:

В банковской сфере система АПР может повлечь отказ гражданину в выдаче кредита по причине квалификации его алгоритмами системы в качестве неблагонадежного, поскольку у него в друзьях в социальных сетях фигурируют лица, не возвращают кредит ранее, либо потому, что лингвистический анализ публикуемых таким гражданином постов или фотографий демонстрирует по мнению разработчиков алгоритма, невысокий социальный статус такого лица. Никакого внешнего контроля над обоснованностью таких выводов алгоритмов нет, это исключительное усмотрение их разработчика.

Проблема усугубляется и тем, что входные данные, используемые для работы системы могут быть неполными, неточными или «фейковыми». Таким образом, непрозрачность алгоритмов и источников данных для принятия решений, отсутствие реальной возможности у гражданина как-то влиять на процесс принятия на основе АПР решений в совокупности с их масштабным использованием в банковской сфере означает, что он не может получить ипотеку, потребительский кредит и реализовать многие свои насущные потребности.

Сфера страхования:

В страховой сфере системы АПР могут использоваться для анализа страховых рисков в отношении данного конкретного страхователя – гражданина или организации. Его манера вождения, хобби и увлечения, медицинские данные и прочие факты будут взвешены алгоритмом с установлением индивидуализированной страховой премии, которую многие не смогут себе позволить заплатить. В итоге страхование может стать доступным только для тех случаев, где с точки зрения страховой компании риски минимальны, что деформирует саму идею страхования.

Сфера трудоустройства:

В сфере трудоустройства системы АПР, используемые рекрутерами, осуществляют первичную фильтрацию резюме, исходя из непрозрачных критериев, заложенных в алгоритмах системы их разработчиком. В итоге многие резюме HR-сотрудники даже не видят, что не может не влиять на фактическую реализацию гражданами прав на трудоустройство.

Сфера госуправления:

В сфере государственного управления системы АПР используются для привлечения к административной ответственности на основе данных видео- или фотофиксации, а также на основе иных технических данных, например, от сотовых операторов. Такого рода системы применялись для привлечения к ответственности весной 2020 г. в г. Москва за нарушение режимов «самоизоляции» и «карантина». В СМИ фигурировало много курьезных случаев ошибочного привлечения к ответственности, например, парализованных граждан или граждан, чья квартира находилась на границе Москвы и Московской области. Очевидно, что в данном случае речь идет и о некачественных данных, и о некорректных алгоритмах работы таких систем.

В России пока достаточно мало информации об использовании таких систем конкретными организациями или органами власти.

Тем не менее, случаи, связанные с путаницей из-за систем АПР, в СМИ просачиваются. Наверняка многие помнят историю прикованной к кровати москвички - профессора Российского университета дружбы народов Ирины Карабулатовой, имеющей первую группу инвалидности, которая получила штраф на 4000 рублей за «нарушение» режима самоизоляции.

Отчасти то, что информации об использовании АПР пока не очень много, связано с тем, что госструктуры и компании сами пока не совсем осознают, что используют такого рода системы, поскольку это воспринимается ими как одна из многих информационных систем или программ для ЭВМ.

С другой стороны, они не хотят афишировать использование таких систем, чтобы не провоцировать лишних вопросов со стороны регуляторов и граждан. Но даже если предположить, что их использование в России в настоящее время не столь велико, как за рубежом, это никак не снимает остроты вопроса о целесообразности их адекватного правового регулирования. Поскольку их повсеместное применение в России – это лишь вопрос времени, так как это вопрос технологии и экономики, которые универсальны для большинства стран, безотносительно их культурных и страновых особенностей.

Каковы же ключевые предложения Комиссии по правовому обеспечению цифровой экономики Московского отделения Ассоциации юристов России?

1. Необходимо избавиться от исключительно технократического подхода к разработке и использованию таких систем в русле, что право не должно мешать инновациям. Коль скоро эти инновации непосредственно влияют на права граждан, их использование должно осуществляться в правовом поле.

2. Одним из магистральных направлений развития законодательства в этой области является повышение прозрачности их использования, как для граждан, так и для контрольно-надзорных органов.

3. При этом несколько преждевременным является введение масштабного и комплексного регулирования таких систем. Начинать надо постепенно, распространяя доказавшие эффективность решения на смежные сферы. И начать целесообразно с регулирования использования АПР самими государственными органами, протестировав на них комплекс мер по повышению прозрачности и технических возможностей обжалования и эффективной корректировки несправедливых и дискриминационных решений. Впоследствии данные механизмы, с некоторыми адаптациями можно распространить на коммерческий сектор. Таким образом, одно из ключевых предложений – превратить госорганы в «песочницу», в рамках которой они тестируют на себе те меры, которые впоследствии хотят распространить на частный сектор.

Ваше мнение об этом материале:

— Ваше имя
— Ваш email
— Тема

Ваш отзыв (заполняется обязательно):

Укажите код на картинке слева:

Установите трансляцию заголовков прессы на своем сайте

 Подробнее »

Получить код для трансляции заголовков прессы »