Вредоносное машинное обучение: чем оно опасно и как защититься

11 Апреля 2019
Одним из самых серьезных препятствий на пути к предсказываемому массовому внедрению умных систем, снабженных элементами искусственного интеллекта (ИИ), может оказаться непредвиденное обстоятельство – эти системы пока не настолько умны, чтобы обладать способностью к противостоянию злому умыслу или жульничеству со стороны человека. Масштаб последствий такого обмана непредсказуем, он зависят лишь от того, насколько ответственны функции, переданные системе, снабженной ИИ.

В технологической истории возникновение таких препятствий далеко не единичный случай – пока та или иная новация пребывает в зародышевом состоянии, об ее возможных негативных последствиях не задумываются. Но рано или поздно наступает момент, когда непредвиденное ранее выступает на первый план. На заре автомобилизма вопрос безопасности не стоял, а теперь он важнейший. В сфере программирования никто не мог представить возможность существования вредоносного ПО (malware) вплоть до создания сети ARPANET (предшественницы Интернета), но с середины восьмидесятых malware во всех его ипостасях стало серьезной угрозой для персональных, а позже и других компьютеров. Точно так же, с конца пятидесятых годов XX века и практически до самого последнего времени создатели технологий машинного обучения (ML) не принимали во внимание возможность какой-либо угрозы.

Однако и здесь она возникла, в данном случае со стороны Adversarial Machine Learning (AML) - боковой ветви ML, ставшей теоретической основой для разработки инструментов, способных создавать помехи в работе систем на основе ML. Термин Adversarial Machine Learning пока редко встречается в русскоязычных текстах, его переводят как «состязательное машинное обучение», но точнее для слова adversarial подходят значения из ряда антагонистическое, конфронтационное или противоборствующее, поэтому по аналогии с malware будем переводить его «вредоносным машинным обучением».

Подробнее: tadviser.ru

Комментарии (0)

Комментировать могут только авторизованные пользователи.
Предлагаем Вам в систему или зарегистрироваться.