Профессор из Великобритании описал опасность использования нейросетей
Вероятную опасность использования машинного обучения в биологии описал профессор общественного понимания технологий в Открытом университете Джон Нотон 11 февраля в газете The Guardian.
Он описал случай, в котором ученые искали возможность борьбы с сахарным диабетом при помощи машинного обучения. В ходе поиска была построена и обучена нейронная сеть, которая искала соединения, способные бороться с диабетом и при этом быть минимально вредными для организма человека.
Затем их пригласили на конференцию Швейцарского федерального института ядерной, биологической и химической защиты, посвященную разработкам в области технологий, которые могут иметь значение для Конвенции по химическому/биологическому оружию. Организаторы конференции хотели получить информацию о том, как можно злоупотреблять машинным обучением.
Ученые, по словам профессора, «никогда не думали об этом ранее». И по запросу организаторов конференции, поменяли в модели условие поиска с минимального вреда до максимального.
Оказалось, что модель успешно справилась с задачей. Более того, некоторые из «открытых» молекул были потенциально более токсичными, чем нервно-паралитический агент VX, который является одним из самых смертоносных известных соединений.
«В этой истории меня поражают две вещи. Во-первых, что исследователи «никогда не задумывались» о возможном пагубном использовании их технологии. В этом они, вероятно, были типичны для легионов инженеров, работающих над машинным обучением в промышленных лабораториях. Во-вторых, хотя машинное обучение явно обеспечивает мощное увеличение человеческих возможностей, хорошая ли это новость для человечества, зависит от того, чьи возможности оно увеличивает», — сделал вывод автор.
