内部工作:凯瑟琳strandburg分析赞成和反对在算法的决策更加透明

Mechanical Illustration

凯瑟琳strandburg分析赞成和反对的透明度在算法的决策是越来越多地影响到我们所有人。

在1770年,匈牙利发明者沃尔夫冈·冯·肯佩伦开张被称为机械土耳其人,其打败拿破仑和富兰克林喜欢一个国际象棋播放机。观众惊叹,直到真相终于曝光:在机器内部人象棋大师躲到挑战其不知情的对手。

人们在21世纪正目睹同样不透明机供电的过程,其赌注是比那些名人国际象棋比赛的高得多。政府和私营机构经常宣称的运作越来越普遍算法的决策过程,作为变化的审核纳税人,防止恐怖主义,计量信用风险和定价人寿保险,需要保密,以防止决策主体(个人受一个应用程序从游戏系统给定的决策)。但在最近的一篇文章 麦吉尔法律杂志 由阿尔弗雷德湾法律教授英格堡 凯瑟琳strandburg 和Ignacio cofone,在法律的麦吉尔大学教授的助理教授,挑战要求。 

凯瑟琳strandburg
凯瑟琳strandburg

strandburg和cofone最早始于2017年协同思考这个问题,当cofone是在纽约大学法律的研究员 信息法研究所 (ILI),其中strandburg担任课程主任。 strandburg成为主题更加深感兴趣时,伊犁举办的 “算法和解释” 会议的一年。

大部分讨论集中于偏的问题,这是正确的,说strandburg。 “所以我们针对不同的方面,这是这个问题,‘我们怎样才能解释,这是怎么回事用这些算法的人吗?’”

在2017年会议上,strandburg回忆说,她成了熟悉的决策算法,商业秘密的权利如何使这些算法的运作不透明的,甚至受导致决策的人。这个角度引起了她的注意,给她在知识产权方面的专长和经验,她共同编辑 商业秘密的法律和理论:当代研究的一本手册 (2011)法律的保利娜·纽曼教授 罗谢尔·德莱弗斯。与德赖弗斯和朱莉娅波尔斯,那么伊犁同胞,strandburg沿着共同主办了商业秘密和算法系统,会议于2018年。 

与此同时,strandburg已开始与cofone上的一篇文章通过审议的算法系统的用户透明度是不可取的索赔工作。 “我们有一种感觉......有时这个游戏的说法是被用来作为借口,使我们不必争论什么,我们应该做的商业秘密或多少的算法真的是没有解释的,”她说。

strandburg和cofone的成品,“战略游戏和算法保密,”关于论证披露的危险咧说法是夸张的,而且在大多数情况下,“对社会有益的披露制度”可以被创建。共同作者断言,游戏是最常见的可能时,决策者使用松散地连接到理想的标准不完善代理为达到确定,例如,如果一个软件公司筛选应聘者考虑为相关的工作技能的申请人是否订阅代理顶部计算机杂志,而不是看他们的大学成绩。

它们添加大多数决定受试者缺乏伪造在算法,如年龄,事先逮捕,或测试分数使用的输入数据的能力;同时,这些变量的真实值基本上是不可改变的。即使把这些障碍放在一边,不知道不同的变量是如何精确加权,尤其是在复杂的机器学习型算法,受试者仍然会发现他们的游戏难度。 

改变一个人的行为,他们说,是最有可能的情况来改变数据输入。但是,如果在决策中使用的代理服务器是否正确连接到所需的标准,他们解释说,“游戏”未必是一件坏事,例如,当消费者改变他们的消费习惯,以寻求抵押贷款前,以加强他们的信用评分。 

文章表明,一些决策者可能会披露的价值低估既对社会和决策主体。缺乏披露,strandburg和cofone认为,可以掩盖不为社会所算法设计,并使用游戏的风险,保持算法的秘密可能会导致缺乏问责制,不准确的决策,偏见,武断,或不公平的。相反,他们写的,更大的透明度可以让决策主体“去挑战错误决定的事实或其他基地,并承接对社会有益的战略行为。” 

共同作者还强调,即使机器学习型算法依赖于人力的投入;如果设计是有缺陷的,计算机只会完美执行问题的算法。 strandburg关切的是算法流程日益复杂,难以为决策者自己去了解发生了什么事情。 “这是现在可以为决策者说,‘好了,我们就用这个算法,这是一个商业秘密,’或‘我们不能透露,因为它是如此复杂。’......我读了很多的在解释为什么他们在正当程序是这样一个大问题,而且它的一部分旧文学是,个人应得的解释。但它的一部分也就是给予解释力的决策者证明他们为什么要这么做。”

她担心,也对问题“在循环的人类”,调用了法官决定对被告人审判前拘留决策自动化的工具的例子。 “我得到一些信息,只是说,‘这个人低风险’,“这个人的高风险,‘这个人是8的规模。’但我不知道什么样的信息已经成, ” strandburg说。 “什么因素已经被考虑到?哪些因素没有被考虑到?我到底有什么关系呢?如果我应该把它与其他证据结合起来,我怎么知道哪些证据已经被考虑到?我认为这是一个巨大的被忽视的问题。”

strandburg的例子并不只是一个假设。威斯康辛最高法院案件 卢米斯诉威斯康星 (2017)挑战威斯康星州的量刑埃里克·卢米斯使用闭源的风险评估软件,以6年徒刑。卢米斯认为当法官决定判决部分通过风险评估分数衡量再犯的可能性,他的正当程序权利受到侵犯,即使生成它被隐藏商业机密索赔背后的软件的工作原理。美国最高法院拒绝审理卢米斯的吸引力。 

尤尔特诉加拿大 (2018),其中加拿大最高法院裁定,联邦监狱当局必须表现出心理和统计评估的跨文化的有效性来做出关于土著囚犯的决定,意味着我们的法官是不是唯一的考虑看看的决策工具的影响,说cofone。他最近对一组上诉法院法官在司法约算法透明度的调控管理的加拿大研究所。 “有是如何认真地采取相关的商业秘密和游戏反对在加拿大司法的兴趣,”他说。

州和地方政府已经开始与一些问题作斗争,但strandburg承认,她没有看到一个新兴的共识很快。在一点上,不过,她表示相当清晰。

“经常这场辩论继续进行,就好像两个备选方案是游戏还是没有透露,”她说。 “当然,还有通常是第三替代:构建少gameable算法,并公开了”。

张贴2020年3月16日

更新2020年8月13日