数据科学家凯西•奥尼尔认为,我们应该警惕不断渗透和深入我们生活的数学模型——它们的存在,很有可能威胁到我们的社会结构。 我们生活在一个依赖“算法”的时代,它对我们生活的影响越来越大,我们去哪里上学,我是不是应该贷款买车,我们应该花多少钱来买健康保险,这些都不是由人来决定的,而是由大数据模型来决定的。从理论上来说,这一模型应该让社会更加公平,每一个人的衡量标准都是一样的,偏见是不存在的。 但是,正如凯西•奥尼尔书里所揭示的那样,事实并非如此。我们今天所使用的这些数学模型是不透明的、未经调节的、极富争议的,有的甚至还是错误的。最糟糕的是,数学模型和大数据算法加剧了偏见与不公。例如,一个贫困学生想申请贷款交付学费,但是银行大数据算法根据他居住地的邮政编码判断将钱带给他存在风险,因此,拒绝给他提供贷款。他因此失去了受教育的机会,而这个机会可能帮助他摆脱贫困。大数据算法做的常常只是锦上添花的事儿,有时甚至是落井下石。 通过个案追踪,凯西•奥尼尔揭示了大数据是如何影响我们将来的,它不仅影响着个人,也影响着整个社会。这些数据评价着我们的老师、学生,筛选着我们的简历,审核着我们的贷款资格,衡量着员工的工作态度,监视着投票者,监控着我们的健康。 凯西•奥尼尔呼吁数据模型的创造者们要对算法负责,政策的制定者及执行者们在使用这一威力极大的“武器”前应该更加慎重。最后,作者指出,大数据几乎掌控着我们的生活,我们应该增加对它的了解。这本书相当的重要,它让我们有能力去问一些十分尖锐的问题,帮助我们了解事实的真相,提出需要改变的地方,探索更好的生活。 【编辑推荐】 案例丰富,内容兼具深度与话题性 未来20年,算法和大数据将席卷世界,接管我们的生活、社会和经济。我们生活中的很多方面都将落入自动化的数据分析之下。确保算法和大数据的公平性将是一项重大的任务,数据伦理的价值和意义将不断凸显出来。在作者看来,大数据犹如一个黑盒,规模、伤害和隐秘共存,她在书中引用了大量发生在美国当下的、基于大数据和算法的、改变个人生活的案例,并对影响这些城市生活经验的算法做了特别的观察和研究。作者认为,数据和算法的关系就像枪械和军火,数据没有价值观,是中立的,但来自人类行为的输入,难免隐含偏向,而算法创造的数据又对人类行为产生反作用,从而导致更多的不公。凯西在书中指出:算法模型一旦运转,执法行为就会增多,产生的新数据又会进一步证明加强执法的必要性。形象地说,就是哪里“前科”越多,哪里就越受算法“关照”,最终形成一个失真,甚至有害的回馈环路。这个观点也正是近来Facebook干预美国大选,国内很多专家学者热议“今日头条”推送模式的核心所在。 权威作者的深刻洞见 本书作者是哈佛大学的数学博士,研究方向是数论和代数几何,毕业之后在麻省理工学院执教,并在互联网公司做过很长时间的数据科学家,如今致力于教育和媒体行业的数据知识普及工作,因此,这并不是一本传统意义上唱衰大数据的书,相反,作者希望让更多的人通过了解大数据、了解算法,反思模型,以及通过政府和相关机构的合理监管,不断改善各类设计评价体系,让更多的人受益,维护社会的公平与民主。 【英文版获奖情况】 《纽约时报》(New York Times)年度书籍 《波士顿环球报》年度最佳图书 《连线》杂志年度必读书目之一 《财富》年度最受欢迎的书之一 《柯克斯评论》年度最佳作品 芝加哥公共图书馆年度最佳图书 《自然》网站年度最佳图书 《麻省理工科技评论》年度最佳科技图书
《大数据时代》是国外大数据研究的先河之作,本书作者维克托•迈尔•舍恩伯格被誉为“大数据商业应用第一人”,拥有在哈佛大学、牛津大学、耶鲁大学和新加坡国立大学等多个互联网研究重镇任教的经历,早在2010年就在《经济学人》上发布了长达14页对大数据应用的前瞻性研究。 维克托•迈尔•舍恩伯格在书中前瞻性地指出,大数据带来的信息风暴正在变革我们的生活、工作和思维,大数据开启了一次重大的时代转型,并用三个部分讲述了大数据时代的思维变革、商业变革和管理变革。 维克托最具洞见之处在于,他明确指出,大数据时代最大的转变就是,放弃对因果关系的渴求,而取而代之关注相关关系。也就是说只要知道“是什么”,而不需要知道“为什么”。这就颠覆了千百年来人类的思维惯例,对人类的认知和与世界交流的方式提出了全新的挑战。 本书认为大数据的核心就是预测。大数据将为人类的生活创造前所未有的可量化的维度。大数据已经成为了新发明和新服务的源泉,而更多的改变正蓄势待发。书中展示了谷歌、微软、亚马逊、IBM、苹果、facebook、twitter、VISA等大数据先锋们最具价值的应用案例。
本书是叶檀对近年中国经济观察的萃取以及对未来经济预测与前瞻的倾力之作。它浓缩了全球资本市场的智慧精华,与读者共同分享了看懂经济趋势的全新视角,传授了理性投资的逻辑分析和基本思维。其中包含叶檀对国际国内市场的数据分析与预测,对股市、楼市、金市、期货等领域的投资指导,对电商、传媒、旅游、煤电等行业的经济分析,对百姓如何正确理财的建议等。可以说这是一本政府官员经济决策、企业高层资本运营、金融机构业务培训、个人投资理财必读的财经书。
对于大数据未来趋势的判断 车品觉 光阴荏苒,2015年在跌跌荡荡中成了过去式,对于大数据的产业来说过去这一年冒出了很多新的名词。但在我看来,真正的大数据应用和市场才刚刚开始萌芽,所以我希望大家先认清一个关键,那就是所有的数据都是基于应用而产生,而数据经过釆集及整合后又再落实到自身或其他应用情境中,大数据的创新价值可以来自新连接的数据、算法或者产品本身。 过去两年大数据的成长和智能手机的有着紧密的关系,发挥了媒体、通信、社交及传感器于一体。同时IOT的浪潮又正在酝酿之中,online与offline的接合带来了更深度的数据关联,触碰到消费者的全渠道行为收集,在一波接著一波的趋势浪潮下,很多人问:“未来大数据的趋势会怎么发展?”一般来说,这种问题我可以有很多不同的猜想与观点,但是认真想想,以其给出我的答案案不如交代一下我对思考趋势的逻辑,你们不是更能够对著自己所属的行业去挖掘真正有价值的趋势吗?所以我期待这边文章不是帮各位看倌捕鱼,而是给各位一根钓竿还有钓鱼的知识,让你们有能力在趋势大海中猎捕属于你的大数据观点。 变是**的不变 (Change is the only constant) 说到趋势,人们往往习惯从改变的现象作观察,但是如果当我们把视野格局放大,在大数据的长期发展趋势中,找出变化的本质,反倒是让我们更容易看清楚动向,所以从这个角度出发,我至少可以看到未来的2-3年,有几项已经存在的现况正在过渡中会: 1.应用无线化; 2.信息数据化; 3.交易无纸化; 4.人类智能化; 5.决策实时化; 6.线下线上化。 上述这些趋势不劳赘述,其实已经是我们现在生活的一部分了:应用无线化提供了更大的便利性与移动性、让终端设备与资料采集的作业可以更为弹性而有效率;信息数据化则是让讯息的流通、交换、加工、运用更趋标准及结构。DT时代数据的应用变得更即时直接;交易无纸化则是彻底的改变了我们交易行为与资金流,并赋予未来微经济商业模式更多创新思考的可能性;人类智能化则是描绘大数据所产生的创新价值如何与人类交互並深入于生活之中,人的思维与新科技将会遇上前所未有的碰撞。人机协作是个新的机遇。决策实时化透过大数据实时采集及加工改变了决策与信息关系。过去的世界我们假设数据不能低成本获取,决策的实时性和精确难以达到,*后我们谈到线下线上化,也就是*近大家一直在谈论的全渠道议题,未来仍将是呈现线下更多的运用线上数据倾倒的趋势,未来线上与线下将连接在一起不能分割。 这些本质上的转变会持续好几年,上述这六个观察会在各自的体系内深化发展与创新,但大数据的发展趋势卻会走着两个方向,首先是其价值体现会落地于各行业当中,数据技术会成为各行各业的优化工具或产生颠覆性创新。然后大数据本身的发展也会自我被颠覆,数据的釆集、更新、识别、关联将会变得越来越自动化。落后者将会是那个被与淘汰的输家。 大数据创新循环链——跳脱惰性的乘法思维 每一个理论的产生都是为了让我们更容易去解释各种现象。趋势的变化可能会受到很多的商业与政策背景而有不同形式的呈现,但是背后的原则或者说是脉络应该要能够经得起重复的检验。所以我试著用一种所谓的大数据生态的循环链来描述这个趋势。 (图一:大数据创新循环示意) 上面这张图所定义的两个维度恰恰是我前面一再提到的观念,大数据是被需求所驱动的,而需求来自于对现有已知或未知问题的解决,所以在纵轴上我将问题区区分为明确的问题(Define Problem)以及模糊或是复杂问题(Vague Problem),这表达了在大数据落地应用前,我们究竟是否清楚要解决的问题为何;而横轴则是定义大数据在原料端的呈现形式,一端是条理清楚的集中化数据而另一端则是结构模糊的碎片化数据。 在了解了基本定义后,基本上我对大数据趋势的发展就可以用这张图来阐述。首先,所有的数据应用都是从第二象限的“数据驱动”开始,这部份的数据集中而且要解决的问题很明确,已经可以开始运用数据来优化我们的决策,在这个阶段可以观察到人类的惰性,以致于没办法把数据作为他们的核心竞争力,毕竟这些人手边不是没有数据、而是不知道或是没有很积极地用来解决问题,所以通过数据驱动让这些人练习把手边的数据用起来,尝试去解决一些老问题。 然后随着数据不断地快速增加,很多碎片化的数据或其他人冗馀的数据开始加入,这个时期我们可以开始称之为“大数据驱动”,开始能够应用自身以外、来自于第三方的冗馀数据来解决自身的问题,这是辨别是否进入大数据应用领域的重要判定基准,然而在这个阶段面临的挑战,是来自决策者过去的习惯以及数据人的惰性,首先我们要了解在**和第二阶段,数据处理所需要的能力是很不一样的,因为这个阶段的数据零散性要求我们在收集不同数据和加工数据时有一套新的方法,这也是为什么在第二阶段,很多时候我们只听人家讲,但没什么产出。因为处在这个阶段的人是两边都不习惯的人。商业的人说我不习惯用数据做决策,数据的人说我们也不习惯用很零散的数据来稳定地来解决一个问题。 从**个阶段到第二个阶段,我认为都还是一种加法类型的演进,也可以称之为连续性创新,只是让之前既有的东西作的更好,而且是基于以往的经验叠加上去的,但是到了第三个阶段的“大数据变革”,我们将面对模糊的问题、碎片的数据,过去我们不太习惯当还不清楚问题的时候,就使用数据来找出问题所在,因为这个时候,我们往往会陷入一种矛盾,因为数据零散、乱、没标准、没规范,问题也不清楚,究竟该怎么办呢?毕竟这两者都超出了过去人类的习惯与经验法则,但这里恰恰就是人类未来要变革的地方;不同于前两个阶段的加法逻辑,第三阶段开启的是一种乘法的思维,透过模糊问题与碎片资料的碰撞,我们将会看见新的问题与新的机会,我认为这部份才是大数据真正的价值所在。 *后、我想强调的一点是,这几个阶段不是一个线性的延展,而是一个滚动的闭环,因为第三阶段碰撞出来的问题与机会,经过系统化的验证与标准化后,他所需要的数据源以及能够解决的问题也会逐渐稳定下来,形成一种新的服务或方案,于是就会再次归回到数据驱动的解决层次,也正因为这种特性,我才定义这是一种大数据的创新循环链。 趋势里面的观战重点 前面讲了趋势的架构和思考方法,*后我还是忍不住要跟读者们分享几个独门观点,让各位在各自行业中观察大数据趋势的时候能够很快的抓到重点,除了可以让各位不光是跟着看热闹,还能从中看出创新商机的门道: 1.数据安全 2015年数据安全事件频繁发生,随着全球各个国家开始采用新的数据安全技术和新的数据保护法律,2016年对数据安全的监督要求将会变得越来越严格。大家对个人隐私的保护比商业机密的泄露更为关注,已经到了没有一个政府或企业不关注的时候。但是数据安全背后代表的是数据开放的风险与疑虑,当数据风险没有办法有效的管控并建立个人对数据的信任感,这对于正在发展中的大数据产业来说将会形成一种阻碍。 从个人的隐私、公司机密乃至于国家和国家之间的数据保护,都将会是2016年快速成形的趋势,当数据成为商业重要且关键的资产时,随之衍生的可能会是像「首席数据隐私官」这样的职业应运而生,或许很多人会觉得匪夷所思,但是我相信到了2016年,很多拥有大量数据的公司都将把“首席数据隐私官”视为一个重要而关键的角色。 2.分析的简化与外包 讲数据分析工作的外包其实是一个概念上的举例,其实我要谈的是大数据背后将会形成的产业链分工,这是一个值得大家关注的发展,随者大数据应用的落地,很少有那一个企业可以独立完成从原始资料采集、加工、分析乃至于落地应用的完整程序。这背后代表的是未来将会在不同的数据处理阶段,都有机会发展出专门的技术公司协助企业完成大数据实务应用前的整备工作。 回想我们前面提到的“大数据创新循环链”的概念,每一次的大数据变革阶段激荡出新的问题与机会后,当这些新的问题开始聚焦,同时对应的数据源也趋于集中的时候,就代表一个新的产业链机会也就随之产生,这些中间层(Middle layer)的服务与创新对于大数据产业的发展将扮演至官重要的角色,同时其中也蕴藏了可观的商机。 3.政府的数据态度 从整个数据的地图来看,政府其实是拥有*多数据的“财主”。因为政府锁定了很多公共服务领域的关键数据源,是公共数据开放的大资源,也是大数据驱动的一把金钥匙。我们简单来看下,政府的数据涵盖能源、金融、交通、治安、医疗、环境、食品等等。你发现所有的数据都是相对集中又非常重要的。 所以,政府数据的开放是促成一个产业创新的催化剂,这背后也代表著政府大数据政策对于整体数据产业的发展有多么关键, 本店全部为正版图书
Github | Docker | Project
数据科学家凯西•奥尼尔认为,我们应该警惕不断渗透和深入我们生活的数学模型——它们的存在,很有可能威胁到我们的社会结构。 我们生活在一个依赖“算法”的时代,它对我们生活的影响越来越大,我们去哪里上学,我是不是应该贷款买车,我们应该花多少钱来买健康保险,这些都不是由人来决定的,而是由大数据模型来决定的。从理论上来说,这一模型应该让社会更加公平,每一个人的衡量标准都是一样的,偏见是不存在的。 但是,正如凯西•奥尼尔书里所揭示的那样,事实并非如此。我们今天所使用的这些数学模型是不透明的、未经调节的、极富争议的,有的甚至还是错误的。最糟糕的是,数学模型和大数据算法加剧了偏见与不公。例如,一个贫困学生想申请贷款交付学费,但是银行大数据算法根据他居住地的邮政编码判断将钱带给他存在风险,因此,拒绝给他提供贷款。他因此失去了受教育的机会,而这个机会可能帮助他摆脱贫困。大数据算法做的常常只是锦上添花的事儿,有时甚至是落井下石。 通过个案追踪,凯西•奥尼尔揭示了大数据是如何影响我们将来的,它不仅影响着个人,也影响着整个社会。这些数据评价着我们的老师、学生,筛选着我们的简历,审核着我们的贷款资格,衡量着员工的工作态度,监视着投票者,监控着我们的健康。 凯西•奥尼尔呼吁数据模型的创造者们要对算法负责,政策的制定者及执行者们在使用这一威力极大的“武器”前应该更加慎重。最后,作者指出,大数据几乎掌控着我们的生活,我们应该增加对它的了解。这本书相当的重要,它让我们有能力去问一些十分尖锐的问题,帮助我们了解事实的真相,提出需要改变的地方,探索更好的生活。 【编辑推荐】 案例丰富,内容兼具深度与话题性 未来20年,算法和大数据将席卷世界,接管我们的生活、社会和经济。我们生活中的很多方面都将落入自动化的数据分析之下。确保算法和大数据的公平性将是一项重大的任务,数据伦理的价值和意义将不断凸显出来。在作者看来,大数据犹如一个黑盒,规模、伤害和隐秘共存,她在书中引用了大量发生在美国当下的、基于大数据和算法的、改变个人生活的案例,并对影响这些城市生活经验的算法做了特别的观察和研究。作者认为,数据和算法的关系就像枪械和军火,数据没有价值观,是中立的,但来自人类行为的输入,难免隐含偏向,而算法创造的数据又对人类行为产生反作用,从而导致更多的不公。凯西在书中指出:算法模型一旦运转,执法行为就会增多,产生的新数据又会进一步证明加强执法的必要性。形象地说,就是哪里“前科”越多,哪里就越受算法“关照”,最终形成一个失真,甚至有害的回馈环路。这个观点也正是近来Facebook干预美国大选,国内很多专家学者热议“今日头条”推送模式的核心所在。 权威作者的深刻洞见 本书作者是哈佛大学的数学博士,研究方向是数论和代数几何,毕业之后在麻省理工学院执教,并在互联网公司做过很长时间的数据科学家,如今致力于教育和媒体行业的数据知识普及工作,因此,这并不是一本传统意义上唱衰大数据的书,相反,作者希望让更多的人通过了解大数据、了解算法,反思模型,以及通过政府和相关机构的合理监管,不断改善各类设计评价体系,让更多的人受益,维护社会的公平与民主。 【英文版获奖情况】 《纽约时报》(New York Times)年度书籍 《波士顿环球报》年度最佳图书 《连线》杂志年度必读书目之一 《财富》年度最受欢迎的书之一 《柯克斯评论》年度最佳作品 芝加哥公共图书馆年度最佳图书 《自然》网站年度最佳图书 《麻省理工科技评论》年度最佳科技图书