风控要略——互联网业务反欺诈之路

《风控要略——互联网业务反欺诈之路》全面、系统地介绍了互联网业务安全行业全貌，内容包括互联网业务安全发展历程、黑产攻击态势、业务风险防控方案、机器学习算法的使用以及行业未来发展走向等。

《风控要略——互联网业务反欺诈之路》是一本全面描述互联网业务反欺诈体系的书籍，全书主要分为洞察黑产、体系构建、实战教程和新的战场4个部分。第1部分介绍了黑产欺诈团伙的运作套路和攻击手段；第2部分总结了我们在构建反欺诈技术体系过程中沉淀的实践经验；第3部分分享了我们和黑产对抗的多个实战案例，以及机器学习算法的综合运用；第4部分介绍了我们在物联网、内容安全、隐私合规等方面的实践和对海外厂商的观察。
读者通过仔细阅读《风控要略——互联网业务反欺诈之路》，可以对互联网反欺诈的过去、现在和未来有一个系统的认识。希望《风控要略——互联网业务反欺诈之路》能够为正在关注该领域或从事相关工作的读者提供有价值的参考。《风控要略——互联网业务反欺诈之路》适合互联网投资人、创业者、产品经理、运营人员和安全风控人员阅读。

马传雷

曾任同盾科技反欺诈研究院执行院长、广州中国科学院软件应用技术研究所电子数据取证实验室特聘专家，还曾担任腾讯安全应急响应中心技术负责人、绿盟科技安全技术部总监等职务，国内知名安全专家。

孙　奇

曾任同盾科技反欺诈产品研发总监，浙江大学硕士，知名Java架构师、Qcon全球开发者大会讲师。

高　岳

东南大学硕士，曾任同盾科技移动安全产品研发总监，也曾在腾讯安全平台部负责移动产品安全检测能力建设和安全产品研发，业务安全专家。

互联网与现实生活已呈融合发展之势，我们从中获得了极大的便利，同时也埋下了诸多的安全隐患。虚拟与现实的交融隐藏着重重罪恶的身影，其中，互联网业务欺诈就如同一个毒瘤，让企业与个人遭受损失。本书作者及其团队身处对抗欺诈的一线，多年来积累了丰富的实战案例与从业经验。作者在本书中对互联网业务反欺诈技术进行了深入的探讨，生动还原了欺诈团伙的真实生态，系统总结了其惯用的各种犯罪手法与套路，详细论述了一系列较好的反欺诈技术体系和实施方案，对未来新兴技术领域的态势和应用思路进行了较为系统的前瞻性研究与探索。本书行文流畅、事例有趣、逻辑清晰、内容全面，对相关领域从业者而言，是一本在管理和技术层面上都具备很高参考价值的优秀书籍。

李建华 上海交通大学网络安全技术研究院院长、信息内容分析技术国家工程实验室主任

黑产和风控系统就是一对矛和盾，始终伴随着线上金融业务的发展。正所谓 “道高一尺，魔高一丈”，新欺诈手段和新的防控技术交相出现，不断博弈。有关黑产的技术、工具等信息不少，但是都不算完整，且缺乏系统性。本书的几位作者长期在安全行业奋战，有着丰富的实战经验，对黑产行业和技术的研究很深入。本书系统地介绍了黑产技术和反欺诈等安全系统建设的策略和技术，非常实用，值得认真学习。

李怀根 广发银行研发中心总经理

互联网反欺诈是个跨安全、数据、风控等多学科的新兴领域，作者高屋建瓴，以时间为轴，系统化介绍互联网反欺诈领域的过去、现在和未来，并配以案例，详细说明互联网反欺诈工作中风险分析、设计防范、策略部署和运营监控等内容，深入浅出，是当下互联网反欺诈领域难得一见的专业书籍。

高亮 移动集团智慧家庭运营中心高级安全专家

该书覆盖了移动安全、JS代码混淆、代码虚拟机保护，以及运用机器学习识别自动机等相关技术，内容丰富，值得业内人员深入研读。

杨珉 国家973项目首席科学家、复旦大学计算机科学技术学院副院长

该书的物联网安全相关章节全面介绍了物联网生态面临的安全风险，通过多个真实案例的分析让读者有了比较具体的认识。在介绍物联网安全和风控体系建设方案时，作者在充分借鉴传统安全攻防方法论的基础上，深度融合了数据分析的思路，形成了一个创新性的物联网生态安全建设方案，非常值得读者参考和借鉴。

王滨 研究员级高级工程师、海康威视副总裁

技术升级推进了业务的发展，深入了解互联网业务反欺诈是每一个风控从业人员的必修课。本书干货满满、诚意十足，值得每一位互联网风控从业人员品读。

王彬 华住集团信息安全副总裁

这是一本非常专业的关于互联网风控业务的图书，凝结了作者长期与黑产斗争、建设风控体系的宝贵经验，是值得业务安全从业者甚至业务人员细读的、不可多得的好书！

林鹏 猎豹移动安全总监

我认识马传雷近20年，见证着他在传统安全甲方、乙方的长期实战经历，也见证着他从传统安全到风控反欺诈的转型。这本书凝聚了其风控团队与黑产斗争的心血，将宝贵经验毫无保留的成体系化进行总结与提炼，是一部集大成之作，值得互联网企业的风控部门学习借鉴。

oldjun T00ls.net联合创始人

引言 互联网业务安全概述 1

第一部分 洞察黑产

第1章 黑产发展态势 8

1.1 黑产组织结构 8

1.2 黑产成员分布 11

1.3 黑产专业化分工 12

1.4 黑产攻击规模 13

1.5 电信欺诈黑产 15

1.6 本章小结 16

第2章 黑产武器库概览 17

2.1 虚假号码 17

2.1.1 猫池 18

2.1.2 短信验证码 20

2.1.3 接码平台 21

2.1.4 空号注册 22

2.1.5 流量卡和物联网卡 22

2.1.6 手机rom后门 23

2.2 代理IP 23

2.3 设备伪造工具 25

2.3.1 改机工具 25

2.3.2 多开工具 26

2.3.3 Root/越狱工具 27

2.3.4 Xposed 28

2.3.5 Cydia Substrate 28

2.3.6 Frida 28

2.3.7 硬改工具 29

2.3.8 脱机挂 29

2.3.9 备份恢复/抹机恢复 30

2.3.10 模拟器 32

2.3.11 定制浏览器 33

2.3.12 自动化脚本 34

2.4 其他工具 35

2.4.1 位置伪造工具 35

2.4.2 群控 36

2.4.3 工具集 42

2.5 本章小结 43

第二部分 体系构建

第3章 反欺诈体系建设思路 46

3.1 动态防控理念 46

3.2 防控体系构建 47

3.3 本章小结 50

第4章 风控核心组件设备指纹 51

4.1 设备指纹的原理 51

4.2 设备指纹的技术实现 52

4.2.1 Android设备指纹 52

4.2.2 iOS设备指纹 54

4.2.3 Web设备指纹 56

4.2.4 设备ID生成与恢复逻辑 58

4.2.5 被动式识别技术 61

4.3 代码保护 62

4.3.1 JS代码混淆技术 63

4.3.2 Android/iOS SDK加固保护 77

4.4 本章小结 92

第5章 基于用户行为的生物探针 93

5.1 生物探针 94

5.2 无感认证 95

5.2.1 无感认证的基础 96

5.2.2 无感认证的构建 97

5.3 生物探针的应用场景 100

5.4 本章小结 100

第6章 智能验证码的前世今生 102

6.1 验证码的诞生 102

6.1.1 验证码的本质 103

6.1.2 验证码的发展 105

6.2 验证码的攻防 108

6.2.1 字符验证码的识别 108

6.2.2 新型验证码的识别 112

6.2.3 对抗黑产的方案 115

6.3 设计一款优秀的验证码 117

6.3.1 设计标准 117

6.3.2 设计实战 118

6.4 本章小结 122

第7章 风控中枢决策引擎系统 123

7.1 规则引擎 123

7.1.1 脚本引擎 124

7.1.2 开源规则引擎 125

7.1.3 商业规则引擎 125

7.1.4 几种规则引擎实现方案的对比 126

7.2 规则管理 127

7.3 规则推送 128

7.4 规则执行 129

7.5 外部系统集成 129

7.6 灰度测试 130

7.7 本章小结 131

第8章 海量数据的实时指标计算 132

8.1 实时指标计算概述 132

8.2 实时指标计算方案 135

8.2.1 基于数据库SQL的计算方案 135

8.2.2 基于事件驱动的计算方案 135

8.2.3 基于实时计算框架的计算方案 136

8.2.4 实时指标计算方案对比 141

8.3 反欺诈实时指标计算实践 141

8.3.1 实时指标计算引擎原型 141

8.3.2 数据拆分计算 144

8.3.3 分片计算 147

8.3.4 引入Flink 148

8.3.5 Lambda架构 148

8.4 反欺诈实时指标计算系统 149

8.5 本章小结 151

第9章 风险态势感知系统 152

9.1 基于统计分析的方法 153

9.1.1 核心风控指标数据 154

9.1.2 核心业务数据 156

9.2 基于无监督学习的方法 157

9.3 基于欺诈情报的方法 158

9.4 预警系统 159

9.5 本章小结 160

第10章 风险数据名单体系 161

10.1 名单体系的价值 162

10.2 名单体系的设计 162

10.3 名单体系的生命周期 166

10.4 名单体系质量管理 168

10.5 本章小结 168

第11章 欺诈情报体系 169

11.1 情报采集 169

11.1.1 数据情报 170

11.1.2 技术情报 171

11.1.3 事件情报 174

11.2 情报分析 175

11.3 本章小结 179

第三部分 实战教程

第12章 机器学习算法的使用 182

12.1 机器学习的广泛应用 182

12.2 机器学习的落地过程 183

12.2.1 特征工程 183

12.2.2 模型选择 187

12.2.3 模型训练 195

12.2.4 工程化和业务落地 197

12.3 机器学习实战案例 198

12.3.1 案例一：黑产设备群控网络挖掘 198

12.3.2 案例二：黑产用户行为聚类分析 205

12.3.3 案例三：金融在线申请反欺诈 212

12.4 本章小结 220

第13章 互联网反欺诈实战 221

13.1 典型反欺诈业务场景风险分析 221

13.1.1 垃圾注册风险识别 222

13.1.2 批量登录风险识别 223

13.1.3 “薅羊毛”风险识别 225

13.1.4 裂变拉新作弊风险识别 227

13.1.5 “任务”作弊风险识别 229

13.1.6 恶意退单风险识别 229

13.2 解决方案设计示例 231

13.2.1 电商薅羊毛 233

13.2.2 裂变拉新 236

13.3 策略部署 239

13.3.1 策略配置 239

13.3.2 策略迭代 241

13.4 运营监控 241

13.4.1 监控预警报表 241

13.4.2 态势感知 242

13.4.3 情报监控 243

13.5 本章小结 244

第四部分 新的战场

第14章 物联网时代的风控 246

14.1 物联网安全态势 246

14.2 物联网安全威胁分析 247

14.2.1 云端平台安全威胁 248

14.2.2 网络通信安全威胁 249

14.2.3 设备终端安全威胁 250

14.2.4 物联网安全监管要求 253

14.3 物联网安全风险控制体系建设思路 254

14.4 物联网安全风险态势感知系统 256

14.5 本章小结 260

第15章 内容安全与合规 261

15.1 内容安全合规概述 261

15.2 文本内容安全 263

15.2.1 敏感词系统 264

15.2.2 基于NLP的AI模型 267

15.3 图像内容安全 271

15.3.1 图像分类 271

15.3.2 敏感人物识别 276

15.3.3 图像文字识别 285

15.4 语音内容安全 286

15.4.1 有语义语音 286

15.4.2 无语义语音 287

15.5 视频内容安全 288

15.5.1 视频内容安全处理流程 289

15.5.2 关键帧提取 289

15.6 内容安全工程 290

15.7 内容安全系统的评价指标 291

15.8 本章小结 292

第16章 风控与数据合规使用 293

16.1 网络安全立法进程 293

16.2 个人数据合规使用 294

16.2.1 用户隐私政策 295

16.2.2 数据安全流转 296

16.3 数据合规技术创新实践 298

16.3.1 数据匿名查询 298

16.3.2 区块链共享黑名单 299

16.4 本章小结 300

第17章 海外风控公司 302

17.1 Arkose Labs 302

17.2 Sift 304

17.3 Forter 305

17.4 Shape Security 306

17.5 Okta 308

17.6 本章小结 313

从2018年开始，我和高岳、孙奇一起从事业务安全产品设计、研发的工作。在此之前，高岳是移动安全方面的专家，孙奇是资深的Java架构师，而我则是从事黑客攻防对抗的工程师。于我们而言，这是一段非常美好的经历，非常感谢命运的安排。

因为个人兴趣和工作需要，我们和很多朋友就互联网业务安全进行了深入交流。他们有的是互联网公司的产品研发人员和运营人员，有的是传统金融机构互联网线上业务拓展推广人员，也有的是专业风控和安全从业者。从与他们的沟通交流中，我们学到了很多业务领域的知识，同时也发现大家对互联网黑产及互联网业务安全体系构建缺乏深入了解。我们常常听到这样的话：“投入了很多资源构建互联网业务安全体系，购买了专业公司的风控产品和服务，但是依然没能阻止网络黑产无情的攻击。”

在实际项目中，我们也遇到了一些困扰：产品POC测试严重脱离业务场景实际需求，错误的策略部署导致产品无法正常发挥防御能力。我们在复盘时常常反思这些问题，是不是可以通过某些方式帮助客户更全面地理解业务风险的脉络和黑产攻击的套路。很多问题的产生并不是因为黑产团伙的技术有多么高明，而是因为防御方不能够很好地帮助客户理解业务风险。

2019年3月的某一天，高岳提议写一本全面介绍互联网业务反欺诈体系构建和实践经验的书籍，这个建议点燃了我们心中的火焰。我们立即开始整理资料并写作，经过8个多月的努力，我们在2020年的春节前完成了这本书稿。

本书主要分为洞察黑产、体系构建、实战教程和新的战场4个部分。第1部分介绍了黑产欺诈团伙的运作套路和攻击手段；第2部分总结了我们在构建反欺诈技术体系过程中沉淀的实践经验；第3部分分享了我们和黑产对抗的多个实战案例，以及机器学习算法的综合运用；第4部分介绍了我们在物联网、内容安全、隐私合规等方面的实践和对海外厂商的观察。

希望读者通过阅读本书，可以对互联网反欺诈的行业现状有一个系统而具体的认识。业务安全的真正力量是内生的，专业的安全风控公司可以提供工具、平台和策略建议，但是只有业务方真正理解风险和防控思路，才能在与黑产的对抗中设计好业务规则、运营好安全策略，取得较好的效果。如果读者正在关注该领域或从事相关工作，我们相信本书一定能够为您提供帮助。

我们相信本书将成为中国互联网历史中一个微小但坚硬的符号。以当前互联网的进化速度，若干年后本书介绍的风控体系可能会被新技术完全重构，行业态势也会有很大的不同。后来者可以通过本书观察和体会行业与技术的演进轨迹，进而把握未来的发展趋势。

用工作之外的时间把自己的想法变成数十万字的图书，是一件非常考验耐心的事情。除了三位主要作者，还有以下几位同学坚持参与撰写本书的部分内容。

— 李克勤、章岚撰写了“第2章 黑产武器库概览”、“第10章 风险数据名单体系”和“第11章 欺诈情报体系”章节的初稿。

— 郭嵩、彭亮撰写了“第4章 风控核心组件设备指纹”中Web设备指纹和JS混淆相关内容的初稿。

— 赵峰撰写了“第5章 基于用户行为的生物探针”章节的初稿。

— 江杰撰写了“第6章 智能验证码的前世今生”章节的初稿。

— 贺海军、王明英撰写了“第12章 机器学习算法的使用”实战案例相关的内容。

— 刘莹撰写了“第13章 互联网反欺诈实战”章节的初稿。

在稿件完成之际，有特别多想感谢的朋友。在过去的一年中，罗小果等同事运作的项目，促使我们对业务安全防御体系有了更深入的思考，使得本书的整体框架更具有逻辑性。在完成初稿后，陈钧衍等多位技术同事给出了很多非常好的修改建议。感谢电子工业出版社的策划编辑符隆美，感谢我们的同事韬哥、伟哥、艺严等，感谢“蓝星技术群”的互联网安全同行，没有你们的鼓励和帮助，也许就不会有这本书的面世。

作为互联网安全从业者，回顾这几年走过的路，黑产的技术发展和规模膨胀给我们带来了很大的压力，同时也让我们有了更大的动力去构建更加有效的安全防御产品体系。在此我们向互联网安全行业中诸多提携我们成长的前辈和守望相助的朋友们致敬，他们是alert7、binw、cnhawk、coolc、cy07、flashsky、huiwang、instruder、kevin1986、lake2、lenx、linkboy、marcohp、mkliu、oldjun、pix、rozero、scz、tb、xi4oyu、xundi、方斌、丁丽萍、顾孔希、高亮、何艺、刘进、林鹏、马坤、聂君、秦波、王彬、王任飞、王英健、阎文斌、杨珉、赵弼政等等（排名不分前后），还有很多很多行业拓荒者和同行者，在此难以一一列举。

由于作者写作水平有限，书中难免存在疏漏与不足之处，恳请读者批评指正。就本书覆盖的内容而言，在反爬虫、反洗钱、业务生态秩序安全治理及用户安全心智建设等深水区没有进行深入阐述，我们也是心有遗憾并且希望能够在下一本书中弥补，敬请期待。

马传雷