|
1 |
| -《左手MongoDB,右手Redis——从入门到商业实战》书籍配套源代码。 |
| 1 | +## 数据工程师妹子养成手记——数据库篇 |
| 2 | + |
| 3 | +> 《左手MongoDB,右手Redis——从入门到商业实战》背后的故事。 |
| 4 | +
|
| 5 | +这篇文章没有代码,请放心阅读。 |
| 6 | + |
| 7 | +程序员最宝贵的东西是生命,生命属于程序员只有一次。一个程序员的一生应该这样度过:当她回首往事的时候,她不会因为搭建环境浪费时间而悔恨,也不会因为集群无法运行而羞耻。这样,在她开发的时候,她能够说:“我的整个生命和全部精力,都已经献给了开发中最重要的事情——设计程序,实现程序和调Bug。” ——P酱。 |
| 8 | + |
| 9 | +P酱是公司新来的实习生妹子。听说是一个文科生。文科生应该会去文案组或者策划组吧。什么?来数据组?让我来带? |
| 10 | + |
| 11 | +于是我和P酱~~生活~~工作在了一起。 |
| 12 | + |
| 13 | +## P酱你会些什么? |
| 14 | + |
| 15 | +“我叫P酱,在XX大学读研二,爱好是拍照和被拍,大家可以在B站找到我跳舞的视频,比如av170001。我的另外一个爱好是写代码……” |
| 16 | + |
| 17 | +当一个文科妹子说自己喜欢写代码的时候,整个办公室热闹了起来。 |
| 18 | + |
| 19 | +“P酱,听说你喜欢写代码,那你写过什么东西吗?”新人介绍会议结束以后,我问P酱。 |
| 20 | + |
| 21 | +“一般都是各种分析程序,我们的专业要做很多调查报告,他们都是用Excel来计算的。我喜欢用Python来把这些统计过程自动化。后来也写过自动写诗的程序、鬼畜视频生成器等等。” |
| 22 | + |
| 23 | +“真不敢相信你是文科生。这么说你的兴趣是数据分析方向咯?” |
| 24 | + |
| 25 | +“其实我对师父你做的爬虫很有兴趣。但是听说会经常和网站发生对抗?女孩子还是不要打打杀杀的好~” |
| 26 | + |
| 27 | +于是我让P酱负责对爬虫的原始数据进行清洗、整理并做简单的分析。 |
| 28 | + |
| 29 | +## 一种船新的数据储存方式 |
| 30 | + |
| 31 | +“P酱,爬虫抓到的原始数据是存放在MongoDB里面的,你的Python还不错吧,你试一试用Python来读写MongoDB看看。” |
| 32 | + |
| 33 | +“MongoDB是什么呀?” |
| 34 | + |
| 35 | +“是一个和MySQL不太一样的数据库。” |
| 36 | + |
| 37 | +“MySQL我知道,MongoDB和MySQL有什么不一样呢?” |
| 38 | + |
| 39 | +“我举个例子,当你要插入数据的时候,你需要做的,就是‘插入’。咳咳,你不要脸红,我是指你不需要写SQL语句、不需要建表、不需要提前定义字段。仅仅只需要一行代码就能够实现了。我这里给你写了一篇文档,讲到了MongoDB的增删改查,你试一试。数据库已经给你搭建好了,你直接连上去用吧” |
| 40 | + |
| 41 | +半天以后。 |
| 42 | + |
| 43 | +“师父,我已经会使用MongoDB啦。” |
| 44 | + |
| 45 | +“你读爬虫的原始数据,主要涉及到的就是查询操作,为了巩固插入、修改和删除的操作,再给你一个小任务吧。试一试写一个人员管理系统吧。” |
| 46 | + |
| 47 | +## 既然有关系,就整整齐齐放在一起看吧 |
| 48 | + |
| 49 | +“P酱,你看起来很高兴的样子啊。” |
| 50 | + |
| 51 | +“因为我觉得MongoDB比起MySQL太简单了啊~” |
| 52 | + |
| 53 | +“你确定?那我看看你怎么对整行数据去重的?” |
| 54 | + |
| 55 | +“师父,我知道distinct关键字可以对一个字段去重。但是整行数据我是读出来用Python来去重的。” |
| 56 | + |
| 57 | +“这个时候你就要用到MongoDB的聚合查询了。文档已经给你写好了,拿去看吧。” |
| 58 | + |
| 59 | +“还有还有,这里你把店铺信息和菜单信息放在了两个集合里面,我怎么样才能把他们联表查询出来呢?” |
| 60 | + |
| 61 | +“联表查询是MySQL里面的操作,在MongoDB里面,没有`表`,只有`集合`,所以叫做`联集合查询`更恰当一些。这也是要用到聚合查询,也在这个文档里面了。” |
| 62 | + |
| 63 | +## 再给你一个玩具吧。 |
| 64 | + |
| 65 | +“P酱,之前让你做的爬虫数据监控系统怎么样了?” |
| 66 | + |
| 67 | +“功能已经做好了,但是有一个地方查询起来特别慢。我已经加过索引了,但还是很慢。怀疑是同时联了四个集合的数据造成的。” |
| 68 | + |
| 69 | +“这边的数据实际上每小时才更新一次,你没有必要每次刷新页面都去查询MongoDB的。我觉得是时候让你用一下Redis做缓存了。” |
| 70 | + |
| 71 | +“Redis就是那个内存数据库吗?我知道我知道。” |
| 72 | + |
| 73 | +“给你写了一份文档,包含Redis里面的各种数据类型和使用方式。你试一试把Redis和MongoDB结合起来看看能不能提高速度。” |
| 74 | + |
| 75 | +## 你怎么擅自加功能啊! |
| 76 | + |
| 77 | +“P酱,你怎么在爬虫监控系统的网页上加了一个广播窗口?” |
| 78 | + |
| 79 | +“呀,被师父发现了。因为我想到同一个爬虫可能会被几个人监控,所以就用Redis的发布订阅功能做出来了这个广播的功能。一旦爬虫状态发生改变,所有人都能收到推送。” |
| 80 | + |
| 81 | +“既然你这么闲,那不如加上账号登录功能,把权限验证也做上去?不同的人只能看到自己负责的爬虫。顺便你可以试一试用Redis实现……” |
| 82 | + |
| 83 | +“实现布隆过滤器和Session管理是吗?” |
| 84 | + |
| 85 | +“你怎么知道我要说什么?” |
| 86 | + |
| 87 | +“因为我早上看到你在文档上面更新了布隆过滤器和Session管理相关的内容啊~” |
| 88 | + |
| 89 | +## 红色的锁? |
| 90 | + |
| 91 | +“师父师父,你知道什么是RedLock吗?” |
| 92 | + |
| 93 | +“你学得这么快?都知道RedLock了?RedLock是Redis官方给出的分布式锁的算法。已经有很多编程语言实现它了。” |
| 94 | + |
| 95 | +“原来RedLock只是一个算法啊……” |
| 96 | + |
| 97 | +## 为什么我学的这么快呢? |
| 98 | + |
| 99 | +“师父师父,我觉得很奇怪啊,为什么MongoDB和Redis我学得这么快呢?难道是因为他们本来就简单?还是因为我太聪明了?” |
| 100 | + |
| 101 | +“为什么你不说是因为你师父教的好呢?“ |
| 102 | + |
| 103 | +“因为这是事实啊~不用我说出来~” |
| 104 | + |
| 105 | +“咳咳,实际上是因为两个原因。一是你一直通过项目驱动来学习,先有需求,然后再去学习实现这个需求所要涉及到的技能。所以你知道你学的东西能用来干什么,自然就能学得快……” |
| 106 | + |
| 107 | +“那第二个原因是什么呢?” |
| 108 | + |
| 109 | +“第二个原因,我先问你一个问题,你会搭建Redis集群吗?会搭建MongoDB集群吗?知道什么叫做哨兵吗?你知道如何优化MongoDB的启动参数吗?” |
| 110 | + |
| 111 | +“这…………好像都不知道额…………” |
| 112 | + |
| 113 | +“因为你的角色是数据工程师,不是数据库工程师,所以数据库搭建、底层优化这些内容我都给你跳过了。” |
| 114 | + |
| 115 | +“这些听起来都很重要啊,师父你会教我吗?” |
| 116 | + |
| 117 | +“你想经常值夜班吗?想半夜3点被人打电话叫起来修数据库吗?认清自己的定位啊,数据库工程师的技能当然很重要,但你是要成为数据工程师的人,技能树应该点在合适的方向。” |
| 118 | + |
| 119 | +## 后记 |
| 120 | + |
| 121 | +后来,P酱成了别人的女朋友。 |
| 122 | + |
| 123 | + |
| 124 | + |
| 125 | +幸好我还有左手和右手,于是我把我给P酱总结的文档编撰成了《左手MongoDB,右手Redis——从入门到商业实战》这本书。本书现在已经在京东、亚马逊、淘宝上架。 |
| 126 | + |
| 127 | + |
| 128 | + |
| 129 | + |
| 130 | + |
| 131 | + |
| 132 | + |
| 133 | + |
| 134 | +这本书的定位是MongoDB和Redis的应用,所以有意弱化了数据库的搭建、维护和底层优化。所以本书可能不适合数据库工程师。 |
| 135 | + |
| 136 | +希望本书能够给那些一直想掌握MongoDB、Redis,但是又不知道从何处下手的读者,提供一个学习的方向。 |
| 137 | + |
| 138 | + |
| 139 | + |
| 140 | + |
0 commit comments