2020已经过去快两个月了,才有(想)时(起)间(来)写一下过去一年的总结。其实在年初的时候,各大社区在做有关【2020总结】的时候就想参与一下,但是一直没有提起日程。对于过去一年的回顾以及新的一年的展望就从这篇文章开始吧。
工作篇
新起点
2019年10月份的时候由于当时所在公司资金链出问题,导致公司技术团队面临不得不解散的境地。从上家公司离职之后,在外面“浪”了半个月,又重新回到深圳找工作。幸运的是,只面试了一次,就通过了,然后进入了现在这家公司。
新的公司主要是做跨境电商方面的业务,公司有自己的产品。我所在的团队是ERP项目组,我主要就是负责ERP相关的开发工作。可能很多开发者对ERP这种项目没有特别大的兴趣,对技术没有那么高的要求,几乎没有高并发的场景,但是业务比较复杂繁琐,比较考验逻辑思维能力。尤其是到了后面数据越来越多,相关的子系统越来越多,如何规划子系统以及大数据处理问题,就很有挑战了。
融入
在试用期间,就是一边熟悉ERP相关的业务,一边进行日常开发工作。中间团队里开了几次会,我个人感觉是非常有必要也很有意义的会,比如GIT的合并方式、上线流程、开发规范等,随着团队人员的增多,统一开发规范,制定上线流程是必不可少的。毕竟10个开发者可能就有10种不同的开发方式,统一一下,提高工作效率。其中一次PHP的开发规范会议就是我主导的。
挑战
试用期后迎来了新的挑战。公司内部有一个爬虫业务,由于人员的不足以及团队内部对新业务缺乏相关的经验,这个需求已经被搁置了很久,一直没有启动。趋于对技术的热爱以及爬虫的好奇,我和另一个同事我们俩便接下了这个需求。
开发经理建议我,爬虫可以用Python来做。Python也不陌生,在很多技术博客中经常看到它的身影,在大数据、AI、自动化这方面很强,一直很“崇拜”它。之前闲暇的时候有学习过基本语法,但是没有具体的实战经验,也算是初次认真接触这个语言。
在正式开发前期做了很多准备工作,比如学习Python基础语法、爬虫的基本原理、爬虫的实现方式等,主要是在网络上搜索相关的关键词,找到合适的资源后,一边学习理解(敲代码、写demo),一边总结。而且整理出了几篇文章:
虽然Python对于我来说是一个新的语言,但是因为自己有PHP的基础,学习起来也不算很困难。大概花了一星期的时间,来学习基础语法、函数。主要是看菜鸟教程、廖雪峰Python教程以及B站上的一些视频,具体资源在我的《聊聊【爬虫开发】这半年来的心得》一文中有详细记载。
每周也会和同事同步进度,互相交流技术心得,同时也会以会议的形式召集相关人员,讨论方案,作出总结。
功夫不负有心人,在用了将近一个月的时间来学习相关的知识之后,总算是对相关的技术有了一定的掌握,终于要开启项目了。
爬虫嘛,总是需要用到代理的,最开始使用的代理方式有点low,通过IP数量来计费,一个IP不能用之后,要切换下一个可用的IP。后面团队招了一位专业的爬虫工程师,给了一些代理的建议,然后后续的所有爬虫业务都是我和这位爬虫工程师一起完成。原先的同事由于在项目中投入的时间占比不多,转而投入到了其他更重要的项目中去。
从爬虫开始到上线,遇到了很多问题,但好歹都有惊无险的克服了,比如代理问题,由于我们要爬取的平台对国内的代理支持不是很好,往往需要请求几十次才能获得数据,大大影响了效率,之后换了国外的一家更专业的代理平台,虽然收费相对贵些,但是比较稳定。使用的代理方式也从IP模式切换为隧道模式。隧道模式,爬虫不用担心IP问题,把需要请求的链接地址交给代理商平台爬取就好。
总结
项目上线之后,虽然多多少少也会出现一些小问题,但不影响正常使用。如果自己要对这个项目打个分的话,我会打80分,因为这是一个从0到1的项目,使用的技术自己之前从未接触过,虽然有一位更专业的爬虫工程师在,但大部分时间都是自己在独立开发。
第四季度的时候这个项目被拆开了,因为那位爬虫工程师是另外一个项目组的,当初设计爬虫架构的初衷是可以作为一个公共服务,两方都可以调用。但是后面由于ERP项目组这边对爬虫业务的特殊性,原先的爬虫架构已经不满足ERP的需求了,所以不得不独立出来一套新的爬虫系统。新的爬虫系统只作为ERP内部使用,自己在做爬虫方案的时候也加入了一些自己的设计和想法,截止年底的时候,新的爬虫系统已经上线,并且可以正常使用。自己对这个“作品”还是挺满意的。
学习篇
Python
去年一整年,最有意义也最重要的学习就是Python了,从一个Python菜鸟,到一个Python老手,需要时间的沉淀也需要项目的积累。通过爬虫项目的实践让我加深了对Python的理解。技术栈又多了一门新的语言:Python。可以做更多的事情了。
爬虫
爬虫于我而言是一个新的领域,过去的工作经历中,没有接触过任何的业务。2020年里,在工作中几乎用了一多半的时间来跟他打交道,从认识它到完成它,其中经历了太多。但好在最终是完成了这个项目,也让我大有收获,技术也有了长进。
生活篇
婚姻
2020年最重要的事就是和我亲爱的冯冯小姐订婚并且拍了婚纱照。虽然冯冯小姐后面有吐槽婚纱照拍的不好,想以后有机会要重新拍,我也表示认同,但是还是抵不住和爱的人一起拍婚纱照,即将迈入新的阶段的喜悦。我们是异地,她在江西我在深圳,在过去的2020年中,也会有一些小矛盾小摩擦,也可能有异地的缘故,不能够很好的解决,但是好在我们都还信任对方,一路风雨兼程的走过来了,很感谢她,对于我们感情的付出和努力。也要感谢彼此,一起坚持走到了最后。
小tips:在2021年的第一天,也就是2021年1月1日,我和冯冯在她的家乡小布举行了婚礼。
生命
在2020年的末尾,我失去了我的奶奶。奶奶从小就对我很好,有什么好吃的都会给我留着,甚至上大学、参加工作回家,都会把好吃的拿给我。失去亲人的滋味无法用语言来形容,生命中再也见不到这个人了,想起来就觉得很悲伤。
由于我一直都在外面工作,这些年没有太多的时间留在家里陪伴她,和她在一起的时间也从工作后变的越来越少。自己亏欠她太多,还没来得及回报她对我的好...
奶奶的离世让我重新思考生命,某个电影里说:人从出生开始就开始做减法,每过一天就少一天。人生在世,做自己该做的事,不浪费时间、不浪费生命、多读书多学习多去外面走走、多接触新的人新的事物,用心感受活着的每一天才是对自己、对生命最好的交代。
FLAG
2020年的flag还没完成,新的一年的flag又要来了。flag还是要立一下的,有个目标指引前进也是好的
健康最重要,每周至少锻炼2次,有氧或无氧
学习,要看完10本以上专业非专业类书籍
每天至少抽出半小时用于阅读
每月至少一篇博客
完成在河南老家的婚礼
买车车