Career Timeline
职业生涯时间线,从2017年毕业至今
北京维恩咨询有限公司
大数据开发工程师
负责电商平台的爬虫开发、数仓建设、ETL开发、算法设计
北京清华大学金融大数据研究中心
算法工程师
研究cv、nlp算法、AI平台开发
广州优卡科技有限公司
python开发工程师
数据平台爬虫、后端开发
广州初原智能有限公司
联合创始人
AIGC产品架构研发与设计
桂林市蓝茵大数据有限公司
创始人
短视频领域大数据平台
Free Lancer
架构师
系统架构设计与网络安全防护
Details
那些职业生涯中的点点滴滴,也正是这一点一滴,汇集成了奔向生活的细水长流。
2017年4月,距离毕业还有小三个月时,签下了维恩公司。依稀记得当时问boss:“为什么给公司取名维恩?” , boss回答说:“读书的时候对维恩图印象很深,所以就取了个这个名字。”后来确实证实,boss是个很喜欢数学的人(喜欢到执着于用sql写一个贝叶斯分类器...)进公司的第一个任务就是学习当时公司的 爬虫架构,当时的我是一个python小白,甚至还没毕业,哪知道什么架构、哪知道怎么学习。于是,我的职业生涯第一堂课开始了:我拿着一张A3纸,没错,A3纸,一个脚本一个类一个函数一行代码的顺序,把整个架构 花在了A3纸上😓...用了大半个月,看懂了人生的第一个技术架构。接着没多久,开始学习公司的ETL架构,这个是真的把我折腾坏了,几十个sql存储过程,结合上游端爬虫任务需求、下游端业务需求来边理解边学代码,这个过程耗费了大约3个月。
讲真,公司还是很注重对我的培养的,公司希望我能carry整个技术体系。于是让我研究“新一代爬虫架构”,我用多进程+多线程+redis缓存的方式,做了人生第一个不成熟但颇有成效的爬虫架构,6个钟头就完成了 之前需要20多钟头才完成的爬虫工作。因为当时是公司唯一一个能carry python和sql的牛马,而后便开始优化ETL,建索引、分库分表、合并存储过程、在爬虫、缓存、数据库端同时优化,把两天的清洗工作压缩到了一个下午,也是 小有成就。不可否认,第一家公司对我的编程启发极大。
第二年初,我开始研究深度学习算法,尝试用深度学习视觉算法yolo3的技术,去解决当时公司需要用人工去区分 电商平台零售商品的sku拆分,那也是我人生第一次接触dl,我先用一个礼拜看了一本谢诺夫斯基的《深度学习》,然后用2-3个月的时间去看keras的源码,看vgg、inception、resnet、darknet、lstm和attention, 那时候对这门技术的痴迷到了什么地步:当时跟公司俩员工合租,晚上他俩LOL开黑到2点,我研究dl到两点🤒🤒🤒。虽然最后考虑到人员分配和成本把控没有用,但是那次却是开启了我的算法之路。
从之前的经历我便意识到一个问题,一个人的工作跟成长不能完全同步进行。简而言之,工作有工作的要求和风险把控,个人有个人的成长的需求,如果个人只依靠公司的业务需求而被动成长,那 成长及其有限。相反,公司如果忽略个人成长而只考虑利益和员工的效益比,那肯定留不住人。 于是在2018年的某一天开始,我形成了一个学习习惯,每天晚上8-9点开始自己学习,somtimes是编程(前几年主要是学编程),sometimes学乐器(钢琴就是那年开始学的),sometimes学做饭、开始 一项新的运动、学英语、看一本书等。啊,扯远了。那段时间开始,我学习了spark、django、tensorflow等。直到现在,我依旧保持持续学习的习惯。
总的来说,第一家公司工作氛围相对来说还是很nice的,是我成长最快速的地方,开启了我对学习编码的新旅程,是我IT路上的引路人。
2019年3月开始入职清华大学金融学院的大数据研究中心,那个地方的人学历都牛逼到什么地步,我是北京科技大学计算机专业毕业的,双一流211,在那个部门,学历是最低的。。。 可以这么说,估计那个地方是我这辈子待过的平均学历最高的地方了,目测也将是后无来者的level。因为是在学院,所以大家见面打招呼都是互称“老师”。入职那时还没满25岁,我成为了当时整个学院“最年轻的老师”,进大门经常被门卫拦着,说要我出示证件。。。 话不多说,扯回正题
这个大数据部门是研究A股数据的,开始的时候我负责用cv和nlp算法拆解年报财报等pdf的数据,比如表格数据、离散数据甚至文本数据等,然后通过 舆情相关算法做正负反馈的判断,和敏感数据的提取。当时用了两套玩法,第一套沿用我之前研究的yolo算法,把pdf的图表识别出来,然后通过常规cv算法进行表格拆分和单元格提取;第一套使用当时很厉害的bert, 用预训练模型+下游程序对文本做语义分析。那也是我第一次真正意义上接触nlp领域的模型和算法。
同时呢,我还负责AI平台的后端开发,所以在舆情数据、财报研报数据以及NLP模型的加持下,我们对股票的基本面、技术面、资金面和市场政策、情绪等都分析得很不错, 穿插K线、MACD、北向资金的联合分析,做出了第一代AI股票分析软件,拿下了两家公司的融资。我跟一位博士后小哥哥一起研究语言模型,我负责根据重构模型的部分代码,以及用python后端承载常用的数据交互。正是在这期间,我把fastapi和 flask玩到飞起,彻底放弃了django,也是这段时间,我学会了基于预训练模型进行的下游网络的编辑或重构、模型迁移、模型微调。其实我们也尝试过自己训练,但是发现需要的时间和资源及其庞大而不得不放弃。
清华大学的下属部门,应当算是编制。福利待遇非常nice,但是作为编制最大的弊端也是很明显的。复杂而冗长的流程审批 (一个云服务审批一个月)、循规蹈矩的班气(定时打卡汇报、OA周报日报),对于像我这样的相对随心的性子,不太合适。也正是这段经历,让我决定离开这里,离开北京。
2020年,我来到了广州,入职优卡科技公司。说到这家公司,必须狂夸一顿。这是一家氛围及其舒服的公司:公司的老板非常的NICE。这位boss亲民、不摆架子、低调同时又很上心业务、对员工非常的人性。 每个礼拜公司都会准备2-3次下午茶,公司有60多号人,人均消费大约30块酱紫;每年都会亲自带队出去旅游,而且一定是工作日;非常信任我们,对产品和技术都会跟我们一起讨论,有新的想法也会找我们一起分享。最让我佩服的地方是:我跟另一位leader入职的第二天, 亲自BOSS开着自己的卡宴,带我们俩去餐厅包间吃饭,聊了2个钟头彼此以及未来的规划。一位老板能做到如此,真的很不简单。
此时,公司对新的项目刚有眉目,准备新组建团队、新招收人员,准备做一个SPY的数据平台。我跟另外一位同事负责技术选型和架构搭建,我主要负责数据的整个输出到输出流程。在这里,我完成了人生中第二个大型 技术架构:基于python+redis+mongo+rabbitmq+spark的数据流系统,包括分布式爬虫、数据清洗、数值统计、日志统计、数据可视化、任务调度等。在此基础上,我们使用约200台手机做了一套自动化广告投放监控集群。正是在这家公司的所见所闻,为了铺垫了创业之路。
在这家公司待了小一年,然后离职准备创业。在筹划阶段,偶然遇到初原公司的boss,这位boss是我遇到的第二好的老板......当时AIGC刚兴起,公司考虑用AIGC给房地产行业赋能,我们决定用stable diffusion来 为房产行业的UI设计师做原画。我跟一位前端小伙伴、一位后端小伙伴负责整个项目的搭建。我主要负责AI这块,对stable diffusion做模型迁移训练,使用极少数的样本数据达到特定效果的模型聚合,期间由于人手不够...参与了一半前端的开发...其实我很不喜欢前端开发,因为 前端涉及的知识很多很碎,而且更新迭代很快,同时又不是很要动脑,讲白了就是费时费力获得感还不多。在如今AI Coding盛行的时代,你会发现,所有的编程岗位,前端是最容易的被取代的。
在初原干活的时候,大家都是居家办公的。基本上是朝九晚五,每周抽一天早上大家线上同步一下进度,研究一下问题,剩下的时间大家就看着进度自行安排。前端小伙伴是新疆那边的,每天我们9点钟他那里天还没亮... 所以我们下班后他还没下班,我们上班他也没上班。很多人会好奇,居家办公会不会造成摸鱼的状态?其实我觉得,居家办公确认,对人的要求是有的。需要一定的自律能力,相对高效的处理能力和沟通能力。我在工作的时候,讲真还真不能保证百分百的工作状态(那话说回来你在公司办公室就能保证百分百?想摸鱼在哪都能摸不是吗), 但是我们要有契约精神,拿了那份钱,就得办那份事。我偶尔会中途办点自己的事,但是我都会跟boss沟通并征得许可,然后我个人是喜好晚上做编码工作的,所以我会花更多的时间在晚上。因此,我觉得这个事,应该因人而定,但是要本着契约精神的前提去考虑如何完成居家办公这一档子事。
有梦想还是得去试一试的,万一实现了呢?为什么选择创业?首先,我对自己的技术能力有信心,我希望能用我的所学争取一把;其次,是因为短视频领域的异常火爆,让我感觉到了一丝商机。 于是我便果断放弃了所有的机会,全身心投入我自己的项目。我当时做的是基于tiktok的数据分析平台,既能结合我所学的大数据技术,也能对核心数据附加算法能力。2021年,我开始着手去注册公司,同时开始写技术架构。最大开始的7个月时间,我几乎一天有15个钟头都在 写代码,早上89点起床就写,晚上经常23点还不睡,一度两次写代码写到腱鞘炎。前端后端数据端三端同下,用vue写了一套前端网站,用fastapi+flask写了一套后端,结合mongo、clickhouse、sparksql、azkaban完成了整个架构的技术实现。
项目的建成只是开始,在历经5个月的coding后,整套系统搭建完成。完成后一边做SEO,一边做推广。SEO的是使用短视频的BIO、视频、个人页等长尾数据进行搜索优化,3个月就达到了300多万的收录量,网站排名升到了19W。在推广方面,主要是做软文+友链的形式, 2个月的时间达到了2000多的注册量,付费用户60多个,这种小规模的“辉煌战绩”让我从创业中获得了成就感。随着推广+SEO的滚雪球效应,每天通过各大社交渠道涌入的用户已经占据了我每天80%的时间,因为有海外用户,经常大半夜跟人家聊天,那是段痛苦并快乐的日子。
好景不长,胳膊终究拧不过大腿。在客流激增的几个月内,某(些)平台开始对我发起猛烈的进攻。以安全、商标、所有权等各种理由对我发函、追偿、甚至诉讼(。。。也是佛了),那种以一己之力对抗TOP级别的公司的无力感,让人无比的郁闷,一种被资本压得抬不起头的强大阻力把我折腾的身心俱疲。 具体的经过也没太大必要深入分享,从资本角度考虑,倒也是一种竞争手段。只是,被资本裹挟的人性,不值得再称之为人性,而应该叫本性。
早点认识资本也不是什么坏事。
在创业的过程中,我结识了很多free lancer,尤其是国外一些技术论坛的,也是在这个期间,我意识到了国内外的技术圈的异同。于是在遗憾结束深度创业后,我加入了“技术社区”,跟团队一起做境外的项目开发。
在整个freelancer中,我做得最多的开发之一是AI开发。在大模型刚出道的时候,最火的是两个开发方向。一个是Maas,即模型即服务。你要是个喜欢逛外网的人,你会发现绝大多数的外网都具备AI客服,老外是最快也是最容易 就能用上大模型的,很多新生代产品都喜欢把gpt的模型集成到自己的产品中,尤其是网站。最火的另一个方向就是AIGC,AIGC最火的又当属文生图。很多设计网站、个人站点、初创产品由于缺少素材,或使用sd湖泊和mj之类的产品去部署 自己的后台服务。所以,站在风口确实是能吃到红利的。但是,近段时间的AI发展堪称神速,尤其在GPT5.5和Image2出来后,早两年的技能已经需要淘汰了。
在整个freelancer中,我做得最多的开发之二是:网络安全架构开发。接口是暴露在外面的服务,几乎我们使用的所有联网产品都需要经过接口进行数据传输,因此所有的 安全问题都可能发生在接口层。比如常见的伪造请求数据、中间人攻击、DDOS攻击。再厉害的就是app逆向,从app层对架构进行解析。常规的看,似乎这些都是个对请求做攻击的过程,但实际上经过对api和app代码的分析, 能摸出一个系统的脉络,能窥见接口调用的逻辑。这种程度的攻击,才是真正的攻击。但是,其实很多人对网安不够重视,尤其是国内。
桂林跑牌
这是我最近才搞出来的,以web端的形式制作的联机纸牌游戏。在我跟我家领导的“诱导”下,周围好几个朋友喜欢上了桂林跑牌,于是便大发奇想用codex帮我完成了这第一版桂林跑牌的雏形。
秘钥存储器
该app为自用的离线存储账号密码的一个app,基于以下两种需求:一是离线存储,防止泄露;二十加密存储,只有自己的私人秘钥才能显示数据。考虑到服务器是我自己的,目前没有联网功能暂不上线
我的世界模组
作为一名资深我的世界爱好者,从最开始的网易模组开发到国际版java模组开发,热爱不止,创意不断。至今已经在社区更新了十几个或大或小的模组,在此会逐渐对所有模组进行迁移和完善。
Minecraft AI Agent
基于 Minecraft + Fabric + OpenAI / DeepSeek 开发游戏内 AI Agent,验证大模型在复杂交互环境中的任务规划、工具调用和状态管理能力。具备环境感知,目标理解,任务规划,动作执行,异常处理等核心能力。目前接入的是Deepseek。
Contact
热爱是带你前进的最强动力