# 座谈两轮调度智能优化之路先锋影音影院

一、业务配景

对于两轮智能调度引擎的解读，调度指的是通过算法调处东谈主工烦嚣，将任务分拨给运维东谈主员，把站点的分享单车拯救到另一个站点，以终了全局单车收益的最大化。站点画像是调度的基础数据支执，涵盖了调度的中枢链路。在离线环境中，宇宙对查询站点画像有需求，而在在线情况下，对查询的时效性要求则更高，必须适度在50毫秒以内，减少搜索恭候时刻至关病笃，因为这径直影响司机的调度体验。

二、问题拆解

站点画像由于高CPU负载所带来的问题，不错分为写入和查询两个方面。率先，写入经由中的Flink任务可能面对同步蔓延的挑战。咱们对站点上分享单车的团聚盘算要求时效性极高，这些盘算是模子接头调度任务的枢纽，一朝写入经由中出现较大的蔓延，模子输出的任务质料将受到严重影响。接下来，查询耗时过长成了咱们面对的另一个问题。咱们的C端红包车推选场景中，用户通过采用的适意分享单车骑行至供给不及的站点以赚钱，因此低耗时对C端用户来说显得极端病笃，必须适度在50毫秒以内。

三、一些尝试

在2023年，咱们的团队在高CPU负载的烦闷中回击跳跃一年，同期也针对新增场景进行了一些尝试。率先，针对C端的红包和众包车场景，为了处理经纬度隔壁调度的瞬时耗时问题，开拓了Redis缓存来无礼C端用户对低耗时的需求。然而，这种决议在精度上有所欠缺，调回点位的需求以用户为中心的圆形区域，而咱们的Redis构建却是长方形的，导致一些调回点位的遗漏。随后，咱们还针对供需池场景进行了一些探索，尽管HBase为点查场景提供了支执，但在本体使用中却发现其不踏实性太高，最终不得不撤销。

四、技能挑战

在资历了近一年的折腾后，2023年的每次技能决议挑战老是波及站点画像的多样问题，这八成是一种对底层数据踏实性明锐度的考验。咱们尝试了多种决议，团队成员也换了几波，戮力棒在我手中，就像一个定时炸弹，随时齐有可能激励事故。面对2024年新增场景和现存场景扩量的需求，站点画像的优化山水相连。

五、优化经由

咱们察觉到，在站点画像构建的早期阶段，为了终了多功能查询，咱们对通盘字段添加了映射，初步统计袒露有282个复杂类型的索引（包括文本、数字、浮点数、日历、地舆位置等）和67个枢纽词映射，很多本体上莫得必要检索的字段也添加了映射，臆想经过优化后会有显耀后果。接着，咱们对ES的关联旨趣进行了拆解和分析，参考了官网对于映射索引类型的推选，并将这些学问欺诈到咱们的线好意思妙程中。

邓紫棋换脸

5.1、映射索引对集群CPU水位的影响

咱们从三个角度分析映射索引怎么影响集群性能。率先，当段的创建和兼并时常时，ES集群由多个节点组成，索援用分片组成，每个分片齐是Lucene索引实例，跟着刷重生成的段文献增多，兼并段的需求也随之高潮，段文献数目增多将占用更多的文献句柄、内存和CPU周期，每个搜索苦求需逐段搜检，段越多，搜索速率越慢。其次，增多了无谓要的字段映射，形成过剩的索引构建徒然。再次，失实的数据类型建造也会影响性能，针对数值型字段，若是摄取不对适的类型，将影响查询着力。

5.2、遴荐正确的映射类型

映射字段的遴荐庸俗凭证查询场景决定。在咱们的案例中，咱们删除了无谓要的类型映射并凭证本体检索需求拯救了字段类型。

5.3、线上零停机重构映射

经过上头的先容，得出的论断是只对必要的检索字段进行映射，并凭证本体场景遴荐对应的映射类型。面对300多个映射字段和不同行务多条检索需求的挑战，咱们的处理决议先是梳理出中枢链路的检索条目，随后践诺了可灰度、可回滚、可监控的踏实性决议，最终得手完成重构。

六、后果

在进行映射优化后，咱们的顺利相等显明。复杂类型索引从282减少到74，枢纽词映射从67减少到59。此外，失实的数据类型修正后，CPU水位在岑岭时适度在50%，浮浅平均为20%，同期Flink数据同步任务的最大蔓延也从1.5小时裁汰至10分钟，查询耗时峰值从1秒降至150毫秒，平均查询耗时则压缩至14.5毫秒。最终，咱们不仅压缩了机器，还回收了年化老本1.6万元。

此次优化之旅，让咱们更长远地透露了数据的力量先锋影音影院，委果终清亮机器与东谈主的高效配合。像我常说的，“当生动与踏实交汇在一谈，驱散势必引东谈主谛视。”