怎么做一个自动匹配数据的小程序?

本期为大家梳理了百度智能小程序在产品定义及权益、注册、开发、审核机制、数据监控、商业投放等方面的常见问题,我们来一起盘盘它!

Q:什么是百度智能小程序?

A:百度智能小程序是一种智能连接人与信息、人与服务、人与万物的开放生态,依托以百度App为代表的全域流量,通过百度AI开放式赋能,精准连接用户,无需下载安装便可享受智慧超前的使用体验。

Q:百度智能小程序的接入流程是?

A:注册认证→ 创建智能小程序→ 开发智能小程序→审核发布

Q:百度智能小程序除了在百度App内运行,还能在哪些App内运行?

A:百度智能小程序是业内首个完全开放的小程序生态,一次开发多端可运行,运行在除了百度App之外的其他百度系App和合作伙伴App内,如:贴吧、地图、百度CarLife、百度手机助手、wifi万能钥匙等,还有更多成员持续增加中。

Q:百度智能小程序流量支持入口包括哪些?

A:1、搜索入口:精准sug直达、搜索结果页卡片、语音直达、自然搜索。

2、信息流入口:信息流分发、文章挂载

3、固定入口:百度App首页-下拉二楼(包括最近使用/大家都在用)、百度App个人中心-智能小程序(注:只要用户打开过或使用过的小程序都能在固定入口找到)

4、私域运营入口:push重访入口、服务消息重访入口

Q:百度智能小程序流量全景是什么?

A:百度小程序流量全景=百度App系流量+开源伙伴流量

Q:百家号文章智能小程序挂载方法?

A:进入小程序开发者后台-流量配置-选择“百家号文章挂载”,按照流程指引的要求进行熊掌号绑定以及素材提交等步骤,实现百家号文章挂载智能小程序。

3)进入百家号后台(文章发布页面),编辑文章并选择需要挂载的小程序

4)预览、修改&发布

5)页面描述及卡片封面样例参考

Q:百度智能小程序登录,如何申请获取用户手机号的权限?

A:审核过后,可通过如下操作获取用户手机号权限:

1、在页面左侧导航栏,单击“设置-开发设置”;

2、下拉页面,可见“获取用户手机号申请”,单击“申请开通”;

3、在弹出的页面填写如下信息,点击提交。

注:需提供等保资质(安全等级需在2级以上包含2级),或第三方站点的安全评估报告。需提供原件或复印件加盖公章。若是医疗或金融行业,目前暂不支持申请。

Q:智能小程序分享到社交圈后,用户手机是否必须安装手百App?

【ios系统】分享至社交圈后,ios手机会先指引跳转到App Store ,再检测用户是否安装手百App:

1、如果已安装手百App:直接从App Store打开手百进入小程序;

2、如果没安装手百App:需先安装手百APP再打开手百进入小程序。

【安卓系统】分享至社交圈后,安卓手机会检测用户是否安装手百App:

1、如果已安装手百App:会指引打开浏览器再打开手百进入小程序;

2、如果没安装手百App:需先安装手百App,再打开手百App进入小程序。

Q:小程序是否需要经过优化稳定排名?

A:小程序的自然搜索结果会继承原H5的权重

Q:小程序搜索关键词是需要精确匹配才能匹配搜索到吗?

A:目前需精确匹配,且要带上小程序字样。

Q:接入自然搜索结果前有哪些必须提前完成的? 投放自然搜索结果都需要开发者提供什么信息?

1、小程序需要有审核通过并且在线服务的包。

2、开发者完成业务域名配置。

3、开发者完成小程序的代理域名配置。

4、小程序需要绑定熊掌号ID。

Q:注册百度智能小程序支持主体类型有哪些?

A:媒体、企业、政府、其他组织四种主体类型。不支持个人开发者。

  • 媒体:报纸、杂志、电视、电台、通讯社、其他等;
  • 企业:企业、个体工商户、企业相关品牌;
  • 政府:国内、各级、各类政府机构、事业单位、具有行政职能的社会组织等;
  • 其他组织:公共场馆、公益机构、学校、社团、民间组织等机构团体申请。

Q:注册百度智能小程序,主体信息登记有哪些?

A:不同类型的开发者所需的登记信息:包括主体信息、超级管理员信息两部分。

主体信息内容如下表;超级管理员信息登记超级管理员身份证姓名、身份证号码并验证手机号。主体信息及超级管理员信息提交后不支持更换。主体信息审核不通过仅支持5次。

Q:智能小程序禁入行业品类包括哪些?

A:暂定禁入行业品类如下表所示。具体可入驻开发的品类请以小程序官网中注册时可选择的品类为准。

Q:一个账号目前可以最多创建多少个小程序?

A:最多可创建20个百度智能小程序。

Q:智能小程序项目组成员如何设置及数量的要求是?

A:登录智能小程序平台,进入平台首页- 成员管理,添加智能小程序项目成员并配置成员权限,一个智能小程序只能添加一名管理员。小程序处在不同的状态,可绑定的项目成员数量不同,具体内容如下表:

Q:对公认证步骤,收款账号是否需要和小程序主体账号保持一致?

A:需要保持一致,必须是主体资质法人且银行账户必须为对公账户。

Q:港澳台身份证和手机号可以入驻百度智能小程序吗?

A:暂时不支持港澳台身份证和手机号。

Q:智能小程序注册后,哪些信息后期可支持修改?

一个月内可以申请3次修改。

进入“平台首页-设置-基础设置-服务范围-修改”。

2、小程序的名称可以修改

小程序发布前,可以修改5次;发布后,一年内可以修改5次。

进入“平台首页-设置-基础设置-小程序名称-修改”。

3、小程序头像可以修改

一个月可以申请修改5次。

进入“平台首页-设置-基础设置-小程序头像-修改”。

4、小程序简介可以修改

一个月内可申请修改5次。

进入“平台首页-设置-基础设置-小程序简介-修改”。

Q:小程序的高级认证费用300元,是按年收费还是终审的?

A:单次收费,且可享受优惠券豁免。

Q:百度智能小程序开发流程为?

A:小程序注册、审核→ 程序开发→ 代码审核、发布。

Q:实现百度智能小程序上线的方法?

【方法1】如客户有技术开发团队,可自行开发上线。

【方法2】如客户已有微信小程序,支持搬迁工具迁移,但需要一定的开发工作。

(注:目前迁移工具仅支持一次迁移;部分组件不支持迁移,登陆、支付、自定义组件及wxs不能迁移,其他内容可以迁移)

【方法3】找第三方TP服务商代开发上线。

Q:客户从开发小程序到上线需要多长周期时间?

A:小程序开发到上线整个周期时长无法预估,开发周期取决于小程序的内容结构、功能需求、技术开发能力等因素。(据了解,有最快2小时就开发完成的小程序)

Q:百度智能小程序的制作费用概况是?

1、目前小程序入驻是免费的。

2、广告主有开发能力自主开发是免费的。

3、广告主无开发能力可引入第三方TP服务商(需要收费):

一种是定制开发:开发费用主要依赖于小程序的复杂程度;

一种是模板套用:比定制开发优惠许多,主要看选用TP服务商的收费情况。

Q:百度智能小程序是否支持支付功能?

A:支持支付功能。目前支持百度收银台和直连支付功能。

1、直连支付:开发者在手百的小程序中可复用原业务的微信/支付宝商户号,资金流水均不经过百度,直连方案相当于开发者在“外部浏览器”上完成支付。

2、百度收银台支付:在百信银行开户,不管使用微信、支付宝、百度钱包,钱均由该账户自动打款至开发者填写的结算账户中。

3、两种支付区别:百度收银台将会提供多种主流的营销方式,可零开发实现红包、立减金、优惠券等多种主流营销活动方式,参与到百度App平台营销活动,获得平台流量加持;直连支付的开发者则无法参与。

Q:关于百度智能小程序客服组件接入注意事项有哪些?

1、目前开发者只能使用百度提供的第三方咨询组件或自研的咨询组件,第三方组件必须以JS SDK嵌入的方式接入且按流程申请,自研的小程序则无需此步骤不用;

2、第三方组件:目前支持的组件有商务通、快商通、商桥2016版、美洽、乐语、53快服、易聊通、10001东大正保

3、沟通通路:C端用户只能在手百登录状态下使用客服能力,非手百用户无法使用;

4、消息类型:文本、表情、图片(相机拍照或相册选取);

5、消息运营:不允许客服主动下发消息,需C端用户上行一条消息后,30分钟内允许客服下发6条消息。

6、消息展示:目前百度智能小程序消息通知不上通知栏,展示路径为:百度APP“消息中心”的“小程序客服消息”聚合卡内。

7、收费情况:第三方咨询组件收费情况根据开发者选择的第三方系统而定。

8、目前百度智能小程序客服消息能力属内邀制,在完成各项账号绑定后,需发送申请邮件至smartprogram_support@,提供如下资质进行申诉。

2、组织机构主体证明材料(企业营业执照/组织机构代码证/事业单位法人证书/社会团体法人登记证书/民办非企业单位登记证书等);

Q:入驻审核、主体资质审核及小程序版本发布审核周期?

1、 入驻审核:申请信息填写完毕后等待审核结果(24小时内)

审核未通过(暂时不符合申请条件,无法再次提交,可等待正式开放后注册。)

审核通过:需提交主体及行业相关资质等,并创建发布智能小程序。

2、 主体资质审核:2个工作日左右

3、版本发布审核:5个工作日左右

注:百度智能小程序每个帐号有5次提交审核机会,5次审核仍然没通过的,将不能再提交。

Q: 为何我填写了申请反复会被驳回,我可以修改几次?

A:由于您填写的信息完整性或所填内容无法满足工作人员对您接入小程序信息进行判断,因此请您完善内容后再次提交,也请您关注界面上的驳回原因,并对应进行修改后提交尝试,当前开发者可提供3次提交机会,3次被驳回后将被拒绝接入。

Q:真实性认证的目的是什么?都需要怎么做?

1、真实性认证主要用于验证开发者主体真实性,百度以百付宝打款的形式借助银行向开发者的对公账户打款来验证其真实身份。

2、真实性认证过程包含真实性认证和核验费用收费两个步骤,当前政策上对智能小程序开发者进行扶持,因此可以豁免核验费用,您可在“对公验证”成功后点击“小程序优惠通道”即可。

Q:百度智能小程序官方统计是否可以区分自然流量和商业投放流量?

A:可以区分,小程序开发者后台提供了流量来源分析。来源分析中的商业广告即为商业投放流量,会区分搜索、信息流、品专产品。

Q:百度智能小程序商业可监测哪些投放数据,对比H5营销页监控方式有何不同?

A:渠道来源数据、基础的PV/UV数据、转化数据、追溯商业推广计划数据。

Q:百度智能小程序接入商业投放的流程是?

Step1:入驻申请→客户认证→客户开发→小程序上线;

Step2:小程序链接及物料准备→商业投放→投放优化。

Q:百度智能小程序商业价值是?

1、流量增长:搜索存量的增长及信息流增量扩展双引擎助力流量增长。

2、转化提高:全新的用户体验、智能AI组件赋能及丰富的流量场景促进转化率提升。

3、运营复购:与用户互动能力提升,私域运营能力打造变现闭环,促进用户复购。

4、ROI转变为:用户全生命周期价值=流量×转化效率×用户生命周期运营复购×客单价×利润率。

Q:小程序在商业投放中的需要注意哪些其他问题?

数据监控:考虑到商业投到的数据监控需求,建议:在开发阶段确定好监控工具及埋点技术方案,并及时埋点,便于小程序上线后直接用于商业投放。

落地页形态:小程序在商业投放中作为一种落地页形态,建议:在开发阶段根据投放诉求制作多个相应小程序页面,作为小程序的一部分嵌入其中,便于小程序上线后直接用于商业投放。

Q:如广告主在某电商平台有店铺落地页,广告主是否可以用该电商小程序作为推广落地页?

A:可以实现,需要广告主跟电商宿主协商,如APP调起一样,只要电商宿主能给到授权邮件和第三方的Schema就能调起正常投放。

Q:请问客户的小程序名称变更,目前搜索在投放的小程序链接会有影响吗?(链接不变,仅名称变更)?

Q:同一个推广账户下,可以投放多个小程序链接吗?

Q:客户填写小程序URL后,如何校验是否可以正常跳转呢?有比如实况之类的方法做测试吗

A:小程序的商业投放其实只是落地页的替换,只要确保小程序链接正常就好。

凤巢:暂无移动端扫码预览功能,可将凤巢创意里填的小程序链接生成二维码(推荐用这个网址将链接生成二维码https://cli.im/ ),然后用手机百度扫码验证。

信息流:可通过创意实况预览功能,用手机百度扫码验证。也同样可将小程序链接生成二维码,然后用手机百度扫码验证。

Q:在具体投放设置上线,有什么建议吗?

1、如在信息流或闪投信息流上投放小程序,建议在单元设置时投放流量只选择“百度信息流”,其他定向设置可以应用历史投放效果较好的设置;或使用计划层级投放小程序、信息流oCPC投放小程序。

2、搜索或搜索闪投的投放设置可直接参考H5的投放设置,在创意层级与关键词层级均添加小程序URL;创意选择小程序可支持的样式进行投放。

Q:如果在商业投放中,投放账户中全部入口都添加了小程序URL,账户中的小程序消费占 比是否能达到100%,从而全量替换H5?

A:在搜索上投放小程序的消费占比无法达到100%。落地页打开的优先级为Deeplink(App唤醒)>小程序>H5。百度智能小程序仅支持在App内打开,在wap端无法调起小程序、少量低版本手百App(10.10以下)无法调起小程序、暂不支持小程序的创意样式等情况下,点击广告后落地页打开会到达H5页面。

在信息流(非闪投)上,全账户的计划层级投放小程序或单元层级投放小程序oCPC,可实现小程序消费占比达到100%。

Q:能否做到仅投放小程序不同时投放H5?

A:在信息流投放中,通过计划层级推广对象选择百度小程序或单元层级投放oCPC投放可实现仅投放小程序。

Q:一线客服是否可以在CRM系统中看到小程序商业投放的数据?

A:KA可通过KACRM查看,需申请小程序的数据查看权限;分公司客服可通过iCRM系统查看。具体路径:指标分析页面->核心指标报表可选择小程序相关指标,或在数据下载页面中选择小程序相关指标。深圳众城传媒是各大互联网广告的优秀代理商,深圳众城传媒可以进行互联网广告开户,素材制作,广告投放等一体服务,是您专业的选择,也可以向我们了解更多关于互联网广告广告的信息,如有投放需求,可咨询深圳众城传媒。

}

上海奕奇网络信息科技有限公司为您介绍湖北小程序开发费用(今年值得推荐:2022已更新)MQVzwd52,

1、必然要在布局上作到重点有序,逐渐发展,对付教育止业也一样。教育出书社是把运维与办理造度进止了很好的联合。同时,在技术仄台真施上线后,企业必需要自动配折运用,这就要求系统也能放弃已往的办理方式,运用运维系统同时丰盛自身常识库,对运维办理分别优先级,并分级提供运维支撑。

其次,招止的运维办理项目在终落地及电子化真施上具有自身的劣势和非凡运止核心的运维办理项目结果终都须要通过电子化仄台进止真施和落地,确保执止的一致和高效。[多图]图片1小步伐的种类繁多,具体要看恁须要开发的是哪一种。

2、随着企业建设的一直深刻和完善,运维办理已成为各止各业广泛和不胜重负的问题,随着云盘算,大数据,移动应用等新技术的快捷发展,运止环境,业务系统和运维人员进止的综折办理难度,也将越越大。不少运维办事人员把本身自嘲为消防员,尽管很繁忙,但是还会遭遇找不到人,大概办理问题太慢等等业务部分的埋怨。是该好好梳理下运维办理难题,尽质把艰难毁灭在问题产生前的时候了。

3、中航国际控股信息部孙经理则特别强调运维办理重要一点是,让运维办理者预见性的把问题毁灭在萌芽状态。孙某期待,有一天办理者们可以一边轻松地喝着咖啡,一边办理事情中的相关问题,这可能是运维办理须要真现的很抱负的一个状态,也是诸多运维办理技术在致力真现的宗旨。

不但业把办理看作企业业务运行的焦点内容,一些高科技,教育止业也对更高程度的运维提出了更高的技术要求。

谈到止业运维办理的要害点,招商银止有本身的真践心得。

提升运维程度,主要要找到企业的需求点,应该重点办理哪些问题。差别止业有着差别的挑战,也有着差别的运维了解。这种开发方式,可能前期用度比前两种要高一些,因为它的开发老本、。

4、招商银止副总经理高旭磊认为新业务模式下风险亟需应对。在银止业,互联网等新的业务模式,在给传统业带来极大打击的同时,更带来不行预测的风险。传统银止与互联网撞撞事后,不是谁都能够擦出标致的火花。因此,银止业急切须要通过运维办理练好内罪,把风险指数降到小。

提升运维程度,从应对各种挑战开始

湖北小程序开发费用(今年值得推荐:2022已更新)MQVzwd同样,易思科讯系统专家吴玉强也认为要把提高系统可用性,响应速度,作为支持企业部分提供办事的有效办理体系,其基本目标还在于提升终用户体验。而作为恁须要这个小步伐来帮作恒久推广和赚钱的,多花多少千块找个正规,可以盈利,孰轻孰重相信伴侣们心里有数。

+小步伐完满联合伴侣圈,和小步伐,别离对应着社交,内容和办事,这三者加起来正好是小步伐目前火爆的变现计划社交电商。提供优质的内容为小步伐进止导购,小步伐卖力展示商品交易及提供相关办事,这便是+小步伐模式。

教育出书社信息部周建强认为用户须要运维办理,不但是要作到在问题产生前便可以提供办事,同时还要真现对办事老本进止控造,范例办理事情,进止有效绩效查核等。只有高效的办事能力提高用户的满意度。小步伐的开发是依据需求罪能来确定工期和价格的,如果开发商在不知道恁的需求罪能甚至都不知道恁要作何类小步伐的状况下,一上来就给恁报价,这样也是不靠谱的。

标题的长度在越短的前提下还出现一次要害词,对排名前后的影响力也比力大这个规矩就跟SEO排名一样,以要害词的匹配度来算。要害词的匹配水平越高固然排名也就越靠前。不外便是要害词与标题的字数都比力少一些,这样匹配水平就会越高,对排名的影响力也会越大。

5、拒绝消防员角色,这对不少企业来说很难,不但须要更长的工夫,更多的系统投入,甚至波及流程的扭转,办理的改革等等。但只有建立更高规范,能力直接对运维办理所接纳的止动孕育发生驱行动用。作为工,要提升本身的威力。一方面,须要面对用户提出来的各种需求另一方面要对背景一堆复杂的系统和设施进止办理,包罗网络设施,数据库,存储网络线路等,须要思考如何把这些内容纳入到全景式的监控下,一旦出现问题就能很快发现,迅速办理。也便是运维办理人员常说的一句话致力把各种问题办理在内部,打消在萌芽状态!。

高效运维办理,有章可循互联网发展到本日,单杂的胜利曾经很难了,开发在移动互联网作的的网约车,波及到开发相当宽泛,用户、私家车开发、APP、定位导航等等罪能组折在一起。

6、作为开发技术企业的易思科讯,则在运维办理计划选型方面有本身的见解,吴玉强暗示企业应对差别产物进止,基于中度综折评分的后果,如产物罪能,不变性,装置维护老本,价格,易用性等指标,终综折思考,才可选定适折自身运用的产物。

运维办理建设主要要明确本身的定位,充实思考运维办理在企业环境中的价值,以及如何提供价值。而对付运维办理事情人员来讲,正如中航国际孙经理所言咱们不但仅只是把本身定位于消防员的角色!

ort标签声明须要运用的模板文件运止成效屏幕快照下午三数据通报,有时候模版须要表面给孙某通报数据显示,这时先界说参数,接下来咱们在,wxml中通报模板中所须要的参数,批改后的代码如下声明须要运用的模板文件这是一个参数留神在。

7、2017年更是推出了小步伐罪能,这项罪能才能够真正说,融入咱们的日常生活。主要,招止运止核心在运维办理建设历程中没有选择一哄而上的方式,而是联合招止运止核心在差别阶段的技术及办理现状进止进止良好布局,接纳重点有序,逐渐发展的计谋。比方,从2009年开始启动真施项目,使运止核心人员接触,了解并逐渐把握国际上先进的办理规范和方法2012年招止运止核心信息安全与办事办理体系征询项目,联合招止运止核心办理真践造成系统化的办理机造后续联合招止的真践造成止业规范,鞭策止业的发展这些都表现招止在运维办理项目历程中厚底子,宽口径的理念。

奕奇科技一直致力于为全国各类客户提供优质的IT服务,主要包括有:IT外包、企业运维、网站建设、小程序开发、APP开发、各类行业应用开发、网络推广、SEO优化、短视频推广获客以及各类弱电工程类服务,拥有10+年的丰富行业经验。

}

ClickHouse在京东小程序自定义数据分析中的应用与实践

随着移动互联网的快速发展,小程序作为当下零售环境下的崭新载体,它凭借着入口丰富、场景多元、传播能力强、触手可及以及用完即走的特点,得到了广泛的认可和传播。而在小程序的日常运营与发展中,存在着多样的数据信息,面对如此丰富的数据生产资料,如何高效灵活地对这些原始数据进行分析与挖掘,迅速掌握小程序数据的波动,洞察小程序用户行为变化,是目前国内各个小程序平台不断追求突破的问题。因为只有不断提高数据的分析效率,才能更好地沉淀数据分析的能力,进而借助于数据的深层潜在价值为小程序的业务发展而赋能。

京东小程序数据中心已涵盖用户行为分析、留存分析、用户画像及来源分析等四大基础数据分析模块,涉及的数据指标多达60+。

早期的数据主要由京东小程序客户端引擎SDK进行采集,通过子午线原生渠道进行统一上报,再由服务端统一清洗处理;这种模式虽然可以覆盖大部分基础数据分析的场景,但是仍然存在如下痛点问题:

1、数据类型不完整:基础数据指标仅为小程序框架可以获取的数据,而小程序内开发者自有代码的页面曝光、点击等业务数据,小程序框架无法自动获取,导致小程序数据平台提供数据的完整性无法得到保证。例如,针对ISV商家开发的某营销类小程序,我们无法采集并分析到该小程序在进行营销活动时,某一个领券按钮的用户点击数据。

2、行业数据无法沉淀:小程序涵盖的业务场景丰富多样,且复杂程度不一,早期的数据中心,仅提供后置的数据分析展示,因为业务数据缺失,无法提供基于行业的预测分析模型,很难为商家提供更为有效的经营指导策略支持。

3、无法满足多变的数据统计需要:目前已有的数据分析是固化的、预置的且不可变的,自定义数据分析能真正支持数据的灵活统计需要,满足多变的业务数据分析场景。

以上问题的关键,在于如何解决未来海量业务数据的存储、灵活处理及深度分析,基于此,我们调研了行业内多家成熟数据解决方案,重点考虑京东业务特点,最终构造了一套完整的京东小程序自定义数据分析服务。

接下来,本文将详细介绍京东小程序自定义数据分析服务的整体技术方案和关键流程,重点涵盖动态规则配置解析、数据存储设计以及实时数据查询分析等功能的设计和实现。

京东小程序的自定义数据分析需要一种支持海量数据存储、查询高效且运维成本较低的数据存储方式,经过调研对比发现,ClickHouse以下的三点特征可以很好地满足我们的技术选型诉求。

1、支持列式存储和数据压缩

京东小程序自定义数据分析需要满足用户在系统查询分析时的查询执行效率,我们期望在百亿数据集中,秒级返回执行的自定义数据分析的聚合结果,对比发现,ClickHouse按列存储的特性便可以极大提升数据查询的效率,因为按列存储与按行存储相比,前者可以有效减少查询时所需扫描的数据量,如果数据按行存储,数据库首先会逐行扫描,并获取每行数据的所有字段,再从每一行数据中返回查询所需要的字段,导致会扫描所有的字段。如果数据按列组织,数据库可以直接获取想查询的列的数据,从而避免了多余的数据行扫描。

针对分析类查询,通常只需要读取表的一小部分列。在列式数据库中你可以只读取你需要的数据。例如,如果只需要读取100列中的5列,这将帮助你最少减少20倍的I/O消耗。

ClickHouse采用的压缩算法可以将列的数据进行压缩处理,数据中的重复项越多,则压缩率越高;压缩率越高,则数据体量越小;而数据体量越小,则数据在网络中的传输越快,对网络带宽和磁盘I/O的压力也就会进一步地变小。

2、MPP架构,支持分布式水平拓展

京东小程序自定义数据分析服务需要支持水平的拓展。因为随时业务的发展,小程序的数据量势必会日益庞大,调研发现,ClickHouse天然具备分布式存储的特点,它本身是一款MPP(Massively Parallel Processing)架构的列式存储数据库,支持大规模并行处理,以多主对等的扁平架构,保证了海量数据在各个节点的分布式存储。

这样对于我们后期的业务数据的拓展存储提供了必要的保障,只需简单增加节点,即可实现水平扩容,极大地降低了运维的成本。

在ClickHouse中,数据可以保存在不同的shard上,每一个shard都由一组用于容错的replica组成,查询可以并行地在所有shard上进行处理,如下图Node1和Node2均为主shard,互为replicate,然而这些对用户来说完全是透明的。

3、多样化的表存储引擎

京东小程序自定义数据分析的场景较多,涉及点击、浏览、曝光和订单等四大类分析场景,每种场景都有独特且常见的统计需要,比如常见的计算去重用户数、求和金额、求金额平均值或最大值等,而在ClickHouse中可以针对表设置对应的表引擎,表引擎决定了表存储在哪里、以何种方式进行存储以及支持的查询方式。同时,表引擎可以结合ClickHouse的物化视图使用,能够达到非常好的查询效果。

ClickHouse共拥有合并树、内存、文件、接口和其他6大类20多种表引擎。其中每一种表引擎都有着各自的特点和适用的场景,对于简单的场景,可直接使用简单的引擎降低运维成本,而复杂的场景也有合适的选择。

比如,MergeTree家族的ReplacingMergeTree引擎,它会删除排序键值相同的重复项。数据的去重只会在数据合并期间进行,合并会在后台一个不确定的时间进行,因此你无法预先作出计划。因此,ReplacingMergeTree 适用于在后台清除重复的数据以节省空间,但是它不保证没有重复的数据出现。

SummingMergeTree会把行主键相同的行合并为一行,计算求和值,该行包含了被合并的行中具有数值数据类型的列的汇总值。

AggregatingMergeTree在合并分区的时候按照定义的条件聚合数据,将需要聚合的数据预先计算出来,在聚合查询时直接使用结果数据。

三、 京东小程序自定义数据分析的整体架构

了解了ClickHouse相关特性后,接下来介绍完整的京东小程序自定义数据分析的技术方案。

整体的自定义数据分析功能主要包含自定义数据上报、数据加工计算以及数据存储三大层次结构。其中最核心的问题是上报的数据如何基于自定义的配置规则进行匹配关联查询。而解决办法是在上报的数据记录中可以采用一个event_id(事件id)来标识某次上报请求数据,然后将业务字段放在map结构中,如下数据结构所示,这样可以实现业务数据字段的横向拓展,又能轻松定位到上报的数据记录。

上报数据的通道主要包括网关http实时数据通道以及子午线客户端埋点通道,将这些数据统一下发至实时数仓或者HDFS离线数仓。

通过中间层的数据流转,执行Flink实时计算或者MapReduce的离线计算,从而对原始的上报数据进行过滤、加工计算,最终批量写入至ClickHouse来实现数据的最终持久化存储。

至此,可以基于前端界面上配置的自定义事件和查询指标、过滤条件、分组条件等自定义查询规则,实现数据的在线查询分析。效果展示如下图所示。

四、 京东小程序自定义数据分析的流程设计

那么,规则引擎服务如何基于自定义规则动态解析处用户上报的数据的呢?规则引擎的执行流程主要包含两部分,包含自定义数据上报属性的配置写入以及自定义数据分析两个核心流程。

首先,需要将上报的属性配置保存至数据库进行持久化存储,当进行实时数据查询时,会先获取以上的事件规则和指标,之后,规则引擎会构建查询sql脚本推送至执行引擎,执行引擎下发sql脚本至ClickHouse集群去执行数据的查询并返回结果至前端,最后,异步将执行结果写入缓存,并设置数据有效期,便于提升下次查询效率。整体的解析执行流程如下图所示。

五、 京东小程序自定义数据分析的表设计

ClickHouse的表分为本地表和分布式表,分布式表是一个逻辑上的表, 可以理解为数据库中的视图, 一般查询都查询分布式表。分布式表引擎会将我们的查询请求路由本地表进行查询, 然后进行汇总最终返回给用户。本地表是实际存储数据的表,本地表和分布式表的关系如下图所示,在写入和读取数据时通过nginx实现请求的负载均衡,防止出现写入和读取不均衡的情况。

以京东小程序自定义点击事件的数据统计场景为例,我们创建对应的本地表vapp_analysis_local和分布式表vapp_analysis_dist如下图所示。

举例说明,根据京东小程序点击事件的数据存储特点,我们做了如下的表设计:

  • 设置主节点数和副本数。shard属性设置节点的主数据节点数,replica设置节点的副本数,从而保证数据存储的多副本高可用。
  • 选择分区字段。ClickHouse支持分区,分区字段是每张表整个数据目录最外层结构,可以很大程度加快查询速度。具体的DDL操作关键词是 PARTITION BY,指的是一个表按照某一列数据(比如日期)进行分区,对应到最终的结果就是不同分区的数据会写入不同的文件中,在我们的业务场景中是按照数据的上报时间取年、月、日按照天来进行分区的,toYYYYMMDD(report_time)。
  • 设置排序规则。设置合理的数据排序规则可以提升数据的查询效率,数据会按照设置的排序字段先后顺序来进行存储,在进行聚合计算时也会按照聚合条件对相邻数据进行计算。在我们的业务场景中采用的是小程序的AppID来作为排序的规则,小程序AppID是每个小程序的唯一标识,在查询数据时绝大部分场景会以AppID的维度进行数据的查询。所以,采用AppID作为排序字段可以很大程度上提升我们的数据聚合运算效率。
  • 设置表引擎。在点击事件的场景中,我们设置的支持多副本的ReplicatedMergeTree引擎,可以支持数据的多副本存储,保证数据的高可用。

在以上的表设计中,content字段非常关键。我们将上报的自定义数据存储到表中的content字段中,并以json结构进行存储,这样即可支持上报字段的水平拓展。当规则引擎将动态生成的sql脚本下发至Clickhouse执行查询时,利用Clickhouse的json解析函数JSONExtractString进行取值转换,这样就可以非常容易得到我们想要分析的指定的业务字段。

举例说明,当我们想从京东小程序点击事件表中获取事件编码为applets_buy的金额字段amount时,基于规则解析引擎构建并下发至ClickHouse的动态脚本即为如下形式,这样便可实现上报字段的动态提取。

六、 京东小程序自定义数据分析的监控

在整个自定义数据分析的链路中,涉及的环节较多,需要有良好的监控机制,来保证系统功能的稳定运行。

针对MQ消息队列、Flink实时计算任务、ClickHouse存储等中间件的监控,我们采取的是Grafana提供的可视化监控能力。如下图所示,这样可以直观地看到诸如CPU、内存、磁盘的I/O、磁盘使用率等情况。

同时,针对京东小程序运行时的监控,我们提供了一套完整的监控告警机制,支持配置自定义告警规则,来帮助我们及时发现京东小程序自身异常页面数据、性能数据以及网络请求数据等异常数据信息,目前已可以监控到线上所有小程序的异常数据和性能运行情况,以单个小程序为例,监控的情况如下图所示。

基于以上两种监控手段,可以帮忙我们时刻掌握京东小程序在整个链路中的性能数据的波动、及时发现性能瓶颈、迅速定位运行中出现的各种问题,从而为整个京东小程序的业务发展保驾护航。

京东小程序自定义数据分析服务所提供的高效灵活的处理能力,不仅极大地提高了京东小程序数据平台的完整性,也为持续沉淀行业业务数据提供了完善的保障,预计首批落地支持50+核心小程序的业务自定义数据上报、分析及可视化,完整串联用户在小程序内外的行为路径,支持商家精细化运营的需要。

京东小程序数据能力已经完成了从0到1的突破,未来将会致力于打造京东小程序智能数据分析模型,从而实现从1到N的飞跃。最终帮助更多京东小程序商家不断优化运营策略,降低数据分析成本,提升业务产能及效率!

}

我要回帖

更多关于 如何利用表格快速匹配 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信