支付中台架构图(数据中台组织架构)
今天给各位分享支付中台架构图的知识,其中也会对数据中台组织架构进行解释,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在开始吧!
本文目录一览:
- 1、数字化转型一定要做数据中台吗?
- 2、什么是产品平台?
- 3、高频交易支付架构并不复杂
- 4、微服务架构图
- 5、电商组织架构及职责?
数字化转型一定要做数据中台吗?
对于寻求数字化转型的企业而言,要如何管理公司的数据资源,让数据产生价值,有效服务前端业务呢?在2019年,呼声最高的答案无疑是“数据中台”。
一、什么是数据中台?
(一)前台、中台与后台
前台,即指由各类前台系统组成的前端平台。每个前台系统就是一个用户触点,即企业的最终用户直接使用或交互的系统,是企业与最终用户的交点。
后台,即指由后台系统组成的后端平台。每个后台系统一般管理了企业的一类核心资源(数据计算),例如财务系统,产品系统,客户管理系统,仓库物流管理系统等,这类系统构成了企业的后台。
前台与后台就像是两个不同转速的齿轮,前台由于要快速响应前端用户的需求,讲究的是快速创新迭代,所以要求转速越快越好;而后台由于面对的是相对稳定的后端资源,而且系统陈旧复杂,甚至还受到法律法规等相关合规约束,所以往往是稳定至上,越稳定越好,转速也自然是越慢越好。
随着企业务的不断发展,这种“前台后台”的齿轮速率“匹配失衡”的问题就逐步显现出来。而中台就像是在前台与后台之间添加了一组“变速齿轮”,将前台与后台的速率进行匹配,是前台与后台的桥梁,它为前台而生,易于前台使用,将后台资源顺滑流向用户,响应用户。
(二)“数据中台”的由来
“数据中台”并不是一个专业术语,简单来说,它是指通过数据技术,对海量数据进行采集、计算、存储、加工,且进行统一标准和口径,以达到对企业的数据资产进行管理及应用为目的的平台。数据中台把数据统一后,形成标准数据,再进行存储,形成大数据资产层,进而为客户提供高效服务。
“数据中台”的概念是由阿里巴巴于2015年首次提出。阿里巴巴认为,数据中台是集方法论、工具、组织于一体的“快”、“准”、“全”、“统”、“通”的智能大数据体系。阿里人通过多年不懈的努力,在业务的不断催化滋养下,将自己的技术和业务能力沉淀出一套综合能力平台,具备了对于前台业务变化及创新的快速响应能力。
阿里巴巴中间件首席架构师、《阿里巴巴中台战略思想与架构实践》作者钟华表示,在用阿里技术推动企业数字化转型、建立数字中台的过程中,第一大挑战是业务、其次才是技术。所谓业务挑战,就是从业务视角,把共性的业务模块沉淀到共享业务中台,把个性化的业务剥离出去后形成前台,形成“大中台,小前台”的新格局。
阿里巴巴发展数字中台的核心经验是将原有的共享IT部门必须要找到极强的互联网业务作为抓手,把自己变成核心业务部门,才能够真正转型成为企业的共享业务事业部,而不是某种变形的、换汤不换药的共享IT部门,这也就是阿里共享业务事业部所讲的“业务滋养”的概念。
二、企业为何要布局数据中台?
数据中台的核心价值,在于帮助企业将琐碎的业务数据进行统一的规划、管理、整合,形成符合企业特征的价值实现通道——即企业的“数字资产”。在此过程中,数据中台所瞄准的主要问题是提高企业的数据管治能力、提供数据管理工具、提升数据利用效率。
对于传统企业来说,要把能力中心构建起来,光做一个端还不够,需要把这些端打通。一个“特种兵”没有用处,它真正需要的是把自己的炮火和雷达能力都建立起来。数据中台最终的目标是让“一切业务数据化,一切数据业务化”,将所有的数据汇聚到数据中台来,打通各个业务线的数据流转、数据链路,了解企业数据现状。
在为数据应用提供数据服务的时候,减少数据平台的重复开发,减少数据重复的存储,从而减少企业成本。同时,建立统一的数据存储、数据使用模型中心、能力中心,将相关业务领域的数据做汇聚,解决了数据互联互通的诉求,实现数据价值上的一加一大于二。
以阿里巴巴为例,其数据中台系统由多元数据采集和接入、公共数据中心、统一数据服务三个核心板块构成,成功在新零售、金融、物流、营销、旅游、健康、大文娱、社交等阿里商业生态中,实现了业务数据化和数据业务化,为业务前台和云端双向赋能。
阿里巴巴对外开放的数据中台,2018年曾帮助海底捞旗下的云上捞APP的会员猛涨,更智能的是应用能够对每位用户精准画像,记得住每一位用户的口味和喜好,进而实现个性化、定制化的"千人千锅"服务。公开数据显示,截止目前云上捞注册会员已达到4500万人,较之2018年增长50%。此外,已经享受阿里数据中台服务的还有央视、华硕、大润发等。
阿里旗下的支付宝已经从金融支付工具变成了数字生活开放平台,不仅能购买金融服务、电子支付、借款、还信用卡,还新增了外卖、果蔬商超等便民生活板块。支付宝想做的就一件事,那就是成为人们生活的一部分。要实现这个目标,靠的就是中小企业向数字化经营的转型。
三、企业如何布局数据中台?
从企业应用的角度而言,如何应用数据中台管理业务数据、挖掘数据价值并非易事。数据化中台对企业来说主要有四个过程:
(一)连接
对内,企业需要把前端与前端、前端和后端供应链、制造系统相互打通。对外,对全业务场景中的人与人、人与物、物与物的数据链接进行识别和规划,结合企业特征方向梳理业务数据需求场景。
(二)沉淀核心能力
对分散的业务数据进行统一规划、搜集、存储,建立数据资产目录,为业务数据化管治奠定基础。每个企业实际的竞争能力是不一样的,有些是以产品制胜,有些是以成本制胜。但这些核心能力必须要沉淀下来,才能赋能给新业务。
(三)把数据变成资产
根据阿里讲的“数字化运营”,就是业务数据化,数据资产化。以前连消费者是谁都不知道,这些数据沉淀的非常少。现在的技术已经可以让你做到业务数据化了,但很多企业的数据积累起来之后怎么用?中台解决的就是这个问题,把数据资源利用起来,变成数据资产。搭建数据中台,生产加工、物流运输、财务管控、市场营销、客户管理等各业务线形成快速稳健的数据价值加工通道。
(四)让资产发挥价值
数据变成资产之后,需要找到一个场景把它用起来。举个简单的例子,星巴克是靠什么挣钱?附餐。咖啡本身往往是不挣钱的,只是一个流量生意。但它通过场景化的东西,想办法给你推荐附餐。这就是数据资产场景化的过程。
再比如共享单车,本身也不见得会多挣钱,但收集数据以后,可以通过数据服务挣钱。对于在线下开店的企业来说,就更是如此了。在线下培养一个好的店长是非常难的,但如果你有很多数据,就可以用人工智能来替代店长的很多工作,因为店长不外乎补货和选品。
在未来,数据中台将会是数字化经营的重要依托。通过数据的沉淀和技术手段,为用户提供更优质的服务,数据中台就是基于这个理念而诞生的。通过数据中台,提升企业的效能,持续提高用户的响应力,实现数据化的运营,更好地支持业务发展和创新。
如今,数据中台对很多企业来说,是一个非常有吸引力的数字化解决方案,但企业需要以业务需求来推动数字化进程,而不能一知半解就盲目进行,当企业在明确的业务需求驱动下,搭配完善的数字化解决方案,才能降低转型失败的几率。
什么是产品平台?
中台源于大型数字化企业。经过10多年的发展,且伴随着移动互联网的崛起,企业服务用户已达10亿级别,服务产品多达上百个,涉及信息化系统模块上千个,功能应用更是数不胜数,系统信息化结构错综复杂,牵一发而动全身,造成工作效率逐步降低,服务成本直线上升,而市场竞争变化却日趋激烈,客户需求海量增长,体验要求也在不断提高。为应对市场变化,解决效能低下,“企业中台”概念及“技术中台”应用被快速吸收和采纳。
腾讯、阿里是“中台”概念的提出者和先行者,并在获取成效后开始大肆宣导。一些传统实体企业和中小企业也纷纷效仿,参与到“中台”建设和应用中,可最终却是劳师动众,收获甚微。我认为主要原因是大家没有真正的理解“中台”的概念,真正的中台应该是“产品平台”,通过调整组织架构及协同机制,面向市场和消费者,从后勤保障,到产品研发、生产、交付等环节全面构建“产品平台”,提升服务能力。“产品平台”即产品构建的潜在基础、技术框架、基础架构及各个组件。产品平台能提供共通性,因此在一个产品组合中能实现更高水平的标准化。这种标准化能提供更大的规模经济,并在产品设计和造型中增加灵活性,以迎合不同的细分市场及消费者的需求。
为产品提供标准化能力的是企业,因此我们将企业视为产品平台。企业为应对多变的市场环境和多元化需求,逐步的演化出了前台、中台、后台的组织架构,如图1-1所示,以支撑产品的规模化生产及交付,满足市场和消费者的需求。
以阿里巴巴集团为例,向市场提供阿里巴巴(B2B商城)、淘宝(C2C商城)、天猫(B2C商城)、聚划算(促销商城)、支付宝(金融服务)、菜鸟(物流服务)等上百个产品服务,且各个业务存在较强的关联性,为避免重复建设,缩短研发周期,快速应对市场变化,满足消费者多样化需求,降低经营成本,必须采用“产品平台”来解决产品管理问题。由于阿里巴巴向市场提供的产品主要为技术服务,因此常被称之为“技术中台”,平台架构见图1-2。
“技术中台”架构的结合自身产品特点和需要进行搭建。在马克梅尔和阿尔文·莱纳德的《产品平台的力量》一书中提到:“产品平台必须得到妥善管理,如果一个产品平台无法获得更新,其衍生产品将会被淘汰,因为它在职能及价值上无法满足客户需求。如果一个公司的产品平台能够得到定期更新,重新设计,以融合新职能、组件及材料,那其产品家族将一直保持健壮的生命力。”然后接着说道:“富有生命力的产品平台并不是偶然产生的,它是独特的方法论的结果,是长期设计、发展和战略更新的结果。”
高频交易支付架构并不复杂
支付系统是整个交易系统中相当核心的一部分功能,以我们的交易中台为例,通过领域方式的拆分,支付架构隶属于订单团队,在整个用户下单之后进行支付,支付之后成单进入交易履约流程。
支付系统由于本身和金融相关,不像其他高频系统面对海量请求可以大量使用缓存,异步mq等方式解决三高问题。支付系统对数据一致性要求更高,所以对于其架构设计原则还是有自己特点的。
构建一个支撑每秒十万只读系统并不复杂,无非是通过一致性哈希扩展缓存节点,水平扩展web服务器等。每秒钟数十万数据更新操作,在任何数据库上都是不可能的任务,首先需要对订单表进行分库分表。
在进行数据库操作时,一般会用ID(UID)字段,所以选择以UID进行分库分表。
分库策略我们选择了“二叉树分库”,所谓“二叉树分库”指:在进行数据库扩容时,以2倍数进行扩容。比如:1台扩容2台,2台扩容4台,以此类推。最后把Order库分了8个库中,每个库10个表。
根据uid计算数据库编号:
分库信息 = (uid / 10) % 8 + 1
根据uid计算表编号:
表编号 = uid %10
订单系统的ID必须具有全局唯一的特征,简单的方式是利用数据库的序列,每操作一次就能获得一个全局唯一的自增ID,如果支持每秒10w订单,那每秒至少需要生成10w订单ID,通过数据库自增ID显然无法完成上述请求。所以通过内存计算获取全局唯一的订单ID。
JAVA领域著名的唯一ID应该是UUID了,不过UUID太长且包含字母,不适合做订单ID。
通过反复比较筛选,借鉴Twitter的算法实现全局唯一ID。
三部分组成:
最终订单结构:
分库分表信息 + 时间戳 + 机器号 + 自增序号
还是按照第一部分根据uid计算数据库编号和表编号的算法,当uid=9527时,分库信息=1,分表信息=7,将他们进行组合,两位的分库分表信息即为”17”。
我们通过对order表uid维度的分库分表,实现了order表的超高并发写入与更新,通过uid和订单ID查询订单信息。
上面方案虽然简单,但是保持两个order表机器的数据一致是很麻烦的事情。
两个表集群显然是在不同的数据库集群中,如果写入与更新中引入强一致性的分布式事务,这无疑会大大降低系统效率,增长服务响应时间,这是我们所不能接受的,所以引入了消息队列进行异步数据同步,为了实现数据的最终一致性。
当然消息队列的各种异常会造成数据不一致,所以我们又引入了实时服务监控,实时计算两个集群的数据差异,并进行一致性同步。
所谓数据库高可用指的是:
当数据库由于各种原因出现问题时,能实时或快速的恢复数据库并修补数据。
从整体集群角度看,就像没有出任何问题一样,需要注意的是,这里的恢复数据库服务并不一定是指修复原有数据库,也包括将服务切换到另外备用的数据库。
数据库高可用的主要工作是数据恢复月数据修补,一般我们完成这两项工作的时间长短,作为衡量高可用好坏的标准。
我们认为,数据库运维应该和项目组分开,当数据库出现问题时,应由DBA实现统一恢复,不需要项目组操作服务,这样便于做到自动化,缩短服务恢复时间。
如上图所示,web服务器将不再直接连接从库DB2和DB3,而是连接LVS负载均衡,由LVS连接从库。
这样做的好处是LVS能自动感知从库是否可用,从库DB2宕机后,LVS将不会把读数据请求再发向DB2。
同时DBA需要增减从库节点时,只需独立操作LVS即可,不再需要项目组更新配置文件,重启服务器来配合。
再来看主库高可用结构图:
如上图所示,web服务器将不再直接连接主库DB1,而是连接KeepAlive虚拟出的一个虚拟ip,再将此虚拟ip映射到主库DB1上,同时添加DB_bak从库,实时同步DB1中的数据。
正常情况下web还是在DB1中读写数据,当DB1宕机后,脚本会自动将DB_bak设置成主库,并将虚拟ip映射到DB_bak上,web服务将使用 健康 的DB_bak作为主库进行读写访问。
这样只需几秒的时间,就能完成主数据库服务恢复。
组合上面的结构,得到主从高可用结构图:
数据库高可用还包含数据修补,由于我们在操作核心数据时,都是先记录日志再执行更新,加上实现了近乎实时的快速恢复数据库服务,所以修补的数据量都不大,一个简单的恢复脚本就能快速完成数据修复。
支付系统除了最核心的支付订单表与支付流水表外,还有一些配置信息表和一些用户相关信息表。如果所有的读操作都在数据库上完成,系统性能将大打折扣,所以我们引入了数据分级机制。
我们简单的将支付系统的数据划分成了3级:
使用本地内存缓存有一个数据同步问题,因为配置信息缓存在内存中,而本地内存无法感知到配置信息在数据库的修改,这样会造成数据库中数据和本地内存中数据不一致的问题。
为了解决此问题,我们开发了一个高可用的消息推送平台,当配置信息被修改时,我们可以使用推送平台,给支付系统所有的服务器推送配置文件更新消息,服务器收到消息会自动更新配置信息,并给出成功反馈。
举个简单的例子,我们目前订单的处理能力是平均10万下单每秒,峰值14万下单每秒,如果同一秒钟有100万个下单请求进入支付系统,毫无疑问我们的整个支付系统就会崩溃,后续源源不断的请求会让我们的服务集群根本启动不起来,唯一的办法只能是切断所有流量,重启整个集群,再慢慢导入流量。
我们在对外的web服务器上加一层“粗细管道”,就能很好的解决上面的问题。
请看上面的结构图,http请求在进入web集群前,会先经过一层粗细管道。入口端是粗口,我们设置最大能支持100万请求每秒,多余的请求会被直接抛弃掉。出口端是细口,我们设置给web集群10万请求每秒。
剩余的90万请求会在粗细管道中排队,等待web集群处理完老的请求后,才会有新的请求从管道中出来,给web集群处理。
这样web集群处理的请求数每秒永远不会超过10万,在这个负载下,集群中的各个服务都会高校运转,整个集群也不会因为暴增的请求而停止服务。
如何实现粗细管道?nginx商业版中已经有了支持,相关资料请搜索
nginx max_conns,需要注意的是max_conns是活跃连接数,具体设置除了需要确定最大TPS外,还需确定平均响应时间。
微服务架构图
项目微服务架构图
微服务架构根据目前产品存在的问题,针对快速开发、海量用户、大量数据、低延迟等互联网应用的实际需要,通过对业务架构、系统架构、基础架构、技术架构进行设计,彻底解决系统解耦、性能低下等问题,而且支持云计算部署,可以满足高并发、高可用、高稳定。微服务并没有一个官方的定义,可以理解为一种架构风格 。
大数据管理数据处理过程图
大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察力。大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。随着业务的增长,大量和流程、规则相关的非结构化数据也爆发式增长。大数据处理,大...
产品开发流程图
产品开发流程(Product Development Process)产品开发流程是指企业用于想像、设计和商业化一种产品的步骤或活动的序列。产品开发流程涉及的人员从产品经理到设计师、前端、后端等等一系列人员,这篇文章主要关于产品开发的完整流程,希望对各个工作岗位上的人有借鉴意义。很多产品经理不...
阿里巴巴数据中台全景图
阿里是数据中台概念的首先提出者,其案例更具分析意义。从阿里巴巴数据中台全景图可以看出,阿里的数据中台包括了计算与存储平台、数据资产管理、智能数据研发、统一数据中心中间件(OneService)四大模块,最上层支撑着阿里数据、数据大屏、生意参谋等大数据应用。阿里数据中台架构。数据中台建设理论、方...
Web开发技术架构图
大型web系统架构动态应用,是相对于网站静态内容而言,是指以c/c++、php、Java、perl、.net等服务器端语言开发的网络应用软件,比如论坛、网络相册。1、学习Web开发原理,包括MVC/MTV等Web框架; 2、学习Django Web框架,从技术原理到项目实践; 3、学习Djan...
互联网工作原理拓扑图
互联网工作原理拓扑图模板,计算机网络是由很多台计算机组成的, 要实现网络之间传输数据, 必须要做两件事, 数据传输目的地址和保证数据迅速可靠传输的措施。计算机网络是由许多计算机组成的,要实现网络的计算机之间传输数据,必须要作两件事,数据传输目的地址和保证数据迅速可靠传输的措施。拓扑图用于计算机...
管理业务流程图
业务管理是网路管理中比较重要的部分,涉及的面也比较广泛。在这一管理层,大多数的管理信息直接在GSM系统的各网路单元与GSM网路管理设施之间交换。这些管理信息还包括由AuC管理的安全性数据,由HLR管理的客户数据,由MSC管理的费率和计费数据等。业务管理(Business Management)...
电商知识图谱
知识图谱(Knowledge Graph/Vault,以下简称KG)本质上是语义网络,是一种基于图的数据结构,由节点(Point)和边(Edge)组成。电商就是电子商务的简称,在互联网上销售产品而进行的商业活动,是把现实生活中的商业活动,搬到虚拟的世界当中电商这一特殊领域的知识图谱构建过程中,...
树状网络拓扑图
树型拓扑(tree topology):一种类似于总线拓扑的局域网拓扑。树型网络可以包含分支,每个分支又可包含多个结点。树状拓扑结构是一种分级结构。在树状结构的网络中,任意两个节点之间不产生回路,每条通路都支持双向传输、这种结构的特点是扩充方便、灵活,成本低,易推广,适合于分主次或分等级的层级...
云平台整体架构图
云计算的体系结构由5部分组成,分别为应用层,平台层,资源层,用户访问层和管理层,云计算的本质是通过网络提供服务,所以其体系结构以服务为核心。公认的云架构是划分为基础设施层、平台层和软件服务层三个层次的,对应名称为IaaS,PaaS和SaaS。
电商组织架构及职责?
总负责人:应该就是你
其余分成两个大板块
内容产出与内容发布两个板块
内容产出:文案策划,1人!推广物料,1人!视频输出,1人!这三个人主要负责拍摄剪辑文案编写页面制作软文编辑(就是内容产出)
广告投放1人,负责把制作出来的内容发布到对应内容平台上即可!
这就是最简单的配置!
支付中台架构图的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于数据中台组织架构、支付中台架构图的信息别忘了在本站进行查找喔。