免费赠书（公益赠书15元包邮费骗）

免费赠书(公益赠书15元包邮骗)原创凌志云科技2021-05-20 11:44:23

数据中心提供的三大服务应包括避免重复造轮的创新方法、重复利用资源、从整个企业的角度提供全局数据能力以及为数据用户提供更精细的粒度。那么你的公司会不会遇到重复造轮子的数据能力，不重用资源，老板站在整个企业的角度看不到全局？如果遇到其中一种，必然会陷入重复工作和拼命加班的窘境。所以，今天小智要给你推荐的这本书，大有用武之地。给你老板一份，让数据赋能企业发展，从而带你脱离苦海！

2.4数据中心如何为企业提供支持？

虽然我们现在对数据中心的概念并不陌生，但是很多管理者和开发者对数据中心的工作原理只有一个模糊的概念。在本节中，我们将从互联网公司的角度，来看看数据中心是如何为各个部门赋能的。

云原生数据中心:架构、方法和实践

由原Twitter大数据平台总工程师撰写，融合硅谷和国内经验，全面阐述了云原生数据的中间平台架构、选型、方法论和实现路径。国内外专家共同推荐。

2.4.1组织结构

很多企业羡慕阿里巴巴、字节跳动等企业的全球数据能力和快速迭代能力，但发现他们现有的架构无法满足建立全球数据能力的要求。随着粗放式管理成为过去，人口红利逐渐消退，堆栈效应造成部门围墙和数据孤岛，数据维护成本增加和数据价值发现难度增加，企业数字化运营压力加大。

在阿里巴巴的模式下，业务部门必须使用数据中心团队提供的数据能力。图2-2显示了阿里的技术中台、数据中台、业务中台与各业务板块的关系。根据这张图，我们可以想象一下，如果中台出现问题，不能及时解决，那么业务部门的运营将会受到很大的影响。那么，为什么业务部门要冒险尝试数据中心这样的新架构呢？没有马云的全力支持，阿里巴巴的业务部门很难冒着业务受影响的风险尝试这种新架构。而且，不是所有公司的技术团队都像阿里巴巴那么强，也不是所有公司都像阿里巴巴那么强要求业务部门无条件配合。这就提出了一个问题。对于一般企业，应该如何构建类似于数据中心的能力？

图2-2阿里巴巴数据能力共享示意图

事实上，数据复用的这些能力不一定由专门的数据复用部门抽象和提供，也可以由业务部门提供。比如Twitter，用户分析部门做用户画像，反欺诈团队做API识别机器人和恶意账号。完成后，它共享接口，其他部门也可以使用。所以没必要像阿里巴巴一样重组组织，成立专门的中台团队，把一些通用的能力分配给这个团队进行管理。但是，如果企业想要建设一个符合自身需求的数据中心，就需要根据企业的组织架构来规划数据中心。因为数据中心的目标是实现高效的数字化运营，让企业中的大部分员工都可以用数据来支撑日常工作，所以了解这些组织架构中数据中心的运营模式，选择最适合自己的组织架构，将会对企业规划数据中心的建设非常有帮助。但需要强调的是，这种自下而上的抽象和共享是常见的，但不是万能的，必须有相应的工具和流程支持。

下面，我们以一家一般的互联网企业为例，来说明数据中心如何赋能各个部门。

一般来说，在一家互联网公司，我们会看到以下部门设置。

决策部门

首席执行官、首席运营官、首席财务官、首席技术官、首席信息官等。

业务部门/部门

部门:产品决策和设计

部门:产品运营、会员运营、用户增长等。

销售部门:销售、客户服务

部门:渠道、推广、商务合作

财务部:预结算和资金管理

研发部门

IT部门:内部IT和产品运维。

产品R&D:架构、开发、测试

大数据部:提供数据能力支持

我们来看看企业的各个部门是如何利用数据中心能力来提高工作效率，达到更好的效果的。

2.4.2决策部门

在数字化企业中，数据对于决策层的重要性不言而喻，CDO(首席数据官)和CDS(首席数据科学家)的职位越来越常见就是明证。2015年，美国政府任命来自LinkedIn的数据科学家DJ Patil担任白宫的CDS，希望他在互联网公司的数据经验能够帮助政府和其他行业做出更科学的决策。对于一个企业的管理和决策层面，数据中心可以赋予其五种能力。

(1)快速智能的业务决策支持

数据中心可以为管理决策层提供全局、多维度的报告，反映各业务线的情况，比如告诉管理决策层哪个广告渠道带来的转化率最高，快速提供可视化报告等。除了传统的业务报告，数据中心还可以使用全球数据集成功能来提供超越传统数据仓库的智能和全球业务洞察。比如，数据中心整合用户行为、销售管理、供应链数据后，可以提供类似于“某区域供应链问题导致用户活跃度明显下降”的自动报警功能，这在传统的业务报表中很难提前定义或自动发现。再比如，企业决策部门往往需要判断现有系统是否能支持一个产品，支持的速度有多快。这个时候，数据中心提供的数据能力全景就非常关键了。

(2)精细化运营管理

实现各产品线的数字化运营标准，对全公司进行高效的数字化运营。比如每个产品都要有量化的运营指标，都要进行A/B测试。运行数据自动分析和报警；形成完善的数据标准和数据应用资产体系，打通各业务线数据，实现数据价值最大化，在重要决策时快速获得数据支持。

(3)产品线的快速迭代

在数据中心的支持下，新产品可以利用现有的数据能力快速上线，利用现有的数据积累加快推广实施的进程，比如实现各产品线、各部门之间的协同和市场拓展，快速满足市场需求。例如，产品经理在设计新产品时，需要判断目标用户与现有用户的重合度及其在目标区域的分布，以决定产品的推广方式。同时上线前需要进行A/B测试，上线后必须立即获得性能反馈。而且，最好充分利用现有工具，快速实现这些功能。这些都需要通过数据中心，通过不同部门之间的数据协调，前端和后端的数据来实现。

(4)内部数据能力的共享和重用

解决重复造轮子的问题。通过数据中心，管理决策层可以清楚地看到公司目前拥有哪些数据资产，哪些业务已经拥有数据、应用和接口，如何提高某条业务线的运营效率，需要收集、处理和分析哪些数据。同时也可以避免重复建轮，及时发现冗余或无用的数据。比如双12需要对中年用户进行营销活动时，可以复用双11开发的服务对年轻人进行营销活动，只需微调无需二次开发即可快速上线。但需要注意的是，在强调内部数据能力共享重用的同时，也要注意各部门快速独立迭代与整体统一规划之间的矛盾。

(5)完善的投资回报管理

大数据项目通常需要大量的资源，所以我们经常会看到费用巨大，部门和项目分配不明确的情况。为了最合理地利用资源，保证核心业务的性能，我们需要数据中心对每个数据应用进行准确的ROI规划和管理。

以上功能会随着数字化运营的不断完善而完善，但企业管理决策层对这些能力的重视和理解，绝对是数据中心项目的一个核心驱动力，这也是为什么我们说数据中心项目是“一把手”项目。

公司管理层一般以什么形式使用这些能力？宏观上，当决策层需要做有数据支撑的决策时，会有很多关于市场、产品、用户、人员、资源的量化问题。这些问题应该由数据中心快速、准确、全面地回答。一位CEO曾经向我们解释过他的公司为什么需要建设一个数据中心:“每次需要实现一个业务功能，我们的IT部门可以在一两周内做出响应；但每次我遇到数据问题，他们都要花四到五周时间给我解决方案。这时候我才意识到，应该有一个系统的数据解决方案。”

在具体形式上，通常有一个数据分析师(团队)专门负责决策层。决策层的所有问题都由这个数据分析师转化分解成具体业务指标的查询，将各个业务部门的数据指标汇总整理，再以管理层最能理解的形式呈现出来。该数据分析师的角色有时由CDO或CDS承担。这是因为只有对公司的全球业务和具体的数据模型有深刻的理解，才能保证数据及其结果的准确性。总的来说，如果在对决策层问题进行转化分解时，发现有些问题很难回答，这其实就是发现了现有数据系统的缺点和不足。这时候就需要CDO或者CDS来改进和完善公司的数字化运营机制。

在工具方面，管理层有时会使用一般的数据工具，更多的时候，数据平台团队会定制可视化广告牌、实时/定时报告以及一些有核心指标的工具。比如Ask.com早期用大数据平台替代传统BI的时候，首先实现的就是每天早上的定期报告(包括CEO最关心的一些一般运营指标和重要市场活动的每日更新)，每周一的市场收入周报(根据可配置的多维度分析)和用户画像报告，以及一些重要市场活动的实时数据分析广告牌(管理层可以随时查看)。一般来说，这个级别的工具很难有通用的产品。它们的表格和数据使用都是高度个性化的，会随着市场的变化而变化。因此，最好有一个专门的团队来支持管理层的数据需求。然而，一个好的底层架构可以使这种定制开发过程更快，更好地支持数据的准确性、实时性和可解释性。

2.4.3业务部

data desk可以为业务部门和IT R&D部门提供的主要功能可以根据产品的生命周期进行划分。产品生命周期理论是由哈佛大学教授雷蒙德·弗农于1966年在其文章《产品生命周期中的国际投资与国际贸易》中首次提出的。产品生命周期就是一个产品的市场寿命，即从进入市场到被市场淘汰的全过程。产品一般会经历几个阶段:发展期、导入期、成长期、成熟期、衰退期。

以互联网产品为例。对于一个具体的产品，其生命周期基本可以分为前期研究→项目立项→需求研发→开发→测试→发布→运营。对于一个公司来说，它必须快速响应变化，这就要求它对产品生命周期有更细致的控制。但在全数字化的运营环境下，产品的迭代周期会越来越短，传统的瀑布式开发流程在很多地方已经被抛弃，快速开发和敏捷迭代逐渐成为主流。这时候数据中心就要承担决策的重担了。

对于业务部门来说，他们对数据中心的需求贯穿整个产品生命周期。数据桌面可以为业务部门带来以下能力。

获得市场洞察力:通过分析现有用户和市场数据，了解市场和用户。

预测产品的市场:在将产品全面推向市场之前，了解市场可能的反馈。

监控产品性能:产品上线后，快速了解产品运行的各项指标。

跟踪用户行为和反馈。

自动检测市场异常并快速响应。

以上大部分功能都涉及到数据的全面持续集成，这些功能都是以自助工具的形式提供给各个业务单元。比如我们可以总结用户在所有产品中的行为，生成全面的用户画像，根据用户画像给用户贴标签。然后，运营商可以利用标签系统定位特定的用户群体，针对这个群体采取相应的营销手段，比如发送促销邮件或者通知等。

实际场景:产品决策。

在Twitter产品迭代的过程中，数据平台起着核心作用。从产品想法的产生，这个想法的初步验证，到一个可观察的概念证明(POC)的实现，产品的推出，产品性能的持续跟踪，业务部门都离不开数据平台提供的功能。一个新产品的创意可能有很多来源，比如对竞品和用户行为数据的分析，用户的反馈或者产品经理的启发。有了想法之后，产品经理要做的第一件事就是量化这个产品可能产生的影响。例如，一位产品经理想要对电影推文进行IMDb集成，以便为对电影感兴趣的用户提供更好的体验。产品经理在开发这个产品之前，可以先看产品推荐部门在数据平台上做的用户画像，看看有多少用户可能对电影感兴趣，然后再看广告部提供的数据，看看这些用户点击广告的可能性有多大，最后再看用户增长部提供的数据中，最近喜欢电影的用户数量的增减情况。有了这些数据，产品经理就能快速判断这个产品是否能给公司带来显著的用户或收入增长，而不是拍着脑袋决定要不要开发这个产品；也可以对投入的人力物力有个大概的估计，让公司在立项的时候有个更好的决策依据。

然而，并不是每个业务单元所需的所有数据功能都可以由数据中心立即提供。此时，业务部门可以自主开发和测试自己需要的功能，只要满足数据中心要求的数据标准即可。这些功能会在数据能力全景图中呈现，其他部门可以直接使用。例如，数据分析中的一个常见功能是从某些固定的IP段中过滤出请求，因为这些IP段一般由机器人、合作伙伴或内部使用。维护这个网段的工作往往从反诈骗部门开始。在诈骗部门完成这个网段列表和相应的数据服务API后，其他业务部门的数据分析或数据应用也可以使用，因此不需要为他们的应用重新开发和维护这个功能。更重要的是，通常所有部门都必须使用统一的数据功能。比如上面提到的过滤网段功能，必须是全球统一的，否则统计口径就不一样。

2.4.4 R&D部门

产品R&D部门希望专注于业务逻辑的开发，而不考虑数据处理的细节。因此，数据中心应该具有类似于DaaS(数据即服务)平台的功能:

随时可以获得所有需要的数据，保证数据的可用性和正确性；

要有便捷的数据处理流程和一套标准，可以方便数据处理；

要有数据服务。有价值的数据提取出来后，可以通过数据服务开放共享使用；

有数据应用，能够轻松进行A/B测试，放大屏幕，监控数据等。

在开发业务应用时，R&D部门一般有更多的数据需求，即数据建模和业务逻辑恢复。他们会考虑产品上线后的数据分析需求，在开发时加入相应的数据埋点、数据记录和日志条目。然而，R&D部门不需要担心这些记录的数据是如何收集、存储和汇总的，这些应该由数据中心自动处理。

如果R&D部门的数据记录机制满足数据中心的要求，数据中心可以提供自动或半自动的数据汇总、测试和监控功能。当然，这需要一些内部框架的帮助。例如，在Twitter的内部数据平台中，如果业务部门的数据以标准的方式记录，那么这些数据可以自动连接到一个A/B测试框架中。系统上线后，数据中心可以自动进行A/B测试，生成报告，生成标准的监控画面。

具体形式上，一般大数据平台部门要提供一个类似于“数据驱动应用开发标准和SDK”的文档和一个类似于“数据驱动应用工作台”的Web工具。业务部门按照这个开发标准设计记录数据的建模，然后按照SDK中的接口整理数据记录。一般是将数据按照指定的格式写入指定的端口或文件，后台的大数据管道会根据协议自动采集、汇总、分析这些数据，生成预制的报表。R&D部门可以在“数据驱动应用工作台”上查看数据情况和具体报告。如果有特殊或定制的需求，它还可以使用相关的工具进行自助即席分析。

2.4.5大数据部门

在数据中心的建设中，大数据部门处于核心地位。但大数据部门的工作，除了搭建大数据基础能力的平台外，还应注重全局数据能力的统一管理和赋能。

传统大数据团队的主要任务一般如下:

安装运营Hadoop、Hive、Spark、Kafka等大数据基础架构组件；

为ETL工具提供运维支持，有时会帮助业务部门编写一些查询，优化一些查询；

提供大数据平台集群用户的管理，权限的分配，数据的管理和备份等。

负责大数据系统的运维、扩容、升级，帮助业务部门解决系统问题。

在数据中心的运营中，除了上述工作，大数据部门还需要

建立数据标准并确保其实施；

提供自助数据工具，供各业务部门使用；

支持业务系统的数据处理框架、测试框架、数据分析框架的开发，避免各业务IT部门的重复开发；

确保所有业务单元能够在数据平台上发布和共享其公共数据能力；

提供数据应用发布、运维、更新的全生命周期管理；

细化整个大数据平台的运营，确保每个数据应用的ROI都得到跟踪。

这些工作提高了大数据团队的技能要求，数据与业务的结合是全方位的，对数据平台的可扩展性、稳定性、实时性和可用性有更高的要求，这也是本书的重点。

企业之所以决定建设数据中心，一般是因为业务部门需要这些能力，而现有的数据系统无法提供快速高效的支持。因此，我们应该在数据中心建设之初就明确需要提供的业务能力和应用场景，从而达到有针对性的目标，正确衡量数据中心建设的效果。

以上内容摘自《云原生数据中心:架构、方法论、实践》部分章节。

学习机会来了，请点击链接购买。

http://product.dangdang.com/29238920.html

图书福利

如果你对这本书感兴趣，请写下你的疑惑、看法等。在留言区围绕“数据中心”或“大数据技术”相关话题，评论前3名即可免费获得一本书。消息截至5月26日18: 00。