是什么数据和分析?

数据和分析对现代企业尤其重要，因为它可以改善所有类型的决策(宏观、微观、实时、周期性、战略、战术和操作)的决策结果。与此同时，D&A可以挖掘出新的问题和创新的解决方案，这些问题和机会是商业领袖们甚至没有考虑过的。

进步型组织以多种方式使用数据，并且必须经常依赖于控制边界之外的数据来做出更智能的业务决策。

数据和分析也是数字战略的催化剂以及转换，因为它可以在复杂和快速变化的业务环境中实现更快、更准确和更相关的决策。

决策是由个人(例如，当一个销售前景考虑是否购买一种产品或服务)和组织团队(例如，当决定如何最好地服务客户或公民)做出的。因此，数字战略主要是通过数据提出更智能的问题，以改善这些决策的结果和影响。

数据驱动决策意味着使用数据来研究如何改善决策过程。这就引出了决策模型，包括说明性的生成能够指定采取哪些行动的输出的分析技术。其他分析模型有描述性的，诊断或预测(也看到“什么是核心分析技术?)，这些可以帮助你做出其他类型的决定。

值得注意的是，决定推动行动，但也同样决定什么时候不行动。

进步的组织正在通过创造一个愿景，将数据和分析注入到商业战略和数字化转型中数据驱动的企业，量化和沟通业务结果并促进数据推动的业务变革。(参阅“数据和分析策略的关键要素是什么?”)

现在越来越多的组织使用高级分析来解决业务问题，但是问题的性质和复杂性决定了是否以及如何使用预测分析组件的预测、预测或模拟。(参阅“什么是高级分析?”和“什么是核心分析技术?”)

扩展数字业务尤其使决策复杂化，需要数据科学和更先进的技术的结合。预测和规定性能力的结合使组织能够快速响应不断变化的需求和约束。

以下是将预测和模拟的预测能力与规定性能力相结合的例子:

• 预测手术过程中感染的风险，并结合已定义的规则来推动降低风险的行动
• 预测产品的新订单，结合优化，主动响应整个供应链不断变化的需求，但不依赖可能不完整或“脏”的历史数据
• 模拟基于风险结合优化的客户细分，快速评估多个场景，确定每个场景的最优应对策略

数据和分析的使用方式也不同用于不同类型的决策．要做出更有效的商业决策，高管们就需要知道何时以及为什么要这样做补充最佳的人类决策借助数据分析和人工智能的力量。

对于每个组织来说，定义什么数据和分析对他们意味着什么，以及什么计划(项目)和预算对抓住机会是必要的是很重要的。

关键步骤数据和分析战略规划是:

• 从组织的使命和目标开始
• 确定数据和分析对这些目标的战略影响
• 利用数据和分析目标，优先考虑行动步骤以实现业务目标
• 构建数据和分析战略路线图
• 用一致的和现代的操作模型实现路线图(例如，项目、计划和产品)
• 沟通数据和分析策略及其影响和结果赢得对执行的支持

数据和分析的企业运营模型还必须努力克服执行D&A战略所需的数据生态系统、架构和组织交付方法中的差距。

Gartner的定义数据读写作为在上下文中读取、写入和通信数据的能力。它需要理解数据源和构造、应用的分析方法和技术，以及描述用例应用和结果价值的能力。这听起来像是把每个员工都培训成数据科学家的理由，但事实并非如此。从业务的角度来看，您可以简单地将数据素养概括为一个帮助企业领导人学习如何对周围的数据提出更聪明的问题的程序。

在组织内构建数据素养是一种文化和变革管理挑战，而不是技术挑战。D&A越来越普遍地渗透到所有商业、社区甚至我们的个人生活的方方面面。使用相关语言进行交流的能力——能够理解数据——对组织的成功越来越重要。然而，这种持久的、有意义的改变需要人们学习新的技能和行为。

组织的最佳实践包括将更多的重点、精力和努力放在D&A战略的变更管理部分，利用领导力和变更代理人，解决数据素养(“技能”，也可以表示为“资质”)和文化(“意愿”，也可以表示为“态度”)。数据素养必须从领导者明确立场开始。例如，CIO或首席数据官与财务(通常是商业智能(BI))领导和人力资源组织(开发和培训)一起，可以引入数据素养项目，为他们的同行提供工具，以适应和采用D&A在他们各自的部门。

作为整体数据素养项目的一部分，数据讲故事可以创造积极和有影响力的利益相关者参与。它在数据驱动的故事中运用深思熟虑的技术来构建数据和见解，使利益相关者更容易解释、理解共享的数据并对其采取行动。

数据和分析治理(或者许多组织称之为信息治理)规定了决策权和责任，以确保组织在寻求价值、创建、存储、访问、分析、消费、保留和处置其信息资产时采取适当的行为。将数据和分析治理与整体业务战略联系起来，并将其锚定到组织涉众认为至关重要的数据和分析资产，这一点至关重要。

数据和分析治理包括人员(如执行决策者、决策者和业务D&A专员)、流程(如D&A架构、工程流程和决策流程)和技术(如主数据管理中心)，它们可以在整个企业中提供可信和可靠的关键任务数据。

值得注意的是，虽然治理最初只关注法规遵从性，但现在它正在演变和扩展，以治理最少数量的数据，产生最大的业务影响——换句话说，D&A治理已经发展到适应增加业务价值的进攻能力，以及保护组织的防御能力。

有效的数据和分析治理还必须平衡企业范围的治理和业务领域的治理，但它需要一种标准化的企业方法，该方法已被证明能够充分吸引业务领导人。D&A治理并不存在于真空中;它必须从D&A战略中获得启示。确保通过整合具体的、可衡量的指标(例如，特定细分市场的客户留存百分比和通过生态系统合作伙伴获得的收入百分比)来参考具体的业务成果，这些指标将数据、分析资产和计划与业务和利益相关者的价值联系起来。

数据组曾经是独立于分析团队的，每个实体都有相应的管理，但这些技术以前不同的市场正在以许多不同的方式碰撞。例如，数据管理平台越来越多地纳入分析，特别是ML，以加快其能力。

分析和BI平台正在发展数据科学能力，在D&A治理等案例中，新的平台正在出现。云服务提供商正在创造另一种形式的复杂性，因为它们日益主导所有这些服务所使用的基础设施平台。

跨数据、分析和AI市场的传统平台难以适应不断增长的数据和分析用例，因此组织必须在现有的本地解决方案的高总拥有成本与对增加的资源和新兴功能(如自然语言查询、文本挖掘、半结构化和非结构化数据分析)的需求之间取得平衡。

的数据和分析的未来因此要求组织投资在可组合的、增强的数据管理和分析架构中支持高级分析。现代D&A系统和技术可能包括以下方面。

数据管理系统

• 主数据管理MDM是一种支持技术的业务规程，业务功能和IT共同确保企业官方共享主数据资产的一致性、准确性、管理、治理、语义一致性和可靠性。
• 数据中心专注于实现数据共享和治理。数据的生产者和消费者通过数据中心彼此连接，并应用治理控制和公共模型来实现有效的数据共享。MDM是只关注主数据的数据集线器。数据目录正越来越多地进入治理领域，因此它们也开始成为数据(和分析)中心。
• 数据中心物理上放置服务器(与仓库相反，仓库是存储在服务器或云中的数据结构)，它们的未来取决于工作负载可以转移到云的程度。这些迁移决策必须基于这样做的业务好处。
• 数据仓库提供收集事务性、详细(有时是其他类型)数据的端点。它们支持对具有良好价值的数据进行可预测的分析，即众所周知的、预定义的和可重复的分析，这些分析可跨企业中的许多用户进行扩展。
• 数据的湖泊收集未精炼的数据(以其原始形式，有限的转换和质量保证以及内在的治理)，并允许用户以高度互动的方式探索和分析它。数据湖不会取代数据仓库或其他记录系统;相反，它们通过存储可能具有巨大价值的未精细化数据来补充这些功能。数据湖的最佳位置是纯发现、数据科学和迭代创新的世界。

数据结构

数据结构是一种新兴的数据管理设计，支持增强跨异构数据源的数据集成和共享。数据结构已经成为一种日益流行的设计选择，用于简化组织的数据集成基础设施并创建可伸缩的体系结构。

一旦广泛实现，数据结构可以显著消除手工数据集成任务，并增加(在某些情况下，完全自动化)数据集成设计和交付。然而，数据结构仍然是一个紧急的设计概念，目前没有一个供应商以集成的方式交付所有需要将数据结构缝合在一起的成熟组件。最终，组织必须决定是否使用跨越上述技术的现代化功能(如主动元数据管理)来开发自己的数据结构。

数据结构还由成熟和不成熟的技术组件混合组成，因此随着用例的发展，组织必须谨慎地混合和匹配可组合的技术组件。

云中的D&A

传统的D&A平台面临着处理日益复杂的分析的挑战，而且由于复杂性、资源增加和环境维护，内部解决方案的总拥有成本持续增长。相比之下，云数据和分析通过新的服务、处理数据现代化的简单性和灵活性提供了更多的价值和能力，并需要新的分析类型，如流分析、专门的数据存储和更自助服务友好的工具，以支持端到端部署。

云部署——无论是混合动力，multicloud或云间-必须考虑许多D&A组件，包括数据摄取、数据集成、数据建模、数据优化、数据安全、数据质量、数据治理、管理报告、数据科学和ML。

先进的分析使用复杂的定量方法来产生通过传统的商业智能(BI)方法不太可能发现的见解。它涵盖了预测性、规范性和人工智能技术，如ML。

• 分析和BI代表了开发见解、报告和指示板的基本或传统方式
• 高级分析代表了数据科学和机器学习技术的使用，以支持预测性和规范性模型。

虽然两者对每个组织都有价值，原因不同，但整个市场正在发生变化。这些技术不再专注于传统的、单独的高级分析，而是围绕角色和角色进行组合和组织——从需要自助服务功能的业务角色到希望编程和工程师的高级分析角色。

增强分析指的是使用ML/AI技术来转变分析的见解如何被开发、消费和共享。增强分析包括自然语言处理和对话界面，允许没有高级技能的用户与数据和见解进行交互。

先进的分析技术使行政领导能够以及时和创新的方式提出和回答更复杂和更具挑战性的问题。这为通过利用复杂和聪明的机制来解决问题(解释事件、支持和自动化决策以及采取行动)创建更好的决策奠定了基础。

与传统分析相比，高级分析可以利用不同类型和来源的数据输入，在某些情况下，还可以创建净新数据，因此它需要严格的数据治理策略和所需基础设施和技术的计划。例如，数据湖可以用来管理原始形式的非结构化数据。(参阅“数据和分析技术的未来是什么?”)

高级分析为数据和分析领导者提供了一个日益增长的机会，以加速数据和分析的成熟和使用，以推动更智能的业务决策和改善其组织的结果。评估D&A战略和操作模型的当前和期望的未来状态对于抓住机会至关重要。

数据在每个组织中都被广泛使用，虽然不是所有的数据都用于分析，但没有数据就无法进行分析。跨数据所需的技术、所有用例以及对数据的分析存在广泛的范围，这有助于解释组织和供应商对术语的不同使用。”数据和分析”(或“数据分析”)。

提到“数据”意味着或应该意味着在业务应用程序和系统(例如核心银行、企业资源规划和客户服务)中对该数据的操作使用。“分析”(或者一些人称之为“数据分析”)指的是经常发生在下游的数据分析用例，比如在事务发生之后。

如前所述，分析包括四种技术:

描述性分析

这将使用商业智能(BI)工具、数据可视化和仪表板来回答，发生了什么?或者发生了什么?例如，采购可以回答这样的问题，上个季度我们在商品X上花了多少钱?谁是我们Y商品的最大供应商?

诊断分析

这需要更多的深入挖掘和数据挖掘能力来回答，为什么X会发生?例如，销售主管可以使用诊断来确定哪些卖家的行为正在按计划完成销售配额。

预测分析

预测分析通常处理的是概率，可以用于随着时间的推移预测一系列结果(即预测)或强调与多种可能结果相关的不确定性(即模拟)。它告诉我们会发生什么，解决的问题是，可能会发生什么?然而，它并没有回答其他问题，例如，应该对此做些什么?

预测分析依赖于预测建模、回归分析、预测、多元统计、模式匹配等技术机器学习(毫升)。

规范的分析

规范性分析旨在计算实现或影响结果的最佳方法——旨在推动行动。当与预测分析相结合时，说明性分析自然地利用并扩展了预测洞察力，解决了“应该做什么”的问题。或者我们能做些什么来实现一个既定的结果?

规范性分析包括这两者基于规则的方法(以结构化的方式合并已知知识)和优化技术(传统上由运筹学小组使用)在约束中寻找最佳结果，以生成可执行的行动计划。规范性分析依赖于图分析、模拟、复杂事件处理和推荐引擎等技术。(参阅“什么是高级分析?”)

结合预测和规定性功能通常是解决业务问题和推动更明智决策的关键第一步。理解不同类型分析的潜在用例对于确定组织真正需要的角色和能力、基础设施和技术是至关重要的数据驱动的,特别是随着四种核心分析类型与人工智能(AI)增强融合在一起。

术语“大数据，几十年来一直被用来描述具有高容量、高速度和高变化以及其他极端条件的数据。然而，对企业来说，大数据时代的缩影是风险和机遇——特别是数据流量的爆炸(尤其是随着互联网使用和计算能力的发展)提供了丰富的洞察力来改善决策，但也给企业如何存储、管理和分析大数据带来了挑战。

大多数组织已经找到了派生的方法商业智能从大数据，但许多人很难大规模地管理和分析多样化和广泛的内容集(包括音频、视频和图像资产)——特别是随着数据源的增长和变化，对洞察力的需求日益受到高级分析的驱动。

进步的组织不再区分从非大数据和大数据中管理、治理和获得洞察力的努力;如今，一切都是数据。相反，他们正在积极地寻求利用新类型的数据和分析——并在不同数据的组合中找到关系，以改善他们的业务决策、流程和结果。

合成数据例如，通过对真实世界的数据生成抽样技术，或者通过创建模拟场景(其中模型和流程相互作用，以创建完全新的数据，而不是直接从真实世界中获取)来利用。这对于构建在数据集上的ML最有帮助，这些数据集不包括业务用户知道可能出现的异常情况，即使是远程的。这些数据仍然需要帮助训练这些ML模型。

全球大流行和其他业务中断也加速了在广泛的用例中使用更多类型数据的需求(特别是在历史大数据作为未来决策基础的相关性已被证明较低的情况下)。对数据来源的担忧，数据质量，偏见和隐私保护也影响了大数据的收集，因此，被称为“小的数据”和“广泛的数据”出现的地方。

广泛的数据方法使各种小型和大型数据源能够进行数据分析和协同工作，这两种数据源都是高度组织和大量量化的(结构化)数据和定性(非结构化)数据。小数据方法使用一系列分析技术来产生有用的见解，但它使用的数据较少。

在Gartner，我们现在使用这个术语X-analytics把小数据、广数据和大数据——其实是各种数据——统称为我们预计到2025年，70%的组织将被迫将重点从大数据转移到小数据和广泛数据，以更有效地利用可用数据，或通过减少所需的量，或从非结构化的、多样化的数据源提取更多的价值。(参阅“什么是高级分析?”)

这一预测和其他对数据分析发展的预测为增强D&A愿景和交付提供了重要的战略规划假设。