面向大数据和人工智能 聚云位智开创决策型数据库时代

近日，北京聚云位智信息科技有限公司全球首发了新版本数据库产品Linkoop DB，该产品面向大数据和人工智能，采用自主研发技术突破了一系列限制，在兼容传统数据库功能的前提下，为人工智能应用提供了更简便的支撑和更强大的计算。

聚云将这款数据库产品命名为“决策型数据库系统”，该数据库系统具备如下特点：

1.自主研发。聚云未使用MYSQL或者PostgreSQL等现存数据库内核，完全参照基础数据库理论和大量行业积累而设计实现，因而从根本上避免了“外国人设计、中国人实现”做法带来的深层次存储与计算能力的限制。

2. Linkoop DB采用MPP理念设计，可以做到无上限线性扩展。Linkoop DB是分析型数据库系统的演进结果 ，属于关系型数据库。

3. Linkoop DB充分考虑了复杂的、迭代类AI计算与流计算的支持。并由此目标出发，重新设计实现了数据库内核中的存储引擎、计算引擎和优化策略。

数据库技术的发展历史大体分成两条主线，事务型数据库系统(Transactional Database)和分析型数据库系统(Analytical Database)。 事务型数据库系统是OLTP(on-line transaction processing)业务系统的核心支撑软件，主要针对日常交易的增删改查。事务型数据库系统的主要供应商是Oracle和IBM。分析型数据库系统是OLAP(On-Line Analytical Processing)业务系统的核心支撑软件，主要针对数据统计、分析和决策支持，是企业数据仓库(EDW，Enterprise Data Warehouse)的核心构成软件。分析型数据库系统的主要供应商是Teradata，Oracle和IBM，以及其他一些规模中小的数据库系统。

然而，随着业务需求在扩展性、实时性和决策性等方面的快速发展，以传统分析型数据库为核心的决策支持系统已经不能满足当前和未来的发展需要。因此，一个满足当下和未来数据处理需求的新型数据库系统，就成为了解决问题的关键。即，如何紧紧围绕海量数据处理、性能优化、实时处理和人工智能场景等方面的大数据核心需求的解决，是评判一家大数据公司是否在正确方向发展的合理准则。

聚云在今年4月份获得Pre-A融资后，在既有技术基础上补充了一大批核心技术人员，并继续突破传统数据库技术，引领处理技术的迭代演进。

海量数据处理不仅需要解决数据存储的问题，更重要的是解决数据访问的问题，也就是说让计算模块能够用最快的方式拿到数据输入。因此数据的更新、插入、过滤和索引至少是和存储扩展性一样重要的能力。基于开源Hadoop体系演进而来的SQL-on-Hadoop系统很多碰到了这方面的技术瓶颈。解决的办法是需要全新的、可扩展的存储引擎，这是考验相关公司技术能力的重要指标。

性能优化是试图找到最理想任务执行策略的技术，不同的执行策略消耗的资源可能有巨大差别。优化器的设计与实现一直是数据库领域的核心技术，在当前大数据时代也是如此。由大数据和人工智能带来的巨大需求发展同时也对优化器的发展提出了更高要求。解决的思路是以准确的方式刻画多种不同任务类型(批处理、流处理和机器学习等)的执行代价，从而选择代价最优的方案执行任务。

实时数据处理是需求发展的必然要求，它主要解决两个场景：一是避免数据采集端形成数据积压；二是解决实时得到计算响应的业务需求。现实应用场景中实时和批量经常是相互关联的，因此需要统一的操作方式来避免以多平台的方式管理数据和计算逻辑。

人工智能是场景化的应用，当前主要难度在于问题的理解、寻找问题的合适刻画方式以及试探性的调整算法以及参数的过程耗时耗力。多数人工智能公司依靠领域专家和数据专家配合的方式来解决问题，然而，领域专家和数据专家都是稀缺资源，也难于培养，从而导致人工智能成为了贵族应用，不好落地。解决的办法是自动化，包括特征选择、模型选择、模型训练、模型评估以及模型发布的局部自动化和整体自动化。如此才能降低AI的落地门槛，成为大面积可落地的生产力。

聚云决策型数据库Linkoop DB采用自研存储系统完成海量数据的线性扩展存储，并同时保持高性能的数据存取。在性能优化方面，聚云拥有独创的“增量式查询优化技术”，保障海量数据计算的最佳性能。在算法模型方面，聚云自研了多因素关联、多目标优化和多系统协同等场景化的人工智能模型，采用突破性技术使特征选择和模型评估自动化，并采用SQL统一驱动的方式，让业务决策与数据访问无缝结合。聚云还深度改造了开源实时计算框架使之与SQL、规则、人工智能模型高度融合，从而在扩大解决问题领域的同时显著提高了系统计算能力。截至目前，聚云Linkoop DB已经在金融、电信、制造、教育等领域得到了广泛应用与验证。