大数据

Big data

善思创兴自主研发为科研服务的大数据技术,结合人工智能算法对实验室数据快速筛选出具有潜在价值的实验数据,可找出影响科研实验的关键因素,提高科研效率,缩短研发周期。利用海量数据对实验设计、实验步骤、实验过程进行优化,提高实验准确性和实验效率。同时利用人工智能算法,科研人员可快速查询并调出对国内外论文、文献、专利等资料,提高跨学科知识获取效率。

技术构架

TECHNICAL ARCHITECTURE

  • Data stream processing framework
    数据流处理框架
  • Data Query and Analysis
    数据查询与分析
  • Data processing framework
    数据处理框架
  • Data storage framework
    数据存储框架

数据流处理框架

数据流处理框架数据流处理框架是一个强大的分布式流处理和批处理框架,支持精确一次的处理保证,可以处理无边界和有边界的数据流,具有高吞吐量、低延迟的特点,适用于实时数据分析、流处理应用和复杂的事件处理场景。

数据查询与分析

数据查询与分析是建立在Hadoop之上的数据仓库工具,它提供了一种类似于SQL的查询语言(HiveQL),用于对存储在HDFS中的数据进行查询和分析。Hive特别适合于对大规模数据进行离线分析和数据挖掘任务。

数据处理框架

数据处理框架是一个快速、通用的大数据处理框架,支持内存计算,能大大提高数据处理的速度。它提供了多种编程接口,比如Scala、Java、Python等,方便开发人员进行数据处理和分析。

数据存储框架

数据存储框架是个分布式文件存储系统,它能够将数据分布在多个节点上,提供容错性和可扩展性,特别适合于存储大量的非结构化和半结构化数据,比如日志文件、图像、视频等

技术应用

TECHNICAL APPLICATION