柏睿数据可以说是国内分析型数据库的代表吗?

关键词: 陈伟,刘杨国,甘肃,舆情监测平台,柏睿数据

人工智能将对政务工作带来哪些影响?大数据人工智能或将成为政府部门乃至各行业的谋士?日前,由甘肃统计局主办的“甘肃省社情民意互联网大数据分析平台”的项目研讨会上,甘肃省统计局运用柏睿数据的国际标准流数据库技术承建的“甘肃省社情民意互联网大数据分析平台”就以流数据库技术与人工智能完美地抓取民意,提交民生调查的答卷。业内人士认为,由于流数据库技术乃是30年来中国在核心软件领域首度打破国际天花板,登上话语权高峰的技术,甘肃省统计局的这套系统也就因此有着引领世界该项技术应用前沿的重要特征。但从传统人工记载到数据智能识别,甘肃省社情民意互联网大数据分析平台究竟怎样具备了先进技术应用优势?记者特别采访了原工信部信息软件司司长陈伟、柏睿数据公司副总裁刘杨国二位专家。

一、如何评价甘肃省社情民意舆情监测平台成功运行的技术因素?

陈伟:大数据成为信息化主旋律,数据治理恰好成了当前信息化推广应用的重点、难点和关键点。数据治理能力的地位也凸显出来,它将成为治国理政能力的重要组成部分。而拥有实时、海量、动态,高并发的数据处理技术体系,是评判数据公司的标准,柏睿数据公司对数据库技术的了解、掌握、研发、突破,确确实实在当今全球数据库技术领域独树一帜。不仅能够代表中国在国际上一举打败数据领域寡头企业甲骨文、SAP夺得国际标准话语权,而且在性能上也远超甲骨文、SAP。

二、为什么社情民意舆情监测能够迅速成功运用最先进的数据库技术?

刘杨国:互联网和大数据时代,用大数据平台分析社情民意的数据,有两大优势:1实时响应。我们可以让省委省政府的需求实时获得响应和回复。2.数据抓取、分析和预警全部自动化。这极大的缩短报告产出时间,减少人力投入,现在我们的周报月报都是自动生成的,日报每天自动生成一份,发给指定的人员。人工智能的使用让整个平台更加智能化,抓取的维度更加精准化。

三、在大数据时代需要更专业的解决方案,但什么是更专业的解决方案?

刘杨国:需要具备四个特性:1.及时性。在舆情发生一小时内就对数据进行预警。2.完整性。对于微博、微信公众号、各大论坛、APP、新闻、贴吧和各种各样的论坛,抓取所有的可见媒体才能保证不遗漏数据。3.针对性。对于不同的舆情需要采取不同的方案,并对它进行分析处理反应,及时了解普通民众对它的观众点是什么?针对普通民众的关注点对它进行应对措施。4.可追溯性。找寻新闻的来源是什么,通过谁来传播的,及时纠正不良新闻资讯。

四、该方案技术创新点在哪?

刘杨国:该系统中关键有七大技术创新点:

一、运用多种人工智能技术;二、人工智能进行全网的弹性数据抓取; 三、根据客户自由指定的信息提取方式,把所有的非结构化的数据变成我们指定的结构化设置。比如我们提取用户名、阅读数、粉丝数、评论内容等;四、设立模拟系统,自动模拟我们的网站的登录,鼠标点击、输入验证码,模拟手机登录游览器;五、在APP大量盛行的时代,我们现在有一个APP破解内容,可以有效地抓取APP移动的数据。我们有专业的四层逻辑语义分析能力;六、应用的创新技术,利用物理层、应用层和逻辑层三重安全保障。例如物理层设有防火墙和服务器的机制,包括应用层的网络访问限制,还有逻辑层的多重备份,包括镜像和副本来确保整个数据的安全可靠;七、大数据可视化的应用。 柏睿数据是一家专注于大数据的实时分析处理的大数据产品和服务、整体解决方案的提供商,是流数据库国际标准制定者,具有完全拥有自主知识产权的核心技术,可以进行全内存、高并发、实时保证数据的抓取和存储达到多重备份,并且实时调用分析,确保抓取更具全面性和及时性。

陈伟:国家统计局王海峰副主任在会上用“震撼”两个字来形容甘肃省社情民意互联网大数据分析平台,我认为是比较恰当地表达了他的真实感受和客观评价。工信部的数据:我国互联网网民数达到7.2亿,按我国人口总数可以看出这个比例。移动电话用户数达到13.8亿,其中4G用户一定是宽带和智能化的达到了9.3亿,这个数据一出来就可以看到,为什么互联网大数据分析管用?因为绝大多数的社会成员都已经应用网络来进行自己的许多活动,网络已经能够比较准确地、真实地、全面地反映人们的现实生活状态。

这次来甘肃看到,该省的互联网舆情分析平台,实际是柏睿数据公司开发的流数据库技术的一个典型应用。甘肃省统计局以其独到的视角,超前的决策,看重这个拥有自主核心技术的创新型发展中公司的技术,做出了这样一个大平台,确实独具慧眼。从技术维度和创新应用的维度可以看到,该项技术是原创的、先进的。它先进在什么地方?全内存,这是它的第一个概念。oracle也试图做出这样的技术,但他们恐怕需要等到10年以后了,因为他们技术的DNA不对,做的是结构化的处理。 海量就不用说了,oracle处理量单一数据库1P,再往上走就难了,这也是DNA决定的。实时性和高并发方面,柏睿数据的并发能够为深交所做300个并发,oracle只能做30个并发,而且是最近半年从20增长到30,一个节点叫一个并发,节点背后是每秒60万次点击的交易,所以可以算到它的量,所以叫做全内存海量及时高并发,是这个数据库技术的最重要特征,因此它能够把数据的处理从批处理变成流处理方式,也就是随来随到随处理,就像水流一样的处理方式,这是它实现实时性的一个关键技术点。

五、怎样看该项技术应用最新发展?

刘杨国:首先,甘肃社情民意互联网分析平台将在工程第一期针对民声、民调分析的基础上,加强平台升级,着力针对旅游、环保、教育、医疗卫生、交通、住房、扶贫、食品安全8个行业进行分类抓取,形成专报;其次,统计甘肃省内所有上市企业,分析其对本省经济发展影响;第三,针对八大行业建设人才专家储备库;第四,移动端展示,建设专用微信公众号;第五,促使本平台更加精准化、专业化的为甘肃省委、省政府提供强有力的决策支持。同时柏睿数据最新技术库内人工智能技术也将加入到应用中去。

}

案例|柏睿数据库RapidsDB在某国家级健康医疗大数据中心之落地实践

在数字化转型大潮下,打通政府、医疗机构、制药公司、医保机构、商保公司之间的数据孤岛,盘活数据实现价值变现,不仅对地方政府的公共卫生把控工作有着现实意义,也一直是业界长期以来探索的重点领域。

某医疗大数据中心是通过国家卫健委试点评估,并由部委、省、市共建签约的国家级健康医疗大数据中心,围绕健康医疗大数据领域开展数据汇聚、治理、开放、应用,业务覆盖 “健康医疗大数据”、“智慧健康医疗”、“健康医疗产业园”等板块,开展医疗大数据基础设施、平台和应用的建设运营,提供公共卫生、保险创新、精准医疗、互联网医院、医药研发、健康管理、医学教育等多种数据服务。

为了保证政府对于省、市的卫生政策能够安全、顺利的实施,该医疗大数据平台建设构建了“一湖三台”的核心技术体系架构,即健康医疗大数据湖、数据中台、业务中台和开放平台,汇集人口学、生理学、生物学、环境学等方面数据,建立标准化、全方位、多维度个人生命体征和健康信息库;制定分类、分级、分域健康医疗大数据开放应用政策规范,实现跨部门、跨层级、跨区域、跨领域的数据共享共用新格局;率先实现政府数据与社会、行业、企业及互联网数据的开放融合,有效支撑健康医疗大数据汇聚、治理、存储、开放、应用等。

在技术支撑平台上,当前医疗大数据平台使用了Hadoop和MySQL作为数据存储,以Hive作为离线数据查询、ClickHouse作为实时数据查询作为应用分析的支撑技术引擎。

在实际应用过程中,这套系统组合【MySQL+Hadoop+Hive+ClickHouse】在支撑目前20亿行数据、1TB数据存储、数据治理和数据探查等业务需求,但在复杂数据分析的性能和灵活性方面遇到了瓶颈。

业务发起的灵活查询的需求以及即席交互查询越来越多,而且探索查询的SQL也越来越复杂,这对数据库底层的技术要求特别高。医疗数据中心在可预见的未来将会按需创建更多的数据主题库,这些后添加的数据库和主题数量将会逐渐使ClickHouse实时查询变得越来越慢,但其通过建立宽表优化系统查询性能的机制也明显不利于医疗大数据未来所面对的场景。

另外,考虑到随着中心业务的不断发展、数据源的不断增多,在未来1年内,数据量将达到数百亿行数据、40-50TB的量级,现有大数据平台的技术肯定不足以支撑未来的业务发展。医疗大数据中心需要尝试一个更为理想的解决方案。

在探索新的解决方案时,医疗数据中心在考量了扩展能力、查询性能以及高可用性等方面后,邀请了柏睿数据的分布式全内存数据库RapidsDB进行现场测试。

因为内存数据处理是当前解决性能问题的热门方向,而采取分布式和内存计算来解决并优化数据库的分析性能正是RapidsDB的主打方向。

医疗数据中心历时一个月做了性能和高可用性的严格测试和验证,并在部署、集群、资源占用、内存利用率、存储模型、性能、兼容、OLAP特性、异构数据支持、大数据支持等方面比对评测了国内外同类数据库产品。测试结果如下:

  1. 用例1-7为数据探查用例脚本,用例8-11为医疗治理脚本。

  2. 由于Oracle执行时间与其他产品差异过大,柱状图中未体现Oracle,在下表中将加入Oracle在场景下耗时。由此也可看出,在海量数据处理的场景下需要分布式架构来提升性能,传统Oracle的集群架构难以满足大数据量的处理和分析。

在相同评测环境中,RapidsDB在查询性能方面远优于同类国内外MPP产品,RapidsDB作为完全自研安全可控的国产数据库,使用基于内存计算的动态优化手段,整体响应时间最少。而产品所支持的MPP线性扩展更是满足了医疗数据中心未来随着业务增长的平台可扩展性问题。

柏睿数据RapidsDB数据库于2021年7月开展环境部署、产品安装以及PoC测试工作。在历时1个月的验证和压力测试后,进行了4个月业务和系统试运行,并最终在2021年12月,RapidsDB在生产环境正式上线运行。

投产之后,RapidsDB性能表现优异,强助力医疗大数据发展,获得用户高度评价。

}

  引导高校、企业等科研创新主体破除一切制约科技创新的思想障碍和制度藩篱,最大限度解放和激发科技作为第一生产力所蕴藏的巨大潜能,把科技自主权、发展主动权牢牢掌握在自己手中,抢占科技竞争和未来发展制高点。

  为激发科技创新活力,第二十三届中国北京国际科技产业博览会于17日-20日于北京国际展览馆召开。作为中国新型数据库产业的代表企业,柏睿数据携新产品——数据存算一体机亮相本次科博会,并于18日下午举行新产品发布会。产品以我国突破性自主数据库软件与国际头部硬件配置为优化组合,实现海量数据存储,实时精准计算相融合,为我国数字化信息系统建设提供了安全高效的大数据“神器”。

  发布会现场大咖云集深度剖析数字产业发展

  在现场,工业和信息化部网络安全产业发展中心主任李新社表示,没有网络安全就没有国家安全,网络安全是保障信息产业长期健康发展的核心和灵魂,是信息社会的基础性和战略性产业。推动网络安全产业的创新发展,一是要增强创新力,就核心软硬件的创新大力发展核心技术,形成我国自主的软件基础,加强关键信息基础设施的安全保障,加快突破卡脖子技术研发;二是要强化标准研制,并不断推动中国方案走出去,在国际上技术标准方面要有中国主导的标准,紧抓国际国内双循环,让安全可靠的产品为信息化建设保驾护航;三是加快发展信息化产业,打造一批有自主知识产权、有龙头骨干企业、有一流研发平台和团队的本土信息化产业集群。

  北京市经信局信息化与软件服务业处处长尤靖表示,数字经济是我国在疫情防控常态化和构建国内国际双循环格局下的重大战略布局。北京在数字经济和信息领域提出了深层次的思考和规划大数据硬核重器突破核心技术扛鼎数据智能新基建,发布了《关于加快培育壮大新业态、新模式,促进北京经济高质量发展的若干意见》,以促进北京经济平稳增长和高质量发展为目标,提出了加快推进新型基础设施建设,培育壮大新业态、新模式等多项措施,打造北京经济新增长点。北京发挥软件和信息服务业的产业优势,,聚焦核心关键技术,夯实新基建的产业支撑底座,北京的企业在技术软件领域的持续创新,对培育中国技术、中国体系、中国方案发挥了战略性的支撑和引领作用。

  大数据硬核重器突破核心技术扛鼎数据智能新基建

  从北斗导航到港珠澳大桥,从现代医疗到水下蛟龙号潜艇,科技的发展引领着时代进步,国之重器上天入海,改变着宏观与微观业态。信息爆炸,数据成为核心战略资源。大数据、物联网、智能制造的崛起,拉动数据高速处理、保障数据资产安全的需求日益提高。国家也时刻关注着数据信息领域的核心技术和关键产品的攻关突破。

  发布会现场,柏睿数据存算一体机凭借超强的性能表现与亮眼的外观获得了与会嘉宾的驻足围观。柏睿数据董事长刘睿民与共同对产品进行了讲解。

  据了解,柏睿数据存算一体机”将数据存储与计算分析完美融合,海量数据存储,实时精准计算,实现四大质的飞越/提升:

  快:30倍性能提升,2倍执行效率提升!即存即算0延时!

  好:内存空间节省60%,高兼容、低成本、开箱即用易部署

  多:多源异构查询,100T+全内存实时计算。

  省:省事省心省成本!可视操控易运维,提供安全可控一站式服务。

  相关测试鉴定,经过软硬件优化的柏睿数据存算一体在相同环境下计算速度是国外商业数据库的50倍以上。这也说明,中国数据库基础软件的发展正迎头赶上。大数据硬核重器的出现,扛鼎新型基础设施建设,赋能数字中国新发展。

  产业合作拥抱全球大生态、大市场

  本次发布会除了邀请大数据领域的相关专家,企业的众多合作伙伴也到场支持。为加强产业链集聚,促进大数据生态建设,柏睿数据与中国通信服务现场签署了战略合作协议,双方将在产品研发、技术支持、项目建设、市场推广等方面展开全方位合作。

  中国通信服务股份有限公司云产品中心总经理戴礼华表示,柏睿数据与中国通服云产品中心联合,将进一步融合云与数据库,实现多个数据源的统一连接,为客户带来更丰富的产品线,对于计算存储进行有效整合,提供高性能的同时也注重大容量存储,形成软硬一体化的产品体系。未来我们同柏睿数据一道,基于双方的资源优势共同拓展市场,为政企客户提供产品和服务。

  合作是全球科技发展的大趋势,越是面临封锁打压,越不能搞自我封闭、自我隔绝,而是要怀着更加开放包容、互惠共享的合作理念,与国内国际的企业进行良好的合作沟通,促成更多科技创新成果,促使我国成为全球科技开放合作的广阔舞台。

}

我要回帖

更多关于 dryad数据库 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信