交通行业大数据应用
背 景：
随着经济发展迅猛，地方交通越来越繁忙，机动车辆不断增加，地方政府需要好的方法对过往车辆进行监控管理，从而提供更好的交通服务。地方交通部门采用了数据驱动的方法，在市内重要检查点安装了上千台数字监控设备，这些设备7×24小时不间断捕获图像和视频数据，每月数据量达TB级。现在，交通部门面临着如何通过有效利用这些不断增加的交通信息数据该改进交通管理的挑战。
要解决的问题：
1. 集中管理交通数据。 集中访问分散存储在不同的支队数据中心的图像或视频等交通数据和道路交通管理设施、装备和应用系统等。
2. 优化海量数据利用。提供尽可能长时间段的车辆监控数据为市公安治安、刑侦、经侦部门人员及一线民警等提供信息支撑服务。
3. 改善交通。提高对各种交通突发事件的应急调度能力，依据历史数据预测交通或突发事件的趋势。
4. 提升交通案件侦破能力。
5. 增强交通警察对机动车辆的监管能力
实施后的效果：
1. 实现基础过车结构化数据的永久存储，可以保存最近24个月的交通违法图像数据，实时对数据检索，并可随时无缝扩容。
2. 单服务器允许平均每秒250次500KB尺寸图片同步传输或2000次异步并发存储。 3. 不到1秒即可得到从24亿条过车数据中的机动车号牌查询出的精确结果和行车轨迹。 4. 提升交通案件侦破能力。 机动车违法图像信息在系统的保存周期从3个月延长到24个月，交通警察等部门可根据车辆的颜色、车型、号牌等信息实时查询其历史行为、行车路线和车辆营运公司、驾驶人等关联信息。
5. 增强交通警察对机动车辆的监管能力。交警可以从24亿条过车数据中轻松检索被监测机动车的号牌精确查询和行车轨迹。
6. 便捷利用关联车辆的分析数据。针对24亿条实际过车数据进行两卡点、多卡点的伴随车辆和碰撞车辆的复杂分析，查询耗时仅为10秒左右。
运营商详单账单查询大数据应用 新一代详单账单查询系统(省级)
背 景：
微博、微信的快速发展所带来的非结构化语言记录、音频、图片和视频等数据加快了电信行业数据量的增长速度。海量的非结构化数据带来的并不仅仅是存储、传输的问题，做好海量非结构化数据分析以更好的服务客户、提高效率已经成为全球运营商当前最为紧迫的问题。 随着移动设备、快速3G 和 4G 连接、自助服务或帐户相关信息查询服务日益受到消费者的青睐，除了传统的语音，上网、短信以及在线查询每月账单 / 电话详单信息相关的数据通信部分迅速增加。随着业务不断扩展，3G 用户数量和计费数据记录已使查询数据请求的数量明显增加，系统响应速度变慢。
要解决的问题：
1. 现有计费系统维护成本高，降低了计费业务单位的盈利能力。
2. 速度慢，降低了服务质量。当前高科技个性化的客户支持模式不可扩展，无法应对爆炸性的需求增长，可能会导致不满的顾客流向竞争对手。 3. 解决规模问题。RDBMS 解决方案无法满足存储规模和实时查询要求，进而无法为用户提供优质服务。 实施后的效果：
1. 个人用户能够查询并在线支付话费，准确实时查询六个月内的电话详单。 2. X86解决方案只以当前 RISC平台价格的一小部分就实现了这些功能，但在规模上却以经济的方式扩展到数亿个用户。 3. 新的分析数据功能，可显示实际客户使用情况、偏好和按照细分客户群提供服务的成本之间的联系。同时可以主动监测网络使用情况，发现性能瓶颈，确定哪些网站与用户产生的数据收费最高。
4. 性能更高：账单明细检索查询速度是3 00000份账单/秒，插入速度是800000份账单/秒。该系统目前每月无缝处理30TB的用户计费数据，每个表支持数十亿份账单。查询性能提高了 30 倍,从而大大提高了新系统的负载能力,可以支持数百万用户同时在线查询。 5. 高可靠性：该系统不需要保存在一台中央计算机或单一 MPP 数据仓库中，从而改进了跨集群(平均每个集群80个节点)的灾难恢复能力。HDFS 的自恢复功能可以使数据的信息在集群中永远保留三份副本，这样数据就不会丢失。当硬件或网络不能运转时，它仍然可以提供数据和文件读写能力。
运营商网络优化大数据应用
背 景：
运营商的网络环境日趋复杂，其中无线接入网就有2G、3G、WiFi、LTE等多种制式，基站的分布密度越来越高，用户数也越来越多，对于海量的网络设备信息、网络运行信息、用户信息和终端呼叫信令等数据，系统的网络优化越来越困难。 网络优化实时性要求非常高，一旦基站出现了故障，必须在非常短的时间内进行定位和修复，否则不仅会造成直接的经济损失，而且会导致用户大面积的投诉，甚至导致用户流失，也对潜在的用户造成不好的影响。如何通过使用合适的大数据平台存储信令大数据，进行端到端网络质量的分析，快速进行网络优化和故障定位，是运营商吸引增加用户、减少用户流失、增加收入和实现精细化运营的一个关键问题。
要解决的问题：
1. 海量数据存储。网优系统6个月处理的语音记录高达90TB。
2. 历史记录查询。需支持超过12个月时间跨度的访问查询。
3. 实时并发入库。
4. 快速的信令分析平台。大量的信令、无线参数、网络配置参数等数据源源不断地涌入到信令分析平台，这些数据如果不能及时得到处理，实时网络优化就无从谈起。
5. 平滑的系统迁移。多年以来，运营商已有大量的信令分析系统、硬件设备和网络数据，在大数据时代这一新的形势下，如何将这些已有的业务系统进行平滑迁移也是运营商需要解决的关键问题。
实施后的效果：
1. 可扩展的海量数据存储。Transwarp大数据平台利用相对廉价的服务器提供的HDFS分布式存储技术，可以低成本方式实现PB级别的海量数据存储，而且利用集群的水平扩展性，基本消除I/O瓶颈。
2. 实时高并发的查询。Transwarp大数据平台支持将关系表装载进分布式内存中，采用Transwarp自主研发的列式存储格式，支持高速查询、多维度分析以及迭代式分析应用，数据分析效率高。
3. 海量信令综合分析。借助大数据平台存储的海量信息，网优专家可以调用包括结构化信令数据、地图数据、语言数据、视频数据等各种形式的所有相关数据，选用各种模型，通过高性能的分布式计算框架快速地综合分析出KPI指标变化的原因，从而采取措施实施有效的网络优化。
4. 提升无线环境质量。通过使用Transwarp大数据平台，网规网优专家合理构建了网络架构，调优了无线参数，可使无线覆盖率大幅提高、信号更稳定、干扰程度得到显著降低。 5. 用户数增加。网络服务质量提升，客户投诉处理加快，增加了客户的满意度，吸引新增用户，直接为运营商带来营收。
实时视频监控大数据应用
背 景：
视频监控系统已成为城市环境中的一种标准做法，旨在帮助协调应急响应，引导交通，并加强公民的人身安全。
要解决的问题：
1. 视频图像的实时分析。例如部署在治安系统应用中时，一旦通过前端摄像头采集到嫌疑人的图像，需要快速地对采集到的图像做出分析，判断嫌疑人的身份属性，从而帮助公安人员进行下一步行动。
2. 高效的视频数据存储系统。每个前端摄像头的码流速率都在6Mbps以上，势必会给后台分析系统带来海量的数据。急需一个新的后台分析系统来处理海量数据。
3. 视频搜索效率低。在遇到如治安分析等业务请求时，由于分析性能的限制，无法达到客户需要的实时性要求。
4. 访问吞吐带宽小。原有系统视频存放在集中式存储中，当需要大范围查询、调用时，存储系统带宽成为整个系统的瓶颈，妨碍查询业务的使用。
5. 搜索服务可靠性差。原有系统当有个别集群服务器出错时，无法做到集群自动修复，从而造成整个搜索任务的失败
6. 集群管理维护难。原有系统没有一个从硬件到软件到服务状态的整体监控和管理系统，使用者无法监控、维护和保障整个集群运行。
实施后的效果：
1. 性能提升，比原来的Oracle数据库性能提高5倍。
2. 与传统数据库相比，各个应用的分析耗时更短。
3. Hadoop分布式集群中的服务器既是计算节点又是存储节点。
4. HDFS分布式文件系统的访问带宽是整个网络的聚合带宽，可以达到几百Gbps以上，完全消除了视频存储的访问带宽限制。
5. 可以实现存储位置感知，将任务分配到视频所存储的节点之上，充分利用本地硬盘带宽，使访问吞吐进一步提高。
6. 在执行较长时间的视频搜索任务时，如果主任务调度器发生故障，备用任务调度器会自动接替，使搜索任务避免失败。当个别搜索任务失败时，任务调度器可以在集群中的另一个节点上自动重试。
金融行业大数据应用
行业需求：
1. 需要可扩展性开放架构做支撑。大数据量必然要求金融企业 IT 基础设施更易于数据的整合与集中、扩展与伸缩以及管理与维护，同时还必须具备良好的可靠性、可控性、安全性。
2. 大数据在加强风险管控、精细化管理、业务创新等业务转型中将起到重要作用。首先，大数据能够加强风险的可审性和管理力度，支持业务的精细化管理。利率市场化必然会对银行业提出精细化管理的新要求。其次，大数据支持服务创新，能够更好地实现"以客户为中心" 理念，通过对客户消费行为模式进行分析(比如事件关联性分析)，提高客户转化率，开发出不同的产品以满足不同客户的市场需求，实现差异化竞争。
3. 小额信贷是另一个大数据应用领域，阿里巴巴通过大数据技术自动分析判定是否给予企业贷款。到 2012 年年底，阿里巴巴累计服务小微企业已经超过 20万家，放贷 300 多亿元，坏账率仅为 0.3%左右，低于商业银行水平。
应用效果(1): 某国有银行用户查询系统
用基于Hadoop的技术，将所有的交易数据实时增量导入这个平台，并且能够存放几年。交易数据查询可在0.1秒内完成 (并发用户数达600);交易数据增量处理每秒可达15万条，每天处理时间约4到5分钟;Hadoop还可以对于当中的所有交易数据进行批量的处理，定期账户批量处理9千万条不超出15分钟。该银行活期交易每年会产生130亿条数据(4.5TB)，原有传统业务构架很难支持。但对于Hadoop技术来说，可以达到秒级查询。
应用效果(2): 某券商客户综合分析管理系统 目前券商竞争日趋激烈。证券公司越来越注重对客户的有效服务以及对营业部、经纪人的业绩管理，而现有的IT系统通常只是面向业务交易而设计的。为了提升证券公司的客户服务及精准营销的能力，券商需要采用大数据技术提升自身客户综合分析管理系统能力。围绕客户维护生命周期，在不同的生命周期阶段采用有针对性的方式来降低客户流失率，如主动关怀、客户营销、流失预警挽留和销户挽留等。
采用Hadoop技术后，数据加载速度明显提升，100万行数据入库仅需6-7秒，10GB的数据加载和导出也可以在5分钟内完成。同时，数据处理和查询的效率也显著提升，目前每天的数据处理时间基本控制在2小时以内。对于日常简单查询，在50条并发查询的情况下可以实现1秒内完成。对于长时间跨度、多条件的复杂查询，也能在5秒内完成。
应用效果(3):某银行信用卡中心
某银行信用卡中心通过其大数据营销平台进行了1286个宣传活动，每个营销活动配置平均时间从2周缩短到2-3天。并且市场活动中答应客户在刷满一定金额或次数后送给他们的礼品，可以在客户刚好满足条件的那次刷卡后马上获得，实现了秒级营销，而不必像之前那样等待好几个工作日。信用卡中心交易量增加65%，比其他股份制商业银行的平均水平高14%，比中国所有银行的平均值高4%。该信用卡中心迄今已为客户进行了4000万次的信用额度调整。信用卡不良贷款(NPL)比率同比减少了0.76%。信用卡中心电话销售中心将所有外呼营销历史整合到数据仓库，通过对大量历史数据分析后调整客户提取和营销策略，在上线后的第一个月便实现单位工时创收提升33%、笔均贷款额提升18%。
电商大数据应用
背 景：
大数据对于电商企业来说就是一座金矿，针对大数据进行深度分析挖掘，将能创造巨大商机。目前各大电子商务网站如淘宝网，繁多的产品让人无从抉择，各种营销策略产生的比对数据越来越庞大，用户的购买特征趋向于个性化，在线恶评、恶意抢货和恶意退货等时有发生，如何收集存储网站的所有相关数据，提供快速有效的查询，通过数据挖掘技术快速准确地分析和更新用户购物行为规律，作出高效的商品推荐和网站优化，已成为电子商务企业亟待解决的问题。 行业需求： 1. 路径优化。优化页面的排版和改进页面的跳转次序，达到吸引潜在客户和促成访客成交的目的。
2. 转化率分析。
3. 联合营销。帮助商家分析商品之间的关联，并依此制定营销策略。比如，当发现便携计算机和电脑支架关联度很高时，就可以推荐商家做联合营销。
4. 智能推荐。
5. 流量来源分析。统计分析网站点击流的区域来源、时间段分布规律、客户特征等。例如，对重点访问区域进行抓潜和促销，对有较少页面访问的区域实行广告投放。
6. 实时预测。
7. 风险分析。
实施后的效果：
1. 海量数据存储。支持包括用户数据、用户访问日志、商品数据、交易数据、用户评论、商品促销策略等结构化、半结构化和非结构化数据的存储，商户可根据这些海量数据，进行深度数据分析和数据挖掘，从而做出更明智的决策。
2. 数据查询效率显著提升。可达到秒级查询。
3. 用户数增加。通过大量数据的整理和分析，对目标客户聚类，实行精准广告营销，吸引了大量新增客户。
4. 实时推荐速度更快更精准。采用极速大数据平台，可在极短的时间内，通过算法解读更多的用户行为，关联更多的商品，并在得到结论后作出实时推荐。
5. 商品购买的转化率增加。通过定期优化网站访问路径，减少了用户寻找目标商品的时间，改进了从购物篮到最终成交的交易步骤，最大限度地提高用户使用便捷性和用户满意度，大幅增加了商户的收入
6. 退货率明显降低。通过对大量历史数据的分析，识别出退货频繁的用户，作退货原因分析，从而补强退货因素，避免了退货引起的运费、信用和收入等各种损失。
医疗卫生行业大数据应用
背 景：
目前，大数据技术最具实际意义的应用在于健康档案数据的管理和服务。健康档案是个人全生命周期的医疗健康数据的管理。 例如，对于慢性病患者，以往病程的变化，治疗的过程都对医生诊断和处置有着重要的辅助作用。过敏史，不良反应这些数据对避免出现医疗差错和事故也有着积极的作用。
传统的临床科研往往基于抽样调查进行，而随着健康档案数据的丰富可以大幅减轻工作量，同时提高科研数据的质量和数量以及数据处理的效率。
要解决的问题：
1. 数据量庞大。区域卫生数据中心以城市为单位，分为存储健康档案、电子病历、卫生管理三大数据库，300 万人口的中等规模城市卫生数据中心的规模在 20 年后预计会达到PB级。传统关系型数据库在大数据存储实现中存在局限性，在一张表中存储 500GB 之上的数据就会存在性能方面的问题。
2. 数据类型复杂多变。区域卫生数据中心，将会存储大量的非结构化数据和半结构化数据。如果采用传统关系型数据库，则面临众多不易解决的问题：PACS 影像、B 超、病理分析等业务产生的非结构化数据大小不一，从数百 KB 到数百 MB 都有，病人的一次诊断活动中需要存储、调阅数百张影像数据;由于医疗卫生行业的业务复杂性，很难制定统一的数据标准，这就给数据访问和交换带来新的挑战。
3. 另外，未来的数据处理也将面临巨大挑战，譬如未来海量数据的存储，备份，扩容等，快速的检索特定数据，以及高效的数据交换等等。
实施后的效果：
1. 海量数据存储：应对超过一亿条记录(文档)的存储需求。
2. 数据格式动态扩展：Hyperbase 提供的列式存储方式，可以轻松应对数据格式的灵活调整。
3. 海量数据快速检索：高并发的并行海量数据检索，满足居民和医生实时检索健康档案的需求。
4. 统计分析：开放的统计分析框架，接近实时的统计分析能力。
5. 平滑扩容：横向扩展性能卓越，应对未来业务和数据量的不断增长。
6. 使得医生可以快速检索就诊患者的个人基本信息、既有病史、就诊及处方等重要信息，通过辅助信息，帮助医生做出更准确的诊断，并且有效避免重复用药、药物不良反应等。
工商大数据应用
背 景：
工商部门作为市场经济主体活动的第一站，积累了大量的市场主体登记、年检、投资以及主体行为的行政执法等数据，这些数据是“国家经济户籍库”的重要组成部分。开展工商大数据研究可以更好地服务经济，对社会发展有重大意义。 要解决的问题： 1. 复杂数据整合。在我国工商管理领域，政府机构的业务工作产生了大量独立零散的数据。 2. 海量数据查询速度慢。海量数据的多维度查询在传统数据处理中有时需要几十分钟甚至几个小时，在涉及到全量的数据时速度更慢。 3. 数据分析的深度不够。工商系统的数据综合分析利用工作还处于探索阶段，面临着数据量大但是利用不足或者不知如何利用的尴尬境地，与大数据的发展潮流相背离。 实施后的效果：
1. 提供可扩展的存储方案。工商数据客观上在不断增加，当达到现有的规划数据量后，通过增加廉价的机器，就可以无业务间断地实现存储容量的扩展。
2. 数据质量大幅提升。星环大数据解决方案提供高并发的实时数据读写，支持多租户、多用户在统一的界面上进行数据的录入和处理
3. 快速信息查询。星环大数据平台采用持续优化的分布式内存数据库，最先进的分布式计算引擎，可帮助用户实现秒级查询，极大提高用户的使用体验。
4. 企业生命周期分析。
5. 企业诚信分析。在企业的工商信息中，可选择注册资本、办公场所、所在行业、主要产品(业务)、年销售收入、年纳税额、企业荣誉记录、企业不良记录等多维度指标全面评估企业的信用状况，将企业明确标定为一个信用级别。工商行政管理部门据此对企业进行有效监督，减少企业的失信行为给国家造成的经济损失，弘扬守信企业，有效加强企业诚信制度的建设。
6. 宏观经济走势预判。
公安大数据应用
背 景：
大数据可以有效协助公安部门提供公共安全服务。互联网信息、生物特征信息、图片、语音、视频等大数据存储和处理分析，是当前公安信息化建设的重点和难点。
要解决的问题：
1. 海量数据无法保证有效的存储。公安行业大数据包括13亿人口信息、指纹信息、驾驶员、视频监控、抓拍、地图、社交媒体等PB级别的数据。这些数据形式多样，既有结构化的数据，也有大量的半结构化和非结构化的数据，包含文档、图片、视频、栅格、矢量和文字等形式。如何将这些不断增长的复杂格式海量数据进行有效的存储和备份，成为公安行业当前热烈探讨的重要课题。
2. 海量数据的质量难以保证。公安行业存在交互复杂而繁多的系统，这些系统的数据并不完全互通，数据的低精确度、低效、数据不一致成为发挥海量数据最大价值的一个大弊端。
3. 海量数据无法快速地提供有价值的信息。在办案过程中，不太容易从海量的数据中快速提取出有价值的信息。例如，海量的监控视频数据对公安人员侦破案件的帮助微乎几微，办案人员主要依靠人工识别监控资料，造成工作效率非常低下，无法迅速侦破案件。 实施后的效果：
1. 公安数据的存储和整合。星环大数据平台支持将公安行业各信息系统的视频、音频、文本、网页等格式的相关数据快速抽取、转换和导入到数据中心，提供可视化的数据监控和实时维护平台。
2. 快速检索。星环极速大数据平台独有的数据处理技术支持在数据中心库中提供秒级的案件搜索，可根据搜索的内容及范围提供一键搜索、高级搜索、分类检索。
3. 实施有效抓捕。利用大量数据创建犯罪高发地区热点图，帮助警方定位那些最易受到不法份子侵扰片区，为警察更具针对性地锁定犯罪易发点、抓获逃犯提供支持。
4. 实时轨迹分析。集成车管所车辆信息库，结合卡口系统、车辆识别系统、城市各个停车场系统和视频监控系统等信息，实现案、事件、重点人员等的轨迹叠加分析。
5. 串并案分析。在研究某一片区的犯罪率时，将相邻片区的各种因素列为考虑的对象，从而在额外变量是如何影响犯罪率这一问题上得到更准确的结论。
6. 伴随车分析。
7. 大数据情报分析。情报分析可以从旅业、出租屋和违法犯罪等大量的历史数据和实时数据进行有针对性的数据筛选和关联分析，找出嫌疑人之间的关系并计算出联系强度，并能对得到的分析结果按多种布局进行图形化展示。
8. 社交网络排查。
税务大数据应用
背 景：
近年来，总局越来越强调税务数据的综合利用，各基层税务分局如何充分整合这些不断增长且繁杂的海量数据源，深化税务数据分析应用，最终实现税收信息资源利用的最大化，以满足税收管理科学化、精细化的内在需求，对税收业务是一项有重要意义的事务。
要解决的问题：
1. 复杂数据整合。税务数据来自于十几个甚至几十个信息系统，从各个业务部门多头采集。由于数据采集的标准和要求不尽相同，纳税人报送信息不一致，导致资料存在失真的情况;税务数据源拓展和完善程度不够，税收数据大部分仍以申报纳税有关数据为主，与纳税人密切相关的外部数据还不能有效引入，特别是纳税人财务核算信息收集不完整，一定程度上制约了数据分析的广度与深度。
2. 海量数据存储和运维。各地税务机关已积累了大量的税收数据资源，并且新的各种类型的税务数据也在源源不断地高速产生，传统关系型数据库在同时兼顾海量数据的存储容量和高速处理时，显得越来越力不从心。
3. 缺乏深度数据分析。面对海量税收数据，已经不能简单地一次性分析比对，不能仅限于简单的汇总、分类和浅层次分析。
实施后的效果：
1. 提高数据质量。消除信息孤岛，将多个数据源的数据整合到数据中心。通过数据元管理，清理转换后的数据具有一致性和完整性的信息，为深度数据分析打下坚实的基础。
2. 提供可扩展的存储方案。
3. 数据查询更快速。实现秒级查询，极大提高用户的满意度。
4. 税务决策更高效。通过税务大数据平台，可结合所有的税务相关数据进行分析和挖掘，得到直观上得不到的信息，提高税务决策、纳税评估、纳税人分类、税源监控和预测的效率和准确性。例如可自动完成税务稽查选案，查全率和准确率得到极大的提升。

联系方式：大数据应用解决方案
电话：010-52895342，400-886-7161
邮件：service@hivekion.com
网址：http://bdp.hivekion.com
【北京华盛恒辉科技有限公司 ——（hivekion）是全球领先的北京软件开发公司，专注软件产品研发与服务，华盛恒辉坚持稳健经营、持续创新、开放合作，在安全生产、军工航天铁路、军工航天铁路、大数据处理等领域构筑了端到端的解决方案优势，为企业客户提供有竞争力的IT解决方案、 产品和服务， 并致力于使能未来信息社会、 构建更美好的世界。】