数据收罗组件

思量到未来信息化的生长及盘算机科学手艺的生长，大数据管控平台可以支持无线数据、有线数据的向后适配性全量、增量收罗。现在能够支持装备数据收罗、营业系统数据收罗、互联网数据收罗等。

高校中网络装备时时刻刻都在爆发着大宗非结构化或半结构化数据，如上网日志、身份认证日志、无线AP的日志和URL日志等,数据收罗组件可以对以上数据举行装备数据收罗，同时也涵盖无线AP对终端位置探测数据收罗。

● 营业数据收罗

学校的一卡通系统、学工系统、门禁系统、教务系统、科研系统和图书馆系统等营业数据疏散地存储在各个厂商系统的数据库中。使用数据收罗组件，可以对接险些所有主流的关系型数据库，如MySQL、MS SQL Server、Oracle、IBM DB2等。

● 互联网数据收罗

互联网中保存的大宗非结构化数据，本计划中接纳漫衍式的网络爬虫计划，可以快速实时地从互联网爬取URL分类、APP分类等信息，通过爬虫将所需信息如URL分类、APP分类获取下来作为类库集。

大数据基础平台

针对高校信息化的快速生长，随之爆发的种种数据暴涨，如无线数据、上网数据、部分营业数据等，要求大数据解决计划必需提供可无邪扩展的存储能力，并为之配套高性能的剖析能力。

接纳漫衍式存储架构，集群化安排方法，能够平滑升级，通过增添节点数目实现性能提升，实现结构化数据和非结构化数据差别化处置惩罚，整体实现统一的运维治理入口。平台接纳B/S架构，支持主流Linux系统上运行；支持R、Python、Scala、Java等主流编程语言；支持Mysql、SqlServer、Oracle、NoSql、MogonDB、Redis、Hbase等数据库。支持节点在线扩展，不中止目今系统的运行，提升性能线性。

提供MapReduce、Spark、Storm等多种盘算框架，离线盘算、内存盘算和流式盘算并存，知足高吞吐、大数据量和低时延实时处置惩罚等多方面的数据盘算要求。提供机械学习算法库，包括聚类剖析、分类算法、频度关联剖析和推荐系统在内的常用机械学习算法。通过大数据平台的深度挖掘和关联剖析，为全校师生员工及各部分、各学院提供数据效劳以及综合数据剖析效劳。支持R 语言举行数据剖析,支持古板SQL 、Hive 、Spark 举行数据剖析。

平台提供WEB图形化界面实现集群的治理和监控，集群节点的运行状态都能在界面上显示，能够监控节点CPU使用率均值及峰值、内存容量及其使用率、物理机磁盘使用情形等；提供集群治理界面：能够支持新增集群，集群启动、阻止等操作；集群设置、扩展主机、集群检查。

通过集群HA切换、数据冗余备份、应用及收罗组件互备支持稳固性。集群主节点恣意一台宕机，集群切换后均不影响数据的存储及剖析使命的运行（通过CM是否正常会见和使命是否正常运行验收）；集群存储盘算节点恣意一台宕机，均不影响数据的存储及剖析使命的提交运行。以包管整个计划的稳固。

控制外部用户或者第三方效劳对集群的会见历程中的身份判别，以实验大数据平台清静架构的基；用户在会见启用了清静认证的集群时，能通过效劳所需要的清静认证方法会见，包管平台的清静性。

大数据平台集群支持通过网络平面隔离的方法包管网络清静，严酷控制试用端口。

大数据平台使用多种手段包管数据在传输历程中的清静性，包括接纳清静接口设计及高清静的数据传输协议，包管在通过接口会见、处置惩罚、传输数据时的清静性，阻止数据被不法会见、窃听或旁路嗅探等。

无线大数据剖析应用

● 校园人身清静剖析应用

学生综合行为数据剖析效劳是使用大数据剖析，对学生种种行为举行关联剖析和深度挖掘，从而实现对学生行为的剖析判断、综合展示以及预警提醒等方面的效劳。

首先，对学生行为相关的所有主题数据举行收罗和整理；其次，与学生事情部分派合划定学生异常行为特征属性；然后，使用大数据平台上的剖析工具和手段，对所有数据举行关联剖析，从海量数据中判读异常行为并将其抓取出来，展示给相关使用者，须要时还举行自动提醒；最后，还可深度剖析和妄想预警模子及机制，并一直迭代和完善，使之越发合理和适用。

收罗学生在校行为的所有相关数据，包括营业系统数据（学工、人事、教务、一卡通、图书治理系统、图书馆门禁、公寓门禁等所有学生相关的营业系统）、无线网上网日志数据、URL日志数据等，挖掘行为异常学生并实时告警，使学校实时掌握学生动态，为学生精准化治理与效劳提供有用工具支持。至少包括但不限于如下行为的剖析、预警及展示。

（1）RG-iData-失联剖析预警

为校治理层提供整个学校、各学院、年级的学生疑似失联、确认失联情形，并展示疑似失联和确认失联学生最后在校内泛起的位置；同时提供疑似失联学生详细信息及其朋侪圈信息供认真人确认核对功效；为学校提供学生治理智能化工具，提升治理效率。

（2）RG-iData-高校轨迹跟踪

基于高校建设的Wi-Fi网络，感知移动终端的轨迹情形，团结学校的校务信息，能够提供对学外行机号，MAC，学号举行轨迹跟踪及盘问，凭证终端真实移动轨；嬷瞥鲋斩嗽谛Ｇ诟鞲鲂藿ㄖ涞恼媸倒旒，支持异凡职员的轨迹追踪，同时支持历史六个月内恣意一天的轨迹盘问跟踪，并能够自动找出失联职员提供失联前的轨迹情形。

（3）RG-iData-高校迁徙路径

支持对学校的学生终端位置定位，可以凭证手机号，MAC,姓名，学号盘问最新泛起位置；能够对整个学校的学生群体迁徙转变情形举行泛起，并支持对差别学院人群的迁徙路径跟踪。

（4）RG-iData-高校区域漫衍视察

可以审查整个学校的学生热力漫衍情形，并支持动态视察，支持六个月内热力漫衍情形回放；能够洞察整个学校的接入终端数目、公共资源平均使用率剖析，监控校园区域的麋集情形及对应的院系、年级、班级漫衍情形，通过数据接口提供实时数据提供第三方落地区域预警。

● 校园清静事务监控

通过大数据平台的剖析和挖掘，将综合数据以全景式的方法展现出来，给学校各职能部分或相关向导使用，为相关决议提供数据支持。以学校现有数据为基础，使用大数据从差别场景、差别维度举行校园清静数据综合统计剖析、关联剖析及深度挖掘。

（1）RG-iData-生疏访客识别监控

实现整个学校的访客和异常访客情形及对应的趋势剖析，分类整个校园的较常泛起，频仍泛起的访客和异常驻留访客情形；反响校园的异常访客比；同时获取各区域正常访客和异常驻留访客情形；辅助支持校园清静治理决议，更好的为学校清静提供效劳。

● 校园无线上网行为剖析

通过对上网行为数据剖析学生上网习惯、上网偏好、上网时长、关注内容等，提炼异常上网行为举行分类整理剖析,如Wi-Fi使用剖析、上网着迷剖析、上网太过剖析、网贷剖析、不法会见信息剖析等。

（1）RG-iData-Wi-Fi使用剖析

泛起整个校园Wi-Fi的师生使用人数及趋势；展示师生使用Wi-Fi会见的内容，对应的人数及占比情形；同时地图方法泛起各个区域的Wi-Fi效劳人数、效劳人次、使用率、笼罩率和使用占比等信息。

（2）RG-iData-上网着迷剖析

提供整个学校处于上网着迷状态职员概况及对应的趋势剖析，同时提供学院着迷情形、各年级着迷情形以及上网着迷内容对应学生人数，辅助学校更好的规范学校学生上网行为。

（3）RG-iData-网络借贷剖析

支持整个校园的关注学生、涉及学生的人数剖析及对应的趋势；支持学院的学生借贷情形及各个年级的学生借贷关注及涉及情形剖析；反响种种借贷产品在学校师生的笼罩情形，从学校、学院、年级角度反应总体情形给治理层判断决议，实时介入，从源头上做控制。

●教学治理辅助

（1）RG-iData-教学考勤辅助

基于学校建设的Wi-Fi网络，感知学校学生终端实时漫衍，能够凭证学校校务数据的课程安排信息，自动统计整个学校到课率情形及趋势，同时支持统计各个学院、班级及课程的课程学生到课率情形；可以剖析审查学院到课排行情形，各年级的到课排行情形及优异top10课程情形；支持教学治理调解安排数据支持。