-
内容大纲
通过大数据手段搜集挖掘情报信息,已成为国际上专业情报领域的重要手段。本书选取网络舆论、社会事件、开源人物、用户行为、科技动态、视频图像、公共卫生等多个具有代表性的情报大数据领域,围绕大数据背景下情报的采集、存储、管理和分析等方面,从技术实现途径进行全方位详解,以帮助读者学习掌握在海量数据中提炼出高价值情报的方法。
本书适合高等学校数据科学与大数据、计算机、软件工程、人工智能等本专科教学使用,也适合作为对情报大数据感兴趣的研究生、工程师和研究人员的学习资料。 -
作者介绍
-
目录
第1章 情报大数据概述
1.1 大数据方法对情报的颠覆性影响
1.1.1 大数据时代的情报新特点
1.1.2 大数据时代情报工作新思维
1.1.3 情报大数据的分析流程
1.2 “棱镜”计划案例简介
1.2.1 数据基础
1.2.2 情报分析
1.2.3 情报目标
1.3 情报大数据平台常用框架
1.3.1 数据源采集
1.3.2 大数据预处理
1.3.3 大数据存储
1.3.4 大数据分析与挖掘
1.3.5 常见技术框架和工具
1.3.6 学习阶段建议
第2章 网络舆论情报大数据采集与分析
2.1 总体设计
2.1.1 需求分析
2.1.2 技术选型
2.1.3 框架软件
2.1.4 开发流程
2.2 实战环境搭建
2.2.1 准备操作系统环境
2.2.2 搭建Hadoop平台
2.2.3 数据采集工具Flume
2.2.4 数据仓库Hive
2.2.5 数据导入导出工具Sqoop
2.2.6 配置数据库MySQL
2.3 业务开发
2.3.1 数据采集与上传至HDFS
2.3.2 数据存储在Hive
2.3.3 Sqoop导出数据到MySQL
2.3.4 数据导成表格
2.4 可视化分析
2.4.1 热门关键词词云
2.4.2 热门关键词词频
第3章 社会事件情报关联与可视化分析
3.1 总体设计
3.1.1 功能结构
3.1.2 业务流程
3.1.3 数据库设计
3.1.4 数据库选型
3.2 实战环境搭建
3.2.1 安装ClickHouse
3.2.2 配置ClickHouse
3.2.3 创建ClickHouse库表
3.2.4 数据导入ClickHouse
3.3 业务开发
3.3.1 创建开源情报采集库表
3.3.2 定时更新Gdelt记录
3.3.3 下载gdeltv2文件
3.3.4 数据导入ClickHouse
3.4 可视化分析
3.4.1 国家/地区交互网络构建
3.4.2 西方媒体对中国的情感分析
3.4.3 全球人物热点分析
3.4.4 全球组织关系热点分析
3.4.5 全球热点主题分析
3.4.6 抗议性事件情况分析
第4章 开源人物情报社会网络构建
4.1 总体设计
4.1.1 需求分析
4.1.2 功能结构
4.1.3 业务流程
4.1.4 数据对象建模
4.1.5 技术选型
4.2 实战环境搭建
4.2.1 部署Neo4j
4.2.2 安装py2neo模块
4.2.3 安装scrapy模块
4.3 业务开发
4.3.1 使用scrapy模块爬取开源人物情报数据
4.3.2 使用SPARQL语句查询人物
4.3.3 爬取已定义的所有关系
4.3.4 爬取人物实体信息及关系
4.3.5 提取亲属信息
4.3.6 通过工具导入批量数据
4.3.7 利用py2neo模块导入数据
4.4 可视化分析
4.4.1 通过人物属性值查找节点
4.4.2 通过人物属性值查找相关联的节点
4.4.3 监测时任美国总统罗斯福的亲属关系
4.4.4 查询时任美国总统约翰·肯尼迪的校友关系
4.4.5 分析往届美国总统的死亡原因
第5章 用户行为情报分析及个性化推荐
5.1 总体设计
5.1.1 需求分析
5.1.2 技术选型
5.1.3 技术分析
5.1.4 开发流程
5.2 实战环境搭建
5.2.1 搭建Scala环境
5.2.2 搭建Spark平台
5.2.3 安装Maven
5.2.4 搭建IDEA集成开发工具
5.3 业务开发
5.3.1 用户视频行为数据集
5.3.2 个性化视频推荐
5.3.3 个性化推荐结果分析
5.4 可视化分析
5.4.1 观影人员评价总体分析
5.4.2 观影人员年龄段分布
5.4.3 观影人员职业分布
5.4.4 视频类型标签分析
第6章 科技动态情报大数据搜索优化
6.1 总体设计
6.1.1 需求分析
6.1.2 技术选型
6.1.3 数据库设计
6.2 实战环境搭建
6.2.1 搭建Elasticsearch环境
6.2.2 Elasticsearch集成中文分词器
6.2.3 Elasticsearch集成拼音分词器
6.2.4 搭建SpringBoot应用框架
6.2.5 SpringBoot集成MySQL数据库
6.2.6 SpringBoot集成Elasticsearch搜索引擎
6.3 业务开发
6.3.1 科技新闻爬虫模块
6.3.2 搜索引擎实现
6.3.3 Elasticsearch搜索优化
6.4 日志可视化
6.4.1 搭建Kibana环境
6.4.2 搭建Logstash环境
6.4.3 日志可视化分析
6.5 可视化分析
6.5.1 静态资源准备
6.5.2 后台管理页集成
6.5.3 新闻列表页集成
6.5.4 静态页面优化
第7章 视频图像情报深度学习车牌识别
7.1 总体设计
7.1.1 需求分析
7.1.2 技术分析
7.1.3 开发流程
7.2 实战环境搭建
7.2.1 人工神经网络库Keras
7.2.2 数值计算扩展NumPy
7.2.3 Python库Theano
7.2.4 安装Sklearn
7.2.5 安装OpenCV
7.3 业务开发
7.3.1 卷积神经网络
7.3.2 车牌定位与截取
7.3.3 车牌号码识别
第8章 公共卫生情报可视化态势展示
8.1 总体设计
8.1.1 技术选型
8.1.2 技术分析
8.1.3 数据库设计
8.2 实战环境搭建
8.2.1 搭建Zookeeper环境
8.2.2 搭建Kafka环境
8.2.3 搭建Elasticsearch+MySQL环境
8.2.4 后端框架搭建
8.3 业务开发
8.3.1 请求疫情接口数据
8.3.2 发布数据到Kafka
8.3.3 整合MySQL和Elasticsearch
8.3.4 数据持久化
8.4 可视化分析
8.4.1 印度疫情发展趋势折线图
8.4.2 印度疫情发展趋势柱状图
8.4.3 欧洲疫情南丁格尔玫瑰图
参考文献
同类热销排行榜
- 父与子全集(彩色典藏版)11.92
- 快把我哥带走(2)15.92
- 零基础学画漫画(3Q版素描技法篇)8
- 暴走漫画(9)4
- 约翰·汤普森简易钢琴教程(1原版引进)6.4
- 暴走漫画(5)4
- 暴走漫画(10)4
- 凹槽练字板(汉语常用字行书)14
- 楷书入门基础教程(楷)/墨点练字宝14
- 基础素描教程(1)4.4
推荐书目
-
孩子你慢慢来/人生三书 华人世界率性犀利的一枝笔,龙应台独家授权《孩子你慢慢来》20周年经典新版。她的《...
-
时间简史(插图版) 相对论、黑洞、弯曲空间……这些词给我们的感觉是艰深、晦涩、难以理解而且与我们的...
-
本质(精) 改革开放40年,恰如一部四部曲的年代大戏。技术突变、产品迭代、产业升级、资本对接...