Enterprise_Credit_Analysis(仅作为交流学习使用！)

   一个集企业信息查询、数据分析、推理、评估、预测企业信用可视化分析平台 下阶段会基于知识图谱、机器学习算法、深度神经网络进行风险评估及关联关系推理

第一阶段研发工作【170901--180601】

平台架构

1. 系统架构主要分为：企业信息查询模块、智能分析模块、系统后台模块、企业关系分析模块
2. 智能推理系统--总体功能图

企业信息查询模块

1. 用户登录、注册
2. 基本信息查询

智能分析模块

1. 基于DEA科研投入推荐模型实现.【后台通过MATLAB进行计算，Java调用模型在系统使用】
2. 基于决策树实现企业信用等级评估模型.通过四分位图直观展示企业指标是否异常及处于行业水平位置。利用ANN网络进行评级。
3. 三大行业动态预测【全国房地产、汽车、软件信息服务业相关指数及可视化】
4. 基于DEA的企业风险模型，从财务风险、经营风险、技术风险、战略风险四维一级指标进行刻画。
5. 贷后预警模型

第二阶段研发工作【180613--180830】

基于深度学习的金融分析

1. 基于深度神经网络进行分析预测。
2. 利用CNN、LSTM等神经网络进行分类和预测。
3. 截止目前已实现企业信用评级、行业动态预测、企业风险评估的算法实现，基于TensorFlow深度学习框架，主要设计CNN、LSTM、VGG等模型。
4. 已实现测试通过TensorFlow保存CNN(卷积神经网络、LSTM(长短期记忆网络)等训练模型pb文件，经Java调用，供Web端调用,测试实现代码。
5. 实现企业信用评估CNN模型pb文件的Java Web端的使用。利用Jfinal的上传文件接口在前端上传测试数据.csv文件，后台接收后读取数据并使用模型进行预测并返回评级结果。参考代码--613行左右处可见
6. 五大TFModel全部调用过程封装代码查看.根据项目进度不
7. 实现基于LSTM模型的Java调用。
8. ……………………………………

第三阶段研发工作【18-09-01--18-11-01】

总体目标：基于第二阶段研发工作，在神经网络算法中加入“记忆模块”、“注意力机制”等；企业知识图谱核心技术突破及初步实现。

1. 舆情数据情感分析；
2. 科研投入模型加入记忆力模块，实现基于TensorFlow的科研投入模型训练并保存，现已集成到JavaWeb系统中，可在线实时进行科研投入能力的分析与预测；
3. 信用评级模型卷积神经网络加入注意力机制。
4. …………………………

企业知识图谱模块

1. 基于RDF构建企业信息知识库
2. 使用SPARQL、Jena进行RDF的相关操作。
3. 数据存储包含传统关系数据库及RDF图数据库
4. 企业基本信息展示及与其他企业关系、任务关系等

系统后台模块(本项目为非重点功能）

1. 登录、注册 
2. 增加后台对用户、管理员管理
3. 数据上传接口
4. 用户权限管理  

---

系统局部展示

首页

---

问题记录

1. 远程代码至temp：git fetch origin master:temp
2. 地代码进行比较： git diff temp
3. 地代码合并：git merge temp
4. 本地 temp分支（可选）：git branch -d temp
5. 通过java调用MATLAB，进行复杂数据计算和相关算法实现。
6. 更新本地仓库代码：git pull.
7. 删除分支：git push origin : branch_name(您需要删除的分支名)。
8. java调用MATLAB封装的函数及神经网络函数。
9. MATLAB 编译为jar文件，供java使用，对于复杂的数据处理过程可以采用此思路，可迅速解决问题。但 可能在速度方面有可能不佳。
10. 当用java调用TensorFlow 训练的模型文件pb时，可能在输入数据需要归一化或标准化处理，这是我们可以考虑 使用MATLAB先做一个处理过程的封装。
11. 使用基于Conda的Jupyter进行模型行训练时出现kernel dead error时，可在环境中执行conda install mkl命令，可解决问题。
12. 记录一个issue：对于实际应用场景，如何使模型根据线上实时数据进行参数的动态调整，以便更好提供预测服务功能。目前的模型都是通过历史数据训练好模型后直接保存，提供预测功能。其缺点显然是不能满足实际需求，至少能够达到周期性模型参数优化。

---

13. 如何将含有在Windows下使用MATLAB编译的jar包系统部署到ubuntu16.04服务器。【这个过程太艰辛……………………】

1. 根据MATLAB版本下载MCR(一个可以运行matlab编译后的jar包的环境）的linux版本。
2. 在服务中解压，安装。命令：sudo ./install -mode silent -agreeToLicense yes使用静默安装。
3. 配置环境变量LD_LIBRARY_PATH在.bashrc文件中（注：当上一步安装完成后会有添加的地址提示）
4. 完成，即可运行编译的jar包。至此，为系统的jar包提供了必要的运行环境。
5. 在实践过程可能会存在其他问题，多查，多看，多分析问题（日志等信息起到事半功倍的作用,要善于利用）。

---

编码规范

1. 使用CheckStyle代码规约工具，帮助自己编写符合标准的Java代码

知识点

1.  L2范数，又叫“岭回归”（Ridge Regression）、“权值衰减”（weight decay）。它的作用是改善过拟合。过拟合是：模型训练时候的误差很小，但是测试误差很大，也就是说模型复杂到可以拟合到所有训练数据，但在预测新的数据的时候，结果很差。 L2范数是指向量中各元素的平方和然后开根。我们让L2范数的规则项||W||2最小，可以使得W的每个元素都很小，都接近于0。而越小的参数说明模型越简单，越简单的模型则越不容易产生过拟合现象。

---

• 欢迎交流，邮箱[email protected]
• 个人网站
• me CSDN
• 更新时间：2019.5.6