Skip to content

Latest commit

 

History

History
96 lines (85 loc) · 6.6 KB

README.md

File metadata and controls

96 lines (85 loc) · 6.6 KB
Raw

Enterprise_Credit_Analysis(仅作为交流学习使用！)

   一个集企业信息查询、数据分析、推理、评估、预测企业信用可视化分析平台 下阶段会基于知识图谱、机器学习算法、深度神经网络进行风险评估及关联关系推理

第一阶段研发工作【170901--180601】

平台架构

  1. 系统架构主要分为：企业信息查询模块、智能分析模块、系统后台模块、企业关系分析模块
  2. 智能推理系统--总体功能图 总体功能图

企业信息查询模块

  1. 用户登录、注册
  2. 基本信息查询

智能分析模块

  1. 基于DEA科研投入推荐模型实现.【后台通过MATLAB进行计算，Java调用模型在系统使用】
  2. 基于决策树实现企业信用等级评估模型.通过四分位图直观展示企业指标是否异常及处于行业水平位置。利用ANN网络进行评级。
  3. 三大行业动态预测【全国房地产、汽车、软件信息服务业相关指数及可视化】
  4. 基于DEA的企业风险模型，从财务风险、经营风险、技术风险、战略风险四维一级指标进行刻画。
  5. 贷后预警模型
第二阶段研发工作【180613--180830】

基于深度学习的金融分析

  1. 基于深度神经网络进行分析预测。
  2. 利用CNN、LSTM等神经网络进行分类和预测。
  3. 截止目前已实现企业信用评级、行业动态预测、企业风险评估的算法实现，基于TensorFlow深度学习框架，主要设计CNN、LSTM、VGG等模型。
  4. 已实现测试通过TensorFlow保存CNN(卷积神经网络、LSTM(长短期记忆网络)等训练模型pb文件，经Java调用，供Web端调用,测试实现代码。
  5. 实现企业信用评估CNN模型pb文件的Java Web端的使用。利用Jfinal的上传文件接口在前端上传测试数据.csv文件，后台接收后读取数据并使用模型进行预测并返回评级结果。参考代码--613行左右处可见
  6. 五大TFModel全部调用过程封装代码查看.根据项目进度不
  7. 实现基于LSTM模型的Java调用。
  8. ……………………………………
第三阶段研发工作【18-09-01--18-11-01】

总体目标：基于第二阶段研发工作，在神经网络算法中加入“记忆模块”、“注意力机制”等；企业知识图谱核心技术突破及初步实现。

  1. 舆情数据情感分析；
  2. 科研投入模型加入记忆力模块，实现基于TensorFlow的科研投入模型训练并保存，现已集成到JavaWeb系统中，可在线实时进行科研投入能力的分析与预测；
  3. 信用评级模型卷积神经网络加入注意力机制。
  4. …………………………

企业知识图谱模块

  1. 基于RDF构建企业信息知识库
  2. 使用SPARQL、Jena进行RDF的相关操作。
  3. 数据存储包含传统关系数据库及RDF图数据库
  4. 企业基本信息展示及与其他企业关系、任务关系等

系统后台模块(本项目为非重点功能）

  1. 登录、注册 
  2. 增加后台对用户、管理员管理
  3. 数据上传接口
  4. 用户权限管理  

系统局部展示

首页

系统首页

问题记录

  1. 远程代码至temp：git fetch origin master:temp
  2. 地代码进行比较： git diff temp
  3. 地代码合并：git merge temp
  4. 本地 temp分支（可选）：git branch -d temp
  5. 通过java调用MATLAB，进行复杂数据计算和相关算法实现。
  6. 更新本地仓库代码：git pull.
  7. 删除分支：git push origin : branch_name(您需要删除的分支名)。
  8. java调用MATLAB封装的函数及神经网络函数。
  9. MATLAB 编译为jar文件，供java使用，对于复杂的数据处理过程可以采用此思路，可迅速解决问题。但 可能在速度方面有可能不佳。
  10. 当用java调用TensorFlow 训练的模型文件pb时，可能在输入数据需要归一化或标准化处理，这是我们可以考虑 使用MATLAB先做一个处理过程的封装。
  11. 使用基于Conda的Jupyter进行模型行训练时出现kernel dead error时，可在环境中执行conda install mkl命令，可解决问题。
  12. 记录一个issue：对于实际应用场景，如何使模型根据线上实时数据进行参数的动态调整，以便更好提供预测服务功能。目前的模型都是通过历史数据训练好模型后直接保存，提供预测功能。其缺点显然是不能满足实际需求，至少能够达到周期性模型参数优化。

  1. 如何将含有在Windows下使用MATLAB编译的jar包系统部署到ubuntu16.04服务器。【这个过程太艰辛……………………】

  1. 根据MATLAB版本下载MCR(一个可以运行matlab编译后的jar包的环境）的linux版本。
  2. 在服务中解压，安装。命令：sudo ./install -mode silent -agreeToLicense yes使用静默安装。
  3. 配置环境变量LD_LIBRARY_PATH在.bashrc文件中（注：当上一步安装完成后会有添加的地址提示）
  4. 完成，即可运行编译的jar包。至此，为系统的jar包提供了必要的运行环境。
  5. 在实践过程可能会存在其他问题，多查，多看，多分析问题（日志等信息起到事半功倍的作用,要善于利用）。

编码规范

  1. 使用CheckStyle代码规约工具，帮助自己编写符合标准的Java代码

知识点

  1.  L2范数，又叫“岭回归”（Ridge Regression）、“权值衰减”（weight decay）。它的作用是改善过拟合。过拟合是：模型训练时候的误差很小，但是测试误差很大，也就是说模型复杂到可以拟合到所有训练数据，但在预测新的数据的时候，结果很差。 L2范数是指向量中各元素的平方和然后开根。我们让L2范数的规则项||W||2最小，可以使得W的每个元素都很小，都接近于0。而越小的参数说明模型越简单，越简单的模型则越不容易产生过拟合现象。