油价涨跌阈值表格_油价涨幅曲线

1.语音激活阈值什么意思 语音激活阈值的含义

2.系统管理

3.石油市场价格抓取算法

语音激活阈值什么意思 语音激活阈值的含义

1、语音激活阈值是指声音的最高点或者最低点。阈的意思是界限，故阈值又叫临界值，是指一个效应能够产生的最低值或最高值。此一名词广泛用于各方面，包括建筑学、生物学、飞行、化学、电信、电学、心理学、声学等。

2、阈值钟有一个绝对阈值，刺激物只有达到一定强度才能引起人的感觉。这种刚刚能引起感觉的最小刺激量，叫绝对感觉阈值。当声波高于人耳阈值时，人耳才能听见。低于阈值的声音尽管存在，但是人耳却听不见。

系统管理

系统的用户包括普通用户和管理员用户两大类。

对于普通用户，系统需要向其提供只读的访问权限，可以查看系统内预定义好的各类风险GIS展示，风险评价指标体系、评价结果，以及不同评价对象的基本信息，另外还可以对系统内的模型运行结果进行查看。

图5.74增加评价方案页面

图5.75修改评价方案页面

图5.76同级指标审核页面

图5.77批量评价页面

管理员用户则需要为系统各模块的正常运行和系统内各种数据的维护等提供支持，系统管理平台的用户对象仅是系统管理员。

系统管理的开发将主要围绕系统管理平台、数据管理和图库管理3方面展开。系统管理平台主要是对整个网站系统的后台管理和网站设置，即实现该原型系统的后台维护。数据管理主要包括油价数据、事件管理，以及基础数据管理。另外，图库管理是针对国家、运输等相关风险中所用到的结构图或地图等进行集中管理。

5.4.5.1系统管理平台开发

以B/S形式运行的风险管理系统的管理平台如图5.78所示。依照数据流程的线索将系统整体功能从左到右进行组织，划分为数据准备、数据处理、数据存储和数据应用四大块，每一块中包括了数据流程不同阶段的具体任务。这些任务以多种形式展现在管理平台界面中，包括中心的流程图形式，左侧菜单和顶层菜单，对系统的管理功能提供了多个访问入口，方便系统管理员对系统功能的把握和调用。

接下来，以主界面中的数据流程图为主线，简单介绍该原型系统的逻辑框架。在系统运行管理平台界面的数据准备中，将系统需要获取的数据分为Internet抽取的价格数据和风险评价数据两大类（见图5.63c）。

在数据处理部分，系统提供对油价数据的进一步整理和数据自动抓取过程中的日志查看，保证系统提供准确完整的数据（见图5.63d）。除此以外，系统管理的数据处理部分包含模型运算模块的调用和管理，以及系统对指标体系和对象评价相关数据的管理。

图5.78系统管理主界面

目前主要介绍的是国家风险、市场风险和运输风险3个子功能模块。此外，除了上面所介绍的系统管理主要框架以外，在系统管理平台中，还添加了系统设置和网站操作模块。系统设置和网站操作主要实现整个原型系统的后台界面框架管理。具体主要包含以下几个方面。

1）直接利用采取Sharepoint列表功能对网站后台框架进行整体设计，可以进行创建、编辑网页、网站框架设计（图5.79）。

图5.79网站操作

2）更改网站主题。网站后台中有多种网站主题，用户可根据需要选择不同的主题（图5.80）。

3）在每一个系统模块下面，可进行整体页面和架构的设计，同时可以编辑相应的超链接条目（图5.81）。

4）在网站设置主页中，高级用户可以进行权限管理，主题外观设置，系统库的管理以及网站集的管理（图5.82）。当然，上述权限操作仅限于高级用户。

5.4.5.2数据管理的开发

数据管理包括油价数据和事件管理、基础数据管理等内容。在油价数据和事件管理中主要完成油价数据和事件的自动抓取功能，基础数据管理将对各个风险模块评价对象的概况、信息等相关数据进行维护和管理。

（1）油价数据和事件管理

油价数据和事件管理的重点是油价和时间数据的获取。系统要求能够实现从Internet中定期自动地抓取数据并存储到系统中心数据库中。

图5.80网站主题更改

图5.81编辑网页

图5.82网站设置

考虑到数据管理和数据库之间的关系比较密切，并且需要不间断地运行，所以对数据管理模块的界面采取了C/S的开发形式。

自动抓取模块的开发内容包括：价格数据抓取算法的设计；事件抓取算法的设计；数据抽取任务控制的整体程序结构确定；任务的自动执行和调度算法的设计；日志功能的使用，要能够依据日志对任务执行中的错误追踪和出错原因进行判断；需要实现任务失败重试，并可以设置重试次数阈值，默认为3次等。

1）调度算法。将抽取代码进行封装，添加调度日志等功能，设计出自动抓取模块流程的整体流程图（图5.83，图5.84）。用于数据管理的管理员界面如图5.85所示。

图5.83自动抓取模块流程图

图5.84自动抓取模块流程图

图5.85数据管理模块界面

2）价格数据抓取算法。自动抓取模块的核心代码是价格数据抓取和事件抓取算法。价格数据抓取从网页中抓取数据存储到本地中来，包括下载模块和处理转换模块两个子模块。自动抓取模块的核心代码部分自动远程下载价格数据，并按照指定路径保存到本地，并将下载结果计人数据库下载日志表，然后将下载下来的Excel表格数据进行转换，转换成符合数据库所建立的表格形式。

对美国能源部的数据抓取代码流程和表格处理转换流程如图5.86与图5.87所示。

图5.86数据抓取代码流程图

图5.87表格处理转换流程图

价格数据抓取模块的技术难点主要有：所下载的表格中包含的市场名称可能会发生变动，难以预期，导致匹配失败；Excel表格中产品名称、市场名称、价格类型、货币类型这几个字段是合并在一起的，需要将其分别识别出来；原表格中的日期格式直接导入数据库会发生不一致现象，需要对其进行转换处理。这些难点的解决主要依赖与算法的设计，在此不再赘述。

3）事件数据抓取算法。事件数据抓取算法要求对美国能源部上关于油品的所有历史事件进行抓取，并保存进数据库。具体实现算法是从美国能源部指定的事件网站上将事件页面的源码下载到本地，然后进行相关字符串抓取、清洗、操作之后进入中心数据库。

事件抓取算法的技术难点，主要在于事件是基于页面HTML形式而非链接，另外抓取的事件要符合数据库规定的形式。解决这些问题的主要方法包括对网页本地化装载的控件进行恰当的选择；在去除页面的HTML标记之后需要附加一些更正性质的处理，比如日期、年份的选择，事件日期、时间和内容之间没有空格的判断问题等；最后，最主要的就是在抓取中大量使用正则表达式提高效率。事件页面的呈现，如图5.88所示。

图5.88国际油价事件

（2）基础数据管理

系统管理平台主要实现基础数据管理。在基础数据管理模块，基于可扩展的数据维护技术，完成了总体架构设计，以国家、运输、市场基础数据为例的基础数据管理功能实现。在基础信息管理下实现了概况、信息、油价、事件等的添加、编辑、修改、更新一系列操作。

在基础数据管理中，实现了国家数据的资源概况、基本信息的页面设计；运输数据的港口、航线概况和基本信息的页面设计；市场数据管理的页面设计，并都实现了链库功能。

图5.63d展示的是系统管理的主界面。其中，最主要的功能是实现基础数据管理操作，该模块仅对高级用户（即有权限进行数据维护的用户）开放。

1）国家数据管理。与风险评价页面相类似，基础数据部分根据模块分了“国家数据”“运输数据”等标签，各标签下又有各自模块的细分功能菜单，显示于页面左侧。国家数据的新增国家和资源概况展示的页面，如图5.89和图5.90所示。

图5.89新增国家页面

图5.90国家基本信息批量展示

2）运输数据管理。运输数据管理模块实现了港口概况、港口信息、航线概况、航线信息的页面设计。现仅以港口信息页面展示为例，如图5.91所示。

5.4.5.3图库管理

在整个风险评价系统中，应用了大量来丰富展现评价对象的相关信息。的应用范围包括：国家对象的地理分布示意以及国家的内部行政划分等；港口对象的标志性，可能是港口的照片或者结构图等；以及其他模块所应用到的。

在图库管理部分，目前考虑的有国家和港口的管理。图库的结构如图5.92所示。

图5.91港口信息维护

图5.92图库管理结构图

图5.93是添加的页面。

图5.94是国家对象图库的显示页面，图5.95是一个具体的对象页面，并且可以在此处删除或者修改。

图5.93图库管理－添加

图5.94图库管理－国家对象图库

图5.95图库管理－国家对象具体显示

石油市场价格抓取算法

由于网站上的石油市场价格历史数据的时间粒度从年一直精确到日，所有的下载靠人工完成是很困难的，而且由于下载到本地之后的表格字段并不规范，所以必须要根据数据库字段的要求对字符串和Excel表格操作，使之规范化后再入库。其难点在于实现石油市场价格的自动抓取完成对数据源的自动下载，数据源的自动更新，与管理平台的无缝链接，以及ActiveX 插件的制作。

5.3.1.1 数据源的自动下载

石油市场价格数据有3个数据源，包括美国能源部能源信息署（EIA）、《华尔街日报》（WJS）和中石油（CNPC）的数据。这些数据源皆为互联网上的资源。针对3个不同的数据源的特点，采用远程自动下载及规范化，以及基于正则表达式的网页数据自动抓取两种不同的技术完成。

（1）远程自动下载及规范化

对于美国能源部网站的油价历史数据，通过设计自动下载引擎，完成对其历史油价数据的自动远程下载，按照指定路径保存到本地，并将每次下载的结果保存到数据库下载日志表；将下载下来的数据进行清洗、转换并上载到中心数据库。

（2）基于正则表达式的网页数据自动抓取技术

由于大部分网页数据并没有提供下载的通道，而且油价数据同股价数据一样更新频率很高。因此需要对网站上的数据进行基于正则表达式网页数据自动抓取。华尔街油价数据、美国能源部上的油价事件、中石油网页上的油价数据，均需要通过正则表达式的网页自动抓取功能来实现。

网页抓取需要解决的问题：

1）得到需要抓取的网页的地址列表（URL）;

2）根据网页的地址去请求，得到网页的内容；

3）分析网页（HTM L）的结构，并提取出需要的内容，即使用网页结构化信息抽取技术或元数据采集技术。可以使用基于字符串查找定位和基于DOM（Document Object Model）结构的分析；数据抓取结构体系，如图5.27所示。

图5.27 B/S网页事件抓取结构体系

正则表达式的网页数据自动抓取技术涉及网页源码数据的本地化操作，装载源码数据控件的选择，相关信息源码的抓取，源代码的去行操作，数据中含有超链接和字体变换的HTML标签元素的去除，应用零款断言和截取子字符串等字符串函数的方法来抓取数据以及数据入库这些操作（图5.28）。

图5.28 基于正则表达式的网页信息抓取过程

5.3.1.2 数据源的自动更新

当完成对历史数据的初始化之后，需要设计监控引擎，监控网站数据源的更新情况，以决策是否执行增量下载任务。其监控引擎采用实时监控技术以及周期性检测技术。当执行增量下载任务之后，需要对下载数据的有效性和完整性进行检查，指定的数据源要定格式、定期进行更新。数据源的自动更新，主要依据站点在对数据更新之后系统能及时发现并自动快速地获取更新。从站点上获取更新的手段，涉及数据更新后的更新超链接、按钮变化后的触发网址的变动，分析网址来获得更新等，如：《华尔街日报》的期货油价就是按照将日期写进网址来制作更新的；若是周末或是节假日期间网址同样存在只是网页上无相关内容，于是便要考虑此次更新获得的数据是否有效和存在；另外在处理如AJAX 等网址不变的网络站点或者站点的更新不能从网址上得到解释时，使用针对网页的高级字符串操作来获取更新，前述的正则表达式便是最有效的方法之一。

5.3.1.3 与管理平台的无缝链接

管理平台的功能是要使下载、更新的多个任务按照程式的设计，分配到计算机的几个线程中，通过对线程的调度，达到自动下载和更新的有效管理。为此需要设计审核功能、日志功能、重试次数的阈值，以及开启多个Excel进程的功能。通过审核功能，可以查明自动下载过程中的异常，便于进行人工干预；通过日志功能，可以帮助我们依据日志对任务执行中的错误进行追踪和对出错原因进行判断；通过设置重试次数阈值，可以实现任务执行失败后重试；通过开启多个Excel进程的功能，可以实现EIA的Excel数据自动读取和转换。

5.3.1.4 预测程序ActiveX插件的制作

由于油价预测程序是基于C/S架构开发，要将程序发布到B/S架构必须使用插件技术从服务器端向客户端安装预测程序的核心部件，以达到对油价模型更新而不用再单独编写程序的目的，这样就保证了程序的完整性和解决方案之间的良好衔接。

创建ActiveX插件的过程，必须让系统提供一个接口使得插件能够完整地从后台链接到前台。因为工程无法生成tlb文件，没有tlb文件也就意味着注册失败，以及dll文件或ActiveX 控件在客户端无法使用。创建的类就是通过代码的方式将dll文件在客户端注册，生成tlb文件，使得.exe程序能够在B/S体系下进行操作。