专利名称:一种动态调整任务分配的流处理作业调度方法及系
统
专利类型:发明专利发明人:陈岳亭,禹晓辉申请号:CN201710660801.4申请日:20170804公开号:CN107580023A公开日:20180112
摘要:本发明公开了一种动态调整任务分配的流处理作业调度方法及系统,其中该方法包括主控节点服务器接收流处理作业,按照给定的参考并发度以及集群中可用资源及流处理作业的自身结构,生成初始任务分配方案;在流处理业务运行过程中,各个计算节点服务器将其自身运行状态信息自动汇报至主控节点服务器,由主控节点服务器进行统一汇总及相应聚合操作;主控节点服务器根据聚合操作后的信息预测下一时段的数据平均处理量以及相应资源占用值,进而动态调整在各个计算节点服务器的流处理任务实例,最终生成流处理作业的动态分配方案并分配至相应计算节点服务器。
申请人:山东大学
地址:250061 山东省济南市经十路17923号
国籍:CN
代理机构:济南圣达知识产权代理有限公司
代理人:张勇
更多信息请下载全文后查看
因篇幅问题不能全部显示,请点此查看更多更全内容