一种分布式互联网信息下载系统及方法

Abstract

本发明公开了一种分布式互联网信息下载系统及方法，首先由分发子系统接收用户的下载任务信息，并将下载任务信息发送到下载子系统；然后由下载子系统根据下载任务信息下载任务结果信息，并将任务结果信息发送到分发子系统；最后由分发子系统接收任务结果信息，并将任务结果信息回送给发起请求的用户。该系统物理环境包括了一个分发服务器和下载子系统群，系统的内部的工作方式是基于队列模型对需要获取的任务进行分配给下载子系统群，下载子系统群可以并发的处理所分配到的任务。该系统及方法适用于互联网的大数据量的采集，能够有效提高信息获取的效率及时效性。