周期性/定时执行python任务，使用三种方法：while、apscheduler、sched_python周期执行-CSDN博客
Excerpt
文章浏览阅读3.4k次，点赞2次，收藏10次。文章目录方法一：使用while关键字方法二：使用apscheduler第三方库方法三：使用源生sched做循环的任务首先写一个main函数：import sysimport osfrom scrapy.cmdline import executedef start_scrapy():# 直接运行这个python文件,即可在程序中调试sys.path.append(os.path.dirname(os.path.abspath(file)))# 第三个参数是spider的nam_python周期执行
文章目录
首先写一个main函数：
1 | import sys import os from scrapy.cmdline import execute def start_scrapy(): # 这个是我的任务，可以换成自己的任务哈 sys.path.append(os.path.dirname(os.path.abspath(__file__))) execute(['scrapy', 'crawl', 'spider_name']) |
方法一：使用while关键字
1 | import sys import os from scrapy.cmdline import execute import schedule import time # 见上一步,这里我们写成一个函数的形式 def start_scrapy(): sys.path.append(os.path.dirname(os.path.abspath(__file__))) execute(['scrapy', 'crawl', 'spider_name']) schedule.every(30).minutes.do(start_scrapy) # 每30分钟执行一次,注意这里的参数传递的是函数名,不要加括号 #schedule.every().hour.do(job)#每隔一小时执行一次任务 #schedule.every().day.at("23:30").do(job)#每天的23:30执行一次任务 #schedule.every().monday.do(job)#每周一的这个时候执行一次任务 #schedule.every().wednesday.at("23:30").do(job)#每周三23:30执行一次任务 # 只要程序不关,就会循环执行 while True: schedule.run_pending() time.sleep(1) |
方法二：使用apscheduler第三方库
首先安装依赖pip install apscheduler
1 | import sys import os from scrapy.cmdline import execute from apscheduler.schedulers.blocking import BlockingScheduler def start_scrapy(): sys.path.append(os.path.dirname(os.path.abspath(__file__))) execute(['scrapy', 'crawl', 'spider_name']) sched = BlockingScheduler() sched.add_job(start_scrapy, 'interval', seconds=10) #这里每10s执行一次 start_scrapy() ，注意传参的时候不要加括号 sched.start() |
这是一些常用的配置
1 | #执行一次： #2019年3月1日0时0分0秒执行该程序 sched.add_job(job_fun, 'cron', year=2019,month = 03,day = 1,hour = 0,minute = 0,second = 0) #从星期一到星期五5:30（AM）直到2014-05-30 00:00:00 sched.add_job(job_fun, 'cron', day_of_week='mon-fri', hour=5, minute=30,end_date='2014-05-30' #间隔多长时间后执行 #每隔30分钟执行一次 sched.add_job(my_job, 'interval',minutes = 30) #每隔2天10时20分30秒执行一次任务 sched.add_job(my_job, 'interval',days = 2,hours = 10,minutes = 20,seconds = 30) #注意：执行一次时是day，间隔执行时为days，注意参数后面是否加's' |
方法三：使用源生sched做循环的任务
1 | import time import sched import sys import os from scrapy.cmdline import execute # 周期性执行给定的任务 s = sched.scheduler(time.time, time.sleep) # 被周期性调度触发的函数 def start_scrapy(): sys.path.append(os.path.dirname(os.path.abspath(__file__))) execute(['scrapy', 'crawl', 'xinwen_spider']) def perform(inc): s.enter(inc, 0, perform, (inc,)) start_scrapy() #每30 * 60 s执行一次(30分钟) def main_scrapy(inc=1800): # 修改这里的秒数，就是想要循环执行的次数 s.enter(0, 0, perform, (inc,)) s.run() if __name__ == "__main__": main_scrapy() |
