python实现批量监控网站

来源:本网整理

1.用Python封装被测试接口,对于HTTP接口我们通常会采用 GET和POST 2种调用方式去访问,所以必须把这2种方式都封装进去#-*-coding:gb2312-*-import urllib2,urllib ''' 函数说明:url 特殊字符编码转换 作者:xiaonan 输入参数:待转换的字www.zgxue.com防采集请勿采集本网。

s">

python实现批量监控网站

作者:mindg 字体:[增加 减小] 类型:转载 时间:2016-09-09 我要评论 本文给大家分享的是一个非常实用的,python实现多网站的可用性监控的脚本,并附上核心点解释,有相同需求的小伙伴可以参考下 ">

最近又新上了一部分站点,随着站点的增多,管理复杂性也上来了,俗话说:人多了不好带,我发现站点多了也不好管,因为这些站点里有重要的也有不重要的,重要核心的站点当然就管理的多一些,像一些万年都不出一次问题的,慢慢就被自己都淡忘了,冷不丁那天出个问题,还的手忙脚乱的去紧急处理,所以规范的去管理这些站点是很有必要的,今天我们就做第一步,不管大站小站,先统一把监控做起来,先不说业务情况,最起码那个站点不能访问了,要第一时间报出来,别等着业务方给你反馈,就显得我们不够专业了,那接下来我们看看如果用python实现多网站的可用性监控,脚本如下:

可以,但难易程度取决于在下面哪个阶段获取这个数据 客户端软件->客户端网卡->路由->(网络)->服务器网卡->http server-->解析程序-> 在最后一个箭头后是最简单的,相当于一个API接口 在网卡相邻

#!/usr/bin/env python import pickle, os, sys, loggingfrom httplib import HTTPConnection, socketfrom smtplib import SMTP def email_alert(message, status): fromaddr = 'xxx@163.com' toaddrs = 'xxxx@qq.com' server = SMTP('smtp.163.com:25') server.starttls() server.login('xxxxx', 'xxxx') server.sendmail(fromaddr, toaddrs, 'Subject: %s\r\n%s' % (status, message)) server.quit() def get_site_status(url): response = get_response(url) try: if getattr(response, 'status') == 200: return 'up' except AttributeError: pass return 'down' def get_response(url): try: conn = HTTPConnection(url) conn.request('HEAD', '/') return conn.getresponse() except socket.error: return None except: logging.error('Bad URL:', url) exit(1) def get_headers(url): response = get_response(url) try: return getattr(response, 'getheaders')() except AttributeError: return 'Headers unavailable' def compare_site_status(prev_results): def is_status_changed(url): status = get_site_status(url) friendly_status = '%s is %s' % (url, status) print friendly_status if urlin prev_resultsand prev_results[url] != status: logging.warning(status) email_alert(str(get_headers(url)), friendly_status) prev_results[url] = status return is_status_changed def is_internet_reachable(): if get_site_status('www.baidu.com') == 'down' and get_site_status('www.sohu.com') == 'down': return False return True def load_old_results(file_path): pickledata = {} if os.path.isfile(file_path): picklefile = open(file_path, 'rb') pickledata = pickle.load(picklefile) picklefile.close() return pickledata def store_results(file_path, data): output = open(file_path, 'wb') pickle.dump(data, output) output.close() def main(urls): logging.basicConfig(level=logging.WARNING, filename='checksites.log', format='%(asctime)s %(levelname)s: %(message)s', datefmt='%Y-%m-%d %H:%M:%S') pickle_file = 'data.pkl' pickledata = load_old_results(pickle_file) print pickledata if is_internet_reachable(): status_checker = compare_site_status(pickledata) map(status_checker, urls) else: logging.error('Either the world ended or we are not connected to the net.') store_results(pickle_file, pickledata) if __name__ == '__main__': main(sys.argv[1:])

如果只是获取标签应该很简单吧。一种是先爬取,后去重,把标签按照网站,影片名存储,然后挨个提取。另一种是爬取中去重,这样就是有顺序的爬取网站,如果同一个影片,有相同的标签就不存储。好

脚本核心点解释:

可以shodan,zoomeye之类的去搜索或者调用API批量获取,关键词“Hikvision-Webs”,关于其他的关键词可以自行挖掘…也可以进行端口扫描使用nmap或者s扫描器之内的 通过shodan我发现大多数设备开发了80 81

1、getattr()是python的内置函数,接收一个对象,可以根据对象属性返回对象的值。

通过shodan我发现大多数设备开发了80 81 8080 82 之内的端口,那么你就可以使用端口扫描工具扫描这些端口 接下来咱们要登陆并且获取登陆信息用于后面的python。我随便打开了一个。试试弱口令

2、compare_site_status()函数是返回的是一个内部定义的函数。

知道大概怎么解决,但具体的不熟练,建议如果没有人给现成的代码,那就自己研究一下吧。第五行最后一个app,中国。大学。慕。课,里面搜索爬虫,学它一两个小时,就知道这个批量查询成绩该怎么做

3、map(),需要2个参数,一个是函数,一个是序列,功能就是将序列中的每个元素应用函数方法。

带界面的工具 1、MySQL可视化工具 这些工具都可以免费使用:a、MySQL查询浏览器(MySQL Query Browser):这个不用说了…b、MySQL管理员(MySQL Administrator):功能集中在服务器管理上,所以它最适合DBA使用,内容来自www.zgxue.com请勿采集。

免责声明 - 关于我们 - 联系我们 - 广告联系 - 友情链接 - 帮助中心 - 频道导航
Copyright © 2017 www.zgxue.com All Rights Reserved