Python根据URL地址下载文件并保存至对应目录的实现_python

来源:脚本之家  责任编辑:小易  

import reurl='http://zhidao.baidu.com/new?word=&id=123'urllist=[] # 最后2113得到的字符串5261列表id=['123','234','345']for elem in id:    list1=re.split(r'(\W+)', url) #分割字符串,把最后的数字4102单独分割出来    list1[-1]=elem  # 替换最后一1653个元素    urllist.append(''.join(list1))print urllistwww.zgxue.com防采集请勿采集本网。

引言

在编程中经常会遇到图片等数据集将图片等数据以URL形式存储在txt文档中,为便于后续的分析,需要将其下载下来,并按照文件夹分类存储。本文以Github中Alexander Kim提供的图片分类数据集为例,下载其提供的图片样本并分类保存

由于时间和技术的原因,我暂时只能写出这样的来 windowsxp+gvim+python2.7 import osfrom collections import OrderedDicta=os.listdir("D:/test/python") #需要统计的文件夹dicttt={}aa=len(a)i=0for i in range(0,aa): ffname=str(a[i]) if 'a

Python 3.6.5,Anaconda, VSCode

import urllibimg_url = 'http://xxx/image/pic.jpg'save_path = '/data/image/pic.jpg'f = urllib.urlopen(img_url)with open(save_path, "wb") as code: code.write(f.read())

1. 下载数据集文件

import mysql.connectionimport requestsimport timeconn = mysql.connector.connect(user='root', password='password', database='test')cursor=conn.cursor()cursor.execute('create table json(id varchar(20) primary key, text varchar(20

建立项目文件夹,下载上述Github项目中的raw_data文件夹,并保存至项目目录中。

list_dict_all = [] #创建一个空列表,全局变量,用来存放字典def AddtoDict(str_1): # 定义一个函数,功能:把文件里面的内容添加到字典中 list_str1 = str_1.split(",") # 读取的行内容以字符串的形式显示出来, 使用‘,’分隔字符串 line_str =

在这里插入图片描述

 2. 获取样本文件位置

#!/usr/bin/env python#-*- coding:utf-8 -*-import requestsprint('start')url = r'问号前面的网址'parms = {'fileId' : '123 '}try: r = requests.post(url, data=parms) print(r.text)except Exception as e: print(e)

编写get_doc_path.py,根据根目录位置,获取目录及其子目录所有数据集文件

import osdef get_file(root_path, all_files={}): ''' 递归函数,遍历该文档目录和子目录下的所有文件,获取其path ''' files = os.listdir(root_path) for file in files: if not os.path.isdir(root_path + '/' + file): # not a dir all_files[file] = root_path + '/' + file else: # is a dir get_file((root_path+'/'+file), all_files) return all_filesif __name__ == '__main__': path = './raw_data' print(get_file(path))

3. 下载文件

3.1 读取url列表并

for filename, path in paths.items(): print('reading file: {}'.format(filename)) with open(path, 'r') as f: lines = f.readlines() url_list = [] for line in lines: url_list.append(line.strip('\n')) print(url_list)

3.2 创建文件夹

foldername = "./picture_get_by_url/pic_download/{}".format(filename.split('.')[0])if not os.path.exists(folder_path): print("Selected folder not exist, try to create it.") os.makedirs(folder_path)

3.3 下载图片

def get_pic_by_url(folder_path, lists): if not os.path.exists(folder_path): print("Selected folder not exist, try to create it.") os.makedirs(folder_path) for url in lists: print("Try downloading file: {}".format(url)) filename = url.split('/')[-1] filepath = folder_path + '/' + filename if os.path.exists(filepath): print("File have already exist. skip") else: try: urllib.request.urlretrieve(url, filename=filepath) except Exception as e: print("Error occurred when downloading file, error message:") print(e)

4. 完整源码

4.1 get_doc_path.py

import osdef get_file(root_path, all_files={}): ''' 递归函数,遍历该文档目录和子目录下的所有文件,获取其path ''' files = os.listdir(root_path) for file in files: if not os.path.isdir(root_path + '/' + file): # not a dir all_files[file] = root_path + '/' + file else: # is a dir get_file((root_path+'/'+file), all_files) return all_filesif __name__ == '__main__': path = './raw_data' print(get_file(path))

4.2 get_pic.py

import get_doc_pathimport osimport urllib.requestdef get_pic_by_url(folder_path, lists): if not os.path.exists(folder_path): print("Selected folder not exist, try to create it.") os.makedirs(folder_path) for url in lists: print("Try downloading file: {}".format(url)) filename = url.split('/')[-1] filepath = folder_path + '/' + filename if os.path.exists(filepath): print("File have already exist. skip") else: try: urllib.request.urlretrieve(url, filename=filepath) except Exception as e: print("Error occurred when downloading file, error message:") print(e)if __name__ == "__main__": root_path = './picture_get_by_url/raw_data' paths = get_doc_path.get_file(root_path) print(paths) for filename, path in paths.items(): print('reading file: {}'.format(filename)) with open(path, 'r') as f: lines = f.readlines() url_list = [] for line in lines: url_list.append(line.strip('\n')) foldername = "./picture_get_by_url/pic_download/{}".format(filename.split('.')[0]) get_pic_by_url(foldername, url_list)

4.3 运行结果

执行get_pic.py

当程序意外停止或再次执行时,程序会自动跳过文件夹中已下载的文件,继续下载未下载的内容

{‘urls_drawings.txt': ‘./picture_get_by_url/raw_data/drawings/urls_drawings.txt', ‘urls_hentai.txt': ‘./picture_get_by_url/raw_data/hentai/urls_hentai.txt', ‘urls_neutral.txt': ‘./picture_get_by_url/raw_data/neutral/urls_neutral.txt', ‘urls_porn.txt': ‘./picture_get_by_url/raw_data/porn/urls_porn.txt', ‘urls_sexy.txt': ‘./picture_get_by_url/raw_data/sexy/urls_sexy.txt'}

reading file: urls_drawings.txt

Try downloading file: http://41.media.tumblr.com/xxxxxx.jpg

Try downloading file: http://41.media.tumblr.com/xxxxxx.jpg

Try downloading file: http://ak1.polyvoreimg.com/cgi/img-thing/size/l/tid/xxxxxx.jpg

Error occurred when downloading file, error message:

HTTP Error 502: No data received from server or forwarder

Try downloading file: http://akicocotte.weblike.jp/gaugau/xxxxxx.jpg

Try downloading file: http://animewriter.files.wordpress.com/2009/01/nagisa-xxxxxx-xxxxxx.jpg

Try downloading file: http://cdn.awwni.me/xxxxxx.jpg

Try downloading file: http://cdn.awwni.me/xxxxxx.jpg

Try downloading file: http://cdn.awwni.me/xxxxxx.jpg

Try downloading file: http://cdn.awwni.me/xxxxxx.jpg

Try downloading file: http://cdn.awwni.me/xxxxxx.jpg

Try downloading file: http://cdn.awwni.me/xxxxxx.jpg

Try downloading file: http://cdn.awwni.me/xxxxxx.jpg

Try downloading file: http://cdn.awwni.me/xxxxxx.jpg

Try downloading file: http://cdn.awwni.me/xxxxxx.jpg

Try downloading file: http://cdn.awwni.me/xxxxxx.jpg

Try downloading file: http://cdn.awwni.me/xxxxxx.jpg

Try downloading file: http://cdn.awwni.me/xxxxxx.jpg

Try downloading file: http://cdn.awwni.me/xxxxxx.jpg

Try downloading file: http://cdn.awwni.me/xxxxxx.jpg

Try downloading file: http://cdn.awwni.me/xxxxxx.jpg

Try downloading file: http://cdn.awwni.me/xxxxxx.jpg

Try downloading file: http://cdn.awwni.me/xxxxxx.jpg

后注:由于样本数据集内容的问题,上述地址以xxxxx代替具体地址,案例项目也已经失效,但是方法仍然可以借鉴

20.9.23更新:数据集地址:https://github.com/ZQ-Qi/nsfw_data_scrapper,单纯为了学习和实践本文代码的可以下载该数据集进行尝试

到此这篇关于Python根据URL地址下载文件并保存至对应目录的实现的文章就介绍到这了,更多相关Python URL下载文件内容请搜索真格学网以前的文章或继续浏览下面的相关文章希望大家以后多多支持真格学网! 您可能感兴趣的文章:python3获取文件中url内容并下载代码实例python根据url地址下载小文件的实例【Python】Python的urllib模块、urllib2模块批量进行网页下载文件

import requestsfor index in range(000000000000, 999999999999):    try:        filename = "%s.doc" % index        url = 'http://188.161.79.8/qiongzhong/document/downloadFile.jsp?FILENAME=' + filename      型咐瞎  r = requests.get(url)        with open(filename, "wb") as code:            code.write(r.content) 简和   except Exception, e:   卜空     print(str(e))        continue  # 出现2113异5261常忽4102略1653,用爬虫跟踪下2113一页的方法是自己模拟点击下一页5261连接,然后发4102出新的请求;参考例子如下:item1 = Item()yield item1item2 = Item()yield item2req = Request(url='下一页的链1653接', callback=self.parse)yield req注意:使用yield时不要用return语句内容来自www.zgxue.com请勿采集。


  • 本文相关:
  • 基于python实现判断字符串是否数字算法
  • django+boostrap 美化admin后台的操作
  • python beautifulsoup [解决方法] typeerror: list indices must
  • 详解利用opencv提取图像中的矩形区域(ppt屏幕等)
  • python入门学习之字符串与比较运算符
  • python求最大连续子数组的和
  • python 字符串与数字输出方法
  • 寻找网站后台地址的python脚本
  • django中使用post方法获取post数据
  • django将网络中的图片,保存成model中的imagefield的实例
  • python 根据规律生成url列表然后在下载 做一个爬虫
  • python 根据规律生成url列表 求代码
  • 用python selenium提取网页中的所有<a>标签中的超...
  • 利用Python抓取10000条已知url上的固定位置的内容...
  • 用python写一个程序,统计文件中url的出现次数,急求
  • 求告知知道了图片的url怎么用python下下来
  • Python读URL数据写入MySQL数据库
  • 如何使用python将指定文件里的数据读取到字典
  • Python如何下载请求的url指向文件,例如这样的: h...
  • python爬取到了src的链接怎么去下载?
  • 网站首页网页制作脚本下载服务器操作系统网站运营平面设计媒体动画电脑基础硬件教程网络安全vbsdos/bathtahtcpythonperl游戏相关vba远程脚本coldfusionruby专题autoitseraphzonepowershelllinux shellluagolangerlang其它首页python3获取文件中url内容并下载代码实例python根据url地址下载小文件的实例【python】python的urllib模块、urllib2模块批量进行网页下载文件基于python实现判断字符串是否数字算法django+boostrap 美化admin后台的操作python beautifulsoup [解决方法] typeerror: list indices must详解利用opencv提取图像中的矩形区域(ppt屏幕等)python入门学习之字符串与比较运算符python求最大连续子数组的和python 字符串与数字输出方法寻找网站后台地址的python脚本django中使用post方法获取post数据django将网络中的图片,保存成model中的imagefield的实例python入门教程 超详细1小时学会pycharm 2020最新永久激活码(附python 列表(list)操作方法详解python 元组(tuple)操作详解python 字典(dictionary)操作详解pycharm 使用心得(一)安装和首python strip()函数 介绍python 中文乱码问题深入分析python中使用xlrd、xlwt操作excepycharm 2020年最新激活码(亲测pytorch中如何使用dataloader对数据集进行django 表单模型选择框如何使用分组python检测qq在线状态的方法opencv去除小连通区域,去除孔洞的实例讲解python为tornado添加recaptcha验证码功能python中global用法实例分析python greenlet实现原理和使用示例基于python3抓取pinpoint应用信息入库python3.6数独问题的解决python和shell实现的校验ip地址合法性脚本
    免责声明 - 关于我们 - 联系我们 - 广告联系 - 友情链接 - 帮助中心 - 频道导航
    Copyright © 2017 www.zgxue.com All Rights Reserved