/ / Python urllib2 niedokończony plik do pobrania - python, download, urllib2

Python urllib2 niedokończony plik do pobrania - python, download, urllib2

Ten skrypt pobiera plik ze strony internetowej, a w dużych plikach istnieje problem, ponieważ utracone pakiety powodują zatrzymanie pobierania ... Oto kod:

def download(self):

adres = r"http://example.com/100_MbFile.zip"
local = adres.split("/")[-1].split("#")[0].split("?")[0]

try:
print "Przygotowanie do zapisania pliku " + local
u = urllib2.urlopen(adres)
f = open(local, "wb")
meta = u.info()
file_size = int(meta.getheaders("Content-Length")[0])
print("Downloading: {0} Bytes: {1}".format(adres, file_size))

file_size_dl = 0
block_sz = 8192
while True:
buffer = u.read(block_sz)
if not buffer:
break

file_size_dl += len(buffer)
f.write(buffer)
p = float(file_size_dl) / file_size
status = r"{0}  [{1:.2%}]".format(file_size_dl, p)
status = status + chr(8)*(len(status)+1)
sys.stdout.write(status)


if file_size_dl == file_size:
f.close()

Wszelkie pomysły na pobieranie dużych plików?

Odpowiedzi:

0 dla odpowiedzi № 1

do pobierania i zapisywania plików w Pythonie 2 masz kilka opcji ...

możesz użyć urllib: http://docs.python.org/2/library/urllib.html#urllib.urlretrieve

to zasadniczo robi to, co próbujesz:

import urllib

filename = "100_MbFile.zip"
url = "http://example.com/" + filename

urllib.urlretrieve(url, filename)

... lub możesz użyć urllib2i określ rozmiar fragmentu do odczytania (jak w przykładowym kodzie).

import urllib2

filename = "100_MbFile.zip"
url = "http://example.com/" + filename

req = urllib2.urlopen(url)
block_sz = 8192
with open(filename, "wb") as f:
while True:
chunk = req.read(block_sz)
if not chunk:
break
f.write(chunk)