Ich versuche eine öffentlich zugängliche API zu erstellen, diesammelt Daten durch Scraping HTML (der Inhalt der Seite ist wichtig, nicht die Seiten selbst). Ich habe mich für Django-Rest-Framework als Backend entschieden. Meine Frage ist: Wie genau würde ich die Struktur dieses Projekts organisieren, so dass das Django ORM den abgeschabten Inhalt speichert und dann mit der API von Django-Rest-Framework aufgerufen werden kann?
Ich habe Scrapy untersucht, aber das scheint weniger zu seinkonzentrierte sich auf das Scraping von Inhalten und konzentrierte sich mehr auf Webcrawling. Darüber hinaus wird es in einem eigenen Projekt implementiert, das Konflikte mit Djangos Bootstrapping verursacht.
Ist meine beste Wette nur Cronjobs zu laufen? Das scheint unelegant.
Antworten:
0 für die Antwort № 1Benutzen Sellerie um asynchrone und periodische Aufgaben zu erstellen.
Wenn Sie etwas leichtes zum Schaben brauchen, können Sie verwenden BeautifulSuppe. Hier ist ein Tutorial.
Insgesamt müssen Sie Folgendes tun:
- Starte das normale Django-Projekt.
- Fügen Sie Sellerie hinzu.
- Schreibe etwas Scraping-Code.
- Rufen Sie Ihren benutzerdefinierten Scraping-Code aus Sellerie-Aufgaben. Speichern Sie den ausgeschabten Inhalt in der Datenbank.
- Verwenden Sie Django-Rest-Framework, um eine API zu erstellen, die den Inhalt aus der Datenbank bereitstellt.