Ist Web Scraping legal? Was Sie wissen müssen

Web Scraping ist eine der am weitesten verbreiteten Methoden der Datenerhebung, aber seine Rechtmäßigkeit ist nach wie vor ein viel diskutiertes Thema. Ist Web Scraping legal? Obwohl die Antwort nicht so einfach ist, werfen wir in diesem Beitrag einen Blick darauf, was Web Scraping ist, welche rechtlichen Implikationen es hat und wie man es am besten einsetzt. Los geht’s!

Was ist Web Scraping?

Web Scraping (oder Daten Scraping): Was es ist und wie es funktioniert

Beim Web Scraping werden Daten aus einer Website extrahiert, die erhobenen Informationen werden dann in ein Format exportiert, das für den Nutzer nützlicher ist.

In technischeren Fällen verwendet der Scraper den HTML-, CSS- oder JavaScript-Code einer Webseite und extrahiert alle vorhandenen Daten oder wählt bestimmte wertvolle Informationen aus. In der Tat ermöglicht es Web Scraping, bestimmte Informationen gezielt abzurufen (z. B. eine Amazon-Seite nach Preisen, aber nicht nach Produktbewertungen zu scannen).

🔍 In der Regel wird Web Scraping mit speziellen, automatisierten Tools durchgeführt, die schneller arbeiten als manuelles Web Scraping.

Beispiele für Web Scraping

Während Web Scraping Entwickler einbezieht, da es ziemlich technisch werden kann, ist es ein wertvolles Tool für Forscher, Journalisten, Wissenschaftler und mehr.

Web Scraping kann für Folgendes verwendet werden:

• Marktforschung (z.B. Analyse der Konkurrenz zu Produktdaten von E-Commerce-Seiten wie Amazon oder eBay);
• Preisbeobachtung (d. h. Aktienkurse);
• Nachrichtenüberwachung;
• Filialfinder, Sportstatistiken usw. sammeln.

Ist Web Scraping legal?

Die Rechtmäßigkeit von Web Scraping

Wie die meisten Menschen, die zu diesem Thema forschen, fragen Sie sich vielleicht: Ist das Scraping von Daten legal? Seien Sie nicht zu enthusiastisch, denn das ganze Thema bleibt leider eine Grauzone.

Web Scraping ist grundsätzlich zulässig, wenn

• die extrahierten Daten öffentlich verfügbare Daten sind und
• die erhobenen Informationen nicht durch ein Login geschützt sind.

Im Allgemeinen erfordert verantwortungsvolles Web Scraping, dass Sie mit geltenden Nutzungsbedingungen, urheberrechtlich geschützten Daten und personenbezogenen Daten vorsichtig sind (da personenbezogene Daten typischerweise durch Datenschutzgesetze geschützt sind).

🔍 Werfen Sie einen Blick auf unseren ausführlichen Leitfaden darüber, was in den wichtigsten Datenschutzgesetzen als personenbezogene Daten gilt.

Daten Scraping nach Datenschutzgesetzen

Die bisher in der EU (DSGVO) oder in den USA (CPRA) geltenden großen Datenschutzgesetze zielen darauf ab, personenbezogene Daten der Nutzer zu schützen und einen Rahmen für die Nutzung dieser Daten festzulegen.

Sie beziehen sich nicht auf Web Scraping oder sagen, dass es illegal ist. Sie regeln jedoch, wie Unternehmen personenbezogene Daten erheben und was sie damit tun können. Kurz gesagt – denn ja, das Gesetz ist viel komplizierter als das! – es beinhaltet in der Regel:

• die ausdrückliche Einwilligung der Betroffenen;
• Erhebung personenbezogener Daten nur für bestimmte Zwecke;
• Information der Nutzer darüber, welche Daten wie erhoben werden und welche Rechte sie haben.

🔍 Kurz gesagt: Wenn Ihre Web-Scraping-Aktivitäten das Scraping personenbezogener Daten beinhalten, müssen Sie sicherstellen, dass Sie mit den Datenschutzgesetzen gesetzeskonform handeln.

Garantierte Führung

Im Mai 2024 hat die Garante einen Leitfaden veröffentlicht, der Anweisungen für den Schutz personenbezogener Daten enthält, die von öffentlichen und privaten Stellen als für die Datenverarbeitung Verantwortliche online veröffentlicht werden, um sie vor Web Scraping im Rahmen des generativen KI-Trainings zu schützen. Die Garante schlägt eine Reihe konkreter Maßnahmen vor, darunter:

• die Einrichtung von reservierten Bereichen, die nur nach einer Registrierung zugänglich sind, um Daten der öffentlichen Verfügbarkeit zu entziehen; 
• die Aufnahme von Anti-Scraping-Klauseln in die Nutzungsbedingungen von Websites oder Online-Plattformen; 
• die Überwachung des Datenverkehrs auf Webseiten, um anormale Datenströme bei eingehenden und ausgehenden Daten zu identifizieren (ein Beispiel für eine geeignete Maßnahme ist die Begrenzung des Netzwerkverkehrs und der Anzahl der Zugriffsanfragen, indem nur die Anfragen von bestimmten IP-Adressen ausgewählt werden); und
• die Umsetzung spezifischer Maßnahmen gegen Bots mit Hilfe einiger technologischer Lösungen (z.B.: Eingriffe in die robots.txt-Datei; Aufnahme von CAPTCHA-Prüfungen; regelmäßige Änderungen des HTML-Markups; Einbindung von Inhalten oder Daten zur Vermeidung von Scraping-Aktivitäten in Multimedia-Elemente wie Bilder).

Durch diese Maßnahmen, die weder in Bezug auf die Methode noch auf das Ergebnis erschöpfend sind, können die Betreiber von Websites und Online-Plattformen die Auswirkungen von Scraping eindämmen, das darauf abzielt, generative Algorithmen der künstlichen Intelligenz zu trainieren.

Vergangene Urteile und gemeinsame Fälle

Einige bemerkenswerte Fälle, in denen Web Scraping illegal ist und die Sie beachten sollten, umfassen Einzelpersonen oder Unternehmen, die Web Scraping missbrauchen und gegen die Nutzungsbedingungen oder Urheberrechtsnormen verstoßen.

📌 Urteil des US Ninth Circuit of Appeals Court – LinkedIn vs. HiQ

LinkedIn hat einen Rechtsstreit geführt, um einen Konkurrenten, HiQ, daran zu hindern, das Scraping von personenbezogenen Informationen aus den öffentlichen LinkedIn-Profilen der Nutzer zu betreiben.
Im Jahr 2020 stellte das Urteil fest, dass der CFAA nicht überschritten wurde, da die von LinkedIn abgegriffenen Daten öffentlich waren (nicht hinter einer Passwortmauer).

📌 Clearview AI Geldbuße

Das Gesichtserkennungsunternehmen wurde zu einer hohen Geldbuße verurteilt, weil es das Scraping von Millionen von Bildern von Gesichtern aus den sozialen Medien betrieben hat.
Es wurde erklärt, dass Clearview AI sensible Daten ohne gültige Rechtsgrundlage verarbeite. Lesen Sie die ganze Geschichte auf unserem Blog.

Was Sie tun müssen

Als Web Scraper

✅ Seien Sie vorsichtig, wenn Sie Daten von einer Website herunterladen, für die Sie sich anmelden müssen, da dies bedeuten könnte, dass Sie den Nutzungsbedingungen zugestimmt haben, die Web Scraping Aktivitäten verbieten können.

✅ Überprüfen Sie die AGBs der Website, um sicherzustellen, dass Sie nicht gegen einen Vertrag verstoßen.

✅ Auch wenn es sich um öffentlich zugängliche Daten handelt, stellen Sie sicher, dass Daten nicht urheberrechtlich geschützt sind. Dies kann Artikel, Videos, Designs umfassen.

✅ Und schließlich, und das ist das Wichtigste, muss die Ethik berücksichtigt werden. Selbst wenn eine Aktivität nicht illegal ist, kann sie Ihnen oder anderen dennoch Schaden zufügen.

Als Anbieter der Website

Um Ihre Website vor dem Scraping ihrer Informationen zu schützen, können Sie:

🔒 🔒 Ihre Website unter Copyright stellen und eine Copyright-Klausel (Urheberrechtsklausel) hinzufügen

🔒 Sie sollten Einschränkungen für das Web Scraping in die AGB-Dokument Ihrer Website aufnehmen. Achten Sie dabei darauf, dass die Sprache spezifisch ist, und verbieten Sie Dritten das Scraping von Informationen und verwenden Sie diese beispielsweise für gewerbliche Zwecke (Gewinnerzielungsabsicht).

👋 So einfach geht es mit den Software-Lösungen von iubenda:

🚀 Nutzen Sie den AGB-Generator von iubenda;
🚀 Erstellen Sie Ihr individuelles Dokument mit den Allgemeinen Geschäftsbedingungen;

🚀erstellen Sieeine benutzerdefinierte Klausel oder wählen Sie unsere vorgefertigten Klauseln, einschließlich Inhaltsrechteklauseln;

🚀 F ügen Sie ganz einfach eine Anti-Scraping-Klausel hinzu: Akzeptable Nutzung → Personalisierte Klausel zur akzeptablen Nutzung (Liste mit spezifischen Aussagen zu akzeptablen/verbotenen Nutzungen, die mit Beispielen und Aussagen in die Tiefe gehen) → Hinzufügen einer Liste mit Scraping-Einschränkungen

🚀 Für eine schnelle Installation auf Ihrer Website folgen Sie bitte unseren Anweisungen!