Low-Power Wide-Area Networks (LPWAN, engl. energiesparende, großflächige Netzwerke), entwickeln sich fortwährend zum Rückgrat moderner Geschäftsprozesse und kommunaler Verwaltung. LoRaWAN, was für Long-Range Wide-Area Network (engl. großflächige Netzwerke mit hoher Reichweite) steht, ist ein neuartiges Protokoll auf der Medium Access Control (MAC, engl. Medienzugriffssteuerung) Ebene, das sich in diesem Markt durchzusetzen versucht. Es sticht dabei durch sein offenes Betreibermodell und eine neuartige Modulationstechnik hervor. Mit steigender Abhängigkeit der heutigen Gesellschaft von LoRaWAN und ähnlichen Technologien wird die Frage nach deren Sicherheit und Zuverlässigkeit aufgeworfen. Forschung zu diesem Thema hat bereits Schwachstellen in der ersten Version der LoRaWAN Spezifikation aufgezeigt, die mit der neusten Auflage, LoRaWAN 1.1, teilweise behoben werden. Häufig liefern die Studien allerdings nur theoretische Ergebnisse oder betrachten praktische Szenarien nur im ausgewählten, kleinen Maßstab. Diese Thesis stellt Werkzeuge zur praktischen Evaluation der Sicherheits- und Verlässlichkeitseigenschaften von LoRaWAN Netzwerken vor. So werden reproduzierbare Ergebnisse geboten, und auch ein Vergleich einzelner LoRaWAN Spezifikationen und Softwarelösungen ermöglicht. Bevor wir auf die Implementierungsdetails eingehen, geben wir einen Überblick über Literatur zu Schwachstellen und Angriffen auf LoRaWAN, um damit die weitere Evaluation zu planen. Als Ergebnis zeigen wir experimentell, dass Jamming eine ernstzunehmende Bedrohung für die Verfügbarkeit von LoRaWAN Netzwerken ist. Darüber hinaus demonstrieren wir die praktische Anwendbarkeit zweier Replay-Angriffe gegen ausgewählte LoRaWAN-Software und legen dar, weshalb diese Angriffe durch Abwärtskompatibilität noch für Jahre relevant sein werden.