/blog/perl


substr() in Perl
[154170 mal gelesen]
foreach in Perl
[129166 mal gelesen]
Arrays in Perl - Besonderheiten
[125384 mal gelesen]
split() in Perl - Zeichenketten teilen
[113580 mal gelesen]
open() - Dateien öffnen in Perl
[108992 mal gelesen]
grep - Listen durchsuchen in Perl
[94729 mal gelesen]
chomp() in Perl
[93643 mal gelesen]
push in Perl
[90859 mal gelesen]
sleep in Perl - Das aktuelle Script warten lassen
[75984 mal gelesen]
index() in Perl - Zeichenkette in Zeichenkette suchen
[59577 mal gelesen]


Arrays
Dateien
HTPC
Hashes
Leistungsoptimiert
PHP
Perl
RegEx
Schleifen
Script
Skalare
Sonstiges
System
Webserver
Zur Startseite


Mittwoch, 20.6.2007, 11:45:35 Uhr

head einer Webseite einlesen mit Statuscode



Also ich hab mich ja hier schon mal darüber ausgelassen, wie man bei LWP::Simple das timeout von LWP::UserAgent einbindet. Grund damals war, daß ich per head die Kopfdaten, wie zum Beispiel die Länge des Dokumentes haben wollte.
Nun, etwas Zeit ist vergangen, und inzwischen hab ich festgestellt, daß manche Server anonyme Anfragen blocken. Außerdem wäre es sinnig, den Statuscode zu kriegen, wenn z.B die Seite down ist.

Ich hab da einiges gesucht bei Google über LWP::Simple und bin zu keinem Ergebnis gekommen.
Wohl aber mit LWP::UserAgent!


use LWP::UserAgent;
$url="http://www.testseite.de";
my $ua = LWP::UserAgent->new();
$ua->timeout(20);
$ua->agent('Mozilla/4.7 [en] (WinNT; I) [Netscape]');
my $request = HTTP::Request->new('HEAD', $url);

my $response = $ua->request($request);

my $status=$response->code;
#print "HTTP-Status-Antwort-Header as string: ",$response->headers_as_string() , "\n";
my $document_length = $response->content_length;
my $modified_time= $response->last_modified;

if ($status < 200 || $status >=300){
print "\nStatus: $status\n";
exit;
}

print <<EOF;
Status: $status
Datei-Groesse: $document_length
letzte Änderung: $modified_time
EOF


Also, wie gehts?
Zu Beginn wird der UserAgent geladen. Der UserAgent ist übrigens so etwas wie ein simulierter Webbrowser in Perl, der all das machen kann, was man auch in einem echten Webbrowser machen kann.
Per timeout von 20 Sekunden legt man fest, daß nach 20 Sekunden abgebrochen werden soll.
Per agent legt man fest, daß Perl sich als zum Beispiel Mozilla/4.7 [en] (WinNT; I) [Netscape] ausgibt. Dies verhindert, daß manche Webseiten den Zugriff blockieren.
Schließlich bereitet man per HTTP::Request->new('HEAD', $url); den Zugriff abschließend vor und führt ihn per $ua->request($request); durch.
In $response erhält man nun die Daten, die die Seite zurückgibt, und zwar als einen Zeiger auf ein HTTP::Headers-Objekt. Sehr technisch das Ganze, ich weiß...
Auf jeden Fall kann man jetzt ganz einfach per

my $status=$response->code;
my $document_length = $response->content_length;
my $modified_time= $response->last_modified;


zum Beispiel den Statuscode der Seite (404, 200 oder sonstwas), die Dokumentlänge und die letzte Änderungszeit am Dokument erfahren.


Interessante weiter Head-Elemente, die der fremde Server zurückgibt:
$response->expires
Gibt an, wann ein Dokument als verfallen gilt

$response->content_type
Gibt die Art des Inhaltes der fremden Seite zurück, z.B. text/hml.

$response->title
Den Title des Dokumentes zwischen <title> und </title>

$response->server
Informationen über den fremden Server



Thema: Perl Webserver

Der Beitrag "head einer Webseite einlesen mit Statuscode" wurde 8518 mal gelesen.

Es wurde 4 x über diesen Beitrag abgestimmt.
Die durchschnittliche Beurteilung liegt bei
2 (1 = sehr gut - 6 = grottenschlecht).

Kommentar schreiben  Druckansicht  Seitenanfang 
Beurteilen 






 Zufällige Beiträge im /blog/perl

HTML-Code ausgeben mit Perl

Net::FTP unter Windows Vista

rename in Perl - Dateien umbenennen

Eine nette kleine RegEx

lc() in Perl - Alle Buchstaben in Kleinbuchstaben umwandeln

Pop3-Postfach einlesen und Mails anzeigen bzw. verarbeiten

Datei komplett einlesen - Die exotische Variante

Cache.pm - Cache-Modul für Perl - A Cache-Module for Perl

Die Schwartzsche Transformation - Arrays sortieren nach mehreren Kriterien



0.0292179584503174 sec. to build



...Blogsoftware in pure Perl - Powered by a lot of Coffee...


SSD-Festplatte - Wassn das???
Die Transliteration - Nur ein Zeichen in einem Skalar ersetzen
Select - Case in Perl
Windows 7 XP Mode – Wo finde ich den XP-Modus unter Windows 7?
Mac-Adresse beim Apple Macintosh herausfinden
SGN-Funktion für Perl

Eigene IP herausfinden mit Perl
Epoche live in Datum umwandeln
Firefox 3 - Exe-Files downloaden


Gesamtverzeichnis
Februar 2010
Dezember 2009
Oktober 2009
Januar 2009
Dezember 2008
November 2008
September 2008
August 2008
Juli 2008
Juni 2008
Mai 2008
April 2008
Januar 2008
Dezember 2007
November 2007
Oktober 2007
September 2007
August 2007
Juni 2007
Mai 2007
April 2007
März 2007
Februar 2007
Januar 2007
Dezember 2006


Mister Wong

RSS-Feed

Heute ist der
23.11.2024

Es ist
15:42:29 Uhr

Ihre IP:
18.222.20.250

Blog-Einträge: 186

Die letzten 24 Stunden im Überblick


Gelesene Beiträge insgesamt:
4423989


Webseiten vergleichen
Kalender mit Feiertagen - 2028
Links finden und testen
Menschliche Datumsangaben
IP zu Domain herausfinden
Time live in Datum umwandeln
Perl für Windows



Impressum