Praxiserfahrung gesucht.

[Claus]

Hallo Community,

ich benötige einige Erfahrungswerte und/oder Referenzen bezüglich des
professionellen Einsatzes von ProFTPD.

Hintergrund :
Zurzeit setzen wir an meiner Arbeitsstätte einen G6/BPFTP auf NT4 ein.
Nun soll geprüft werden ob der Einsatz von ProFTPD möglich ist bzw. wird
es Voraussetzungen geben um ein Testsystem zu erstellen.

Anforderung :
Der FTP Server bedient ca. 30-50 gleichzeitig eingeloggte user.
Je nach Tageszeit prüfen diese nur auf abzuholende Daten bis hin zu
down- und uploads von sehr vielen kleinen Dateien.
Angewiesen sind wir auf die Eventsteuerung des FTP Servers.
Die Events lösen perl scripte aus, um logins in einer Datenbank
zu protokollieren, Dateien zu kopieren/moven und Datenbankeinträge zur weiteren
Verarbeitung einzustellen.
Das FTP root Verzeichnis liegt auf einer an den Server (Cluster System)
angeschlossenen Fast-T.
Die verwendetet DB ist ein MSSQL Server 7.0

Gibt es Erfahrungsberichte über einen Einsatz dieser Art mit ProFTPD?

Zur Diskussion steht ebenfalls der Einsatz von mehr als einem FTP-Server (Load Balancing).
Gibt es dazu Erfahrungsberichte aus der Praxis?
Dies würde mich auch unabhängig des eingesetzten FTP-Servers interessieren.

Es muss, da als OS Linux verwendet wird, eine Zuverlässige Anbindung an den
MSSQL DB Server gewährleistet sein. Dies wird für die perl scripte benötigt.
Mir sind die grundsätzlichen Möglichkeiten der Anbindung bekannt,
aber es fehlen Erfahrungswerte hinsichtlich des Verhaltens bei den genannten Anforderungen.
Hinweise, die DB zu wechseln sind nicht nötig, da dies definitiv nicht zur Disposition steht.

Ich freue mich über konstruktive Antworten.


Claus

[stonki]

Anforderung :
Der FTP Server bedient ca. 30-50 gleichzeitig eingeloggte user.
Je nach Tageszeit prüfen diese nur auf abzuholende Daten bis hin zu
down- und uploads von sehr vielen kleinen Dateien.

sollte kein Problem sein.

Angewiesen sind wir auf die Eventsteuerung des FTP Servers.
Die Events lösen perl scripte aus, um logins in einer Datenbank
zu protokollieren, Dateien zu kopieren/moven und Datenbankeinträge zur weiteren Verarbeitung einzustellen.

mod_exec bzw. mod_sql.

http://www.castaglia.org/proftpd/modules/mod_exec.html
http://www.castaglia.org/proftpd/doc/contrib/ProFTPD-mini-HOWTO-SQL.html

Das FTP root Verzeichnis liegt auf einer an den Server (Cluster System)
angeschlossenen Fast-T.
Die verwendetet DB ist ein MSSQL Server 7.0

das Verzeichnis wird ja via NFS, CIFS eingebunden, also kein Thema. MS SQL wird nicht nativ unterstützt, jedoch sollten die ODBC Treiber für ProFTPD hier eine Lösung sein:
http://www.castaglia.org/proftpd/modules/mod_sql_odbc.html

Zur Diskussion steht ebenfalls der Einsatz von mehr als einem FTP-Server (Load Balancing).
Gibt es dazu Erfahrungsberichte aus der Praxis?
Dies würde mich auch unabhängig des eingesetzten FTP-Servers interessieren.

Mit Load Balancing habe ich leider keine Erfahrung.

Es muss, da als OS Linux verwendet wird, eine Zuverlässige Anbindung an den  MSSQL DB Server gewährleistet sein. Dies wird für die perl scripte benötigt.
Mir sind die grundsätzlichen Möglichkeiten der Anbindung bekannt,
aber es fehlen Erfahrungswerte hinsichtlich des Verhaltens bei den genannten Anforderungen.
Hinweise, die DB zu wechseln sind nicht nötig, da dies definitiv nicht zur Disposition steht.

Mit Erfahrungen die Dein Scenario abbilden sieht es relativ schlecht aus - wenn überhaupt würde ich mal die (englischsprachige) ProFTPD User Mailingliste ausprobieren. Ansonsten helfe ich gerne: a) hört sich spannend an und b) brauch ich Festplatten  :lol:

cu
stonki

[Claus]

Hallo Stonki,

erstmal schönen Dank für die schnelle Antwort.

MS SQL wird nicht nativ unterstützt,
jedoch sollten die ODBC Treiber für ProFTPD hier eine Lösung sein:
http://www.castaglia.org/proftpd/modules/mod_sql_odbc.html

In diesem Punkt bin ich natürlich besonders an einer Erfahrung aus
der Praxis interessiert, da es bei der DB Anbindung auf keinen Fall
zu Störungen bzw. performance einbußen kommen darf.


Es gibt noch etwas Ergänzendes hinsichtlich der log Prozedur.
Wir spliten unsere logs Täglich auf, diese Option bietet der FTP-Server.
Dieser Vorgang ist zwingend nötig, da diese täglichen log Dateien
eine Größe von mehr als 200mb erreichen können.
Es ist häufig erforderlich die log Dateien einzusehen, was bei einer
solchen Größe schon nicht mehr ganz unproblematisch ist.
Ich selber habe mir bei einer früheren Version von ProFTPD über eine
name pipe Steuerung tägliche log Dateien erzeugt. Dies allerdings nur
auf einem privaten Server der nur schwach frequentiert war.
Somit weiß ich nicht ob diese Lösung bei einem stark frequentierten
Server bremsend wirkt.
Bietet der ProFTPD so etwas mitlerweile von Haus aus bzw. über ein mod an?
Alternativ fällt mir die logrotate Steuerung vom OS ein, allerdings ungetestet.
Wenn es zu diesem Thema Erfahrung von usern gibt, bin ich interessiert.

Gruß,

Claus

[stonki]

Es gibt noch etwas Ergänzendes hinsichtlich der log Prozedur.
Wir spliten unsere logs Täglich auf, diese Option bietet der FTP-Server.
Dieser Vorgang ist zwingend nötig, da diese täglichen log Dateien
eine Größe von mehr als 200mb erreichen können.
Es ist häufig erforderlich die log Dateien einzusehen, was bei einer
solchen Größe schon nicht mehr ganz unproblematisch ist.
Ich selber habe mir bei einer früheren Version von ProFTPD über eine
name pipe Steuerung tägliche log Dateien erzeugt. Dies allerdings nur
auf einem privaten Server der nur schwach frequentiert war.
Somit weiß ich nicht ob diese Lösung bei einem stark frequentierten
Server bremsend wirkt.
Bietet der ProFTPD so etwas mitlerweile von Haus aus bzw. über ein mod an?
Alternativ fällt mir die logrotate Steuerung vom OS ein, allerdings ungetestet.
Wenn es zu diesem Thema Erfahrung von usern gibt, bin ich interessiert.

naja, ich logge in eine mysql Datenbank - das unterstützt ProFTPD nativ. Ob das mit ODBC auch klappt weiss ich leider nicht. Man könnte natürlich auf dem mysql Server die logs vorhalten und dann 1x täglich in die MS SQL Db schaufeln (ggf. öfters). Das ist ja wirklich leicht mit Scripten zu machen und in dem Zuge kannst Du das noch mit bearbeiten. Vorteil a) Du hast nahezu keine Begrenzung, Vorteil 2) das löschen alter Logeinträge kann per Script und einem SQL Befehl erfolgen.

[Claus]

Hallo Stonki,

ich würde den Proftpd, der user Verwaltung wegen, sowieso mit mysql Unterstützung übersetzen.
Somit wäre es natürlich möglich den von Dir beschriebenen Weg bezüglich logging zu gehen.
Unsere Benutzer logins könnten wir dann auch gleich dort mitloggen.
In die MS SQL DB müssen diese Dinge nicht unbedingt mit rein.

Nun hätte ich in diesem Zusammenhang noch mal eine Frage bezüglich der MySql performance.
Du schreibst, nahezu keine Begrenzung. Ab wievielen Datensätzen wird es problematisch ?
Mir liegt eine Erfahrung vor, das bei einer Menge von ca. 750000 DS MySql gecrasht ist,
allerdings ist nicht bestätigt, das es tatsächlich an der Menge der DS lag.

Gruß,

Claus

[stonki]

Mir liegt eine Erfahrung vor, das bei einer Menge von ca. 750000 DS MySql gecrasht ist,
allerdings ist nicht bestätigt, das es tatsächlich an der Menge der DS lag.

Gruß,

Claus

also 750.000 Datensätze sind wirklich nichts. Ich habe nun keine grosse Datensätze, aber bei meinen hobbymässigen Versuchen bzw. Projekten hatte ich schon mehrere Millionen Rows in einer Tabelle: ohne Probleme bei eher vorsinnflutlicher Technik.

mySQL schreibt: http://dev.mysql.com/doc/mysql/en/table-size.html

cu
stonki

[Wörsty]

:OHA)
Lächerliche 8 Millionen Terabytes nur :shock:

Kann da jedenfalls auch nicht mit Erfahrungen dienen.
Außer bei der Logfilegröße.
Habe mehrere Millionen Datenbank-Einträge (Logge alles) und keine Probleme.

[Alexander]

Hallo,

verwende Proftpd auch bei einem größeren Projekt in Verbindung mit MySQL und hatte nie Probleme - funktioniert alles bestens.

Loadbalancing kannst du ganz einfach mit pen lösen, solltest du da Probleme mit dem Logging haben (es ist nur die IP des Loadbalancers sichtbar), müsstest du LVS einsetzen.

Habe es selbst noch nicht gemacht (brauche nur HTTP Loadbalancing), aber da FTP ziemlich ähnlich ist, funktioniert es sicher nicht anderst.

mfg alex

[Claus]

Habe mehrere Millionen Datenbank-Einträge (Logge alles) und keine Probleme.

Das klingt beruhigend. Das mir zugetragene Problem scheint auch einen anderen Grund zu haben.

Loadbalancing kannst du ganz einfach mit pen lösen

Habe es  mir mal angesehen.
Wenn ich die Beschreibung auf der Webseite richtig verstanden habe, arbeitet Pen mit dem Round-Robin Verfahren.
Dieses stellt leider kein echtes Lastverteilen dar, da der Zustand der Server nicht abgefragt/berücksichtigt wird.
Interessant wird es bei NAT mit Feedback, allerdings wesentlich aufwendiger zu konfigurieren und nach meinem Verständnis
auch nötig zusätzliche Programme einzusetzen.
Möglicherweise ist Pen aber doch geeignet wenn zusätzliche Software hinzugezogen wird.
Meine Kenntnisse bezüglich Load Balancing sind allerdings noch etwas dünn.
FTP wird jedenfalls von Pen unterstützt.

LVS ist auf jeden Fall ein Kandidat.

Das nur die IP des LB zu sehen ist, ist ok, soll ja ein tranparentes System darstellen.

[Alexander]

Hallo,

ist ein Service nicht erreichbar, nimmt pen diesen aus seiner Liste und stellt erst dann wieder Anfragen, wenn er erreichbar ist. Somit wäre dies eine Lösung.

mfg alex

[Claus]

ist ein Service nicht erreichbar, nimmt pen diesen aus seiner Liste und stellt erst dann wieder Anfragen, wenn er erreichbar ist. Somit wäre dies eine Lösung.

Hinsichtlich der Ausfallsicherheit ist dies auch eine Anforderung die ich an den LB stelle.

Ich habe Pen installiert und kurz getestet. Funktioniert auf Anhieb sehr gut und wird
voraussichtlich auch für unsere Zwecke ausreichen, da Ausfallsicherheit an erster Stelle
steht und "echtes" Lastverteilen dank starker Serverstruktur eher im Hintergrund steht.

Nicht ganz unproblematisch ist scheinbar der LB FTP Betrieb in Zusammenhang mit einer FW.
Die control connection wird über den LB aufgebaut, die data connection wird direkt vom server
zum client an dem LB vorbei hergestellt.
Es gibt laut Doku aber auch Wege diesen Umstand zu handeln.

Thx,

Claus

[Alexander]

Sonst schau dir mal LVS an, das ist auch eine sehr interessante Sache und auch sehr leistungsfähig

mfg