www.ProFTPD.de
13. März 2007, 20:42:12 *
Willkommen Gast. Bitte einloggen oder registrieren.
Haben Sie Ihre Aktivierungs E-Mail übersehen?

Einloggen mit Benutzername, Passwort und Sitzungslänge
News: SMF - Neu installiert!
 
   Übersicht   Hilfe Suche Login Registrieren  
Seiten: [1]   Nach unten
  Drucken  
Autor Thema: Praxiserfahrung gesucht.  (Gelesen 646 mal)
0 Mitglieder und 1 Gast betrachten dieses Thema.
Claus
ProFTPD
*
Offline Offline

Beiträge: 44


137219665
Profil anzeigen WWW E-Mail
« am: 14. April 2005, 20:34:38 »

Hallo Community,

ich benötige einige Erfahrungswerte und/oder Referenzen bezüglich des
professionellen Einsatzes von ProFTPD.

Hintergrund :
Zurzeit setzen wir an meiner Arbeitsstätte einen G6/BPFTP auf NT4 ein.
Nun soll geprüft werden ob der Einsatz von ProFTPD möglich ist bzw. wird
es Voraussetzungen geben um ein Testsystem zu erstellen.

Anforderung :
Der FTP Server bedient ca. 30-50 gleichzeitig eingeloggte user.
Je nach Tageszeit prüfen diese nur auf abzuholende Daten bis hin zu
down- und uploads von sehr vielen kleinen Dateien.
Angewiesen sind wir auf die Eventsteuerung des FTP Servers.
Die Events lösen perl scripte aus, um logins in einer Datenbank
zu protokollieren, Dateien zu kopieren/moven und Datenbankeinträge zur weiteren
Verarbeitung einzustellen.
Das FTP root Verzeichnis liegt auf einer an den Server (Cluster System)
angeschlossenen Fast-T.
Die verwendetet DB ist ein MSSQL Server 7.0

Gibt es Erfahrungsberichte über einen Einsatz dieser Art mit ProFTPD?

Zur Diskussion steht ebenfalls der Einsatz von mehr als einem FTP-Server (Load Balancing).
Gibt es dazu Erfahrungsberichte aus der Praxis?
Dies würde mich auch unabhängig des eingesetzten FTP-Servers interessieren.

Es muss, da als OS Linux verwendet wird, eine Zuverlässige Anbindung an den
MSSQL DB Server gewährleistet sein. Dies wird für die perl scripte benötigt.
Mir sind die grundsätzlichen Möglichkeiten der Anbindung bekannt,
aber es fehlen Erfahrungswerte hinsichtlich des Verhaltens bei den genannten Anforderungen.
Hinweise, die DB zu wechseln sind nicht nötig, da dies definitiv nicht zur Disposition steht.

Ich freue mich über konstruktive Antworten.


Claus
Gespeichert

#################################
support your local
#################################
stonki
Administrator
ProFTPD
*****
Offline Offline

Beiträge: 1853


15318939
Profil anzeigen WWW E-Mail
« Antwort #1 am: 15. April 2005, 07:58:33 »

Zitat von: "Claus"

Anforderung :
Der FTP Server bedient ca. 30-50 gleichzeitig eingeloggte user.
Je nach Tageszeit prüfen diese nur auf abzuholende Daten bis hin zu
down- und uploads von sehr vielen kleinen Dateien.

sollte kein Problem sein.

Zitat von: "Claus"

Angewiesen sind wir auf die Eventsteuerung des FTP Servers.
Die Events lösen perl scripte aus, um logins in einer Datenbank
zu protokollieren, Dateien zu kopieren/moven und Datenbankeinträge zur weiteren Verarbeitung einzustellen.


mod_exec bzw. mod_sql.

http://www.castaglia.org/proftpd/modules/mod_exec.html
http://www.castaglia.org/proftpd/doc/contrib/ProFTPD-mini-HOWTO-SQL.html

Zitat von: "Claus"

Das FTP root Verzeichnis liegt auf einer an den Server (Cluster System)
angeschlossenen Fast-T.
Die verwendetet DB ist ein MSSQL Server 7.0


das Verzeichnis wird ja via NFS, CIFS eingebunden, also kein Thema. MS SQL wird nicht nativ unterstützt, jedoch sollten die ODBC Treiber für ProFTPD hier eine Lösung sein:
http://www.castaglia.org/proftpd/modules/mod_sql_odbc.html

Zitat von: "Claus"

Zur Diskussion steht ebenfalls der Einsatz von mehr als einem FTP-Server (Load Balancing).
Gibt es dazu Erfahrungsberichte aus der Praxis?
Dies würde mich auch unabhängig des eingesetzten FTP-Servers interessieren.


Mit Load Balancing habe ich leider keine Erfahrung.

Zitat von: "Claus"

Es muss, da als OS Linux verwendet wird, eine Zuverlässige Anbindung an den  MSSQL DB Server gewährleistet sein. Dies wird für die perl scripte benötigt.
Mir sind die grundsätzlichen Möglichkeiten der Anbindung bekannt,
aber es fehlen Erfahrungswerte hinsichtlich des Verhaltens bei den genannten Anforderungen.
Hinweise, die DB zu wechseln sind nicht nötig, da dies definitiv nicht zur Disposition steht.


Mit Erfahrungen die Dein Scenario abbilden sieht es relativ schlecht aus - wenn überhaupt würde ich mal die (englischsprachige) ProFTPD User Mailingliste ausprobieren. Ansonsten helfe ich gerne: a) hört sich spannend an und b) brauch ich Festplatten  :lol:

cu
stonki
Gespeichert

www.stonki.de:    the more I see, the more I know.......
www.proftpd.de:   Deutsche ProFTPD Dokumentation
www.krename.net:  Der Batch Renamer für KDE
www.kbarcode.net: Die Barcode Solution für KDE
Claus
ProFTPD
*
Offline Offline

Beiträge: 44


137219665
Profil anzeigen WWW E-Mail
« Antwort #2 am: 15. April 2005, 11:05:29 »

Hallo Stonki,

erstmal schönen Dank für die schnelle Antwort.

Zitat von: "stonki"
MS SQL wird nicht nativ unterstützt,
jedoch sollten die ODBC Treiber für ProFTPD hier eine Lösung sein:
http://www.castaglia.org/proftpd/modules/mod_sql_odbc.html

In diesem Punkt bin ich natürlich besonders an einer Erfahrung aus
der Praxis interessiert, da es bei der DB Anbindung auf keinen Fall
zu Störungen bzw. performance einbußen kommen darf.


Es gibt noch etwas Ergänzendes hinsichtlich der log Prozedur.
Wir spliten unsere logs Täglich auf, diese Option bietet der FTP-Server.
Dieser Vorgang ist zwingend nötig, da diese täglichen log Dateien
eine Größe von mehr als 200mb erreichen können.
Es ist häufig erforderlich die log Dateien einzusehen, was bei einer
solchen Größe schon nicht mehr ganz unproblematisch ist.
Ich selber habe mir bei einer früheren Version von ProFTPD über eine
name pipe Steuerung tägliche log Dateien erzeugt. Dies allerdings nur
auf einem privaten Server der nur schwach frequentiert war.
Somit weiß ich nicht ob diese Lösung bei einem stark frequentierten
Server bremsend wirkt.
Bietet der ProFTPD so etwas mitlerweile von Haus aus bzw. über ein mod an?
Alternativ fällt mir die logrotate Steuerung vom OS ein, allerdings ungetestet.
Wenn es zu diesem Thema Erfahrung von usern gibt, bin ich interessiert.

Gruß,

Claus
Gespeichert

#################################
support your local
#################################
stonki
Administrator
ProFTPD
*****
Offline Offline

Beiträge: 1853


15318939
Profil anzeigen WWW E-Mail
« Antwort #3 am: 15. April 2005, 12:47:16 »

Zitat von: "Claus"

Es gibt noch etwas Ergänzendes hinsichtlich der log Prozedur.
Wir spliten unsere logs Täglich auf, diese Option bietet der FTP-Server.
Dieser Vorgang ist zwingend nötig, da diese täglichen log Dateien
eine Größe von mehr als 200mb erreichen können.
Es ist häufig erforderlich die log Dateien einzusehen, was bei einer
solchen Größe schon nicht mehr ganz unproblematisch ist.
Ich selber habe mir bei einer früheren Version von ProFTPD über eine
name pipe Steuerung tägliche log Dateien erzeugt. Dies allerdings nur
auf einem privaten Server der nur schwach frequentiert war.
Somit weiß ich nicht ob diese Lösung bei einem stark frequentierten
Server bremsend wirkt.
Bietet der ProFTPD so etwas mitlerweile von Haus aus bzw. über ein mod an?
Alternativ fällt mir die logrotate Steuerung vom OS ein, allerdings ungetestet.
Wenn es zu diesem Thema Erfahrung von usern gibt, bin ich interessiert.


naja, ich logge in eine mysql Datenbank - das unterstützt ProFTPD nativ. Ob das mit ODBC auch klappt weiss ich leider nicht. Man könnte natürlich auf dem mysql Server die logs vorhalten und dann 1x täglich in die MS SQL Db schaufeln (ggf. öfters). Das ist ja wirklich leicht mit Scripten zu machen und in dem Zuge kannst Du das noch mit bearbeiten. Vorteil a) Du hast nahezu keine Begrenzung, Vorteil 2) das löschen alter Logeinträge kann per Script und einem SQL Befehl erfolgen.
Gespeichert

www.stonki.de:    the more I see, the more I know.......
www.proftpd.de:   Deutsche ProFTPD Dokumentation
www.krename.net:  Der Batch Renamer für KDE
www.kbarcode.net: Die Barcode Solution für KDE
Claus
ProFTPD
*
Offline Offline

Beiträge: 44


137219665
Profil anzeigen WWW E-Mail
« Antwort #4 am: 18. April 2005, 13:58:18 »

Hallo Stonki,

ich würde den Proftpd, der user Verwaltung wegen, sowieso mit mysql Unterstützung übersetzen.
Somit wäre es natürlich möglich den von Dir beschriebenen Weg bezüglich logging zu gehen.
Unsere Benutzer logins könnten wir dann auch gleich dort mitloggen.
In die MS SQL DB müssen diese Dinge nicht unbedingt mit rein.

Nun hätte ich in diesem Zusammenhang noch mal eine Frage bezüglich der MySql performance.
Du schreibst, nahezu keine Begrenzung. Ab wievielen Datensätzen wird es problematisch ?
Mir liegt eine Erfahrung vor, das bei einer Menge von ca. 750000 DS MySql gecrasht ist,
allerdings ist nicht bestätigt, das es tatsächlich an der Menge der DS lag.

Gruß,

Claus
Gespeichert

#################################
support your local
#################################
stonki
Administrator
ProFTPD
*****
Offline Offline

Beiträge: 1853


15318939
Profil anzeigen WWW E-Mail
« Antwort #5 am: 18. April 2005, 14:11:02 »

Zitat von: "Claus"

Mir liegt eine Erfahrung vor, das bei einer Menge von ca. 750000 DS MySql gecrasht ist,
allerdings ist nicht bestätigt, das es tatsächlich an der Menge der DS lag.

Gruß,

Claus


also 750.000 Datensätze sind wirklich nichts. Ich habe nun keine grosse Datensätze, aber bei meinen hobbymässigen Versuchen bzw. Projekten hatte ich schon mehrere Millionen Rows in einer Tabelle: ohne Probleme bei eher vorsinnflutlicher Technik.

mySQL schreibt: http://dev.mysql.com/doc/mysql/en/table-size.html

cu
stonki
Gespeichert

www.stonki.de:    the more I see, the more I know.......
www.proftpd.de:   Deutsche ProFTPD Dokumentation
www.krename.net:  Der Batch Renamer für KDE
www.kbarcode.net: Die Barcode Solution für KDE
Wörsty
Moderator
ProFTPD
*****
Offline Offline

Beiträge: 1602


50772603
Profil anzeigen WWW E-Mail
« Antwort #6 am: 18. April 2005, 20:12:23 »

:OHA)
Lächerliche 8 Millionen Terabytes nur :shock:

Kann da jedenfalls auch nicht mit Erfahrungen dienen.
Außer bei der Logfilegröße.
Habe mehrere Millionen Datenbank-Einträge (Logge alles) und keine Probleme.
Gespeichert

RedHat 8.0 (2.4er Kernel)
proftpd 1.2.10
-mod_sql_mysql
-mow_wrap
-mod_exec
-mod_ifsession[/size]
Alexander
Gast
« Antwort #7 am: 19. April 2005, 10:27:02 »

Hallo,

verwende Proftpd auch bei einem größeren Projekt in Verbindung mit MySQL und hatte nie Probleme - funktioniert alles bestens.

Loadbalancing kannst du ganz einfach mit pen lösen, solltest du da Probleme mit dem Logging haben (es ist nur die IP des Loadbalancers sichtbar), müsstest du LVS einsetzen.

Habe es selbst noch nicht gemacht (brauche nur HTTP Loadbalancing), aber da FTP ziemlich ähnlich ist, funktioniert es sicher nicht anderst.

mfg alex
Gespeichert
Claus
ProFTPD
*
Offline Offline

Beiträge: 44


137219665
Profil anzeigen WWW E-Mail
« Antwort #8 am: 21. April 2005, 11:36:54 »

Zitat von: "Wörsty"

Habe mehrere Millionen Datenbank-Einträge (Logge alles) und keine Probleme.


Das klingt beruhigend. Das mir zugetragene Problem scheint auch einen anderen Grund zu haben.

Zitat von: "Alexander"
Loadbalancing kannst du ganz einfach mit pen lösen


Habe es  mir mal angesehen.
Wenn ich die Beschreibung auf der Webseite richtig verstanden habe, arbeitet Pen mit dem Round-Robin Verfahren.
Dieses stellt leider kein echtes Lastverteilen dar, da der Zustand der Server nicht abgefragt/berücksichtigt wird.
Interessant wird es bei NAT mit Feedback, allerdings wesentlich aufwendiger zu konfigurieren und nach meinem Verständnis
auch nötig zusätzliche Programme einzusetzen.
Möglicherweise ist Pen aber doch geeignet wenn zusätzliche Software hinzugezogen wird.
Meine Kenntnisse bezüglich Load Balancing sind allerdings noch etwas dünn.
FTP wird jedenfalls von Pen unterstützt.

LVS ist auf jeden Fall ein Kandidat.

Das nur die IP des LB zu sehen ist, ist ok, soll ja ein tranparentes System darstellen.
Gespeichert

#################################
support your local
#################################
Alexander
Gast
« Antwort #9 am: 21. April 2005, 12:33:28 »

Hallo,

ist ein Service nicht erreichbar, nimmt pen diesen aus seiner Liste und stellt erst dann wieder Anfragen, wenn er erreichbar ist. Somit wäre dies eine Lösung.

mfg alex
Gespeichert
Claus
ProFTPD
*
Offline Offline

Beiträge: 44


137219665
Profil anzeigen WWW E-Mail
« Antwort #10 am: 21. April 2005, 15:13:20 »

Zitat von: "Alexander"

ist ein Service nicht erreichbar, nimmt pen diesen aus seiner Liste und stellt erst dann wieder Anfragen, wenn er erreichbar ist. Somit wäre dies eine Lösung.


Hinsichtlich der Ausfallsicherheit ist dies auch eine Anforderung die ich an den LB stelle.

Ich habe Pen installiert und kurz getestet. Funktioniert auf Anhieb sehr gut und wird
voraussichtlich auch für unsere Zwecke ausreichen, da Ausfallsicherheit an erster Stelle
steht und "echtes" Lastverteilen dank starker Serverstruktur eher im Hintergrund steht.

Nicht ganz unproblematisch ist scheinbar der LB FTP Betrieb in Zusammenhang mit einer FW.
Die control connection wird über den LB aufgebaut, die data connection wird direkt vom server
zum client an dem LB vorbei hergestellt.
Es gibt laut Doku aber auch Wege diesen Umstand zu handeln.

Thx,

Claus
Gespeichert

#################################
support your local
#################################
Alexander
Gast
« Antwort #11 am: 22. April 2005, 09:24:25 »

Sonst schau dir mal LVS an, das ist auch eine sehr interessante Sache und auch sehr leistungsfähig Zwinkernd

mfg
Gespeichert
Seiten: [1]   Nach oben
  Drucken  
 
Gehe zu:  

Powered by MySQL Powered by PHP Powered by SMF 1.1.2 | SMF © 2006-2007, Simple Machines LLC Prüfe XHTML 1.0 Prüfe CSS
Seite erstellt in 0.07 Sekunden mit 19 Zugriffen.