[koha-Infos] Koha avec 220.000 notices

[paul POULAIN]

miled rousset a écrit :

> Bonjour à tous,
>
> J'ai fini de charger 220.000 notices dans koha (il a mis 42 heures),  
> il reste très stable et très rapide,
> c'est très encourageant pour la suite.


Voilà qui est fort intéressant...
quelques questions :
* la config du serveur (matérielle et logicielle)
* la complexité des notices ?
* la taille de la base résultante ?

A titre d'information, sur ma machine, avec disques SCSI, je charge 10 
notices complètes à la seconde de manière assez constante (du moins 
jusqu'à 45 000, le maximum que j'ai fait...). Ce qui fait 10*60*60 = 36 
000 notices/heure. Donc nettement moins de 42H pour 220 000. Votre 
disque n'est surement qu'un IDE. Là, effectivement, ca rame, et en plus 
ca diminue... Avantage supplémentaire du disque SCSI : la machine reste 
parfaitement utilisable, même si ralentie. En IDE, c'est totalement 
inutilisable.

Par contre, que ca reste très rapide à l'usage avec un disque IDE, ca 
m'épate... Il faudrait voir avec des tests de charge et préciser votre 
config mysql. A titre d'information, je sais qu'à Nelsonville, ils ont 
des disques SCSI, mais surtout 2Go de RAM, dont 1Go en disque virtuel, 
utilisé par mysql pour faire ses tris en RAM et pas sur le disque. 
Sinon, ils ont des processeurs à 1GHz !

PS : tentez le mod_perl, ca devrait accélérer encore.
PS2 : des autorités dans le fichier ? si oui, il faut aussi les 
reconstruire, il y a un modèle de script dans migration_tools.
PS3 : dans la prochaine version majeure, il y aura des modifs profondes 
dans la base qui permettront :
1- de diminuer fortement sa taille
2- d'accélérer fortement les recherches
3- de faire du "ranking" (= tri par pertinence)

Et j'ai déjà quelques idées pour faire de l'indexation full-texte sur 
les documents électroniques, (un début de GED quoi) ;-)

-- 
Paul POULAIN
Consultant indépendant en logiciels libres
responsable francophone de koha (SIGB libre http://www.koha-fr.org)