[koha-Infos] Koha avec 220.000 notices

[miled rousset]

paul POULAIN a écrit :

> miled rousset a écrit :
>
>> Bonjour à tous,
>>
>> J'ai fini de charger 220.000 notices dans koha (il a mis 42 heures),  
>> il reste très stable et très rapide,
>> c'est très encourageant pour la suite.
>
>
>
> Voilà qui est fort intéressant...
> quelques questions :
> * la config du serveur (matérielle et logicielle)

C'est un serveur PowerEdge DELL 1750 avec la SUSE 9.1 (Linux)
Disque SCSI, 512 RAM, processeur Xeon 2,8 Go

> * la complexité des notices ?

chaque notice comporte 80 champs (pas forcement tous remplie à chaque fois)

> * la taille de la base résultante ?

1,6 Go

>
> A titre d'information, sur ma machine, avec disques SCSI, je charge 10 
> notices complètes à la seconde de manière assez constante (du moins 
> jusqu'à 45 000, le maximum que j'ai fait...). Ce qui fait 10*60*60 = 
> 36 000 notices/heure. Donc nettement moins de 42H pour 220 000. Votre 
> disque n'est surement qu'un IDE. Là, effectivement, ca rame, et en 
> plus ca diminue... Avantage supplémentaire du disque SCSI : la machine 
> reste parfaitement utilisable, même si ralentie. En IDE, c'est 
> totalement inutilisable.
>
Il faut dire qu'à partir de 150.000 notices, l'insertion d'une notice 
est très longue, c'est normal, à chaque insertion de notice
il pose des requêtes de cohérence au serveur, plus il y a de notices 
plus la réponse est longue .....ENFIN ce que je pense !!
Donc je crois que c'est raisonnable le temps, mais si on peut faire 
mieux pourquoi pas !!!

> Par contre, que ca reste très rapide à l'usage avec un disque IDE, ca 
> m'épate... Il faudrait voir avec des tests de charge et préciser votre 
> config mysql. A titre d'information, je sais qu'à Nelsonville, ils ont 
> des disques SCSI, mais surtout 2Go de RAM, dont 1Go en disque virtuel, 
> utilisé par mysql pour faire ses tris en RAM et pas sur le disque. 
> Sinon, ils ont des processeurs à 1GHz !
>
> PS : tentez le mod_perl, ca devrait accélérer encore.
> PS2 : des autorités dans le fichier ? si oui, il faut aussi les 
> reconstruire, il y a un modèle de script dans migration_tools.
> PS3 : dans la prochaine version majeure, il y aura des modifs 
> profondes dans la base qui permettront :
> 1- de diminuer fortement sa taille
> 2- d'accélérer fortement les recherches
> 3- de faire du "ranking" (= tri par pertinence)
>
> Et j'ai déjà quelques idées pour faire de l'indexation full-texte sur 
> les documents électroniques, (un début de GED quoi) ;-)

C'est une bonne idée !!

-- 
Miled ROUSSET
Responsable plate forme "Têtes de Réseau Documentaire"
Maison de l'Orient et de la Méditerranée
CNRS - Université Lumière Lyon 2
5-7, rue Raulin 69007 Lyon
Tél : 04  72  71  58  96
      __________
     /   --    (
    / ------  //
   /  ----   //
  /_________//
 (_________(/