<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"><html><head>

<meta http-equiv="Content-Type" content="text/html; charset=utf-8"></head><body>A new request with request id 5916 has been created by koha-devel-request@lists.koha-community.org. Short info on the request is : <br><br>Title : Koha-devel Digest, Vol 204, Issue 16<br>Category : <br>Description : <div>Send Koha-devel mailing list submissions to<br>    koha-devel@lists.koha-community.org<br><br>To subscribe or unsubscribe via the World Wide Web, visit<br>    https://lists.koha-community.org/cgi-bin/mailman/listinfo/koha-devel<br>or, via email, send a message with subject or body 'help' to<br>    koha-devel-request@lists.koha-community.org<br><br>You can reach the person managing the list at<br>    koha-devel-owner@lists.koha-community.org<br><br>When replying, please edit your Subject line so it is more specific<br>than "Re: Contents of Koha-devel digest..."<br><br><br>Today's Topics:<br><br>   1. Re: translation issues fix script for Release Maintainers<br>      (Jonathan Druart)<br>   2. Re: [Koha] OAI-PMH harvester (BOUIS Sonia)<br><br><br>----------------------------------------------------------------------<br><br>Message: 1<br>Date: Tue, 22 Nov 2022 12:47:09 +0100<br>From: Jonathan Druart <jonathan.druart@bugs.koha-community.org><br>To: koha-devel@lists.koha-community.org<br>Subject: Re: [Koha-devel] translation issues fix script for Release<br>    Maintainers<br>Message-ID:<br>    <CAJzKNY4e-aDuDACbHMETSa_AOJk61NjP3BjdZY7rY3C90wLZZA@mail.gmail.com><br>Content-Type: text/plain; charset="UTF-8"<br><br>[resending, my previous reply didn't reach the list]<br><br>release_tools is the place I guess.<br>https://gitlab.com/koha-community/release-tools<br><br>But, I run it on master:<br>sed: -e expression #1, char 1: unknown command: `-'<br>sed: -e expression #1, char 1: unknown command: `-'<br><br>% more translate-errors<br>misc/translator/po/hy-Armn-opa<br>c-bootstrap.po:687<br>misc/translator/po/id-ID-messages.po:3<br>misc/translator/po/ka-messages.po:3<br><br>So I run it again<br>git diff now shows<br>-#, c-format<br>+#, fuzzy, fuzzy, c-format<br><br>It is not ready to be widely used I'd say ;)<br><br>Le lun. 21 nov. 2022 à 19:42, Katrin Fischer<br><katrin.fischer.83@web.de> a écrit :<br>><br>> Hi Arthur,<br>><br>> thx for sharing :) Is there a place we could store this for future RMaints?<br>><br>> We could also add a note to:<br>> https://wiki.koha-community.org/wiki/Release_maintenance#Push_updated_translation_files<br>><br>> Katrin<br>><br>><br>> On 21.11.22 17:35, Arthur Suzuki wrote:<br>> > Hello Koha Folks, RMaint fellows,<br>> > Struggling with translation issues at each release I've started to<br>> > write a script to fix "most" small translation issues.<br>> > The script is to be executed in Koha's source folder after merging the<br>> > translation branch.<br>> > Best,<br>> > Arthur<br>> ><br>> ><br>> > _______________________________________________<br>> > Koha-devel mailing list<br>> > Koha-devel@lists.koha-community.org<br>> > https://lists.koha-community.org/cgi-bin/mailman/listinfo/koha-devel<br>> > website : https://www.koha-community.org/<br>> > git : https://git.koha-community.org/<br>> > bugs : https://bugs.koha-community.org/<br>> _______________________________________________<br>> Koha-devel mailing list<br>> Koha-devel@lists.koha-community.org<br>> https://lists.koha-community.org/cgi-bin/mailman/listinfo/koha-devel<br>> website : https://www.koha-community.org/<br>> git : https://git.koha-community.org/<br>> bugs : https://bugs.koha-community.org/<br><br><br>------------------------------<br><br>Message: 2<br>Date: Tue, 22 Nov 2022 14:12:44 +0000<br>From: BOUIS Sonia <sonia.bouis@univ-lyon3.fr><br>To: "koha-devel@lists.koha-community.org"<br>    <koha-devel@lists.koha-community.org><br>Cc: "koha@lists.katipo.co.nz" <koha@lists.katipo.co.nz><br>Subject: Re: [Koha-devel] [Koha] OAI-PMH harvester<br>Message-ID: <b51d709e599f4d33b9ce8464c251af3e@univ-lyon3.fr><br>Content-Type: text/plain; charset="utf-8"<br><br>Hi,

Thanks to David, Tomas, Michal and Michael for your replies.

<br>

<br>So we have decided to evaluate several external OAI-PMH client that could be used by Koha and to choose one in the end of January

There a lot to do after that and we discussed about the background jobs and cronjobs seems to be appropriate. We thought that the settings in the koha intranet should be only to define URLs, SETs, or XSLT sheets (for example, to transform DC XML in MARCXML).

<br>

<br>We are only at the begining of the process 😊

<br>

<br>Kind regards,

<br>Sonia

<br>

<br>------------------------------

<br>

<br>Message: 2

<br>Date: Wed, 26 Oct 2022 10:37:49 +1100

<br>From: "David Cook" <dcook@prosentient.com.au>

<br>To: "'Tomas Cohen Arazi'" <tomascohen@gmail.com>, "'BOUIS Sonia'"

<br>    <sonia.bouis@univ-lyon3.fr>

<br>Cc: "'koha'" <koha@lists.katipo.co.nz>, "'koha-devel'"

<br>    <koha-devel@lists.koha-community.org>

<br>Subject: Re: [Koha-devel] [Koha] OAI-PMH harvester

<br>Message-ID: <07af01d8e8ca$dfbddef0$9f399cd0$@prosentient.com.au>

<br>Content-Type: text/plain; charset="utf-8"

<br>

<br>Hi Sonia,

<br>

<br>     

<br>

I’m excited to hear that KohaLA would like to finance an OAI-PMH client in Koha! This functionality is always brewing in the back of my mind, since I first raised 10662 back in 2013.

<br>

<br> 

<br>

<br>As Tomas says, I think that the background jobs are a key component for processing incoming OAI-PMH records. 

<br>

<br> 

<br>

However, the ***missing component right now is the scheduling of the OAI-PMH harvesting tasks***, and I think this is where opinions get divided. Below, I’ll provide some history and opinions on Koha OAI-PMH.

<br>

<br> 

<br>

<br>--

<br>

<br> 

<br>

With 10662, the sponsored goal was for Koha library staff to schedule OAI-PMH harvests through the Web UI. However, Fridolin from BibLibre raised a point with me at Kohacon18 about how letting library staff control the timing of harvesting tasks could be a problem for support vendors. If too many libraries using the same public IP address tried to harvest from the same OAI-PMH repository, they could be rate limited or blocked. There could also be server load concerns. So there probably needs to be a balance between user configuration and system configuration. If I recall correctly, this is how DSpace’s OAI-PMH harvester works. Users set up targets and can start/stop harvests, but things like frequency and concurrency are handled by the system configuration.

<br>

<br> 

<br>

<br>Based on my experience working on OAI-PMH on and off for nearly 10 years and as a Koha support vendor, I think my preference would be for sysadmins to handle most of the OAI-PMH harvesting details. 

<br>

<br> 

<br>

<br>The sponsorship for 10662 had certain requirements that many other libraries might not have, which is what made me think that it might be better to have an external client that connects to Koha. I thought maybe I could get the ordinary requirements pushed into Koha, and then handle extraordinary requirements externally. However, an external harvester won’t perform as fast as an internal harvester. (The compromise would be to write the harvester in such a way that people could provide different OAI-PMH harvester Perl modules that all stage records using the same core Koha modules.)

<br>

<br> 

<br>

<br>Even then… the scheduling would depend on a library’s needs. Back in 2013, I had a Koha OAI-PMH harvester which worked as a cronjob. It would run each night. However, some libraries want to run OAI-PMH harvests as frequently as every 3 seconds. A cronjob’s smallest frequency is 60 seconds, so that wouldn’t work for that requirement. 

<br>

<br> 

<br>

<br>If a cronjob isn’t suitable, then I think you’d need a daemon created by a new command like “koha-oai --start <instance_name>”. It could read a configuration file and handle scheduling accordingly. With 10662, I used the POE module, because I knew it well and it has some timer tools for scheduling tasks. If I were to work on it again, I’d probably use Mojo::IOLoop instead these days, since Mojolicious is already part of Koha while POE is not. (That said, using modules like Mojo and POE are difficult, because they’re difficult to test using automation. That was one of the stumbling blocks with 10662. While the 10662 harvester worked very well, it was difficult to unit test. In hindsight, I should’ve written it in a way that was easier to unit test, but it had a lot of event-driven code which made things more difficult.)

<br>

<br> 

<br>

<br>Another option would be to create a generic daemon for task scheduling in general (e.g. “koha-schedule”). Koha could use this for many things, but it’s a project in itself. 

<br>

<br> 

<br>

<br>--

<br>

<br> 

<br>

<br>The process of downloading OAI-PMH records and importing MARCXML into Koha is actually a fairly straightforward process. The difficulty is the task scheduling and management of tasks (and unit testing). 

<br>

<br> 

<br>

<br>I don’t know the answer that will make everyone happy. There’s lots of different ways of managing and scheduling the tasks. Based on my experience, I’d suggest targeting the simplest approach first, because complexity will make it less likely for the project to succeed. 

<br>

<br> 

<br>

<br>On that note, I’d be happy to test/QA any OAI-PMH harvester put forward. When I was writing OAI-PMH harvester patches, I found it really hard to get QA, so I’m happy to be that resource for someone else. I’ve spent a lot of time thinking about this topic, so happy to provide advice, warnings, emotional support 😉. 

<br>

<br> 

<br>

<br>David Cook

<br>

<br>Senior Software Engineer

<br>

<br>Prosentient Systems

<br>

<br>Suite 7.03

<br>

<br>6a Glen St

<br>

<br>Milsons Point NSW 2061

<br>

<br>Australia

<br>

<br> 

<br>

<br>Office: 02 9212 0899

<br>

<br>Online: 02 8005 0595

<br>

<br> 

<br>

<br>From: Koha-devel <koha-devel-bounces@lists.koha-community.org> On Behalf Of Tomas Cohen Arazi

<br>Sent: Wednesday, 26 October 2022 3:46 AM

<br>To: BOUIS Sonia <sonia.bouis@univ-lyon3.fr>

<br>Cc: koha <koha@lists.katipo.co.nz>; koha-devel <koha-devel@lists.koha-community.org>

<br>Subject: Re: [Koha-devel] [Koha] OAI-PMH harvester

<br>

<br> 

<br>

I think with background jobs we have most of the framework that is needed to deal with this within Koha.

<br>

<br> 

<br>

<br>Best regards

<br>

<br> 

<br>

<br>El mar, 25 oct 2022 7:08, BOUIS Sonia <sonia.bouis@univ-lyon3.fr <mailto:sonia.bouis@univ-lyon3.fr> > escribió:

<br>

<br>Hi,

KohaLA would like to finance an OAI-PMH client in Koha but, we have  questions that we want to raise to the community.

<br>There was already tries to propose an OAI-PMH client :

<br>- https://bugs.koha-community.org/bugzilla3/show_bug.cgi?id=10662 : it's an old project that doesnt seem compatible with the current version of Koha

<br>- https://bugs.koha-community.org/bugzilla3/show_bug.cgi?id=25905 : the scope is more to use an external OAI-PMH client and to connect it to Koha

<br>

Our main question is about the way to handle this. Do you think that it's a better idea to use an external software or PERL routine and to find a way to connect it to Koha. Or would it be better to a new module in Koha from scratch and that Koha have his own OAI-PMH client.

<br>

Please, let us hear your toughts about this projet.

<br>

<br>Kind regards

<br>

<br>Sonia

<br>

<br>Sonia BOUIS

<br>------------------------------------------------------

<br>Responsable du Service informatique documentaire Département d'Appui à la Recherche et aux Projets (DARP) Bibliothèques universitaires Université Jean Moulin Lyon 3 ADRESSE GÉOGRAPHIQUE > Manufacture des Tabacs | 6 cours Albert Thomas | LYON 8e ADRESSE POSTALE > Bibliothèque de la Manufacture | 1C avenue des Frères Lumière | CS 78242 - 69372 LYON CEDEX 08

<br>

<br>Ligne directe : 33 (0)4 78 78 79 03

<br>

<br>http://bu.univ-lyon3.fr<http://bu.univ-lyon3.fr/>| Suivez-nous > Facebook<https://www.facebook.com/bulyon3/> | Twitter<https://twitter.com/bulyon3>| Instagram<https://www.instagram.com/bu.lyon3/?hl=fr>

<br>

<br>_______________________________________________

<br>

<br>Koha mailing list  http://koha-community.org Koha@lists.katipo.co.nz <mailto:Koha@lists.katipo.co.nz>

<br>Unsubscribe: https://lists.katipo.co.nz/mailman/listinfo/koha

<br>

<br>-------------- next part --------------

An HTML attachment was scrubbed...

<br>URL: <http://lists.koha-community.org/pipermail/koha-devel/attachments/20221026/d7712779/attachment-0001.htm>

<br>

<br>------------------------------

<br>

<br>Subject: Digest Footer

<br>

<br>_______________________________________________

<br>Koha-devel mailing list

<br>Koha-devel@lists.koha-community.org

<br>https://lists.koha-community.org/cgi-bin/mailman/listinfo/koha-devel

<br>website : https://www.koha-community.org/ git : https://git.koha-community.org/ bugs : https://bugs.koha-community.org/

<br>

<br>

<br>------------------------------

<br>

<br>End of Koha-devel Digest, Vol 203, Issue 15

<br>*******************************************

<br><br>------------------------------<br><br>Subject: Digest Footer<br><br>_______________________________________________<br>Koha-devel mailing list<br>Koha-devel@lists.koha-community.org<br>https://lists.koha-community.org/cgi-bin/mailman/listinfo/koha-devel<br>website : https://www.koha-community.org/<br>git : https://git.koha-community.org/<br>bugs : https://bugs.koha-community.org/<br><br><br>------------------------------<br><br>End of Koha-devel Digest, Vol 204, Issue 16<br>*******************************************<br></div><br><br>NOTE: You are receiving this mail because, the Requester/Technician wanted you to get notified on this request creation.<br></body></html>