Comment effectuer un traitement incrémentiel pour ETL - par exemples

Nous pourrions jeter un œil à quelques exemples pour comprendre ce que Cocoindex gère derrière la scène pour un traitement incrémentiel.

Exemple 1: Mettez à jour un document

Considérez ce scénario:

• J'ai un document. Initialement, il est divisé en 5 morceaux, résultant en 5 lignes avec leurs intérêts dans l'index.
• Après sa mise à jour. 3 d'entre eux sont exactement les mêmes que ceux précédents. D'autres sont changés.

Nous devons donc conserver 3 lignes, supprimer 2 lignes précédemment existantes et ajouter 2 nouvelles lignes. Ceux-ci doivent se produire derrière la scène:

• Idéalement, nous ne recompusons que pour les 4 nouvelles lignes et la réutilisons pour 3 morceaux inchangés. Cela peut économiser des coûts de calcul, en particulier lorsque l'API d'intégration facture par utilisation. CoCoIndex y parvient en maintenant un cache pour les étapes lourdes comme l'incorporation, et lorsque l'entrée pour une étape de transformation n'est pas modifiée, la sortie sera réutilisée.
• En outre, nous maintenons également un suivi de la lignée dans le stockage interne. Il garde une trace des lignes de l'index dérivées de la version précédente de ce document, pour s'assurer que les versions périmées sont correctement supprimées.

Cocoindex s'en occupe.

Exemple 2: supprimer un document

Continuant avec le même exemple. Si nous supprimons le document plus tard, nous devons supprimer les 7 lignes dérivées du document. Encore une fois, cela doit être basé su...
[Courte citation de 8% de l'article original]