Mise à jours d'informations pour un projet

[tata2]

Bonjour à tous !

Si vous être pressé de voir ma question, elle est tout en bas de ce post, le reste est l'explication du fonctionnement de l'application car pour répondre à la question il faut savoir comment fonctionne le programme.

Alors voilà dans le cadre de mon cursus scolaire, je dois coder un logiciel de webscrapping, en gros, un utilisateur rentre des mots clés dans un champ de texte, un moteur de webscrapping écrit en C# doit prendre les données sur des sites webs défini et les mettre en base de données, suite à cela, le moteur créera des fichiers XML normalisés avec les informations de la base de données ensuite le moteur parsera le XML pour générer la page web avec les résultats de la recherche (:

Si la recherche a déjà été effectué, il faut vérifier que les informations ne soit pas erronés et les mettre à jours si possible et c'est là que je bloque.

En clair :

Mot clé => Moteur en C# récupère le code source sur le site défini par l'utilisateur => Filtrage par le moteur => Stockage en BDD si la requête n'a jamais été effectué => Création d'un fichier XML => Génération de la page web à partir du XML

Seulement, avec mon groupe on est en train de réfléchir à un algorithme de mise à jours de ces informations, plusieurs solutions ont été proposés :

- Mise à jours hebdomadaire de la BDD (impossible car surcharge du serveur et le serveur doit être disponible 24/24 7/7) (la BDD pourra être questionné à tout heure)

- Mise à jours avec un genre de load balancing, j'explique : L'utilisateur fait sa recherche => Le moteur fait sa requête => en parallèle une autre requête est effectué via l'ordinateur de l'utilisateur. Seul problème, est-ce possible ? et le temps de réponse du serveur sera plus lent et ce n'est pas le but

- Mise à jours en utilisant le poids du code source en bit (est-il pareil que celui en BDD ?), problème, même si c'est très très très peu de cas, il est possible de modifier le texte et que le texte fasse le même poids que le précédent. (on veut quelque chose qui fonctionne à tout les coups ...)

Question :

Je viens ici pour vous demander de l'aide et si possible de trouver des solutions pour les mises à jours des informations sans pour autant refaire la même chose que l'insertion en base de données lorsque l'information n'existe pas sachant que les langages utilisés sont le C#, l' ASP, le XML, le SQL (langage imposé x) )

Si vous n'avez pas d'idée alors j'ai une question, qu'est ce qui peut définir du texte ? (signature ?)

Merci d'avance à tout ceux qui auront réfléchi ou répondu !