begin process at 2010 09 04 17:14:37
  Trouver un code source :
 
dans
 
Accueil > Forum > 

Foxpro

 > 

Divers

 > 

Général

 > 

Limite de Visual Fox Pro en terme du nombre d'enregistrement


Derniers messages déposésPoser une question dans le forum ou lancer une discussion

Limite de Visual Fox Pro en terme du nombre d'enregistrement

mardi 3 février 2009 à 10:03:49 | Limite de Visual Fox Pro en terme du nombre d'enregistrement

Limack

Bonjour chers amis!

Je voudrais savoir s'il y'a une limite pour fox pro en terme de nombres d'enregistrements dans une table c'est-à-dire à paritr de combien d'enregistrements, fox pro peut-il craquer et ne plus repondre normalement pour la durée du traitement.
Urgent, car je dois développer une petite application qui va stocker près de 700 000 codes par jour.
Merci de vous lire très rapidement !

Cordialement Chif...

mardi 3 février 2009 à 19:46:16 | Re : Limite de Visual Fox Pro en terme du nombre d'enregistrement

MichelAtoutFox

Membre Club
Réponse acceptée !
Bonjour,

limite physique:1 milliard d'enregistrement par table et moins de 2 Go par table

concrètement, tu vas avoir des problèmes de cache si tes données sont sur une unité autre que locale à partir de 1.2 Go, et à partir de 1.5 Go, il te faut te poser rapidement la question de migrer tes données ailleurs que dans des dbf!

Sans connaitre ton appli, c'est difficile de dire si ça va craquer, mais à 700000 enregistrements par jour, mieux vaut passer directement à SQL Server.
mercredi 4 février 2009 à 11:54:35 | Re : Limite de Visual Fox Pro en terme du nombre d'enregistrement

Limack

Merci MichelAtoutFox!

Mais dis, peux-tu m'expliquer l'expression "cache" ? Je ne comprends pas trop quand tu dis  "concrètement, tu vas avoir des problèmes de cache"
Merci de te lire très rapidement !

Cordialement Chif...

mercredi 4 février 2009 à 20:01:23 | Re : Limite de Visual Fox Pro en terme du nombre d'enregistrement

MichelAtoutFox

Membre Club
Réponse acceptée !
Pour la lecture et l'écriture des données, VFP (comme toutes les applis sous Windows) passe par les caches propsés par Windows (cache disque, et cache réseau).

Mais quand ces caches sont très rapides (c'est le cas des machines récentes)VFP interprète mal les réponses que lui renvoie l'OS et considère parfois qu'il lui faut relire (ou réécrire) les données depuis le disque physique, alors que les données les plus récentes sont en cache.

Tu te retrouves alors avec des data qui ne sont pas ce qu'elles devraient être!!! et les Flush, Fflush, sys(1104) sont insuffisants, parcequ'en fait ils s'adressent au cache disque!

Plus les fichiers sont gros, plus l'OS met en cache, et passé une certaine limite, VFP va se planter sans jamais te remonter d'erreur!

Est-ce plus clair?
jeudi 5 février 2009 à 09:48:06 | Re : Limite de Visual Fox Pro en terme du nombre d'enregistrement

Limack

Très clair et très cool MichelAtoutFox!
Big thanks pour ton éclaircissement.
@+ pour d'autres préoccupations!

Cordialement Chif...
mercredi 4 mars 2009 à 12:42:55 | Re : Limite de Visual Fox Pro en terme du nombre d'enregistrement

rao64

Bonjour....... et merci à michel je commence à comprendre pourquoi ma requete se vautre.

Mon contexte est le suivant j'éssaie de comparer différentes solution d'analyse de données pour les auditeurs (IDEA ACL et base de données).
En matière de BDD je vais naturellement vers Vfox que j'utilise en mode programmation batch sans IHM (que perso je ne sais plus faire)
Je fais de comparaison sur des tables libres en local sur des ficheir de 5, 10, 15 millions d'enreg (15 M = 1,6 Go)

3 type de requetes sont représentatives de ce que l'on fait en audit :
* select where
*select group
*select avec jointure.

jusqu'à 15M ça marche très bien sur les deux premières (environ 3minutes de délai) mais la troisieme tourne 10 h puis "not enough memory to map file".

j'ai placé :

mm = VAL(SYS(1001)) /4*.5
=SYS(3050,1,mm)
=SYS(3050,2,mm)
+ des index sur la clé de jointure dans les 2 tables
mais ça ne passe pas

je suis en VFP 7.0 sp1 est-ce que cela influe ?

Il est vraissemblable que nous soyons à la limite de VFP mais avant de publier un résultat dans le cadre de notre association d'auditeurs, je souhaite etre convaincu qu'il n'y a pas de problèume de réglege ou de version de mon vfp
C'est déjà pas mal du tout de secouer 10 Milion d'enreg sans problème (1 minute pour les 2 premières requetes et 8 pour une jointure interne entre la table de 10 M et une de 350 000).
Je me demande si un autre base de donnée micro et autonome (sur portable) est capable de rivaliser ?

Pour info je fais tourné vfp sur un simple portable avec XP home sp3 et 2 Go de ram, ce qui est représentatif de la config d'intervention d'un auditeur externe.

merci à ceux qui prendront le temps de commenter et ou répondre
mercredi 4 mars 2009 à 21:54:08 | Re : Limite de Visual Fox Pro en terme du nombre d'enregistrement

MichelAtoutFox

Membre Club
bonjour,

quelques éléments de réponse:

pour les grosses tables en VFP, ce n'est pas sur le sys(3050) que je joue, mais sur SET REFRESH TO 0,-1 (pour forcer la lecture depuis le disque), avec aussi du SYS(1104) pour purger les buffers de mémoire des curseurs, et du FLUSH IN ... pour forcer les écritures.

Dans ces configs de grosses tables, on a moins de problèmes en diminuant la mémoire dispo pour Fox, et en ralentissant la machine! paradoxal, mais vérifié...

VFP7 pour ce boulot? non, à mon avis, VFP9 est indispensable (+ conforme à la norme SQL 92). attention, il faudra réécrire les requètes qui ont des group by (justement pour les rendre conforme à la norme)

à première vue, je trouve les 8 minutes beaucoup trop importantes, je regarderais attentivement les champs, les index, et le niveau d'optimisation Rushmore.

Pourquoi ne pas passer tes données dès maintenant sur SQL server? les versions express sont gratuites, ça tourne parfaitement sur un portable (le mien a 2 Go de RAM, un XP SP3, avec SQL 2008).

en mettant tes data et tes requètes sur SQL (sous forme de vues et de procedures stockées acceptant tes paramètres), tu devrait pouvoir au moins régler ton pb de plantage, et probablement améliorer les perfs de ce qui fonctionne.

Et pour plus d'info, les Rencontres AtoutFox à Paris-Roissy du 18 au 20 mars!
jeudi 5 mars 2009 à 06:47:14 | Re : Limite de Visual Fox Pro en terme du nombre d'enregistrement

rao64

Bonjour,

Merci michel pour tes précieux conseils (dommage que MS n'assume plus grand chose pour VFP). En meme temps il y a plus d'humanité dans nos forums que sur la hotline de MS
pour sql express je suis déjà en train de télécharger.

Bon cela veut dire que je devrais créer ou modifier tte table par instruction sql mais bon faut essayer notamment pour découvrir et pour parer l'éventualité ou j'aurais besoin de secouer des tables très lourdes (en expertise judiciaire cela arrive aussi). Existe t-il des outils pour dialoguer facilement par une IHM plutot que par commande sql ?

Notre handicap sur ces job c'est qu'il faut aller vite et c'est pour cela qu el'on ne prend pas toujours le temps de chercher les nouvelles solution (par ex je suis collé à fox depuis 1984 environ). On programme du très simple, on controle puis on archive.

Il faut etre honnete des tables de + de 5 M c'est très rare et ceci explique cela.
Je vais aussi essayer des modif sur les paramètres que tu m'as indiqué.

Tu parles d'optimisation rushmore, comment valides tu que celle-ci est correctement établie ?

Quant aux rencontres Atoux fox pourquoi pas pour rencontrer des gens sympa mais je ne suis plus bon a rien en dev les IHM objets sont devenues vraiement compliquées. Ma dernières appli avec IHM étaite en fox dos 2.6. je m'en sert toujours pour ma gestion et elle a passé l'an 200 et l'euro sans problème.
Je crains de ne pas trop comprendre le débats mais je serai peur etre sur paris ces jours là (j'habite près de Pau).

Donnes moi une URL m'expliquant les sujets qui seront traités mais je ne suis plus la dedans.
Ceci étant j'ai initié un proto de progiciel et je suis planté sur l'IHM. Il va donc falloir soit que je m'y mette soit que je trouve des développeurs.

Bon aller je te laise et je te dirais le résultat de cette optimisation.

A+

vendredi 6 mars 2009 à 14:51:44 | Re : Limite de Visual Fox Pro en terme du nombre d'enregistrement

MichelAtoutFox

Membre Club
Bonjour,

l'ihm pour SQL s'appelle SSMS (Sql Server Management Studio), tu trouveras son téléchargement sur la page générale de de SQL Express 2008.

Avec VFP9, nous avons maintenant un excellent outil pour accéder en direct depuis VFP à tous les serveurs SQL disponibles depuis notre poste de travail: c'est l'explorateur de données, dans lequel on mappe aussi les databases Fox, et même les répertoires de tables indépendantes. L'add-on Sedna contient une version très améliorée de cet explorateur de données.
En quelques clicks, tu extraits tes données, tu les browse, tu génères ton code pour créer les CursorAdapters que tu veux conserver en prg, etc..
C'est à mes yeux une des raisons majeures qui justifie de passer à VFP9, c'est réellement un outil extraordinaire (il te donne aussi le niveau d'optimisation Rusmore de tes requètes).

Pour Rushmore, regarde dans l'aide le SYS(3054), tout est là!

Tu trouveras le programme des Rencontres 2009 ici. Je pense que plusieurs sujets sont très proches de tes préoccupations.


Cette discussion est classée dans : visual, pro, limite, fox, terme


Répondre à ce message

Sujets en rapport avec ce message

Visual Fox Pro et XML [ par olidal ] donc voila mon probleme j'ai un fichier d'echange de données en XML à générer (ça pas de problème c'est un fichier texte) là où cela se corse c'est p Histogramme Visual Fox Pro [ par souad213 ] Bonjour, Je voudrais afficher les données qui sont sauvegardées d'une base de données sous forme d'un histogramme. Donc ma question est : Est ce que Option d'accessibilté sous fox pro [ par barbu51 ] Bonjour, je voudrais savoir si qu'lqu'un a déjà rencontré un problème lié aux "option d'accessibilité".Dans le cas ou je mets "très grandes icones", f fox pro [ par salyve ] Salut,Pourrais-je savoir comment appelé un document office (Word par exemple) à partir d'un formulaire réalisé sous visual fox pro 6? importation txt --> fox pro [ par gregorian ] Bonjour, à tous, J'aurais voulu savoir si il existait une fonction permettant de lancer la commande d'importation d'un fichier txt en dbf (un peu comm Mettre une date dans une clause WHERE d'une requête Visual Foxpro [ par artis31 ] Bonjour,Je suis confronté à un problème sur une requête SELECT... WHERE... dans une table visual foxpro.A partir d'un code en VBA (Excel) je veux alle Gestion d'objet [ par spoutnic_37 ] Salutation,     Mon probleme est le suivant : comment faire un ensemble de formulaire grace à visual foxpro 6, et gérer les objets? J'ai fait de la p Fenêtre visual foxpro !!! [ par spoutnic_37 ] Aloha !!!   je voudrais faire une application qui utiliserait la fenêtre de visual foxpro (et non un formulaire). Le probleme est que la "croix" de ce Probleme de configuration de visual foxpro !!! [ par spoutnic_37 ] aloha !!!Je voudrais savoir si il est normal de spécifier le repertoire ou visual foxpro doit chercher les elements du programme. En effet je suis obl mini projet [ par wardaty ] bonjour, je suis débutante en visual foxpro et j'aimerais bien voir et etudier un exemple ou bien un mini projet en visual foxpro c'est trés important


Nos sponsors


Sondage...

CalendriCode

Septembre 2010
LMMJVSD
  12345
6789101112
13141516171819
20212223242526
27282930   

Consulter la suite du CalendriCode

 
Développement réalisé par Nicolas SOREL (Nix) avec l'aide de : Cyril DURAND et Emmanuel (EBArtSoft), Merci à Vincent pour ses précieux conseils.
CodeS-SourceS.com© Toute reproduction même partielle est interdite sauf accord écrit du Webmaster
CodeS-SourceS.com© est une marque déposée tous droits réservés

Google Coop CodeS-SourceS Google Coop CodeS-SourceS
Temps d'éxécution de la page : 0,655 sec (3)

Nous contacter | Annoncer sur CodeS-SourceS | Mentions légales