Configuration - Paramètres
Structure arborescente des paramètres
Vous trouverez ci-dessous la structure arborescente des paramètres de configuration ainsi que leur description.
processorvariablestagsexecuteExecuteConfigpre_files_deletepre_folder_deletepre_folder_creationexe_pathexe_urlexe_commandexe_url_headersexe_unzip_and_useexe_guess_os_extensioncommand_suffixworking_dir
execute_and_compareExecuteAndCompareConfigtestExecuteConfigpre_files_deletepre_folder_deletepre_folder_creationexe_pathexe_urlexe_commandexe_url_headersexe_unzip_and_useexe_guess_os_extensioncommand_suffixworking_dir
test_onlyreferenceExecuteConfigpre_files_deletepre_folder_deletepre_folder_creationexe_pathexe_urlexe_commandexe_url_headersexe_unzip_and_useexe_guess_os_extensioncommand_suffixworking_dir
file_readerFileReaderConfigencodingextension_unknown_ignoreextension_mappingextension_fallbackextension_readers_catalogcustom_curve_parser
readersReadersConfigtxtReaderTxtConfigerror_rule_patternsignorereport_linesmetrics
csvReaderCsvConfigdelimiterquotecharhas_headeris_matrixmatrixReaderCsvMatrixConfigx_value_linehas_yx_namey_nameexport_report
colsReaderColsConfigignore_columnsindex_colrowsReaderColsRowsConfigignore_patternsline_startline_endindex_min_valueindex_max_value
curve_parserReaderColsCurveParserConfignameparametersReaderCurveParserColXConfig ou ReaderCurveParserColsCoupleConfig- Option ReaderCurveParserColXConfig
x
- Option ReaderCurveParserColsCoupleConfig
x_indexy_index
metrics
txt_fixed_colsReaderTxtFixedColsConfigcolumn_widthscolumn_indexescolsReaderColsConfigignore_columnsindex_colrowsReaderColsRowsConfigignore_patternsline_startline_endindex_min_valueindex_max_value
curve_parserReaderColsCurveParserConfignameparametersReaderCurveParserColXConfig ou ReaderCurveParserColsCoupleConfig- Option ReaderCurveParserColXConfig
x
- Option ReaderCurveParserColsCoupleConfig
x_indexy_index
metricshas_headerhas_header_linehas_header_ignorecurve_parserReaderColsCurveParserConfignameparametersReaderCurveParserColXConfig ou ReaderCurveParserColsCoupleConfig- Option ReaderCurveParserColXConfig
x
- Option ReaderCurveParserColsCoupleConfig
x_indexy_index
netcdfReaderNetcdfConfiggroups_depthunits_attributescurve_parsermatrices_display_spectrogramcurve_x_variablecurve_y_variablecurve_step_variablecompare_1Dcompare_2D
catalog
compareCompareConfigsourcesCompareSourceFoldersConfignot_matching_source_ignore_patternrecursiveadditional_path_suffixestest_folder_relative_pathreference_folder_relative_pathtest_filename_match_ignorereference_filename_match_ignore
float_thresholdsCompareFloatThresholdsConfigrelative_vs_absolute_minrelative_error_minrelative_error_maxabsolute_error_minabsolute_error_maxvectorsCompareFloatVectorsConfigreduction_methodponderation_methodamplitude_moderation_multiplierriae_threshold
ignore_warningserrors_limitmetrics_comparemetrics_thresholdsCompareFloatThresholdsConfigrelative_vs_absolute_minrelative_error_minrelative_error_maxabsolute_error_minabsolute_error_maxvectorsCompareFloatVectorsConfigreduction_methodponderation_methodamplitude_moderation_multiplierriae_threshold
reportReportConfigdebugtitletitle_prefixdescriptionlogologo_fileoutputReportOutputConfigfilenameexport_htmlexport_txtexport_jsonexport_yamlexport_pyexport_jsexport_tsexport_php
htmlReportHtmlConfigcustom_stylecustom_script_headcustom_script_bodyextra_html_startextra_html_summaryextra_html_endlogo_heightcompare_color_testcompare_color_referencecollapse_if_successfulparameter_page_modeReportParameterPageModeConfigis_user_preferencedefault_value
parameter_open_file_inReportParameterOpenFileInConfigis_user_preferencedefault_value
curvesReportHtmlCurvesConfigdisplay_on_loadinit_widthinit_heightcompare_vs_valuescompare_vs_difference
matrixReportHtmlMatrixConfigspectrogramsReportHtmlSpectrogramsConfigtest_refdifferencesinit_widthinit_heightis_3D
frameseriesReportHtmlFrameseriesConfigwidthheight
Chemin des paramètres
AppConfig
| Nom | Type | Défault | Description |
|---|---|---|---|
processor | string | Nom du processeur à utiliser. Compare ou ExecuteAndCompare. | |
variables | object | Variables Utilisateur. | |
tags | array[string] | None | Optionnel Utilisé dans un contexte ligne de commande, utilisé en conjonction avec l'option --discover pour filtrer les cas à éxécuter. |
execute | ExecuteConfig | Configuration utile au processeur ExecuteAndCompare. | |
execute_and_compare | ExecuteAndCompareConfig | Configuration utile au processeur ExecuteAndCompare. | |
file_reader | FileReaderConfig | Configuration des readers fichiers. | |
readers | ReadersConfig | Configuration des readers. | |
compare | CompareConfig | Configuration utile aux processeurs Compare et ExecuteAndCompare | |
report | ReportConfig | Configuration des Reports. |
ExecuteConfig
| Nom | Type | Défault | Description |
|---|---|---|---|
pre_files_delete | boolean | False | Si true, supprime les fichiers avant l'éxecution. (le fichier de configuration et les fichiers . ne seront pas supprimés) |
pre_folder_delete | array[string] | None | Optionnel Liste de répertoire à supprimer avant l'éxecution. Ex: ["DEBUG", "LOG", "OUT"] |
pre_folder_creation | array[string] | None | Optionnel Liste de répertoire à créeravant l'éxecution. Ex : ["INI", "DAT"] |
exe_path | string | None | Optionnel Chemin de l'exécutable. Ex : /absolute/path/executable or relative/path/executable. Dans le cas, d'un chemin relatif, il testera le working directory et le origin working directory (exclusif avec exe_url et exe_command). |
exe_url | string | None | Optionnel Url de l'exécutable à télécharger avant de l'exécuter. Ex : https://github.com/org/app/releases/download/v3.31.5/app-2.12.2-linux-x86-64 (exclusif avec exe_path et exe_command). |
exe_command | string | None | Optionnel Commande à exécuter sans résolution de chemin. Ex : ./app-2.12.2-linux-x86-64 ou python3 app.py (exclusif avec exe_path et exe_url). |
exe_url_headers | object | None | Optionnel Si exe_url les en-têtes à ajouter à la requête de téléchargement de l'exécutable. Ex : {"Authorization": "Bearer token"} |
exe_unzip_and_use | string | None | Optionnel Si l'exécutable (exe_path ou exe_url) est zippé, alors décompresse et utilise le fichier spécifié. Ex : app-2.12.2-linux-x86-64 |
exe_guess_os_extension | boolean | False | Si l'exécutable (exe_path ou exe_url) n'est pas trouvée, cherche avec des extensions en fonction de l'OS. Ex : .exe, .bat pour windows |
command_suffix | string | None | Optionnel Suffixe à ajouter à la commande. Typiquemnt des secrets. Ex : --token DGDFGDFGDH |
working_dir | string | None | Optionnel Chemin relatif du répertoire de travail pour l'éxecution de la commande. Dans le contexte processeur ExecuteAndCompare si non défini, récupère respectivement la valeur de compare.sources.test_folder_relative_path ou compare.sources.reference_folder_relative_path |
ExecuteAndCompareConfig
| Nom | Type | Défault | Description |
|---|---|---|---|
test | ExecuteConfig | None | Optionnel Surcharge les paramètres de la section execute pour le contexte de test. |
test_only | boolean | False | Si true, aucune éxécution faite pour la référence (les sorties de réferences pour comparaison existent déjà). |
reference | ExecuteConfig | None | Optionnel Surcharge les paramètres de la section execute pour le contexte de référence. |
FileReaderConfig
| Nom | Type | Défault | Description |
|---|---|---|---|
encoding | string | utf-8 | Encodage utilisé pour lire les fichiers. |
extension_unknown_ignore | boolean | False | Si aucun reader n'est trouvé pour une extension, passe au suivant sans générer d'erreur. |
extension_mapping | object | None | Optionnel Mapping d'extensions source - cible. Ex {"txt": "csv"}. |
extension_fallback | string | None | Optionnel Si aucun reader n'est trouvé pour une extension, utilise cette extension pour déterminer le reader. |
extension_readers_catalog | object | None | Optionnel Mapping extension clé du catalogue de readers. Ex: {'dat1': 'csv_comma', 'dat2': 'csv_semicolon'} |
custom_curve_parser | string ou object | None | Optionnel Représente le chemin d'un fichier/module python suivi par :: suivi par le nom d'une fonction à appeller pour parser les courbes d'un fichier. Le chemin peut être absolu ou relatif. Dans le cas, d'un chemin relatif, il testera le working directory et le origin working directory. Ex: custom_parser.py::parse_curves |
ReadersConfig
| Nom | Type | Défault | Description |
|---|---|---|---|
txt | ReaderTxtConfig | Configuration des readers txt. | |
csv | ReaderCsvConfig | Configuration des readers csv. | |
txt_fixed_cols | ReaderTxtFixedColsConfig | Configuration des readers txt avec colonnes fixes. | |
netcdf | ReaderNetcdfConfig | Configuration des readers NetCDF. | |
catalog | object | None | Optionnel Catalogue de configuration de readers par clé. Ex: {'csv_comma': {'type': 'csv', 'parameters': {'delimiter': ','}}, 'csv_semicolon': {'type': 'csv', 'parameters': {'delimiter': ';'}}} |
ReaderTxtConfig
| Nom | Type | Défault | Description |
|---|---|---|---|
error_rule_patterns | array[string] | None | Optionnel Liste de motifs de chaîne à vérifier. Si un motif est trouvé, génère une erreur. Ex: ["NaN", "infinity"] |
ignore | object | None | Optionnel Ignore les lignes d'un fichier selon un motif. Ex: {"path": [{"pattern": "NaN", "pre": 0, "post": 0}]} |
report_lines | object | None | Optionnel Nombre de lignes à reporter avant et après une erreur. Ex: {"path": {"pre": 0, "post": 0} |
metrics | array[] | None | Optionnel Liste des métriques |
ReaderCsvConfig
| Nom | Type | Défault | Description |
|---|---|---|---|
delimiter | string | , | Optionnel Délimiteur de colonnes. |
quotechar | string | " | Optionnel Délimiteur de texte. |
has_header | boolean | None | Optionnel Indique si la 1ère ligne est une ligne d'en-tête. Si non spécifié, il y aura une détection automatique. |
is_matrix | boolean | False | Indique si le fichier est une matrice. |
matrix | ReaderCsvMatrixConfig | None | Optionnel Configuration de la matrice. (Valide seulement si is_matrix est vrai) |
cols | ReaderColsConfig | None | Optionnel Configuration des colonnes. (Valide seulement si non matrice) |
metrics | array[] | None | Optionnel Liste des métriques à calculer pour les colonnes. (Valide seulement si non matrice) |
ReaderCsvMatrixConfig
| Nom | Type | Défault | Description |
|---|---|---|---|
x_value_line | integer | None | Optionnel Indique la ligne des valeurs x si applicable. Peut être la ligne d'en-tête (=1). |
has_y | boolean | False | Indique si la première colonne est la colonne des valeurs y. |
x_name | string | X | Nom de la colonne des valeurs x. |
y_name | string | Y | Nom de la colonne des valeurs y. |
export_report | boolean | False | Indique si les matrices doivent être exportées dans les rapports. |
ReaderColsConfig
| Nom | Type | Défault | Description |
|---|---|---|---|
ignore_columns | array[string] ou array[integer] | None | Optionnel Liste des colonnes à ignorer (nom de l'en tête ou numéro de colonne). |
index_col | integer ou string ou array[string] | None | Optionnel Colonne(s) à utiliser comme index (date/heure, itération, étape, ...) (Utilisé dans différentes règles). Numéro de colonne ou nom(s) de colonne. (Valide seulement si non matrice) |
rows | ReaderColsRowsConfig | None | Optionnel Configuration des lignes à lire. |
curve_parser | ReaderColsCurveParserConfig | None | Optionnel Parseur de courbe à utiliser. |
ReaderColsRowsConfig
| Nom | Type | Défault | Description |
|---|---|---|---|
ignore_patterns | array[string] | None | Optionnel Liste des patterns de lignes à ignorer. Ex: "^#", "^//". Non applicable si is_matrix est vrai. |
line_start | integer | None | Optionnel Ligne de début pour lire le fichier (les en-têtes sont comptées comme une ligne). Si non défini, commence à la première ligne. |
line_end | integer | None | Optionnel Ligne de fin pour lire le fichier (les en-têtes sont comptées comme une ligne). Si non défini, lit jusqu'à la dernière ligne. |
index_min_value | number | None | Optionnel Valeur minimale de l'index pour les lignes à lire (valeur incluses). |
index_max_value | number | None | Optionnel Valeur maximale de l'index pour les lignes à lire (valeur incluses). |
ReaderColsCurveParserConfig
| Nom | Type | Défault | Description |
|---|---|---|---|
name | enum | Valeurs possibles: col_x, cols_couple. Le type de paramètres dépend de cette valeur | |
parameters | ReaderCurveParserColXConfig ou ReaderCurveParserColsCoupleConfig | None | Optionnel Paramètres du parser de courbes |
ReaderCurveParserColXConfig
| Nom | Type | Défault | Description |
|---|---|---|---|
x | integer ou string ou array[string] | 1 | Si integer, index de la colonne pour l'axe x (index 1 pour la première colonne).Si String, nom de la colonne pour l'axe x. Si la colonne n'existe pas, il n'y aura pas de parsing.(Valide seulement si la première ligne est les en-têtes)Si `ListString (utiles dans un contexte multi dataset), noms de la colonne pour l'axe x, noms des colonnes pour l'axe x , si plusieurs colonnes correspondent, la première trouvée sera utilisée. Si aucune colonne ne correspond, il n'y aura pas de parsing.(Valide seulement si la première ligne est les en-têtes) |
ReaderCurveParserColsCoupleConfig
| Nom | Type | Défault | Description |
|---|---|---|---|
x_index | integer | NOT IMPLEMENTED - Index Col x | |
y_index | integer | NOT IMPLEMENTED - Index Col y |
ReaderTxtFixedColsConfig
| Nom | Type | Défault | Description |
|---|---|---|---|
column_widths | array[integer] | None | Optionnel Liste des largeurs de colonnes. Ex: 9, 13, 12. Exclusif avec column_indexes. |
column_indexes | array[array] | None | Optionnel Liste des index de début et fin de colonnes. Ex: [[0, 8], 9, 12, 13, 28]. Exclusif avec column_widths. |
cols | ReaderColsConfig | None | Optionnel Configuration des colonnes. (Valide seulement si non matrice) |
metrics | array[] | None | Optionnel Liste des métriques à calculer pour les colonnes. (Valide seulement si non matrice) |
has_header | boolean | False | Indique si le dataset contient une ligne d'entête. |
has_header_line | integer | None | Optionnel Numéro de la ligne d'entête. Si None, la première ligne non ignorée est considérée comme l'entête. |
has_header_ignore | array[string] | None | Optionnel Chaînes de caractères à ignorer dans la ligne d'entête. eex: '##', '|'. |
curve_parser | ReaderColsCurveParserConfig | None | Optionnel Parseur de courbe à utiliser. |
ReaderNetcdfConfig
| Nom | Type | Défault | Description |
|---|---|---|---|
groups_depth | integer | None | Optionnel Définit la profondeur de recherche des groupes. Si vide prendra tous les groupes. |
units_attributes | array[string] | None | Optionnel Noms des attributs de variable qui spécifient les unités. |
curve_parser | string | None | Optionnel Parser de courbes: simple_1D or frameseries_2D. |
matrices_display_spectrogram | boolean | False | Parseur de courbes les variables matricielles (2D). |
curve_x_variable | string | None | Optionnel Nom de variable (1D) pour les axes X (tout parseur). |
curve_y_variable | string | None | Optionnel Nom de variable (1D) pour les axes Y (curve_parser_frameseries). |
curve_step_variable | string | None | Optionnel Nom de variable Step (1D) (curve_parser_frameseries). |
compare_1D | boolean | False | Pour les processeurs qui comparent, compare les variables vecteurs (1D). |
compare_2D | boolean | False | Pour les processeurs qui comparent, compare les variables matrices (2D). |
CompareConfig
| Nom | Type | Défault | Description |
|---|---|---|---|
sources | CompareSourceFoldersConfig | Configuration pour les sources des données de test et de référence. | |
float_thresholds | CompareFloatThresholdsConfig | Seuils de comparaison pour les valeurs flottantes. | |
ignore_warnings | boolean | False | Si true, ne lève pas les erreurs de sévérité warning. |
errors_limit | integer | 1000 | Limite d'erreurs à atteindre avant de s'arrêter (Sévérité warning et error). |
metrics_compare | boolean | True | Si true, compare les métriques entre les données de test et de référence. |
metrics_thresholds | CompareFloatThresholdsConfig | None | Optionnel Seuils de comparaison pour les métriques. |
CompareSourceFoldersConfig
| Nom | Type | Défault | Description |
|---|---|---|---|
not_matching_source_ignore_pattern | string | None | Optionnel Ignore les fichiers de test et de référence qui ne correspondent pas selon l'expression régulière défini (si = * ignore tout). |
recursive | boolean | False | Recherche récursive dans les répertoires de test et de référence. |
additional_path_suffixes | array[string] | None | Optionnel Additionals paths to add after test and reference folders. |
test_folder_relative_path | string | test | Relative path to the working directory for the test folder. |
reference_folder_relative_path | string | reference | Relative path to the working directory for the reference folder. |
test_filename_match_ignore | string | None | Optionnel Chaîne spécifique dans le nom de fichier test à ignorer pour matcher les noms. Ex : .test or test_ |
reference_filename_match_ignore | string | None | Optionnel Chaîne spécifique dans le nom de fichier référence à ignorer pour matcher les noms. Ex : .ref or ref_ |
CompareFloatThresholdsConfig
| Nom | Type | Défault | Description |
|---|---|---|---|
relative_vs_absolute_min | number | 1e-12 | Si la valeur de test est inférieure à ce seuil, calcul de l'erreur absolue. |
relative_error_min | number | 0.001 | Si l'erreur relative est supérieure à ce seuil, génère une erreur de sévérité warning. |
relative_error_max | number | 0.01 | Si l'erreur relative est supérieure à ce seuil, génère une erreur de sévérité error. |
absolute_error_min | number | 1e-07 | Si l'erreur absolue est supérieure à ce seuil, génère une erreur de sévérité warning. |
absolute_error_max | number | 1e-06 | Si l'erreur absolue est supérieure à ce seuil, génère une erreur de sévérité error. |
vectors | CompareFloatVectorsConfig | None | Optionnel Paramètres pour la comparaison de vecteurs de flottants (csv, nc, ...). |
CompareFloatVectorsConfig
| Nom | Type | Défault | Description |
|---|---|---|---|
reduction_method | string | soften | Méthode de réduction de sévérité des erreurs. Peut être soften ou ignore. Si soften, réduit la sévérité de l'erreur. Si ignore, ne lève pas d'erreur. |
ponderation_method | string | Méthode de calcul de reduction de sévérité. Peut êtreamplitude_moderation, RIAE, RIAE_trapezoid ou RIAE_midpoint. | |
amplitude_moderation_multiplier | number | None | Optionnel Multipler utilisé dans l'amplitude pondérée multiplier * |Max(Vector)-Min(Vector)| qui sera comparée à l'erreur absolue |Test-Reference|. |
riae_threshold | number | None | Optionnel Seuil de l'erreur relative intégrale absolue. Si l'erreur est supérieure à ce seuil, on appliquera la reduction_method globalement. |
ReportConfig
| Nom | Type | Défault | Description |
|---|---|---|---|
debug | boolean | False | If true the report will be more verbose and displays template input data. |
title | string | None | Titre du rapport |
title_prefix | string | SciLens Report | Préfixe au Titre du rapport |
description | string | None | Optionnel Description inclu dans une section spécifique description des rapports |
logo | string | None | Optionnel Source d'une image logo. Peut être une url ou une url data image encodée base64 (exclusif avec logo_file). |
logo_file | string | None | Optionnel Source fichier d'une image logo (exclusif avec logo). |
output | ReportOutputConfig | ||
html | ReportHtmlConfig |
ReportOutputConfig
| Nom | Type | Défault | Description |
|---|---|---|---|
filename | string | scilens_report | Nom de fichier (sans l'extension) des rapports générés. |
export_html | boolean | False | Génère un rapport HTML |
export_txt | boolean | False | Génère un rapport TXT |
export_json | boolean | False | Génère un rapport JSON |
export_yaml | boolean | False | Génère un rapport YAML |
export_py | boolean | False | Génère un rapport Python (Variable) |
export_js | boolean | False | Génère un rapport Javascript (Variable) |
export_ts | boolean | False | Génère un rapport Typecript (Variable) |
export_php | boolean | False | Génère un rapport Php (Variable) |
ReportHtmlConfig
| Nom | Type | Défault | Description |
|---|---|---|---|
custom_style | string | None | Optionnel CSS personnalisé. |
custom_script_head | string | None | Optionnel Script personnalisé dans le <head>. Chaine de caractères ou chemin d'un fichier sous la forme file://. |
custom_script_body | string | None | Optionnel Script personnalisé en fin de <body>. Chaine de caractères ou chemin d'un fichier sous la forme file://. |
extra_html_start | string | None | Optionnel HTML personnalisé en début de rapport. Chaine de caractères ou chemin d'un fichier sous la forme file://. |
extra_html_summary | string | None | Optionnel HTML personnalisé dans la section Summary. Chaine de caractères ou chemin d'un fichier sous la forme file://. |
extra_html_end | string | None | Optionnel HTML personnalisé en fin de rapport. Chaine de caractères ou chemin d'un fichier sous la forme file://. |
logo_height | integer | 40 | Hauteur du logo dans le titre. |
compare_color_test | string | 1982c4 | Couleur pour les données de test. |
compare_color_reference | string | 6a4c93 | Couleur pour les données de référence. |
collapse_if_successful | boolean | True | N'affiche par défaut les sections de comparaison sans erreur. |
parameter_page_mode | ReportParameterPageModeConfig | ||
parameter_open_file_in | ReportParameterOpenFileInConfig | ||
curves | ReportHtmlCurvesConfig | ||
matrix | ReportHtmlMatrixConfig |
ReportParameterPageModeConfig
| Nom | Type | Défault | Description |
|---|---|---|---|
is_user_preference | boolean | True | Paramètre modifiable par l'utilisateur |
default_value | string | onepage | tabs ou onepage |
ReportParameterOpenFileInConfig
| Nom | Type | Défault | Description |
|---|---|---|---|
is_user_preference | boolean | True | Paramètre modifiable par l'utilisateur |
default_value | string | browser | browser ou vscode |
ReportHtmlCurvesConfig
| Nom | Type | Défault | Description |
|---|---|---|---|
display_on_load | boolean | False | Si true, affiche tous les graphiques courbes à l'ouverture du rapport. |
init_width | integer | 600 | Largeur initiale des graphiques courbes. |
init_height | integer | 400 | Hauteur initiale des graphiques courbes. |
compare_vs_values | boolean | True | Dans le chart de comparaison, affiche les valeurs de référence et de test. |
compare_vs_difference | boolean | False | Dans le chart de comparaison, affiche la différence entre les valeurs de référence et de test. |
ReportHtmlMatrixConfig
| Nom | Type | Défault | Description |
|---|---|---|---|
spectrograms | ReportHtmlSpectrogramsConfig | None | Optionnel |
frameseries | ReportHtmlFrameseriesConfig | None | Optionnel |
ReportHtmlSpectrogramsConfig
| Nom | Type | Défault | Description |
|---|---|---|---|
test_ref | boolean | True | Indique si les spectrogrammes de test doivent être affichés. |
differences | boolean | True | Indique si les spectrogrammes de différence doivent être affichés. |
init_width | integer | 300 | Largeur initiale des spectrogrammes. |
init_height | integer | 300 | Hauteur initiale des spectrogrammes. |
is_3D | boolean | False | Indique si les spectrogrammes doivent être affichés en 3D. |
ReportHtmlFrameseriesConfig
| Nom | Type | Défault | Description |
|---|---|---|---|
width | integer | 300 | Largeur initiale des graphiques frameseries. |
height | integer | 300 | Hauteur initiale des graphiques frameseries. |