MURST'99 - Modello B - Visualizza modello

MODELLI STATISTICI DI CLASSIFICAZIONE E DI SEGMENTAZIONE PER L'ANALISI DI DATI STRUTTURATI IN FORMA COMPLESSA: METODOLOGIE, SOFTWARE E APPLICAZIONI

STATISTICAL MODELS FOR CLASSIFICATION AND SEGMENTATION OF COMPLEX DATA STRUCTURES: METHODOLOGIES, SOFTWARE AND APPLICATIONS

SICILIANO	ROBERTA
(cognome)	(nome)
Università degli Studi di NAPOLI "Federico II"	Facoltà di ECONOMIA
(università)	(facoltà)
S01A	Dipartimento di MATEMATICO-STATISTICO
(settore scient.discipl.)	(Dipartimento/Istituto)

r.sic@dmsna.dms.unina.it
(E-mail)

SICILIANO	ROBERTA
(cognome)	(nome)

Professore associato	12/05/1964	SCLRRT64E52F839S
(qualifica)	(data di nascita)	(codice di identificazione personale)

Università degli Studi di NAPOLI "Federico II"	Facoltà di ECONOMIA
(università)	(facoltà)
S01A	Dipartimento di MATEMATICO-STATISTICO
(settore scient.discipl.)	(Dipartimento/Istituto)

081/675120	081/675113	r.sic@dmsna.dms.unina.it
(prefisso e telefono)	(numero fax)	(E-mail)

Dal 1992 Roberta Siciliano è professore associato di Statistica presso l’Università degli Studi di
Napoli Federico II e membro del Collegio dei Docenti del Dottorato di Ricerca in Statistica
Computazionale e Applicazioni. Nel periodo 1994-1998 ha fatto parte del Consiglio Direttivo della
Sezione Europea dell’International Association for Statistical Computing (IASC-ERS BoD) e dal
1998 è membro del Consiglio Direttivo Generale della stessa associazione (IASC Council). Dal 1997
è membro della Commissione Didattica di Ateneo. E’ membro ordinario della Società Italiana di
Statistica (SIS) e dell’International Statistical Institute (ISI). La sua attività scientifica di ricerca ha
riguardato prevalentemente l’analisi multivariata e la statistica computazionale con particolare
riferimento ai modelli per dati categorizzati e ai metodi di classificazione e di regressione ad albero.
E’ stata relatrice invitata alla Second World Conference of IASC (Pasadena, febbraio 1997) e al
COMPSTAT 98 (Bristol, 1998). E’ membro del Comitato Scientifico dell’Intelligent Data Analysis
(IDA-99, Amsterdam, agosto 1999) e del COMPSTAT 2000 (Utrecht, agosto 2000). E’ autrice di
oltre 40 lavori revisionati e pubblicati su riviste italiane e internazionali, o su volumi monografici. Ha
svolto attività di revisione dei lavori per le riviste Computational Statistics and Data Analysis,
Statistics and Computing, Metron, Journal of the Italian Statistical Society, Statistica Applicata.

Since 1992 Roberta Siciliano is associate professor of Statistics at the University of Naples Federico
II and member of the Board of Professors of the PhD Course of Computational Statistics and
Applications. In the period 1994-98 she has been member of the Board of Directors of the European
Regional Section of the International Association for Statistical Computing (ERS-IASC Bod
Council) and on 1998 she has been elected as member of the IASC Council. Since 1997 she is
member of the Academic Teaching Commission of the University of Naples. She is ordinary member
of the Società Italiana di Statistica (SIS) and of the International Statistical Institute (ISI). Her
scientific research has been developed in the field of Multivariate Analysis and Computational
Statistics with particular reference on Modeling Categorical and Categorized Data and Classification
and Regression Trees. She has been invited lecturer at the Second World Conference of IASC
(Pasadena, february, 1997) and at the COMPSTAT 98 Conference (Bristol, august, 1998). She is
author of more than 40 revised papers published on italian and international reviews as well as on
monographical books. She has acted as referee of Computational Statistics and Data Analysis,
Statistics and Computing, Journal of the Italian Statistical Society, Statistica Applicata.

Nº	Cognome	Nome	Dipart./Istituto	Qualifica	Settore scient.	Mesi uomo
1999	2000

1	SICILIANO	ROBERTA	MATEMATICO-STATISTICO	Prof. associato	S01A	4	4
2	LAURO	NATALE CARLO	MATEMATICO-STATISTICO	Prof. ordinario	S01A	3	3
3	PERNA	ANTONIO	MATEMATICO-STATISTICO	Assistente	S01A	2	2

4	CAFARO	ENRICO	MATEMATICO-STATISTICO	OPERATORE ELABORAZIONE DATI		2	2

Nº	Cognome	Nome	Università	Dipart./Istituto	Qualifica	Settore scient.	Mesi uomo
1999	2000

Nº	Cognome	Nome	Dipart./Istituto	Anno del titolo	Mesi uomo
1.	BRUZZESE	DARIO	MATEMATICO-STATISTICO	1999	4
2.	CAPPELLI	CARMELA	MATEMATICO-STATISTICO	2000	8
3.	CONVERSANO	CLAUDIO	MATEMATICO-STATISTICO	1999	8
4.	COSTANZO	SIMONA	MATEMATICO-STATISTICO	2000	2
5.	DAVINO	CRISTINA	MATEMATICO-STATISTICO	1998	6
6.	ESPOSITO	VINCENZO	MATEMATICO-STATISTICO	1997	4
7.	GHERGHI	MARCO	MATEMATICO-STATISTICO	1996	6
8.	VISTOCCO	DOMENICO	MATEMATICO-STATISTICO	1999	6

METODI PARAMETRICI E SEMIPARAMETRICI PER LA
SEGMENTAZIONE DI DATI MULTIVARIATI E LONGITUDINALI

PARAMETRIC AND SEMIPARAMETRIC METHODS FOR SEGMENTATION OF MULTIVARIATE AND LONGITUDINAL DATA

Obiettivo dei metodi di segmentazione è la costruzione di modelli o regole di discriminazione delle unità statistiche o individui in gruppi internamente omogenei ed esternamente eterogenei rispetto ad una variabile criterio (nominale, ordinale o numerica). Da un punto di vista esplorativo, la segmentazione consente la definizione di tipologie di individui e al contempo tipologie di variabili volte a descrivere e sintetizzare modelli comportamentali, di preferenza multi-attributo, modelli gestionali, segmenti di clientela/utenza di un prodotto/servizio etc. Invero, nell’ottica decisionale un modello di segmentazione costituisce uno strumento induttivo di previsione o di classificazione di nuovi individui che impiega “algoritmi supervisionati”, cioè basati sullo “apprendimento” del fenomeno attraverso la conoscenza a-priori delle osservazioni di una variabile criterio distinta dalle altre variabili esplicative.
Nella letteratura più recente si è aperto un dibattito che vede da un lato i fautori dell’approccio classico di tipo parametrico o semiparametrico, spesso etichettato come approccio statistico al problema in virtù della possibilità di applicare procedure di tipo inferenziale, e dall’altro i promotori dell’approccio non parametrico, ad alto contenuto computazionale, spesso euristico, volto a risolvere i problemi di segmentazione in presenza di grandi insiemi di dati e di assenza di ipotesi distribuzionali.
I contributi più significativi in tema di segmentazione sono oggi volti a conciliare i due approcci sopra menzionati, tipicamente considerati come alternativi se non addirittura opposti, nello sforzo di compensare i limiti che ciascuno di essi presenta. Tale sforzo è particolarmente evidente nel caso della segmentazione ad albero. Le procedure di partizione ricorsiva ad albero costituiscono infatti un tipico esempio di approccio non parametrico al problema della segmentazione. Si tratta di procedure giustamente definite figlie dell’era del calcolatore elettronico, richiedendo la loro applicazione un uso massiccio dello stesso, che nascono come strumenti meramente euristici, particolarmente adatti all’analisi di insiemi di dati di cardinalità elevata e caratterizzati dalla assenza di una struttura standard e quindi dalla impossibilità di ipotizzare una o un’unica struttura sottostante i dati stessi. Il punto di riferimento per la ricerca in questo campo è costituito dalla metodologia CART (Classification and Regression Trees) introdotta nel 1984 da Breiman et al. [4], che costituisce a tutt’oggi il lavoro più completo ma che ha stimolato una notevole successiva produzione scientifica [7][15][29]. Tuttavia, l’impiego pratico di queste procedure in campo economico, sociologico e medico, ne ha evidenziato nel corso del tempo alcuni incovenienti suggerendo la possibilità di un uso complementare di strumenti di tipo parametrico, sia per quanto attiene all’impiego delle strutture ad albero a fini esplorativi che a fini decisionali. In questa direzione ha operato l’Unità Operativa Locale che ha offerto in letteratura numerosi contributi metodologici e computazionali [34]. Si fa riferimento soprattutto all’introduzione della metodologia TWO-STAGE [22][23][24], dove si esalta il ruolo globale dei predittori per la segmentazione, e all’algoritmo FAST per accelerare la ricerca ricorsiva della migliore partizione ad ogni nodo [26][37][19]. Per quanto riguarda l’obiettivo esplorativo, principalmente legato alla fase di costruzione della struttura ad albero, al tradizionale uso di indici statistici alternativi che riflettono il legame di dipendenza della variabile criterio dalle variabili esplicative [40], si è affiancato l’uso di metodi fattoriali [27][39] come l’analisi non simmetrica delle corrispondenze [20][42] e l’applicazione di modelli statistici come ad esempio il modello a bilanci latenti [33] e la regressione logistica [25][35]. Al tempo stesso, gli algoritmi di partizione ricorsiva si rivelano utile strumento per la definizione di intervalli di stima delle funzioni di smoothing nei modelli additivi generalizzati [8][9][10][18]. Gli alberi esplorativi tuttavia rappresentano uno strumento di analisi della struttura dei dati, ma non posssono essere impiegati a fini di induzione, ovvero di classificazione/predizione di nuovi casi. E’ questo un problema di tipo inferenziale che richiede che la struttura creata sia caratterizzata da un elevato grado di affidabilità, affidabilità che non può non risultare da una validazione di tipo statistico. L’ottenimento dell’albero decisionale a partire da quello esplorativo è tradizionalmente avvenuto mediante l’impiego di metodi c.d. di semplificazione (o pruning) che mirano all’ottenimento di strutture (ovvero di regole di classificazione/predizione) generalizzabili e di dimensioni non elevate attraverso la rimozione di parti consistenti delle strutture stesse e segnatamente delle parti terminali che risultano sovradattate ai dati (problema c.d. dell’overfitting) e che quindi spiegano i dati stessi ma non necessariamente il fenomeno oggetto di studio. Invero, i metodi di semplificazione proposti in letteratura hanno tenuto conto prevalentemente dell’aspetto della accuratezza di classificazione/predizione senza porre attenzione all’aspetto della significatività che richiede una valutazione di tipo diverso [5][6]. Su questo tema si distinguono due scuole di pensiero: da un lato i contributi della scuola inglese del Prof. David Hand dell’Imperial College (ex Open University) [16][17][28] che ha distinto il problema del sovradattamento dal problema della selezione dell’albero di decisione introducendo il metodo dell’averaging, ovvero la costruzione di un “compromesso” tra più alberi, con opportuni pesi definiti seguendo criteri diversi, anche di tipo bayesiano; dall’altro, la scuola americana del Prof. Leo Breiman della University of California [1][2][3], che riprendendo il precedente approccio si avvale di tecniche di ricampionamento per la definizione di alberi stabili di taglia ottimale, ovvero per la validazione delle regole di classificazione/predizione nell’ottica di ottenere strutture generalizzabili in quanto statisticamente significative.
L’uso complementare di strumenti parametrici e non parametrici si è affermato anche in riferimento alle reti neurali nel tentativo di ridurre la loro caratteristica di “black boxes”, ovvero di modelli computazionali che presentano una forte valenza applicativa ma non permettono di individuare le operazioni che hanno consentito il raggiungimento dei risultati nè tanto meno, di visualizzare ed interpretare gli elementi che compongono una rete [30][31]. L’Unità Operativa Locale ha contribuito in questo settore di ricerca introducendo il concetto di “rete statistica neuronale” per la segmentazione con il modello a bilanci latenti [12] e con la conjoint analysis [11], dove il ricorso all’approccio statistico alle reti neurali si è reso necessario al fine di esplicitarne i meccanismi di funzionamento e di garantire una maggiore interpretabilità ed affidabilità dei risultati [13][43]. In questa prospettiva, le reti neuronali possono costituire un utile riferimento metodologico-computazionale per ovviare ad alcuni dei limiti applicativi dei suddetti modelli di segmentazione parametrica quando non è possibile considerare ipotesi distribuzionali, oppure quando il legame strutturale tra le variabili è complesso o non lineare, oppure in presenza di grandi insiemi di osservazioni che invalidano l’impiego di test statistici. Invero, così come per le strutture ad albero anche per le reti neuronali si presentano analoghi problemi di pruning e di definizione della architettura ottimale per il loro impiego a fini decisionali.
Si potrebbe affermare che oggi è in atto un processo di “parametrizzazione del non parametrico”; è tuttavia vero anche il contrario, ovvero strumenti tipicamente parametrici si aprono al non parametrico per accrescere e migliorare il loro potenziale d'impiego.

The objective of segmentation methods is to define discrimination models or rules able to divide up objects into groups which are internally homogeneous and externally heterogeneous with respect to a criterion variable (nominal, ordinal or numerical). From an exploratory point of view, segmentation allows defining typologies of objects as well as of variables , these lasts describe behavioural models, targets of customers/users of a good/service and so on.
For decision purposes segmentation represents an inductive tool employed to classify/predict new cases by using supervised algorithms i.e., based on learning the phenomenon through the knowledge of the observations of a criterion variable separated from the explanatory variables.
In literature a debate has been opened: the reserchers following the classical parametric or semiparametric approach, sometimes called “statistical approach” since it is possible to apply inferential procedures, are opposed to those who, instead, follow the non parametric heuristic approach, which is caracterized by a very high computational content which aim is solving segmentation problems related to large datasets with a non standard structure.
Recently, the most important contributions in the segmentation field are trying to merge the above mentioned approaches in order to overcome the drawbacks related to each one of them. This effort is particularly evident in the case of recursive partinioning procedures or tree based methods representing a typical example of non parametric approach to segmentation problems.
These methods, well defined children of the computer age since their use was unthinkable before computers, are essentially heuristic tools especially useful to face the analysis of large datasets where no hypothesis can be made on the distribution underlying the data.
The milestone in this field is represented by the CART of Breiman et al. (Classification and Regression trees [4]) which has stimulated a consistent scientific research [7][15][29]. Nevertheless, the practical use of tree based methods has showed overtime, some disadvantages suggesting the possibilty of a complementary use of parametrical tools either for the exploratory aims or for the decision purposes. In this research field the Local Operative Unit has produced a lot of methodological as well as computational contributions [34]; in particular we remind the TWO STAGE methodology [22][23][24] and the FAST algorithm [26][37][19].
Concerning the exploratory aims, mainly related to the tree growing phase, in addition to the traditional use of alternative statistical indexes reflecting the dependence ralationship between the response variable and the explanatory variables [40], the application of factorial methods [27][39] (such as nonsymmetrical correspondence analysis [20][42]) as well as of statistical models (such as the latent budget model [33] and logistic regression [25][35]) have been proposed. At the same time, the partitioning algorithms can be fruitfully used for the definition of an interval estimation of the smoothing functions in generalized additive models [8][9][10][18].
Exploratory trees can be used to investigate tha data structure but they cannot be employed as inductive tools i.e., to classify/predict new cases. This last can be viewed as a typical inferential task that require the tree structure to be “statistically” reliable. Typically, the “decision tree” is obtained from the exploratory tree by means of simplification (pruning) methods; these methods define general and honest size trees (classification/prediction rules) by removing some of the branches of the tree structure, especially the terminal ones overfitting the data i.e., tending to explain the data rather than the investigated phenomenon.
Actually, the simplification methods proposed in literature considers the accuracy as main criterion for evaluating a decision tree regardless of the significance of the created structure which require a different evaluation [5][6]. On this research topic two schools can be recalled: the English school of Prof. Hand (Imperial College, London) [16][17][28] who distinguishes the problem of overfitting avoidance from that of selecting the best decision tree by introducing the so called averaging method finding a sort of compromise among multiple decision trees by means of suitable wheights; the American school of Prof. Breiman (California University) [1][2][3] who proposes to generate multiple versions of a classifier/predictor by making bootstrap replicates of the learning data and then use these versions to get an aggregate classifier/predictor in order to have a substantial gain in stability as well as in accuracy.
The complementary use of parametrical and non parametrical tools has been tried out also in neural networks, with the purpose of reducing their being a sort of black boxes, i.e. computational models characterized by a great applicative power but at the same time a very low level of understandability [30][31]. The Local Operative Unit has introduced the concept of “statistical neural network” for segmentation by applying the latent budget model [12] and the conjoint analysis [11], where the use of the statistical approach to neural networks arise from the necessicity of gaining understandability as well as reliability of the obtained results [13][43].
From this point of view neural networks can be a useful methodological and computational tool to overcome some practical disadvantages related to parametrical segmentation models for example when it is not possible to specify a probability distribution, or different complex ralationships hold beetween variables. As for tree structures also for neural networks simplification is needed to define the optimal architecture in order to use them for induction tasks.
Concluding, we might say that some typical non parametrical analysis tools are becoming in a certain way “parametric” or “semiparametric”, on the other hand the contrary is also true, in the sense that parametrical analysis tools need the support of non parametrical methods in order to increase their potential applications.

1. Breiman, L., 1996. Bagging Predictors, Machine Learning, 24, 123-140.
2. Breiman, L., 1996. Heuristic of Instability and Stabilization in Model Selection, The Annals of Statistics, 24, 6, 2350-2383.
3. Breiman, L., 1998. Arcing Classifiers, The Annals of Statistics, 26,3, 801-849.
4. Breiman, L., Friedman, J., Olshen, R., Stone, C., 1984. Classification and Regression Trees, Chapman and Hall, London.
5. Cappelli, C., Siciliano, R., 1998, An alternative pruning procedure based on the impurity-complexity measure, in R. Payne(ed.): Proceedings of COMPSTAT '98, contributed paper, Physica Verlag, 221-226.
6. Cappelli, C., Siciliano, R., 1998. Strategies for Choosing the Best Decision Tree, in A. Morineau (ed.): Proceedings of NGUS ‘97: Analyses Multidimensionnelles des Donnees, CISIA Parigi.
7. Chipman, H.A., George, E.I., McCulloch, R.E., 1998. Bayesian CART Model Search (with discussion), Journal of the American Statistical Association, 93, 443, 935-961.
8. Clark, L., Pregibon, D., 1992. Tree-Based Models, in Statistical Models in S, Chambers, J. and Hastie, T. (eds.), Belmont, CA: Wadsworth.
9. Cleveland, W.S., 1979. Robust Locally Weighted Regression and Smoothing Scatterplots, Journal of the American Statistical Association, 74, 829-836.
10. Conversano, C., 1998. A Regression Tree Criterion for Smoothing in Generalized Additive Models, Prague Stochastics ‘98 Abstracts, Charles University, Prague, 13.
11. Davino, C., Giordano, G., Lauro, N.C., 1997. Analisi dei dati e reti neuronali: contributi interpretativi alla Conjoint Analysis, , in Atti del Convegno SIS: “La Statistica per le imprese”, Tirrenia Stampatori, Torino, 299-307.
12. Davino, C., Mola, F., Siciliano, R., 1997. Un Modello Neuronale Simultaneo per l’Analisi dei Bilanci Latenti a Tre Vie, in Atti del Convegno SIS: “La Statistica per le imprese”, Tirrenia Stampatori, Torino, 2 91-298.
13. Davino, C., Mola, F., Siciliano, R., Vistocco, D., 1998. A Statistical Approach to Neural Network, in A. Morineau (ed.): Proceedings of NGUS ‘97: Analyses Multidimensionnelles des Donnees, CISIA Parigi.
14. Davino, C., Vistocco, D., 1998. Simultaneous Neural Networks for Longitudinal Data Analysis, in Proceedings of the VI Conference of the IFCS, Roma, july 21-24, 100-103.
15. Denison, D.G.T., Mallick, B.K., Smith, A.F.M., 1998. A Bayesian CART algortihm, Biometrika, 85, 2, 363-377.
16. Hand, D. 1997. Construction and Assessment of Classification Rules, Wiley.
17. Hand, D.J., Henley, W.E., 1997. Statistical Classification Methods in consumer Credit Scoring: a Review, Journal of the Royal Statistical Association, 3, 523-541.
18. Hastie, T., Tibshirani, R., 1990. Generalized Additive Models, Chapman and Hall, London.
19. Klaschka, J., Siciliano, R., Antoch, J., 1998. Computational Enhancements in Tree-Growing Methods, in A. Rizzi, M. Vichi, H.H. Bock (eds.): Advances in Data Science and Classification, Springer Verlag, Heidelberg, 295-302.
20. Lauro, N.C., Siciliano, R., 1989. Exploratory methods and modelling for contingency tables: an integrated approach, Statistica Applicata. Italian Journal of Applied Statistics, 1, Rocco Curto Editore, 5-32.
21. Lauro, N.C., Giordano, G., Verde, R., 1997. A Multidimensional Approach to Conjoint Analysis, invited lecture, VIII International Symposium on Applied Stochastic Models and Data Analysis, Anacapri, june 11-14, 1997, Rocco
Curto Ed., 39-50.
22. Mola, F., Siciliano, R., 1992. A two-stage predictive splitting algorithm in binary segmentation, in Dodge J., Whittaker, J. (eds.): Compstat 92, Physica Verlag, 179-184.
23. Mola, F., Siciliano, R., 1994. Alternative strategies and CATANOVA testing in two-stage binary segmentation, in E. Diday et al. (ed.): New Approaches in Classification and Data Analysis, Springer Verlag, 316-323.
24. Mola, F, Siciliano, R., 1996. L'analisi della stabilità nella segmentazione binaria a due stadi, XXXYIII Riunione Scientifica della Società Italiana di Statistica, Maggiolo Ed., Rimini, 77-84.
25. Mola, F., Klaschka, J., Siciliano, R., 1996. Multinomial Logistic Regression for Classification Trees, in A. Prat (ed.): Proceedings of COMPSTAT '96, Physica-Verlag, Heidelberg, 373-378.
26. Mola, F., Siciliano, R., 1997. A Fast Splitting Procedure for Classification Trees, Statistics and Computing, 7, 208-216.
27. Mola, F., Siciliano, R., 1998. Visualizing Data in Tree-Structured Classification, in C. Hayashi et al. (eds.): Proceedings of the International Federation of Classification Society: Data Science, Classification and Related
Methods, Springer-Verlag, Tokyo, 223-230.
28. Oliver, J.J., Hand, D.J., 1997. On Pruning and Averaging Decision Trees, Journal of Classification.
29. Quinlan, J.R., 1993. C4.5: Programs for Empirical Learning. Morgan Kaufman, San Francisco.
30. Ripley, B.D., 1994. Neural Networks and Related Methods for Classification, Journal of the Royal Statistical Association, 56, 3, 409-456.
31. Sarle, W.S., 1994. Neural Networks and Statistical Methods, Proceedings of the 9th Annual SAS Users Group International Conference.
32. Segal, M.R., 1992. Tree-Structured Methods for Longitudinal Data, Journal of the American Statistical Association, 87, 418, 407-418.
33. Siciliano, R., 1997. Latent Budget Trees for Multiple Classification, Abstract Proceedings of the IFCS Italian Conference, Pescara, july 3-4 luglio, 5-8; the extended version of the paper will appear in a Special Issue published
by Physica Verlag, Heidelberg.
34. Siciliano, R., 1998. Exploratory versus Decision Trees, in R. Payne(ed.): Proceedings of COMPSTAT '98 , invited paper, Physica Verlag, 113-124.
35. Siciliano, R., Mola, F., 1994. Modelling for Recursive Partitioning and Variable Selection, in R. Dutter and R. Grossman (eds.): Compstat '94, Physica Verlag, 172-177.
36. Siciliano, R., van der Heijden, P.G.M., 1994. Simultaneous Latent Budget Analysis of a Set of Multidimensional Contingency Tables, Metron, LII, 1-2, 155-180.
37. Siciliano, R., Mola, F., 1996. A Fast Regression Tree Procedure, in A. Forcina, R. Hatzinger, G. Galmacci (eds.): Statistical Modeling, Proceedings of the 11th International Workshop on Statistical Modeling, Graphos Ed., 15-19.
38. Siciliano, R., Mola, F., 1997. Multivariate Data Analysis and Modeling through Classification and Regression Trees, invited lecture for the Second World Conference of the International Association for Statistical Computing,
in E.J. Wegman and S.P. Azen (eds.): "Computational Statistics and Data Analysis on the Eve of the 21st Century" (Pasadena, february 19-22, 1997), 29, 2, 503-510, Interface Foundation of North America; accepted for Computational Statistics & Data Analysis.
39. Siciliano, R., Mola, F., 1998. Ternary Classification Trees: a Factorial Approach, in M. Greenacre, J. Blasius (eds.): Visualization of Categorical Data, chap. 22, 311-324, Academic Press, 1998.
40. Siciliano, R., Mola, F., 1998. On the Behavior of Splitting Criteria for Classification Trees, in C. Hayashi et al. (eds.): Data Science, Classification and Related Methods, Springer Verlag, Tokyo, pp. 191-198.
41. Siciliano, R., Mooijaart, A., 1997. Three-factor Association Models for Contingency Tables Analysis, Computational Statistics & Data Analysis, 24(3), 337-356, 1997.
42. Siciliano, R., Mooijaart, A., van der Heijden, P.G.M., 1993. A probabilistic model for nonsymmetric correspondence analysis and prediction in contingency tables. Journal of Italian Statistical Society, 1, 1993.
43. Vistocco, D., Davino, C., 1998. Towards a Statistical Approach to Neural Networks: an Integrated Strategy in a New Software Tool, Proceedings of the International Seminar on New Techniques and Technologies for Statistics,
Sorrento, november 4-6, Studio Idee Ed., 521-526.
44. Zhang, H., 1998. Classification Trees for Multiple Binary Responses, Journal of the American Statistical Association, 93, 441, 180-193.

OBIETTIVO
Nell’ambito dei problemi di segmentazione il presente progetto ha come obiettivo quello di sviluppare metodi di discriminazione parametrica e semiparametrica per dati strutturati in forma complessa con particolare riferimento sia a dati multivariati, ovvero in presenza di una variabile di risposta multivariata o variabile multi-criterio (segmentazione multivariata), che a matrici di dati a tre vie, ovvero in presenza di una variabile di stratificazione temporale o spaziale (segmentazione longitudinale).
I DATI
Nel primo caso si tratta di segmentare un insieme di individui sulla base del potere esplicativo che un insieme di predittori ha nella definizione di combinazioni di più variabili criterio; queste ultime possono essere assunte indipendenti o, come realisticamente accade nelle applicazioni legate al marketing e alla customer satisfaction, saranno dipendenti e quindi sarà necessario formalizzare le interazioni ammissibili. Nella struttura cubica della matrice a tre vie, invece, si considera il caso di una successione temporale/spaziale di matrici del tipo individui per variabili, e l’interesse del ricercatore è quello di comprendere l’aspetto evolutivo o il cambiamento dei segmenti nel tempo o nello spazio, ipotizzando la dipendenza temporale dei segmenti individuati in ogni tempo, oppure imponendo vincoli di contiguità per dati spaziali, o ancora adattando un modello statistico diverso per ogni strato della successione per poi identificare il compromesso o consenso tra più matrici.
GLI APPROCCI
Tra i metodi non parametrici si farà riferimento alle procedure ricorsive per la costruzione di alberi di classificazione e regressione [32] [38] [44], nonché alle reti neuronali supervisionate [14][30], mentre tra i modelli statistici parametrici o semiparametrici si considereranno i modelli generalizzati additivi [18], i modelli simultanei a bilanci latenti [14][33][36] e i modelli di preferenza multi-attributo della conjoint analysis [21].
FILONI DI RICERCA DELL’UNITA’ OPERATIVA LOCALE
L’approccio che si seguirà vuole, da un lato, estendere i metodi già sviluppati dall’Unità Operativa Locale per strutture standard di dati a strutture non standard, ovvero a dati multivariati e longitudinali, e, dall’altro, proporre strategie alternative di analisi che impieghino un approccio semiparametrico in quanto basato sull’uso congiunto di metodi parametrici e non parametrici sia per quanto attiene l’obiettivo esplorativo che quello più propriamente induttivo-decisionale.
L’Unità Operativa Locale che beneficia della partecipazione di un gruppo numeroso di ricercatori in questo settore scientifico potrà operare parallelamente, nel contesto multivariato e/o longitudinale, su due grandi filoni di ricerca, sulla base di una suddivisione di competenze specifiche dei componenti il gruppo: il primo filone riguarda la segmentazione ad albero, nei suoi aspetti metodologici, computazionali e applicativi, e nelle sue relazioni con i modelli addiviti generalizzati; il secondo considera le reti neuronali e i legami di queste ai modelli simultanei a bilanci latenti e ai modelli di preferenza multi-attributo della conjoint analysis.
I° FILONE DI RICERCA:
LA SEGMENTAZIONE AD ALBERO: LA METODOLOGIA A DUE STADI
La costruzione di alberi di classificazione e di regressione avviene attraverso una partizione ricorsiva degli individui in un numero di gruppi internamente omogenei ed esternamente eterogenei rispetto ad una variabile criterio. Nel presente progetto si considererà prevalentemente la metodologia TWO-STAGE che è stata introdotta in un contesto univariato per ovviare simultaneamente ad un limite metodologico – attribuendo un ruolo globale ai predittori nella segmentazione – e soprattutto computazionale – per accelerare la partizione ricorsiva con algoritmi efficienti. Il criterio di partizione in due stadi opera scegliendo dapprima uno o più predittori per poi passare sulla base di questi alla scelta della migliore partizione delle osservazioni; gli approcci seguiti nella definizione del criterio statistico per segmentare ad ogni nodo dell’albero si riassumono in tre:
1. il calcolo di indici statistici (i.e., il rapporto di correlazione del Pearson per la regressione ad albero, l’indice tau di predizione di Goodman e Kruskal o l’indice di entropia condizionata per la classificazione ad albero),
2. la visualizzazione con i metodi fattoriali (i.e., l’analisi non simmetrica delle corrispondenze),
3. la stima di modelli statistici e la loro assegnazione ad ogni nodo dell’albero (i.e., il modello a bilanci latenti e la regressione logistica).
Gli algoritmi di partizione ricorsiva possono essere utilmente impiegati anche nell’ambito dei modelli additivi generalizzati, che costituiscono un approccio semiparametrico a problemi di regressione e di classificazione in quanto si tratta di stimare separatamente e opportunamente combinare linearmente funzioni di smoothing dei predittori. In particolare, la costruzione di un modello additivo generalizzato è basata sulla scelta di tre elementi fondamentali quali: a) la funzione di smoothing, b) i suoi parametri, c) i migliori predittori. L’idea di base è che siano i dati stessi a permettere al ricercatore di individuare la forma funzionale appropriata. Alla scelta della funzione di smoothing per ciascun predittore incluso nel modello è associato il problema dell’individuazione dell’intervallo di stima ottimale a livello locale in termini errore quadratico medio, quale compromesso tra l’aumento della distorsione derivante dalla scelta di un intervallo ampio e l’aumento di variabilità derivante dal considerare una funzione più smussata (bias-variance trade off). Nei modelli additivi generalizzati non esiste un criterio di selezione dei predittori; qualora essi sono presenti in numero elevato è necessario definire un loro criterio di ingresso nel modello al fine di evitare rischi di sovraparametrizzazione. In tale contesto, il ricorso ad algoritmi di partizione del tipo di quelli impiegati nella segmentazione ad albero consente di unificare i tre momenti di scelta sopra menzionati e al tempo stesso di porre le basi per una estensione di questi modelli all’analisi di dati multivariati.
COMPITO 1: DEFINIZIONE DI CRITERI DI PARTIZIONE A DUE STADI PER DATI MULTIVARIATI E/O LONGITUDINALI
I tre approcci della metodologia TWO-STAGE saranno estesi al trattamento di variabili multi-criterio e per la gestione di una variabile temporale/spaziale di stratificazione, considerando i vincoli imposti dalla struttura complessa dei dati, ad esempio la correlazione tra variabili dipendenti, la dipendenza temporale tra osservazioni per i dati longitudinali, il tipo di sintesi da privilegiare come obiettivo finale della segmentazione. Al tempo stesso, si renderà necessario sviluppare algoritmi efficienti di partizione ricorsiva affinché i metodi proposti siano fattivamente applicabili a grandi insiemi di dati.
COMPITO 2: INTRODUZIONE DI METODI DI SEMPLIFICAZIONE E DI SCELTA DEL MODELLO DI SEGMENTAZIONE MULTIVARIATA E/O LONGITUDINALE
Inoltre, per poter procedere alla definizione di alberi di decisione multivariati e/o longitudinali si dovranno definire nuove procedure di semplificazione e nuovi metodi di selezione degli alberi di taglia ottimale. Per quest’ultimo aspetto che riguarda l’obiettivo induttivo degli alberi si procederà seguendo un approccio semiparametrico che vede, da un lato, la definizione di una struttura ad albero mediante un metodo non parametrico, e, dall’altro, l’assegnazione di un modello parametrico a ciascuna struttura. In tal modo il problema della selezione dell’albero ottimale sarà affrontato come problema di selezione di modelli statistici mediante procedure inferenziali.
COMPITO 3: STRATEGIA INTEGRATA BASATA SUGLI ALGORITMI DI PARTIZIONE RICORVISA E I MODELLI ADDITIVI GENERALIZZATI
Lo studio delle relazioni tra algoritmi di partizione e modelli additivi generalizzati può favorire la definizione di una strategia integrata per la risoluzione di problemi di classificazione e di regressione basata sull’uso congiunto dell’approccio più strettamente non parametrico (le strutture ad albero) e di quello semiparametrico (i modelli additivi generalizzati). Il campo applicativo di questa proposta metodologica sarà strettamente legato a problematiche relative ai mercati finanziari, quali ad esempio lo sviluppo di modelli per descrivere la volatilità di un particolare titolo o di un particolare indice di mercato, in un’ottica di gestione dinamica di un portafoglio di attività finanziarie. Si evince, infatti, la necessità di trattare dati finanziari multivariati mediante un approccio metodologico di più ampio spettro per ovviare a taluni limiti che ciascuno dei due approcci può presentare.
II° FILONE DI RICERCA:
LE RETI NEURONALI PER LA CLASSIFICAZIONE SUPERVISIONATA
Le reti neuronali artificiali sono dei modelli computazionali costituiti da una serie di unità dette neuroni connessi l’uno all’altro mediante pesi di diversa intensità. Ogni neurone riceve simultaneamente delle informazioni provenienti dagli input ad esso collegati e produce un unico segnale di output che può essere interpretato come un input da altri neuroni o può rappresentare un output della rete. Invero, le reti neuronali mancano di un supporto teorico che indirizzi il disegno complessivo della rete per cui spesso si procede per tentativi con un evidente appesantimento computazionale. Nel presente progetto si considererà un approccio statistico alle reti associando un modello statistico ad una architettura neuronale, in modo da esplicitare i meccanismi di funzionamento della rete e di garantire una maggiore affidabilità ed interpretabilità dei risultati. D’altro canto le reti neuronali possono avvantaggiare la statistica in quei contesti caratterizzati da problemi non lineari, relazioni complesse tra le variabili, informazioni imprecise o affette da rumori oltre che da pesanti problemi computazionali.
COMPITO 4: MODELLI SIMULTANEI DI RETI SUPERVISIONATE PER DATI LONGITUDINALI
In tale prospettiva si inserisce l’obiettivo del secondo filone di ricerca che si propone l’introduzione di modelli neuronali simultanei per l’analisi di dati longitudinali. In particolare, ciascun modello neuronale sarà rivolto al raggiungimento di uno degli obiettivi che in genere stimolano l’applicazione di tecniche di analisi dei dati longitudinali: previsione dell’evoluzione globale di un fenomeno, ricerca di un compromesso o di una sintesi delle informazioni relative al fenomeno, individuazione di segmenti omogenei di individui osservati nel tempo, modelli temporali di preferenza multi-attributo.
SOFTWARE E APPLICAZIONI
I metodi che si svilupperanno nel presente progetto saranno implementati attraverso la realizzazione di algoritmi in meta linguaggi Matlab ed S-Plus. Saranno in tal modo analizzati gli aspetti computazionali e saranno condotti studi di simulazione. Si porranno le basi per la progettazione ingegneristica di un nuovo software statistico per la segmentazione in cui inserire, oltre alle proposte metodologiche che si svilupperanno nel presente progetto, anche i metodi di segmentazione e gli algoritmi accelerati di partizione che sono stati introdotti in letteratura dal gruppo di ricerca dell’Unità Operativa Locale e che sono stati implementati solo a livello di prototipi di programmi in meta-linguaggi Matlab.
Il contesto applicativo in cui saranno utilizzate le nuove procedure riguarderà tutte le problematiche tipiche del Data Management System, con particolare riferimento al marketing ed alla segmentazione della clientela, nonché alla valutazione della qualità dei beni e servizi offerti alla clientela (customer satisfaction). L’adeguatezza delle procedure proposte sarà valutata durante il corso dei lavori inerenti il progetto stesso, attraverso l’acquisizione di grosse basi di dati dai centri specializzati nella raccolta degli stessi e successivi studi di simulazione.

OBJECTIVE
The objective of the research project is to develop discrimination methods either parametric or semiparametric, able to face the analysis of complex datasets, i. e., multivariate data characterized by a multivariate response variable (multivariate segmentation), or three way longitudinal datasets (longitudinal segmentation).
DATA
In the former case, a set of observations is partitioned on the basis of the predictive power that a set of explanatory variables has with respect to a multivariate criterion variable. In the latter case, a three-way data matrix is analysed as a set of two-way matrices of the type units per variables where the stratifying variable can be either the time variable or the space one. In this way, the interest pertains to analyse the evolution of the phenomenon as well as the changing structure of the groups, so that particular assumptions related to the dependence across the times or the contiguity across the spaces are necessary to be considered.
APPROACHES
Concerning non parametrical approach, recurvise partitioning methods or tree based classifiers/predictors will be considered [32][38][44] togheter with neural supervised networks [14][30]; among parametrical or semiparametrical statistical approach, generalized additive models [18] as well as simultaneous latent budget models [14][33][36] and multi-attribute preference models of conjoint analysis will be used.
RESEARCH FIELDS OF THE LOCAL OPERATIVE UNIT
The Local Research Unit intends both to extend the methods already proposed for standard datasets to the case of complex data (multivariate or longitudinal) and to develop alternative analysis tools based on the complementary use of parametric and non parametric methods .
In particular in the local research unit it is possible to separate out two research fields on the basis of the specific competences of the members: the first one concerns tree based segmentation and its relation with generalized additive models; the second one concerns neural networks and their relations with simultaneous latent budget models and multi-attribute preference models of conjoint analysis.
TREE BASED SEGMENTATION: TWO STAGE METHODOLOGY
Classification and regression trees growing is based on a recursive partition of the observations into groups which are internally homogeneous and externally heterogeneous with respect to a criterion response variable. In this project it will be mainly considered the so called TWO STAGE methodology introduced to face univariate problems with the aim of overcoming computational problems as well as methodological ones. The partioning criterion is infact, in two stages: first, one or more best predictors are choosen on the basis of their predictive power and then the best split is identified considering the predictors selected in the first stage. At each node, the approches to split the node can be summarised as follows:
1. Statistical indexes (Pearson square correlation ratio h2 for regression trees; t index of Goodman and Kruskal and the conditional entropy index for classification trees);
2. Visualisation through factorial methods (non symmetrical corrispondence analysis);
3. Statistical model parameters estimation and their assignment to the tree nodes (latent budget model, logistic regression).
Recursive partitioning algorithms can be fruitfully employed in generalized additive models representing a semiparametric approach to regression and classification problems. The construction of generalized additive models is based on the choice of three factors, i.e., a) the smoothing functions; b) the parameters; c) the best predictors. The basic idea is that the data can drive the researcher towards the choice of the most suitable function. Moreover, the choice of the smoothing function for each selected predictor is strictly related to the problem of defining the optimal local bin width, in terms of minimization of the mean square error in order to overcome the bias-variance trade off. In generalized additive models there not exist a predictors selection criterion, that is needed if there are many predictors in order to avoid the risk of overparametrization. The use of partitioning algorithms such as those employed in tree structured regression can be a way to solve the above mentioned choice problems and at the same time to extend these models to multivariate data.
TASK 1: TWO STAGE PARTITIONING CRITERIA FOR MULTIVARIATE AND LONGITUDINAL DATA
The above mentioned three approaches of the TWO STAGE methodology will be extended to the case of multivariate criterion variables as well as for managing a longitudinal/temporal stratification variable, considering the restrictions arising from the complex structure of these type of data, such as the correlation between variables and the temporal dependence between observations for longitudinal data. At the same time, computationally efficient algorithms will be developed in order to allow the practical use of the proposed methods.
TASK 2: SIMPLIFICATION METHODS AND SELECTION CRITERIA FOR MULTIVARIATE
AND LONGITUDINAL SEGMENTATION MODELS
In order to define multivariate/longitudinal decision trees to be used for induction tasks new simplification methods and selection criteria will be proposed. In particular, for the selection problem a semiparametric approach will be employed; the idea is defining tree structures through non parametric methods and then assigning parametric model to each structure, in this way the problem of selecting the optimal tree can be faced as a problem of statistical model selection by using inferential procedures.
TASK 3: INTEGRATED STRATEGY BASED ON THE COMPLEMENTARY USE OF PARTITIONING ALGORITHMS AND GENERALIZED ADDITIVE MODELS
The complementary use of non parametrical approach (tree based methods) and semiparametrical approach (generalized additive models) can result in an integrated strategy to face classification and regression problems. This methodological proposal will be experimented with regard to financial markets, for modeling the volatility index. Actually, financial data sets need to be analysed by a more powerful methodological approach joining the parametric with the non parametric approach.
NEURAL NETWORKS FOR SUPERVISED CLASSIFICATION
Neural networks are computational models formed by a set of units (the so called neurons) linked one to each other through wheights of different intensity. Each neuron receves simultaneously a set of inputs and produces one single value as output representing either the final result of the networks or the input for other neurons. Actually, neural networks lack a theoretical support which can drive the definition of the neural model (architecture and functional relationships). In this project a statistical approach to neural networks will be considered by combining a statistical model with a neural network, in order to avoid the typical black box effect of neural networks and provide reliability and understandability of the results. On the other hand, neural networks can help statistics in the solution of non linear, complex, noise affected problems.
TASK 4: SIMULTANEOUS NEURAL NETWORKS FOR LONGITUDINAL DATA
The second research field of the Local Unit intends to introduce simultaneous neural networks for the analysis of longitudinal data. In particular a neural network model will be addressed to the solution of a specific problem requiring the application of longitudinal data analysis methods: prediction of the global evolution of a phenomenon, definition of a compromise or a synthesis of the data, identification of homogeneous groups of objects observed during time periods.
SOFTWARE AND APPLICATIONS
Methodological proposals developed during the project will be as well implemented in Matlab and S-Plus environments. In this way it will be possible to analyse the computational aspects through simulations studies. The guidelines for the design of a new statistical software for segmentation will be defined. This software might include also the segmentation methods and the fast partitioning algorithms already developed by the Local Unit, implemented at the moment solely as prototypes.
Practical applications of the new procedures will be run facing the typical problems related to Data Management System, considering in particular data sets concerning marketing, customer segmentation and customer satisfaction. The efficacy of the proposed procedures will be evaluated during the project through the acquirement of huge data base to be used for simulation studies.

Nº	Anno di acquisizione	Descrizione
Nº	Anno di acquisizione	Testo italiano	Testo inglese
1.	1992	Workstation DEC Alpha	Workstation DEC Alpha
2.	1997	Rete Nowell di PC Pentium 133 Mhz.	PC Pentium Nowell Network 133 Mhz
3.
4.
5.

Voce di spesa	Spesa		Descrizione
Voce di spesa	M£	Euro	Testo italiano	Testo inglese
Materiale inventariabile	16	8.263	Libri, Software specializzato, n.2 PC Pentium, Laser Printer	Specialized books and Software, n. 2 PC Pentium, Laser Printer
Grandi Attrezzature
Materiale di consumo e funzionamento	2	1.033	Cancelleria	Stationary Material.
Spese per calcolo ed elaborazione dati	10	5.165	Acquisto basi di dati, ricodifica ed elaborazioni preliminari	Data Bases Acquisition, Data Handling and Data Processing
Personale a contratto
Servizi esterni	7	3.615	Stampa volume monografico	Papers Editing
Missioni	22	11.362	Trasferte all'estero e partecipazione a convegni per presentazione dei risultati	Missions abroad and Scientific Meeting Partecipations.
Altro

	M£	Euro
Costo complessivo del Programma dell'Unità di Ricerca	57	29.438

Costo minimo per garantire la possibilità di verifica dei risultati	50	25.823

Fondi disponibili (RD)	17	8.780

Fondi acquisibili (RA)	0

Cofinanziamento richiesto al MURST	40	20.658

Provenienza	Anno	Importo disponibile		nome Resp. Naz.	Note
Provenienza	Anno	M£	Euro	nome Resp. Naz.	Note
Università
Dipartimento	1999	17	8.780
MURST (ex 40%)
CNR
Unione Europea
Altro
TOTAL		17	8.780

Provenienza	Anno della domanda o stipula del contratto	Stato di approvazione	Quota disponibile per il programma		Note
Provenienza	Anno della domanda o stipula del contratto	Stato di approvazione	M£	Euro	Note
Università
Dipartimento
CNR
Unione Europea
Altro
TOTAL			0