Applicazioni pratiche di machine learning/Previsioni su direct mail: differenze tra le versioni

==Caricamento librerie ==

 

library(data.table)

library(readr)

library(caTools)

library(caret)

 

==Parte 1: Dati==

 

'''Caricamento dei dati:'''

cat("sampling train to get around 8GB memory limitations\n")

 

train <- read_csv("train.csv", n_max=40000)

test <- read_csv("test.csv")

 

'''Panoramica dei dati:'''

# 1. numero di righe e colonne in train and test datasets

 

dim(train)

dim(test)

 

[1] 40000 1934

# 2. Do un'occhiata alla cima e alla coda dei dati di training

 

head(train)

tail(train)

 

ID VAR_0001 VAR_0002 VAR_0003 VAR_0004 VAR_0005 VAR_0006 VAR_0007 VAR_0008

'''Pulizia dei dati:'''

 

cat("sostituisco valori mancanti con -1\n")

train[is.na(train)] <- -1

test[which(is.na(test[,i])),i]<- -1

}

 

'''Rimuovo le variabili costanti:'''

v<-c()

for (i in 1:ncol(train)) {

train = train[, !names(train) %in% v]

test = test[, !names(test) %in% v]

 

'''Rimuovo le variabili duplicate:'''

map <-hashmap("0","0")

cols <- names(train)

train = train[, !names(train) %in% map$keys()]

test = test[, !names(test) %in% dup_cols]

 

==Parte 2: Domanda di ricerca ==

 

==Parte 3: Modellizzazione ==

feature.names <- names(train)[2:ncol(train)-1]

cat("trasformo le variabile categoriche in numeriche\n")

}

}

 

cat("Per creare il modello si utilizza l'algoritmo di Boosting xgboost\n")

objective = "binary:logistic",

eval_metric = "auc")

 

==Parte 4: Previsione ==

Vengono considerati clienti validi, quelli che risponderanno alla direct mail oltrepassando il 70% di probabilità.

 

p1 = predict(clf, data.matrix(train[,feature.names]))

p <- rep(0,nrow(train))

auc <-colAUC(p1, train$target)

cat('Boosting AUC in training set: ', auc, '\n', sep='')

 

[[File:Confusion Matrix in RStudio.png|frame|centro|]]

Ora è possibile sapere quale sarà la probabilità di rispondere alle direct mail da parte di clienti contenuti nel testing set

 

cat("making predictions in batches due to 8GB memory limitation\n")

submission <- data.frame(ID=test$ID)

submission[rows, "target"] <- predict(clf, data.matrix(test[rows,feature.names]))

}

 

df <-submission %>%

 

head(df)

 

df %>%

ggplot(aes(ID,target, colour= ValuedCustomer)) + geom_point() +

ggtitle("Valued Customers with a probability of more ", subtitle = "than 70% to respond to direct mail")

 

[[File:Validi clienti 2.png|frame|centro]]