segunda-feira, 24 de março de 2025

Estatistica Robusta - IA Gemini

 A estatística robusta é um ramo da estatística que busca desenvolver métodos e técnicas que sejam menos sensíveis a violações das pressuposições dos modelos estatísticos tradicionais, como a normalidade dos dados e a presença de outliers. Sua importância reside em diversas áreas, como:


1. Tomada de decisões mais confiáveis:


Menor influência de outliers: Ao lidar com dados do mundo real, é comum encontrar valores discrepantes (outliers) que podem distorcer significativamente os resultados de análises estatísticas tradicionais. A estatística robusta oferece métodos que minimizam a influência desses outliers, levando a conclusões mais confiáveis.

Menos sensibilidade a erros de medição: Erros de medição e outras fontes de variação nos dados podem afetar a precisão das análises. A estatística robusta ajuda a mitigar esses efeitos, garantindo que as conclusões sejam mais estáveis e precisas.

Violação de pressuposições: Muitos métodos estatísticos tradicionais assumem que os dados seguem uma distribuição normal. No entanto, essa pressuposição nem sempre é válida. A estatística robusta oferece alternativas que funcionam bem mesmo quando os dados não são normalmente distribuídos.

2. Aplicações em diversas áreas:


Finanças: Na análise de dados financeiros, a presença de eventos extremos (como crises econômicas) pode distorcer as análises. A estatística robusta é essencial para modelar e prever o comportamento do mercado financeiro de forma mais precisa.

Ciências sociais: Em pesquisas sociais, é comum lidar com dados que não seguem uma distribuição normal e que podem conter outliers. A estatística robusta ajuda a obter resultados mais confiáveis e representativos da população estudada.

Ciência de dados: Na construção de modelos de aprendizado de máquina, a robustez é fundamental para garantir que os modelos sejam generalizáveis e funcionem bem em diferentes cenários.

Área da saúde: Em estudos clínicos, a presença de indivíduos com características atípicas pode influenciar os resultados. A estatística robusta ajuda a identificar e lidar com esses casos, garantindo que as conclusões sejam válidas para a população em geral.

Meio ambiente: A estatística robusta é utilizada na análise de dados ambientais, onde a presença de valores extremos é comum, devido a eventos naturais ou poluição.

3. Interpretação mais precisa dos resultados:


Evita conclusões errôneas: Ao minimizar a influência de outliers e violações de pressuposições, a estatística robusta ajuda a evitar interpretações errôneas dos dados.

Facilita a comunicação dos resultados: Modelos estatísticos robustos tendem a ser mais fáceis de entender e explicar, facilitando a comunicação dos resultados para um público mais amplo.

Em resumo, a estatística robusta é uma ferramenta essencial para lidar com a complexidade dos dados do mundo real e obter conclusões mais confiáveis e precisas.

Aula 24/3/2025 Problema com Internet - Aulas gravadas nesta postagem - Padrão Youtube

Horários de Consulta

 Programação semanal em:

https://sites.google.com/usp.br/horarios-consulta-gabriel


Horários do Robson

Quartas das 17 às 18

Sábados das 9 às 9:45

Link:

https://meet.google.com/jsk-smcd-rib



Horários de Consulta do Gabriel


Programação semanal em:

https://sites.google.com/usp.br/horarios-consulta-gabriel

 

- Sábados das 18 às 19 

- Domingos das 17:30 às 18:30

Nos dias 22 e 23 de março não teremos horário de consultas.

No Link:

https://meet.google.com/xgf-jman-pyv

 

WhatsApp 019 - 988 - 627 - 438

 


Regressão Múltipla Convencional e Robusta - Base de MLS para Predição

 

Regressão Múltipla Convencional e Robusta - Base de MLS para Predição 


Bu_Unit

Sales

Price

Qu_level

Claims

NPS

PV

Satisfac

1

65,98108

97,8022

96,77419

13,58025

98,9011

19

97,82609

2

15,8371

98,9011

98,3871

12,34568

97,8022

29

98,91304

3

8,885232

100

100

11,11111

100

21

100

4

12,46401

98,9011

95,16129

12,34568

96,7033

94

96,73913

5

80,66639

21,97802

19,35484

100

2,197802

34

21,73913

6

32,16783

23,07692

22,58065

97,53086

3,296703

64

23,91304

7

23,44714

24,17582

24,19355

96,2963

2,747253

61

25

8

89,96298

24,17582

19,35484

95,06173

2,197802

25

26,08696

9

31,4274

64,83516

56,45161

50,61728

65,93407

10

65,21739

10

11,22995

65,93407

51,6129

49,38272

71,42857

3

66,30435

11

77,45784

70,32967

53,22581

46,91358

63,73626

56

68,47826

12

23,89963

68,13187

51,6129

45,67901

61,53846

4

67,3913

13

7,40436

86,81319

80,64516

25,92593

90,10989

90

86,95652

14

0,287947

87,91209

79,03226

24,69136

85,71429

48

85,86957

15

83,42246

87,91209

77,41935

22,22222

90,10989

78

88,04348

16

100

86,81319

75,80645

25,92593

84,61538

88

84,78261

 

 

 

 

 

média=

724

 


Outlier

17

65,98108

97,8022

96,77419

13,58025

98,9011

19

15

 




SAS Program


Data Customer;

Input Bu_Unit  Sales  Price Qu_level Claims NPS Satisfac;

Cards;

1 65.98107775 97.8021978 96.77419355 13.58024691 98.9010989 97.82608696

2 15.83710407 98.9010989 98.38709677 12.34567901 97.8021978 98.91304348

3 8.885232415 100 100 11.11111111 100 100

4 12.46400658 98.9010989 95.16129032 12.34567901 96.7032967 96.73913043

5 80.66639243 21.97802198 19.35483871 100 2.197802198 21.73913043

6 32.16783217 23.07692308 22.58064516 97.5308642 3.296703297 23.91304348

7 23.44714109 24.17582418 24.19354839 96.2962963 2.747252747 25

8 89.9629782 24.17582418 19.35483871 95.0617284 2.197802198 26.08695652

9 31.42739613 64.83516484 56.4516129 50.61728395 65.93406593 65.2173913

10 11.22994652 65.93406593 51.61290323 49.38271605 71.42857143 66.30434783

11 77.45783628 70.32967033 53.22580645 46.91358025 63.73626374 68.47826087

12 23.89962978 68.13186813 51.61290323 45.67901235 61.53846154 67.39130435

13 7.404360346 86.81318681 80.64516129 25.92592593 90.10989011 86.95652174

14 0.287947347 87.91208791 79.03225806 24.69135802 85.71428571 85.86956522

15 83.42245989 87.91208791 77.41935484 22.22222222 90.10989011 88.04347826

16 100 86.81318681 75.80645161 25.92592593 84.61538462 84.7826087

17 65.98108 97.8022 96.77419 13.58025 98.9011 19 15

proc print; run;

/* Input Bu_Unit  Sales  Price Qu_level Claims NPS Satisfac; */

proc reg;

   model  Satisfac = Sales  Price Qu_level Claims NPS;

Run;

/* Agora Ciencia de Dados Robusta */

/*

proc robustreg;

model Satisfac = Sales  Price Qu_level Claims NPS  / diagnostics;

Run;

*/



segunda-feira, 17 de março de 2025

Link do Grupo de Whatsapp da Disciplina

 https://chat.whatsapp.com/CA85Enw68Yv20g8BinPN65

Exemplo de Regressão Simples no Excel e SAS com Outlier - Ciência de Dados Robusta - ML S para Predição

Exemplo de Regressão Simples no Excel e SAS com Outlier - Ciência de Dados Robusta - ML S para Predição 









Exemplo de Regressão  Ciência de Dados Robusta - ML S para Predição




 Colocando Outlier no Exemplo - Cuidado !!!

          Outlier - Dado Fora de Contexto:

·        Destrói Tudo o que pode ser feito em Excel;

·       Destrói tudo o que aprenderão na Graduação e Pós-graduação nos Programas Atuais da USP em Piracicaba (tirando minhas disciplinas).

·        Difícil visualizar Outlier em Big Data:

o   Como Resolver

o   CD Robusta – Em SAS, R ou Python. Rodar antes da IA, critério de seleção de Variáveis Preditoras, por exemplo antes de rodar no Weka.


 

 

Dados para Importar:

Programa SAS para Rodar Ciência de Dados Robusta

(Regressão Robusta)

 Propaganda - Vendas 
Sem Outlier

X

Y

30

430

21

335

35

520

42

490

37

470

8

195

17

270

35

400

25

480

12

258

10

205




X            Y

2          858     Cuiabá


Data Propagan;

Input X Y;

Cards;

30 430

21 335

35 520

42 490

37 470

2 858

8 195

17 270

35 400

25 480

;

proc print;

run;


Proc Robustreg;

  Model Y = X  / Diagnostics;

Run;