1.2 - Setup do Ambiente e Carregamento de Dados

# Ambiente: Python 3.8+, libs: pandas, numpy, matplotlib, seaborn, scikit-learn
# Configuração do ambiente para análise de risco de crédito

# Importar bibliotecas para manipulação de dados
import pandas as pd  # Trabalhar com DataFrames e séries
import numpy as np   # Operações matemáticas e arrays
import os

# Importar bibliotecas para visualização
import matplotlib.pyplot as plt  # Gráficos básicos
import seaborn as sns            # Gráficos estatísticos avançados

# Importar bibliotecas de machine learning
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression

# Configurar estilo de visualizações
plt.style.use('default')
sns.set_palette("husl")

# Suprimir warnings não críticos
import warnings
warnings.filterwarnings('ignore', category=UserWarning, module='matplotlib')
warnings.filterwarnings('ignore', category=UserWarning, module='sklearn')

# Configurar pandas para melhor visualização
pd.set_option('display.max_columns', None)
pd.set_option('display.precision', 2)

print("✅ Bibliotecas importadas com sucesso!")
print("📚 Ambiente configurado para análise de risco de crédito")

# Carregar o dataset de risco de crédito
print("📂 Carregando dados de risco de crédito...")
df = pd.read_csv('credit_risk_full_1_200_000.csv')

# Verificar se os dados foram carregados corretamente
print(f"\n✅ Dados carregados com sucesso!")
print(f"📊 Dimensões do dataset: {df.shape[0]:,} linhas × {df.shape[1]} colunas")
print(f"💾 Memória utilizada: {df.memory_usage(deep=True).sum() / 1024**2:.1f} MB")

# Listar todas as colunas disponíveis
print("📋 Colunas disponíveis no dataset:")
print("=" * 60)
for i, col in enumerate(df.columns, 1):
    print(f"{i:2}. {col}")

# Examinar tipos de dados de cada coluna
print(f"\n📊 Tipos de dados por coluna:")
print("=" * 60)
for col, dtype in df.dtypes.items():
    print(f"{col:25} → {dtype}")

# Mostrar primeiras linhas
print("👀 Primeiras 5 linhas do dataset:")
print("=" * 60)
display(df.head())

# Mostrar informações básicas
print("\n📊 Informações básicas do dataset:")
print("=" * 60)
df.info()

# Verificação rápida: colunas esperadas e target
print("🔍 Verificação Rápida do Dataset")
print("=" * 60)

# Colunas esperadas (principais)
colunas_esperadas = [
    'idade', 'genero', 'estado_civil', 'renda',
    'valor_emprestimo', 'prazo_emprestimo', 'score_credito',
    'historico_inadimplencia', 'tempo_emprego', 'tipo_emprego',
    'regiao', 'data_emprestimo', 'prob_default', 'default'
]

print("\n✅ Verificando colunas esperadas:")
for col in colunas_esperadas:
    if col in df.columns:
        print(f"  ✓ {col}")
    else:
        print(f"  ✗ {col} - NÃO ENCONTRADA!")

# Verificar variável target
print(f"\n📊 Análise da Variável Target (default):")
print("-" * 60)
if 'default' in df.columns:
    target_dist = df['default'].value_counts()
    target_percent = df['default'].value_counts(normalize=True) * 100
    
    print(f"Total de registros: {len(df):,}")
    for value in sorted(target_dist.index):
        label = "Não Default (Bom)" if value == 0 else "Default (Mau)"
        print(f"{label:20} → {target_dist[value]:>10,} registros ({target_percent[value]:>5.1f}%)")
    
    # Verificar balanceamento
    default_rate = df['default'].mean()
    print(f"\nTaxa de default: {default_rate:.2%}")
    if default_rate < 0.05:
        print("⚠️  Classes muito desbalanceadas! (Normal em risco de crédito)")
else:
    print("⚠️  Variável target 'default' não encontrada!")

# Correção mínima: converter colunas que estão como string para numérico
# (tratamento detalhado será feito no notebook de pré-processamento)
print("🔧 Convertendo tipos de dados básicos...")

df['renda'] = pd.to_numeric(df['renda'], errors='coerce')
df['valor_emprestimo'] = pd.to_numeric(df['valor_emprestimo'], errors='coerce')

print("✅ Conversões básicas concluídas")
print(f"\nTipos após conversão:")
print(f"  renda: {df['renda'].dtype}")
print(f"  valor_emprestimo: {df['valor_emprestimo'].dtype}")