Principais diferenças em relação ao pandas

import pandas as pd

df = pd.read_csv("data.csv")  # Carrega o arquivo inteiro AGORA
result = df[df['age'] > 25]   # Filtra AGORA
grouped = result.groupby('city')['salary'].mean()  # Agrega AGORA

from chdb import datastore as pd

ds = pd.read_csv("data.csv")  # Apenas registra a fonte
result = ds[ds['age'] > 25]   # Apenas registra o filtro
grouped = result.groupby('city')['salary'].mean()  # Apenas registra

# A execução ocorre aqui:
print(grouped)        # Executa ao exibir
df = grouped.to_df()  # Ou ao converter para pandas

df['col']           # Retorna pd.Series
df[['a', 'b']]      # Retorna pd.DataFrame
df[df['x'] > 10]    # Retorna pd.DataFrame
df.groupby('x')     # Retorna DataFrameGroupBy

ds['col']           # Retorna ColumnExpr (lazy)
ds[['a', 'b']]      # Retorna DataStore (lazy)
ds[ds['x'] > 10]    # Retorna DataStore (lazy)
ds.groupby('x')     # Retorna LazyGroupBy

# Obter DataFrame do pandas
df = ds.to_df()
df = ds.to_pandas()

# Obter Series do pandas a partir de uma coluna
series = ds['col'].to_pandas()

# Ou acionar a execução
print(ds)  # Converte automaticamente para exibição

df = pd.read_csv("data.csv")
print(df.head())  # Sempre na mesma ordem do arquivo

ds = pd.read_csv("data.csv")
print(ds.head())  # Corresponde à ordem do arquivo

# O filtro preserva a ordem
ds_filtered = ds[ds['age'] > 25]  # Mesma ordem que o pandas

df.drop(columns=['col'], inplace=True)  # Modifica df
df.fillna(0, inplace=True)              # Modifica df
df.rename(columns={'old': 'new'}, inplace=True)

ds = ds.drop(columns=['col'])           # Retorna novo DataStore
ds = ds.fillna(0)                       # Retorna novo DataStore
ds = ds.rename(columns={'old': 'new'})  # Retorna novo DataStore

df = df.set_index('id')
df.loc['user123']           # Acesso baseado em rótulo
df.loc['a':'z']             # Fatiamento baseado em rótulo
df.reset_index()
df.index.name = 'user_id'

# Operações básicas funcionam
ds.loc[0:10]               # Posição inteira
ds.iloc[0:10]              # Igual a loc para DataStore

# Para operações de índice no estilo pandas, converta primeiro
df = ds.to_df()
df = df.set_index('id')
df.loc['user123']

import pandas as pd
from chdb import datastore as ds

pdf = pd.DataFrame({'a': [1, 2, 3]})
dsf = ds.DataFrame({'a': [1, 2, 3]})

# Isso não funciona como esperado
pdf == dsf  # pandas não reconhece DataStore

# Solução: converter DataStore para pandas
pdf.equals(dsf.to_pandas())  # True

# DataStore.equals() também funciona
dsf.equals(pdf)  # Compara com pandas DataFrame

df['col'].dtype  # int64, float64, object, datetime64, etc.

ds['col'].dtype  # Int64, Float64, String, DateTime, etc.

# Os tipos são convertidos ao exportar para pandas
df = ds.to_df()
df['col'].dtype  # Agora é tipo pandas

# Forçar tipo específico
ds['col'] = ds['col'].astype('int64')

df = pd.read_csv("huge.csv")  # 10GB na memória!

ds = pd.read_csv("huge.csv")  # Apenas metadados
ds = ds.filter(ds['year'] == 2024)  # Ainda apenas metadados

# Apenas o resultado filtrado é carregado
df = ds.to_df()  # Talvez apenas 1GB agora

# Pode exibir erros no estilo ClickHouse
# "Code: 62. DB::Exception: Syntax error..."

# Visualize o SQL para depuração
print(ds.to_sql())

# Veja o plano de execução
ds.explain()

# Ative o logging de depuração
from chdb.datastore.config import config
config.enable_debug()