Añadir fechas faltantes a pandas dataframe

Un problema es que reindex fallará si hay valores duplicados. Digamos que estamos trabajando con datos con marca de tiempo, que queremos indexar por fecha:

df = pd.DataFrame({
    'timestamps': pd.to_datetime(
        ['2016-11-15 1:00','2016-11-16 2:00','2016-11-16 3:00','2016-11-18 4:00']),
    'values':['a','b','c','d']})
df.index = pd.DatetimeIndex(df['timestamps']).floor('D')
df

Rinde

            timestamps             values
2016-11-15  "2016-11-15 01:00:00"  a
2016-11-16  "2016-11-16 02:00:00"  b
2016-11-16  "2016-11-16 03:00:00"  c
2016-11-18  "2016-11-18 04:00:00"  d

Debido a la fecha duplicada 2016-11-16, un intento de reindexar:

all_days = pd.date_range(df.index.min(), df.index.max(), freq='D')
df.reindex(all_days)

Falla con:

...
ValueError: cannot reindex from a duplicate axis

(con esto significa que el índice tiene duplicados, no que sea en sí mismo un dup)

En su lugar, podemos usar .loc para buscar entradas para todas las fechas en rango:

df.loc[all_days]

Rinde

            timestamps             values
2016-11-15  "2016-11-15 01:00:00"  a
2016-11-16  "2016-11-16 02:00:00"  b
2016-11-16  "2016-11-16 03:00:00"  c
2016-11-17  NaN                    NaN
2016-11-18  "2016-11-18 04:00:00"  d

fillna se puede usar en la serie de columnas para llenar espacios en blanco si es necesario.

Una solución más rápida es utilizar .asfreq(). Esto no requiere la creación de un nuevo índice para llamar dentro de .reindex().

# "broken" (staggered) dates
dates = pd.Index([pd.Timestamp('2012-05-01'), 
                  pd.Timestamp('2012-05-04'), 
                  pd.Timestamp('2012-05-06')])
s = pd.Series([1, 2, 3], dates)

print(s.asfreq('D'))
2012-05-01    1.0
2012-05-02    NaN
2012-05-03    NaN
2012-05-04    2.0
2012-05-05    NaN
2012-05-06    3.0
Freq: D, dtype: float64

En muchos casos, resample (vea la documentación aquí) ofrece una solución general que puede manejar tanto las fechas faltantes como las duplicadas. Por ejemplo:

df.resample('D').mean()

resample es una operación diferida como groupby por lo que necesita para seguir con otra operación. En este caso mean funciona bien, pero también puede usar muchos métodos estándar de pandas como max, sum, etc.

Aquí están los datos originales, pero con una entrada adicional para '2013-09-03':

            val
date           
2013-09-02    2
2013-09-03   10
2013-09-03   20
2013-09-06    5
2013-09-07    1

Y aquí están los resultados:

             val
date            
2013-09-02   2.0
2013-09-03  15.0    <- mean of original values for 2013-09-03
2013-09-04   NaN    <- NaN b/c date not present in orig
2013-09-05   NaN    <- NaN b/c date not present in orig
2013-09-06   5.0
2013-09-07   1.0

Tenga en cuenta que después de esto puede usar métodos como fillna o interpolate para llenar los valores faltantes como desee.

Aquí hay un buen método para completar las fechas faltantes en un dataframe, con su elección de fill_value, days_back para rellenar y ordenar el orden (date_order) por el cual ordenar el dataframe:

def fill_in_missing_dates(df, date_col_name = 'date',date_order = 'asc', fill_value = 0, days_back = 30):

    df.set_index(date_col_name,drop=True,inplace=True)
    df.index = pd.DatetimeIndex(df.index)
    d = datetime.now().date()
    d2 = d - timedelta(days = days_back)
    idx = pd.date_range(d2, d, freq = "D")
    df = df.reindex(idx,fill_value=fill_value)
    df[date_col_name] = pd.DatetimeIndex(df.index)

    return df