DataFrames

La estructura de datos que se usa en pandas es el dataframe. Se puede crear de varias formas, pero la más común y sencilla es leer un conjunto de datos desde un archivo de texto, como lo hicimos anteriormente.

Habiendo descargado el archivo Nacimientos_1998.csv, se carga en un DataFrame que se llama df así:

import pandas as pd
df = pd.read_csv('Nacimientos_1998.csv',sep=';')

Particularidades de cargar los DataFrames

Hay diferentes funciones para leer los datos de un archivo. Todas comienzan por read_.
csvquiere decir “archivo separado por comas”, pero también se puede separar por punto y coma, o por tabulador. Si pandas no reconoce las columnas lo más problable es que tengamos que especificar otro separador. Esto se hace con la opción sep.
El segundo erro posible es la codificación. En encoding. Usualmente no se especifica. Si hay errores se puede cambiar en la opción encoding. O se puede usar un programa externo para guardar el archivo con la codificación correcta. En libreoffice:

File :arrow_right: Save as (opción :black_square_button: “edit filter settings”).

Características de los DataFrames

Se pueden averiguar las características de los dataframes así:

Su forma, en (filas,columnas), con: df.shape.

Ejemplo: en nuestro caso, (720984, 33), luego son 720984 registros de 33 variables.
Los nombres de las columnas: df.columns

Ejemplo: en este caso: Index(['cod_dpto', 'cod_munic', 'areanac', 'sit_parto', 'nom_inst', 'cod_inst', 'sexo', 'peso_nac', 'talla_nac', 'ano', 'mes', 'aten_par', 't_ges', 'numconsul', 'tipo_parto', 'mul_parto', 'apgar1', 'apgar2', 'gru_san', 'edad_madre', 'est_civm', 'niv_edum', 'codpres', 'codptore', 'codmunre', 'area_res', 'n_hijosv', 'fecha_nacm', 'n_emb', 'seg_social', 'edad_padre', 'niv_edup', 'profesion'], dtype='object')
Los primeros registros: df.head(), por defecto saca 5, pero se puede cambiar.

Ejemplo: en este caso:

   cod_dpto  cod_munic  areanac  sit_parto               nom_inst     cod_inst  sexo  ...  n_hijosv  fecha_nacm  n_emb  seg_social  edad_padre  niv_edup  profesion
0        27          6        1          1  HL LASCARIO BARBOZA A  270060013.0     1  ...         1         NaN      1           9          15         9          1
1        27         73        1          1            CSCC BAGADO  270730019.0     2  ...        99         NaN     99           9          99         9          2
2        27         75        2          2                    NaN          NaN     2  ...         1         NaN      1           9          25         2          3
3        27        361        2          1            CS ANDAGOYA  273610065.0     1  ...         1         NaN      1           9          19         3          1
4        27        361        2          1            CS ANDAGOYA  273610065.0     2  ...         1         NaN      1           9          33         3          1

[5 rows x 33 columns]

Los últimos registros: df.tail()

Out[14]: 
        cod_dpto  cod_munic  areanac  sit_parto nom_inst cod_inst  sexo  peso_nac  ...  area_res  n_hijosv  fecha_nacm  n_emb  seg_social  edad_padre  niv_edup  profesion
720979        73        168        1          2      NaN      NaN     2         9  ...       9.0        99         NaN     99           9          99         9          9
720980        17        524        1          2      NaN      NaN     2         9  ...       9.0        99         NaN     99           9          48         9          4
720981        70        124        9          2      NaN      NaN     1         9  ...       9.0        99         NaN     99           9          33         9          9
720982        13        760        9          2      NaN      NaN     1         9  ...       9.0        99         NaN     99           9          99         9          9
720983        76        606        9          9      NaN      NaN     1         9  ...       9.0        99         NaN     99           9          99         9          4

[5 rows x 33 columns]

Accediendo a variables (columnas)

En principio, cada columna corresponde a una variable.

Para acceder a los registros se puede:

Usar corchetes [], dentro de los cuales se escribe el nombre de la columna.
Usar el punto, seguido del nombre de la columna.

Funciones sobre las variables

Estas funciones son comunes a numpy, entonces no son únicas de los DataFrames, pero para nosotros basta con mencionarlas aquí. Mencionammos unas pocas, hay muchas más. Revisar la bibliografía de numpy y pandas.

unique: indica los valores que están en un conjunto de datos.
- Por ejemplo en la lista: [1,1,1,3,1,2], los valores que están son 1,2,3
- En el DataFrame que estamos usando, existe una variable llamada cod_dpto, que corresponde al código del departamento. Si queremos saber cuáles códigos de departamento están en el conjunto de datos que tenemos, podemos teclear:
  
  df.cod_dpto.unique()
  
  en este caso se obtiene:
  
  array([27, 52, 66, 63, 73, 95, 19, 17, 8, 20, 88, 70, 44, 47, 13, 81, 54, 68, 5, 23, 76, 86, 15, 41, 50, 25, 18, 85, 11, 94, 91, 99, 97])
  
  lo que quiere decir que usamos la función unique, en la columna (variable) cod_dpto, y obtuvimos como resultado un arreglo con esos valores.
min: indica el valor mínimo.
- Ejemplo: df.cod_dpto.min()
max: indica el valor máximo
- Ejemplo: df.cod_dpto.min()
otras funciones estadísticasa, como kurt()para la curtosis, skew() para la asimetría, mean() para el promedio aritmético y mode() para la moda, entre otras.

Filtros sobre las variables.

Se pueden filtrar valores con los operadores lógicos. Por ejemplo, para filtrar todos los nacimientos en que el código de municipio es 88 se crea primero un vector que indique si el código es ese:

filtro1 = df.cod_munic == 88

Y ahora se usa para filtrar

muncod88 = df[filtro1]

Si queremos usar dos filtros, podemos usar el operador & para unir dos vectores de filtro:

filtro2 = (df.cod_munic == 88) & (df.cod_dpto ==5)

Y luego podemos filtrar con este vector

m88d5 = df[filtro2]

Taller

Grupos de 2, siguiendo la estructura de nombre de archivo que ya es usual, con fecha apellidos, etc.
Se evalúa procedimiento, resultado, interpretación.
En los mismos grupos que hemos trabajado.
De una manera similar a cómo hicimos el histograma para los lanzamientos del dado, vamos a hacer uno para la talla de los nacimientos en 1998 según el municipio. Estos datos vienen de las estadísticas vitales del DANE. El diccionario de datos está en la página https://microdatos.dane.gov.co/index.php/catalog/366/data-dictionary/F1?file_name=Nacimientos_1998
- De los datos que tenemos de nacimientos del año 98, ¿cuál es el código mínimo de peso de neonatos en la base de datos?¿el máximo?
- Se le asignará un municipio. Cree un filtro uniendo los dos filtros, el código del municipio y el del departamento. Para encontrar estos códigos use el buscador divipola: https://www.datos.gov.co/widgets/gdxc-w37w
- Construya un histograma en el que se muestre el número de neonatos por cada categoría de peso en este municipio. (ayuda: como las categorías son enteras, los rangos del histograma deben ser también enteros, de manera similar a como hicimos en clase)
- Suponga que tenemos tres categorías: bajo peso, para neonatos con 2.5 kilos o menos; peso normal, mayores a 2.5 kg y menores a 4kg; peso alto, mayor o igual a 4kg. ¿que fracción de los neonatos caen en cada una de éstas categorías?
Con el mismo archivo, construya un histograma del sexo asignado al nacer a los neonatos de la tabla de su municpio. ¿que fracción de los nacidos se le asignó sexo femenino?

OJO! ⚠️ Errores comunes

No decir cuál es el municipio.
No incluir un cuadro de texto con su respuesta
No explicar su respuesta
Crear el filtro, pero no usarlo

Pandas