Limpieza de Datos

Dataset A - Conteos por tema y año

Carga del dataset

Head:

year total_papers topic_id topic_name subfield_id subfield_name field_id field_name domain_id domain_name n_papers
0 1950 1409 https://openalex.org/T14335 Educational Robotics and Engineering https://openalex.org/subfields/1702 Artificial Intelligence https://openalex.org/fields/17 Computer Science https://openalex.org/domains/3 Physical Sciences 264
1 1950 1409 https://openalex.org/T12157 Geochemistry and Geologic Mapping https://openalex.org/subfields/1702 Artificial Intelligence https://openalex.org/fields/17 Computer Science https://openalex.org/domains/3 Physical Sciences 193
2 1950 1409 https://openalex.org/T11349 Music Technology and Sound Studies https://openalex.org/subfields/1707 Computer Vision and Pattern Recognition https://openalex.org/fields/17 Computer Science https://openalex.org/domains/3 Physical Sciences 130
3 1950 1409 https://openalex.org/T13623 Linguistic Studies and Language Acquisition https://openalex.org/subfields/1702 Artificial Intelligence https://openalex.org/fields/17 Computer Science https://openalex.org/domains/3 Physical Sciences 76
4 1950 1409 https://openalex.org/T10320 Neural Networks and Applications https://openalex.org/subfields/1702 Artificial Intelligence https://openalex.org/fields/17 Computer Science https://openalex.org/domains/3 Physical Sciences 63

El dataset muestra información del año de publicación, el total de papers por año (que viene de la agregación para evitar calcularlo luego), el nombre del tema, y el conteo de papers por tema. Este dataset se utilizará para responder preguntas relacionadas con las tendencias de publicación por tema a lo largo del tiempo, los temas con mayor tasa de crecimiento, y los temas más populares en las publicaciones académicas de inteligencia artificial.

Exploración inicial del dataset

Información general del dataset

<class 'pandas.DataFrame'>
RangeIndex: 8206 entries, 0 to 8205
Data columns (total 11 columns):
 #   Column         Non-Null Count  Dtype
---  ------         --------------  -----
 0   year           8206 non-null   int64
 1   total_papers   8206 non-null   int64
 2   topic_id       8206 non-null   str  
 3   topic_name     8206 non-null   str  
 4   subfield_id    8206 non-null   str  
 5   subfield_name  8206 non-null   str  
 6   field_id       8206 non-null   str  
 7   field_name     8206 non-null   str  
 8   domain_id      8206 non-null   str  
 9   domain_name    8206 non-null   str  
 10  n_papers       8206 non-null   int64
dtypes: int64(3), str(8)
memory usage: 705.3 KB

Conteo de valores nulos

year             0
total_papers     0
topic_id         0
topic_name       0
subfield_id      0
subfield_name    0
field_id         0
field_name       0
domain_id        0
domain_name      0
n_papers         0
dtype: int64

Verificar tipos de datos

year             int64
total_papers     int64
topic_id           str
topic_name         str
subfield_id        str
subfield_name      str
field_id           str
field_name         str
domain_id          str
domain_name        str
n_papers         int64
dtype: object

Como se observa, no hay datos nulos y los tipos de datos son adecuados.

Transformaciones

Como lo que interesa es más la información en texto, lo primero sería eliminar las columnas que tienen IDs, ya que en este caso no son necesarias. También eliminar el domain name porque no es relevante para el análisis que se va a realizar.

year total_papers topic_name subfield_name field_name n_papers
0 1950 1409 Educational Robotics and Engineering Artificial Intelligence Computer Science 264
1 1950 1409 Geochemistry and Geologic Mapping Artificial Intelligence Computer Science 193
2 1950 1409 Music Technology and Sound Studies Computer Vision and Pattern Recognition Computer Science 130
3 1950 1409 Linguistic Studies and Language Acquisition Artificial Intelligence Computer Science 76
4 1950 1409 Neural Networks and Applications Artificial Intelligence Computer Science 63

Con esto ya es suficiente para poder hacer las visualizaciones, ya que el dataset está limpio y listo para ser utilizado. Se pueden realizar algunas transformaciones adicionales si se desea, como por ejemplo crear una columna de porcentaje de papers por tema respecto al total de papers por año, pero esto se puede hacer directamente en la visualización sin necesidad de modificar el dataset original.

Dataset B - Conteos por país y año

Carga del dataset

Head:

year total_papers country_code country_name n_papers
0 1950 1409 US United States 178
1 1950 1409 GB United Kingdom 25
2 1950 1409 JP Japan 14
3 1950 1409 CA Canada 11
4 1950 1409 DE Germany 10

El dataset muestra información del año de publicación, el total de papers por año (que viene de la agregación para evitar calcularlo luego), el nombre del país, y el conteo de papers por país. Este dataset se utilizará para responder preguntas relacionadas con la distribución geográfica de las publicaciones académicas en el campo de la inteligencia artificial.

Exploración inicial del dataset

Información general del dataset

<class 'pandas.DataFrame'>
RangeIndex: 7673 entries, 0 to 7672
Data columns (total 5 columns):
 #   Column        Non-Null Count  Dtype
---  ------        --------------  -----
 0   year          7673 non-null   int64
 1   total_papers  7673 non-null   int64
 2   country_code  7648 non-null   str  
 3   country_name  7673 non-null   str  
 4   n_papers      7673 non-null   int64
dtypes: int64(3), str(2)
memory usage: 299.9 KB

Conteo de valores nulos

year             0
total_papers     0
country_code    25
country_name     0
n_papers         0
dtype: int64

Verificar tipos de datos

year            int64
total_papers    int64
country_code      str
country_name      str
n_papers        int64
dtype: object

Como se observa, no hay datos nulos y los tipos de datos son adecuados.

Transformaciones

No se necesitan transformaciones, ya que toda la información relevante está presente.

Dataset C - Muestreo de papers individuales

Carga del dataset

Head:

work_id publication_date year primary_topic_id primary_topic subfield_id subfield_name cited_by_count oa_status is_oa n_authors n_countries is_international countries
0 https://openalex.org/W2409613621 1950-01-01 1950 https://openalex.org/T13623 Linguistic Studies and Language Acquisition https://openalex.org/subfields/1702 Artificial Intelligence 247 closed False 1 0 False NaN
1 https://openalex.org/W2169729329 1950-01-01 1950 https://openalex.org/T11901 Bayesian Methods and Mixture Models https://openalex.org/subfields/1702 Artificial Intelligence 230 closed False 1 0 False NaN
2 https://openalex.org/W2015562796 1950-01-01 1950 https://openalex.org/T12262 Hate Speech and Cyberbullying Detection https://openalex.org/subfields/1702 Artificial Intelligence 254 closed False 5 0 False NaN
3 https://openalex.org/W2337404523 1950-01-01 1950 https://openalex.org/T14351 Statistical and Computational Modeling https://openalex.org/subfields/1702 Artificial Intelligence 153 closed False 1 0 False NaN
4 https://openalex.org/W2075018281 1950-01-01 1950 https://openalex.org/T12157 Geochemistry and Geologic Mapping https://openalex.org/subfields/1702 Artificial Intelligence 129 closed False 1 0 False NaN

El dataset muestra información de papers individuales, incluyendo el año de publicación, el título del paper, el número de citas, si tiene co-autoría internacional, y si es de acceso abierto. Este dataset se utilizará para responder preguntas relacionadas con la correlación entre el número de publicaciones y su impacto, la relación entre la internacionalización de los autores y el impacto del artículo, y si publicar en Open Access genera una ventaja significativa en el número de citas.

Exploración inicial del dataset

Información general del dataset

<class 'pandas.DataFrame'>
RangeIndex: 77000 entries, 0 to 76999
Data columns (total 14 columns):
 #   Column            Non-Null Count  Dtype
---  ------            --------------  -----
 0   work_id           77000 non-null  str  
 1   publication_date  77000 non-null  str  
 2   year              77000 non-null  int64
 3   primary_topic_id  77000 non-null  str  
 4   primary_topic     77000 non-null  str  
 5   subfield_id       77000 non-null  str  
 6   subfield_name     77000 non-null  str  
 7   cited_by_count    77000 non-null  int64
 8   oa_status         77000 non-null  str  
 9   is_oa             77000 non-null  bool 
 10  n_authors         77000 non-null  int64
 11  n_countries       77000 non-null  int64
 12  is_international  77000 non-null  bool 
 13  countries         42310 non-null  str  
dtypes: bool(2), int64(4), str(8)
memory usage: 7.2 MB

Conteo de valores nulos

work_id                 0
publication_date        0
year                    0
primary_topic_id        0
primary_topic           0
subfield_id             0
subfield_name           0
cited_by_count          0
oa_status               0
is_oa                   0
n_authors               0
n_countries             0
is_international        0
countries           34690
dtype: int64

Verificar tipos de datos

work_id               str
publication_date      str
year                int64
primary_topic_id      str
primary_topic         str
subfield_id           str
subfield_name         str
cited_by_count      int64
oa_status             str
is_oa                bool
n_authors           int64
n_countries         int64
is_international     bool
countries             str
dtype: object

Como se observa, no hay datos nulos y los tipos de datos son adecuados.

Transformaciones

Como lo que interesa es más la información en texto, hay que eliminar las columnas que tienen IDs, ya que en este caso no son necesarias.

publication_date year primary_topic subfield_name cited_by_count oa_status is_oa n_authors n_countries is_international countries
0 1950-01-01 1950 Linguistic Studies and Language Acquisition Artificial Intelligence 247 closed False 1 0 False NaN
1 1950-01-01 1950 Bayesian Methods and Mixture Models Artificial Intelligence 230 closed False 1 0 False NaN
2 1950-01-01 1950 Hate Speech and Cyberbullying Detection Artificial Intelligence 254 closed False 5 0 False NaN
3 1950-01-01 1950 Statistical and Computational Modeling Artificial Intelligence 153 closed False 1 0 False NaN
4 1950-01-01 1950 Geochemistry and Geologic Mapping Artificial Intelligence 129 closed False 1 0 False NaN

Con esto ya es suficiente para poder hacer las visualizaciones, ya que el dataset está limpio y listo para ser utilizado. Se pueden realizar algunas transformaciones adicionales si se desea, como por ejemplo crear una columna de impacto (número de citas dividido por el número de años desde la publicación), pero esto se puede hacer directamente en la visualización sin necesidad de modificar el dataset original.

Siguiente