| year | total_papers | topic_id | topic_name | subfield_id | subfield_name | field_id | field_name | domain_id | domain_name | n_papers | |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 0 | 1950 | 1409 | https://openalex.org/T14335 | Educational Robotics and Engineering | https://openalex.org/subfields/1702 | Artificial Intelligence | https://openalex.org/fields/17 | Computer Science | https://openalex.org/domains/3 | Physical Sciences | 264 |
| 1 | 1950 | 1409 | https://openalex.org/T12157 | Geochemistry and Geologic Mapping | https://openalex.org/subfields/1702 | Artificial Intelligence | https://openalex.org/fields/17 | Computer Science | https://openalex.org/domains/3 | Physical Sciences | 193 |
| 2 | 1950 | 1409 | https://openalex.org/T11349 | Music Technology and Sound Studies | https://openalex.org/subfields/1707 | Computer Vision and Pattern Recognition | https://openalex.org/fields/17 | Computer Science | https://openalex.org/domains/3 | Physical Sciences | 130 |
| 3 | 1950 | 1409 | https://openalex.org/T13623 | Linguistic Studies and Language Acquisition | https://openalex.org/subfields/1702 | Artificial Intelligence | https://openalex.org/fields/17 | Computer Science | https://openalex.org/domains/3 | Physical Sciences | 76 |
| 4 | 1950 | 1409 | https://openalex.org/T10320 | Neural Networks and Applications | https://openalex.org/subfields/1702 | Artificial Intelligence | https://openalex.org/fields/17 | Computer Science | https://openalex.org/domains/3 | Physical Sciences | 63 |
Limpieza de Datos
Dataset A - Conteos por tema y año
Carga del dataset
Head:
El dataset muestra información del año de publicación, el total de papers por año (que viene de la agregación para evitar calcularlo luego), el nombre del tema, y el conteo de papers por tema. Este dataset se utilizará para responder preguntas relacionadas con las tendencias de publicación por tema a lo largo del tiempo, los temas con mayor tasa de crecimiento, y los temas más populares en las publicaciones académicas de inteligencia artificial.
Exploración inicial del dataset
Información general del dataset
<class 'pandas.DataFrame'>
RangeIndex: 8206 entries, 0 to 8205
Data columns (total 11 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 year 8206 non-null int64
1 total_papers 8206 non-null int64
2 topic_id 8206 non-null str
3 topic_name 8206 non-null str
4 subfield_id 8206 non-null str
5 subfield_name 8206 non-null str
6 field_id 8206 non-null str
7 field_name 8206 non-null str
8 domain_id 8206 non-null str
9 domain_name 8206 non-null str
10 n_papers 8206 non-null int64
dtypes: int64(3), str(8)
memory usage: 705.3 KB
Conteo de valores nulos
year 0
total_papers 0
topic_id 0
topic_name 0
subfield_id 0
subfield_name 0
field_id 0
field_name 0
domain_id 0
domain_name 0
n_papers 0
dtype: int64
Verificar tipos de datos
year int64
total_papers int64
topic_id str
topic_name str
subfield_id str
subfield_name str
field_id str
field_name str
domain_id str
domain_name str
n_papers int64
dtype: object
Como se observa, no hay datos nulos y los tipos de datos son adecuados.
Transformaciones
Como lo que interesa es más la información en texto, lo primero sería eliminar las columnas que tienen IDs, ya que en este caso no son necesarias. También eliminar el domain name porque no es relevante para el análisis que se va a realizar.
| year | total_papers | topic_name | subfield_name | field_name | n_papers | |
|---|---|---|---|---|---|---|
| 0 | 1950 | 1409 | Educational Robotics and Engineering | Artificial Intelligence | Computer Science | 264 |
| 1 | 1950 | 1409 | Geochemistry and Geologic Mapping | Artificial Intelligence | Computer Science | 193 |
| 2 | 1950 | 1409 | Music Technology and Sound Studies | Computer Vision and Pattern Recognition | Computer Science | 130 |
| 3 | 1950 | 1409 | Linguistic Studies and Language Acquisition | Artificial Intelligence | Computer Science | 76 |
| 4 | 1950 | 1409 | Neural Networks and Applications | Artificial Intelligence | Computer Science | 63 |
Con esto ya es suficiente para poder hacer las visualizaciones, ya que el dataset está limpio y listo para ser utilizado. Se pueden realizar algunas transformaciones adicionales si se desea, como por ejemplo crear una columna de porcentaje de papers por tema respecto al total de papers por año, pero esto se puede hacer directamente en la visualización sin necesidad de modificar el dataset original.
Dataset B - Conteos por país y año
Carga del dataset
Head:
| year | total_papers | country_code | country_name | n_papers | |
|---|---|---|---|---|---|
| 0 | 1950 | 1409 | US | United States | 178 |
| 1 | 1950 | 1409 | GB | United Kingdom | 25 |
| 2 | 1950 | 1409 | JP | Japan | 14 |
| 3 | 1950 | 1409 | CA | Canada | 11 |
| 4 | 1950 | 1409 | DE | Germany | 10 |
El dataset muestra información del año de publicación, el total de papers por año (que viene de la agregación para evitar calcularlo luego), el nombre del país, y el conteo de papers por país. Este dataset se utilizará para responder preguntas relacionadas con la distribución geográfica de las publicaciones académicas en el campo de la inteligencia artificial.
Exploración inicial del dataset
Información general del dataset
<class 'pandas.DataFrame'>
RangeIndex: 7673 entries, 0 to 7672
Data columns (total 5 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 year 7673 non-null int64
1 total_papers 7673 non-null int64
2 country_code 7648 non-null str
3 country_name 7673 non-null str
4 n_papers 7673 non-null int64
dtypes: int64(3), str(2)
memory usage: 299.9 KB
Conteo de valores nulos
year 0
total_papers 0
country_code 25
country_name 0
n_papers 0
dtype: int64
Verificar tipos de datos
year int64
total_papers int64
country_code str
country_name str
n_papers int64
dtype: object
Como se observa, no hay datos nulos y los tipos de datos son adecuados.
Transformaciones
No se necesitan transformaciones, ya que toda la información relevante está presente.
Dataset C - Muestreo de papers individuales
Carga del dataset
Head:
| work_id | publication_date | year | primary_topic_id | primary_topic | subfield_id | subfield_name | cited_by_count | oa_status | is_oa | n_authors | n_countries | is_international | countries | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 0 | https://openalex.org/W2409613621 | 1950-01-01 | 1950 | https://openalex.org/T13623 | Linguistic Studies and Language Acquisition | https://openalex.org/subfields/1702 | Artificial Intelligence | 247 | closed | False | 1 | 0 | False | NaN |
| 1 | https://openalex.org/W2169729329 | 1950-01-01 | 1950 | https://openalex.org/T11901 | Bayesian Methods and Mixture Models | https://openalex.org/subfields/1702 | Artificial Intelligence | 230 | closed | False | 1 | 0 | False | NaN |
| 2 | https://openalex.org/W2015562796 | 1950-01-01 | 1950 | https://openalex.org/T12262 | Hate Speech and Cyberbullying Detection | https://openalex.org/subfields/1702 | Artificial Intelligence | 254 | closed | False | 5 | 0 | False | NaN |
| 3 | https://openalex.org/W2337404523 | 1950-01-01 | 1950 | https://openalex.org/T14351 | Statistical and Computational Modeling | https://openalex.org/subfields/1702 | Artificial Intelligence | 153 | closed | False | 1 | 0 | False | NaN |
| 4 | https://openalex.org/W2075018281 | 1950-01-01 | 1950 | https://openalex.org/T12157 | Geochemistry and Geologic Mapping | https://openalex.org/subfields/1702 | Artificial Intelligence | 129 | closed | False | 1 | 0 | False | NaN |
El dataset muestra información de papers individuales, incluyendo el año de publicación, el título del paper, el número de citas, si tiene co-autoría internacional, y si es de acceso abierto. Este dataset se utilizará para responder preguntas relacionadas con la correlación entre el número de publicaciones y su impacto, la relación entre la internacionalización de los autores y el impacto del artículo, y si publicar en Open Access genera una ventaja significativa en el número de citas.
Exploración inicial del dataset
Información general del dataset
<class 'pandas.DataFrame'>
RangeIndex: 77000 entries, 0 to 76999
Data columns (total 14 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 work_id 77000 non-null str
1 publication_date 77000 non-null str
2 year 77000 non-null int64
3 primary_topic_id 77000 non-null str
4 primary_topic 77000 non-null str
5 subfield_id 77000 non-null str
6 subfield_name 77000 non-null str
7 cited_by_count 77000 non-null int64
8 oa_status 77000 non-null str
9 is_oa 77000 non-null bool
10 n_authors 77000 non-null int64
11 n_countries 77000 non-null int64
12 is_international 77000 non-null bool
13 countries 42310 non-null str
dtypes: bool(2), int64(4), str(8)
memory usage: 7.2 MB
Conteo de valores nulos
work_id 0
publication_date 0
year 0
primary_topic_id 0
primary_topic 0
subfield_id 0
subfield_name 0
cited_by_count 0
oa_status 0
is_oa 0
n_authors 0
n_countries 0
is_international 0
countries 34690
dtype: int64
Verificar tipos de datos
work_id str
publication_date str
year int64
primary_topic_id str
primary_topic str
subfield_id str
subfield_name str
cited_by_count int64
oa_status str
is_oa bool
n_authors int64
n_countries int64
is_international bool
countries str
dtype: object
Como se observa, no hay datos nulos y los tipos de datos son adecuados.
Transformaciones
Como lo que interesa es más la información en texto, hay que eliminar las columnas que tienen IDs, ya que en este caso no son necesarias.
| publication_date | year | primary_topic | subfield_name | cited_by_count | oa_status | is_oa | n_authors | n_countries | is_international | countries | |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 0 | 1950-01-01 | 1950 | Linguistic Studies and Language Acquisition | Artificial Intelligence | 247 | closed | False | 1 | 0 | False | NaN |
| 1 | 1950-01-01 | 1950 | Bayesian Methods and Mixture Models | Artificial Intelligence | 230 | closed | False | 1 | 0 | False | NaN |
| 2 | 1950-01-01 | 1950 | Hate Speech and Cyberbullying Detection | Artificial Intelligence | 254 | closed | False | 5 | 0 | False | NaN |
| 3 | 1950-01-01 | 1950 | Statistical and Computational Modeling | Artificial Intelligence | 153 | closed | False | 1 | 0 | False | NaN |
| 4 | 1950-01-01 | 1950 | Geochemistry and Geologic Mapping | Artificial Intelligence | 129 | closed | False | 1 | 0 | False | NaN |
Con esto ya es suficiente para poder hacer las visualizaciones, ya que el dataset está limpio y listo para ser utilizado. Se pueden realizar algunas transformaciones adicionales si se desea, como por ejemplo crear una columna de impacto (número de citas dividido por el número de años desde la publicación), pero esto se puede hacer directamente en la visualización sin necesidad de modificar el dataset original.