Python : Reformat Pandas Dataframe ‘Wide to Long’

Ketika mengambil data dari berbagai sumber seringkali kita mendapatkannya dalam format wide, misalkan data panel dimana informasi untuk setiap periode waktu muncul dalam bentuk kolom per kolom. Contoh lain yaitu data hasil tabulasi dimana umumnya dalam format wide.

Sementara itu Pengolahan data menggunakan bahasa pemrograman atau software tertentu, cenderung lebih mudah dan lebih umum menggunakan data dengan format long. Oleh karena itu, terkadang perlu dilakukan reformat atau reshape data yang berasal dari format wide tmenjadi format long. Terdapat beberapa cara yang dapat digunakan untuk melakukan hal ini, pada tulisan ini kita akan menggunakan method melt dan wide_to_long.

Secara umum sintaks untuk menggunakan metode melt adalah sebagai berikut:

df = pd.melt(df, id_vars='indeks', value_vars=['col1', 'col2', ...])

Parameter id_vars berisi kolom yang menjadi identifier atau indeks, sementara untuk parameters value_vars berisi kolom-kolom yang akan diubah dari kolom-kolom yang berdiri sendiri menjadi satu kolom gabungan.

Selain dua parameter tersebut, terdapat dua parameter opsional yang sangat berguna, yaitu var_name dan value_name. Parameter var_name berisi nama kolom baru dari kolom-kolom hasil reformat. Sementara itu paramameter value_name merupakan nama dari kolom baru yang berisi nilai-nilai dari data.

df = pd.melt(df, id_vars='indeks', 
             value_vars=['col1', 'col2', ...],
             var_name='nama_kol_var',
             value_name='nama_kolom_nilai')

Misalkan kita memiliki data dalam format wide. Data contoh yang kita gunakan terdiri dari kolom nama berisi nama siswa. Selain itu terdapat kolom-kolom mata pelajaran Matematika, B. Indonesia, B. Inggris, dan Seni yang berisi skor ujian dari mata pelajaran terkait. Selanjutnya kita ingin mereformat data tersebut menjadi 3 kolom saja, yaitu kolom Nama dan kolom Mata_Pelajaran dan Skor_Ujian. Proses ini merupakan contoh dari reformat data wide menjadi long. Ilustasi yang lebih jelas terlihat pada gambar berikut ini:

Sintaks untuk membuat dataframe dengan format wide pada gambar di atas adalah sebagai berikut:

import pandas as pd

# Membuat contoh dataframe dalam format wide
df_wide = pd.DataFrame({'Nama' : ['Andi', 'Budi', 'Candra', 'Dina'],
                        'Matematika' : [90, 70, 85, 69],
                        'B_Indonesia' : [76, 78, 94, 86],
                        'B_Inggris' : [72, 84, 88, 97],
                        'Kesenian' : [82, 90, 83, 89]})

# Menampilkan df_wide
df_wide

# Output

     Nama  Matematika  B_Indonesia  B_Inggris  Kesenian
0    Andi          90           76         72        82
1    Budi          70           78         84        90
2  Candra          85           94         88        83
3    Dina          69           86         97        89

Berikutnya, sintaks untuk reformat dataframe wide menjadi long:

# Reformat wide menjadi long
df_long = pd.melt(df_wide, id_vars='Nama', 
                  value_vars=['Matematika', 'B_Indonesia',  
                              'B_Inggris', 'Kesenian'],
                  var_name='Mata_Pelajaran',
                  value_name='Skor_Ujian')

# Menampilkan df_long
df_long

# Output
      Nama Mata_Pelajaran  Skor_Ujian
0     Andi     Matematika          90
1     Budi     Matematika          70
2   Candra     Matematika          85
3     Dina     Matematika          69
4     Andi    B_Indonesia          76
5     Budi    B_Indonesia          78
...    ...            ...         ...
14  Candra       Kesenian          83
15    Dina       Kesenian          89

Metode melt memungkinkan kita melakukan reformat beberapa kolom menjadi 1 kolom baru dalam bentuk wide. Berikutnya terdapat metode wide_to_long di mana kita dapat melakukan reformat beberapa kolom long menjadi beberapa kelompok kolom wide sekaligus. Secara umum metode wide_to_long memiliki sintaks sebagai berikut:

df_long = pd.wide_to_long(df, stubnames, i, j, sep='', suffix='\\d+')

Metode ini memiliki 6 parameter yaitu:

• df : yaitu dataframe dalam format wide
• stubnames : String atau List nama kolom untuk hasil reformat. Dimana dataframe wide yang kita gunakan memiliki nama-nama kolom yang diawali dengan stubnames ini
• i : kolom yang akan menjadi indeks.
• j : kolom yang akan menyimpan nilai dari suffix dari kolom-kolom dalam format wide.
• sep (opsional, default = “”): separator antara stubnames dan sub-nama dari kolom-kolom dalam format wide.
• suffix (opsional, default = “\\d+”) : reguler expression yang menunjukkan bentuk dari sub-nama. Nilai default-nya adalah numerik, jadi method ini mengharapkan bentuk sub-nama yang diberikan berupa angka numerik. Contoh lain adalah “.+” yang dapat digunakan ketika sub-nama mengandung karakter alfanumerik.

Untuk menggunakan method wide_to_long dengan tepat, hal yang perlu menjadi perhatian adalah nama-nama kolom pada dataframe dengan format wide, harus memiliki pola tertentu yang sama antar kolomnya.

Contoh berikut ini memberikan ilustrasi untuk permasalahan yang sedikit lebih kompleks. Mirip seperti data sebelumnya, namun selain dibagi berdasarkan jenis mata pelajaran juga dibagi berdasarkan semester (misal 1 dan 2). Secara total terdapat 11 kolom yaitu nama, 1matematika.sm1, matematika.sm2 dan seterusnya sampai kolom terakhir B_Ing.sm2.

Dari format long tersebut akan dibuat menjadi wide dimana informasi mengenai semester akan muncul pada kolom sendiri. Sehingga dari jumlah kolom nilai yang sebelumnya ada 6 kolom ditransformasi menjadi 3 kolom nilai saja.

Berikut ini sintaks yang digunakan untuk melakukan reformat data menggunakan metode wide_to_long.

# membuat contoh dataframe dalam format wide
df_wide = pd.DataFrame({'Nama' : ['Andi', 'Budi', 'Candra', 'Dina'],
                        'Matematika.Sm1' : [90, 70, 85, 69],
                        'Matematika.Sm2' : [96, 77, 83, 79],
                        'B_Ind.Sm1' : [76, 78, 94, 86],
                        'B_Ind.Sm2' : [81, 87, 91, 93],
                        'B_Ing.Sm1' : [72, 84, 88, 97],
                        'B_Ing.Sm2' : [75, 89, 83, 92]})


# Stubnames
m_pel = ['Matematika', 'B_Ind', 'B_Ing', 'Kesenian']

# Reformat df_wide menjadi long format
df_long = pd.wide_to_long(df_wide, m_pel,
    i='Nama', j='Semester', sep='.', suffix='.+')

# Reset indeks untuk membuang indeks yang bertingkat
df_long.reset_index()

# Output

     Nama Semester  Matematika  B_Ind  B_Ing
0    Andi      Sm1          90     76     72
1    Budi      Sm1          70     78     84
2  Candra      Sm1          85     94     88
3    Dina      Sm1          69     86     97
4    Andi      Sm2          96     81     75
5    Budi      Sm2          77     87     89
6  Candra      Sm2          83     91     83
7    Dina      Sm2          79     93     92

Pada contoh ini parameter stubnames kita buat menggunakan variabel m_pel. Dimana memiliki empat elemen yaitu Matematika, B_Ind, B_Ing, Kesenian. Keempat elemen tersebut sesuai dengan nama awal pada kolom-kolom dataframe dengan format wide.

Kolom Nama menjadi indeks dan diikuti kolom sub-nama yaitu Semester. Kolom Semester akan berisi nilai Sm1 atau Sm2.

Untuk parameter sep kita isi dengan “.”. Karena nama-nama kolom yang ada (contoh : Matematika.Sm1) mengikuti bentuk {stubnames}.{sub-nama} dan dipisahkan dengan simbol “.”.

Untuk parameter suffix kita gunakan ".+" karena sub-nama (Sm1 dan Sm2) berisi karakter alfanumerik.

Pada kondisi lain, misalkan bentuk dataframe yang diinginkan berbeda dari yang telah dihasilkan seperti contoh di atas. Dimana Sm1 dan Sm2 menjadi dua kolom terpisah, sedangkan untuk keempat mata pelajaran menjadi 1 kolom tersendiri misal Mata_pelajaran. Untuk membuat format seperti itu, maka hal pertama yang perlu dilakukan adalah merubah nama-nama kolom pada dataframe wide menjadi pola yang sesuai. Misalnya Sm1.Matematika, Sm2.Matematika dan seterusnya.

Catatan : Dokumentasi untuk metode melt dan wide_to_long dapat dilihat di sini dan sini.

• Reformat Pandas Dataframe ‘Long to Wide’
• Filter Data pada DataFrame Pandas
• Memahami Metode Apply pada Pandas
• Pengolahan Data dangan Python : Pandas vs Polars
• R : Manajemen Dataframe (Manual dan Menggunakan Package dplyr)