EDA-02C-Text-Visualizations

“Visualizing information can give us a very quick solution to problems. We can get clarity or the answer to a simple problem very quickly.” David McCandless.

• Video: https://youtu.be/2ebmTcPEAlc

• Code (Google Colab): https://colab.research.google.com/github/taudataid/eLearning/blob/master/EDA-02C-Text%20Visualization.ipynb

taudata Analytics

Exploratory Data Analysis-02-C: Visualisasi Data Teks

(C) Taufik Sutanto

https://taudataid.github.io/eda-02C-TA/

Outline Visualisasi Teks Media Sosial¶

Text Visualization using Voyant Tools¶

• Word Clouds
• Word Links
• Word Context for Interpretation
• Word Tree
• Word Trends

"*I always have a basic plot outline, but I like to leave some things to be decided while I write*." ~ J. K. Rowling

Running the code locally, please make sure all the python module versions agree with colab environment and all data/assets downloaded

Out[14]:

'Done'

Out[3]:

'Done'

Trending Topic Saat ini?¶

• https://twitter-trends.iamrohit.in/indonesia
• https://trends24.in/indonesia/

Jangan Lupa¶

Local data not available, importing data directly from twitter ... 
Welcome "Taufik Sutanto" you are now connected to twitter server
Crawling keyword "singapura somad OR singapura uas"

5000it [00:57, 86.30it/s]

Collected 5000 tweets

Preprocessing text Menggunakan fungsi dari taudata¶

100%|██████████████████████████████████████████████████████████████████████████████| 5000/5000 [02:21<00:00, 35.35it/s]

Out[7]:

['king vaduka catet singkron tidak nyata singapore',
 'cnnindonesia majelis ulama indonesia deportasi uas singapura sangat ganggu umat islam indonesia',
 'lucknuut video alsan spore terbit ntl uas tulis ferrykoto somad',
 'sam ardi alas tolak singapura uas',
 'detikcom singapura tolak ustaz abdul somad uas masuk kah negara bijak not to land tolak uas nilai tidak',
 'rizmaya deportasi somad kenal sebar ajar ekstremis segregasi tidak terima masyarakat multi-ras',
 'fadlizon uas warga negara indonesia hormat ulama intelektual jadi hina sangat tidak si']

Menyimpan Hasil Preprocessing untuk di Visualisasi¶

Kita simpan juga data yang tidak di preprocessing untuk module D (SNA)¶

Text Analytics

• Tidak seperti data terstruktur, data tidak terstruktur seperti teks termasuk salah satu data yang cukup sulit untuk divisualisasikan.
  
• Namun terdapat Tools seperti Voyant yang dapat membantu dalam visualisasi sekaligus analisis.
  

Voyant dapat digunakan dalam 2 cara:

1. Online: https://voyant-tools.org/
   Kelebihan: Sederhana & portable, tanpa harus install di komputer kita.
   Kekurangan: butuh koneksi internet, tidak cocok untuk data teks yang besar, privacy.

2. Offline di komputer kita [Java Based]

[2]. Jalankan Voyant secara offline atau online di URL https://voyant-tools.org/

[3]. Upload file yang baru saja kita simpan.

Penggunaan Voyant 1: WordClouds

1. Upload teks yang akan di analisa: hasil cluster/ suatu kategori/ topics / raw text.
2. slider terms: mengkontrol banyaknya terms yang disertakan.
3. Summary (statistics)
4. Documents ==> add more
5. Phrases (n-grams like)
6. Export Visualisasi (kanan atas - pertama)
7. Options (kanan atas ke-3): Font, size, stopwords, whitelist
8. "?" ==> More Help

 

Penggunaan Voyant 2: Word Links

1. Upload teks yang akan di analisa: hasil cluster/ suatu kategori/ topics / raw text.
   Atau file yang sudah terupload sebelumnya
2. Visualization Tools ==> Links
3. Klik sembarang terms untuk expand

Best practice dan catatan mengenai Visualisasi Wordclouds (WC):¶

• Gunakan Kata Benda saja (misal pada kasus Topic Modelling).
• Atau Gunakan hanya Kata Sifat (pada kasus Sentiment Analysis).
• WC dapat digunakan untuk memeriksa apakah preprocessing data teks kita sudah cukup baik.
• Python juga memiliki module "WordClouds" yang dapat membuat WC yang lebih variatif.

Penggunaan Voyant 3: Word Tree

1. Upload teks yang akan di analisa: hasil cluster/ suatu kategori/ topics / raw text.
   Atau file yang sudah terupload sebelumnya
2. Klik branch untuk expand

Penggunaan Voyant 4: Trends

1. Upload teks yang akan di analisa: hasil cluster/ suatu kategori/ topics / raw text.
   Atau file yang sudah terupload sebelumnya
2. Document Tools ==> Trends
3. .. Butuh preprocessing ... 
4. Data harus terurut waktu
5. Berikut contohnya

Latihan : 

1. Crawl twitter dengan salah satu topik yang sedang trending saat ini di Indonesia. 
2. Lakukan Preprocessing data
3. Visualisasikan
4. Diskusikan insight/informasi yang didapat

End of Module C

---