What is Machine Learning?

Machine learning (ML) menjadi salah satu hot topic dalam dunia riset bidang teknologi dan sains dalam satu dekade terakhir. Lalu apa sebenarnya ML itu?

Tanpa kita sadari, sebenarnya setiap hari kita telah bersentuhan atau menggunakan aplikasi dari ML dalam aktivitas sehari-hari. Saat kita membuka facebook, news feed di krolonologi kita telah difilter untuk menampilkan news feed yang mungkin kita suka saja, saat membuka youtube kita akan melihat suggestion video yang sesuai dengan kegemaran kita, dan saat membeli barang di e-commerce atau membaca artikel di sebuah situs berita, kita akan di berikan rekomendasi barang/artikel yang berdekatan dengan interest kita, juga folder spam di email kita yang terisi sendiri tanpa perlu kita filter. Itu adalah beberapa contoh sederhana penerapan ML yang memudahkan kehidupan kita sehari-hari.

Definition

Sama halnya dengan data scientist, definisi ML sendiri ada banyak versi karena belum ada definisi baku yang di disepakati. Tetapi, definisi yang terkenal adalah pendapat Arthur Samuel yang mengatakan bahwa.

Machine learning is field of study that gives computer ability to learn from data without being explicitly programmed. (Arthur Samuel, 1959)

ya, perbedaan ML dengan progamming biasa adalah kita memberikan kemampuan kepada komputer untuk belajar sendiri dari data sehingga dia akan tahu tindakan apa yang seharusnya dilakukan berdasarkan data yang kita berikan tersebut, tanpa perlu menghandle segala kemungkinan sebagaimana programming biasa/tradisional lakukan.

Software apps are programmed, intelligent apps are trained (with data). (Carlos Guestrin)

Kevin P. Murphy dalam bukunya Machine learning : A Probabilistic Perspective memberikan definisi yang lebih “statistika” soal ML. Dia mengatakan bahwa ML adalah

A set of method that can automatically detects pattern in data, then use the uncovered pattern to predict future data, or perform other kinds of decision making under uncertainty (such as planning how to make collect to data). (Kevin P. Murphy)

Task

ML adalah subfield dari artifficial intelligence yang memadukan pendekatan computing dan juga matematics/statistics (liniar algebra, probabilistics, etc) sehingga jika ingin belajar ML harus punya bekal pengetahuan programming dan juga statistik untuk bisa menguasainya. Dalam hal permasalahan/kaskusnya, ML dibagi menjadi 3 bagian, yaitu:

Supervised learning

Pada supervised learning kita memberikan input data yang output atau responnya diketahui. Kemudian algoritma ML akan belajar dari data tersebut sehingga mampu memrediksi output atau respon dari data baru yang diberikan. Berdasarkan responnya supervised learning dibagi menjadi 2, yaitu:

  • Classification

    Jika responnya adalah kategorik, maka kasusnya dinamakan classification. Misalnya adalah kita ingin memprediksi seseorang terkena kanker atau tidak, responnya adalah ya dan tidak. Algoritma yang digunakan untuk classification adalah logistic regression, support vector machine, decision tree, random forest, naive bayes, neural network, dsb

  • Regression

    Kasus regresi adalah jika output atau responnya bersifat continue. Contoh kasusnya adalah prediksi harga saham, prediksi harga rumah, prediksi curah hujan dsb. Contoh algoritmanya adalah linear regression, polynomial regression, classification and regression tree (CART), random forest regression dsb.

Unsupervised Learning

Jika supervised learning memetakan input x ke output y, unsupervised learning tidak memiliki output sehingga yang dilakukan oleh algo-algo unsupervised learning adalah menemukan interesting pattern dari data yang ada. Contoh kasusnya adalah segmentasi customer dari e-commerce berdasarkan behaviour mereka sehingga tim marketing bisa memberikan treatment yang tepat sasaran sesuai dengan behaviour user. Contoh algoritmanya adalah k-means clustering, hierarchical clustering, mixture models dll. Selain clustering, pendekatan lain yang termasuk unsupervised adalah anomali detection dan dimensional reduction.

Reinforcement Learning

Dibandingkan dua kasus sebelumnya, RL bisa dikatakan lebih rumit tetapi lebih mendekati kasus yang terjadi dalam kehidupan nyata di dunia ini. Definisi RL adalah permasalahan untuk menemukan rule yang mengoptimumkan reward dalam suatu kondisi yang mana di kondisi itu terdapat reward dan punishment saat melakukan hal-hal tertentu.

Agak susah sebenarnya menjelaskan apa itu RL, untuk lebih mudahnya analogikan saja seperti ini, kita ingin melatih kucing peliharaan kita agar tidak buang air sembarangan, kita tidak mungkin memberi tahu kepada kucing tersebut dengan bahasa kita karena dia tidak akan mengerti, maka cara yang bisa kita lakukan adalah memberikan reward misal makanan jika kucing kita buang air ditempat yang seharusnya dan juga punishment jika dia melakukan hal sebaliknya. Dengan sendirinya lama-kelamaan kucing kita akan mengerti mana yang harus dilakukan dan mana yang tidak boleh dilakukan berdasarkan reward dan punishment yang ada. Kita juga bisa menerapkan hal tersebut ke komputer. Contoh algoritma RL adalah markov decision process (MDP), multi arm bandit (MAB) dan A/B testing.

Future

Sebagai bagian dari rumpun ilmu artificial intellegence (AI), ML masih akan banyak dikembangkan baik di dunia riset maupun industri seiring dengan berkembangnya riset dan aplikasi AI saat ini. Topic yang sedang hot saat ini diantaranya adalah self driving car, deep learning, computer vision dan NLP.

Referensi :

featured image

Battle of Aksi 212 on Twitter: Social Network Analysis Perspective

Aksi 212 is only one day away. Netizens both pro and contra side are hyped about the event. They actively tweets (or retweet or copas) about the event. I am curious about seeing the hyped in another side. I want to see the battle of pro and conta side in twitter.

To fullfil my curiosity, I crawled data from twitter a day before aksi 212 (December 1, 2016). In order to simplify the analysis, I only crawled 1500 tweets contains keyword “aksi bela islam” on that period.

By applying social network analysis method, the collected tweets then visualize to find its network structure. Tools I used to done this task is R for collecting and preprocessing data, and Gephy for visualizing network.

The Battle is Real

After doing some preprocessing and preparation of data, here is the network visualization of data I’d collected.

Social Network of #aksibelaislam

What the graph tell us?

  • The battle is real! there are polarization between netizen who’re pro and contra with aksi 212. it created 2 main clusters wich is disconnected
  • @maspiyungan dkk in pro side vs @zevanya in contra side. The pro side is more dominant than contra side. They clustered in one big cluster and connected each other formed (very) big buble, while in contra side only @zevanya gathered big buble (red circle), others Ahok’s buzzer like @digembok @gunromli etc just created small buble (smaller red circle)
  • It’s about 6 influencers who’re pro with “aksi 212” gathered and formed big bubble. They are @maspiyungan, @husainiadianm @GrabJakmania, @posmetro, @hidcom and @wartapolitik. Their network are close and connect each other. It means netizens who’re pro with aksi 212 interacted with all influencers.
  • While in contra side (red circle), there is only one influencer which is got high interaction, it’s @zevanya. There’s also other influencer with small interaction but it’s far and not connected with main influencer. That’s mean the netizens who’re interact with @zevanya didn’t interact with other influencer, they have different network.

Network Characteristic

If we refer to Michael Lieberman paper network characteristic in SNA, then the network characteristic of my data be like this.

  • Aksi 212 in general
    • Polarized Two main clusters (pro side and contra side) with no interconnection
    • Bazaar Many small/medium groups, some isolates
  • Pro side
    • In-group Many connection, few disconnected isolate
  • Contra side
    • Broadcast A hub which is retweeted by many disconnected users

Crawling Data Twitter Menggunakan R

Note : Artikel ini dipublikasikan pada 2016 diblog lama saya, tapi contoh code nya diperbarui dengan data terbaru saat dipindah keblog ini

Pada postingan sebelumnya, saya telah sedikit berbagi tentang social media analytics dan sempat menyinggung sumber data yang digunakan dalam social media analytics diantaranya sosial media, news portal, blog dll. Kali ini, saya akan berbagi salah satu tahap awal dalam analytics yakni pengumpulan data (data harvesting). Sesuai judulnya, postingan ini akan membahas tentang cara mendapatkan data dari Twitter sebagai bahan analisis. Dari sosial media populer seperti facebook dan instagram, twitter ini yang paling baik soal open access data. Twitter memberikan akses kepada khalayak untuk mengkonsumsi data mereka lewat API yang mereka sediakan. thanks Jack Dorsey!. API twitter sendiri terdiri 2 jenis yaitu REST API dan Streaming API. Lebih afdholnya langsung ke TKP aja gan untuk penjelasannya :D. Secara singkat bedanya, kalo REST API kita ngambil data di masa lalu hingga sekarang, kalo streaming API kita ngambil data mulai dari sekarang hingga ke depan tergantung berapa lama kita mau ambil. Nah kali ini kita akan menggali kenangan masa lalu di twitter lewat REST API.

Terima kasih kepada sohib kita Jeff (sok kenal) yang sudah membuat package R yang dia beri nama twitteR sehingga kita tinggal dengan mudah menggunakannya lewat function-function yang udah dibuat. Oke langsung saja ke tahap-tahapnya.

1. Gernerate access token

Generate access token API key dan API secret untuk bisa mengakses twitter API. Cara membuatnya langsung saja ke tulisan ini, inshaa Allah cukup jelas.

2. Install twitteR package

Ada 2 cara untuk install package di R, pertama dengan build in function di R install.package atau melalui github repository menggunakan package devtools install package dari CRAN Ini cara paling praktis untuk install package ke R, caranya sangat mudah tinggal tulis fungsi install.packages(“package_name”) package akan otomatis terinstalll beserta dependensinya.

install package melalui Github menggunakan library devtools Terkadang ada package yang belum terdaftar di CRAN sehingga belum bisa kita install menggunakan install.packages, tapi kita tetap bisa menginstall package tersebut melalui repository development-nya dengan bantuan package devtools.Berikut adalah syntax untuk install twitteR package dengan dua cara diatas:

1
2
3
4
5
6
#install twitteR package dari CRAN
install.packages("twitteR")

#install twitteR package dari github repository
library(devtools)
install_github("twitteR", username="geoffjentry")  

3. Aktifkan package dan twitter authentication

Setelah twitteR package terinstall, kita tinggal mengaktifkan package dengan function library(twitteR), setelah itu kita perlu melakukan proses autentifikasi menggunakan credential yang kita dapat di step 1 untuk bisa mengakses API twitter. Di package twitteR sendiri telah ada fungsi untuk menjalankan autentifikasi tanpa perlu menggunakan bantuan package lain seperti httr.

1
2
3
4
5
6
7
library(twitteR) #aktifkan package twitteR

api_key = "xxxxxxxxxxxxQylT" #change with yours
api_secret = "KZCxxxxxxxxxxxxxxxxxxxxxxxiQy" #change with yours
token = "38xxxxxxxxxxxxxxxxxxxxxxxnsp" #change with yours
token_secret = "IYxxxxxxxxxxxxxxxxxxxxxxxxxxORkf7" #change with yours
setup_twitter_oauth(api_key, api_secret, token, token_secret) #fungsi untuk autentifikasi

Setelah credential telah diaktifkan, sekarang kita sudah bisa mengakses data dari API twitter.

4. Crawl data dari twitter

Untuk menggenerate data kita menggunakan fungsi searchTwitter, fungsi ini mempunyai beberapa parameter, yang terpenting adalah keyword yakni keyword apa yang ingin kita download dari twitter. Kita juga bisa menambah parameter n yakni jumlah tweet yang ingin kita ambil serta mengatur waktu dari rentang kapan data yang mau kita ambil (tentunya dari masa lalu hingga sekarang). Berikut contohnya.

1
2
#ambil 100 tweet berbahasa indonesia yang mengandung keyword corona dari tanggal 7 hingga 9 Februari 2020
tweets = searchTwitter("corona", n = 1000, since = "2020-02-07", until = "2020-02-09", lang = 'id')

searchTwitter akan mengembalikan data bertipe list, jika ingin melakukan analisis akan lebih mudah jika kita menggunakan data bertipe data frame, untung saja di twitteR telah ada build in function untuk merubah data bertipe list ke data frame menggunakan fungsi twListToDF.

1
2
3
4
#merubah data list ke data frame
tweets_df = twListToDF(tweets)
#data telah berbentuk dataframe dan siap dianalisa
names(tweets_df) #untuk melihat kolom apa saja yang dimiliki oleh data
1
2
3
4
##  [1] "text"          "favorited"     "favoriteCount" "replyToSN"    
##  [5] "created"       "truncated"     "replyToSID"    "id"           
##  [9] "replyToUID"    "statusSource"  "screenName"    "retweetCount" 
## [13] "isRetweet"     "retweeted"     "longitude"     "latitude"

output : searchTwitter memberikan data dengan 16 kolom sebagai diatas. contoh tweet yang kita dapat adalah.

1
head(tweets_df)
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
##                                                                                                                                                  text
## 1                                                          RT @MrZiel: @datteamejanai @cheesyfloat Kejang kejang karna corona paling dikira kesurupan
## 2 RT @dr_koko28: CORONA VIRUS\n\n- 722 people dead\n- 5900 in serious condition\n- Over 34,000 infections\n- Cases confirmed in 25 countries.\n\nAdv…
## 3     RT @msaid_didu: Semoga Bpk paham bhwa \nPertumbuhan 5 % itu sampai Desember 2019.\nCorona baru terjadi Januari 2020 dan itu di China.\nMari ki…
## 4        RT @fahiraidris: Baru-baru ini #Singapura meningkatkan status ancaman virus #Corona di negaranya. Kemlu pun mengingatkan wisatawan Indonesi…
## 5                                              RT @CNNIndonesia: Korban Meninggal Akibat Virus Corona di China Jadi 803 Orang https://t.co/pdMvH2av9a
## 6     RT @SisiLusipara: Pedulikah Ia?\n\nPM Singapura Unggah Imbauan Waspada Corona via Youtube, Bagaimana Jokowi?\nDownload Link || https://t.co/so…
##   favorited favoriteCount replyToSN             created truncated replyToSID
## 1     FALSE             0      <NA> 2020-02-08 23:59:57     FALSE       <NA>
## 2     FALSE             0      <NA> 2020-02-08 23:59:55     FALSE       <NA>
## 3     FALSE             0      <NA> 2020-02-08 23:59:42     FALSE       <NA>
## 4     FALSE             0      <NA> 2020-02-08 23:59:42     FALSE       <NA>
## 5     FALSE             0      <NA> 2020-02-08 23:59:39     FALSE       <NA>
## 6     FALSE             0      <NA> 2020-02-08 23:59:38     FALSE       <NA>
##                    id replyToUID
## 1 1226294626266439681       <NA>
## 2 1226294620373405696       <NA>
## 3 1226294566178848769       <NA>
## 4 1226294565889462272       <NA>
## 5 1226294551771398144       <NA>
## 6 1226294548936052736       <NA>
##                                                                           statusSource
## 1 <a href="http://twitter.com/download/android" rel="nofollow">Twitter for Android</a>
## 2 <a href="http://twitter.com/download/android" rel="nofollow">Twitter for Android</a>
## 3 <a href="http://twitter.com/download/android" rel="nofollow">Twitter for Android</a>
## 4 <a href="http://twitter.com/download/android" rel="nofollow">Twitter for Android</a>
## 5 <a href="http://twitter.com/download/android" rel="nofollow">Twitter for Android</a>
## 6 <a href="http://twitter.com/download/android" rel="nofollow">Twitter for Android</a>
##        screenName retweetCount isRetweet retweeted longitude latitude
## 1   serendipitwty          826      TRUE     FALSE        NA       NA
## 2     GilangGum29          343      TRUE     FALSE        NA       NA
## 3  Voirmountagnes         2362      TRUE     FALSE        NA       NA
## 4       AbolichdZ          421      TRUE     FALSE        NA       NA
## 5 NovrikoSulistio          228      TRUE     FALSE        NA       NA
## 6   anitamarlian2           41      TRUE     FALSE        NA       NA

Parameter diatas seperti keyword, n, date range dapat kita ubah sesuai dengan keinginan kita, bisa juga kita menambahkan parameter lainnya sesuai dengan yang ada di dokumentasi twitteR package. Tentu saja, REST API ini punya limit dalam memberikan data kepada client baik rentang waktu yang bisa diakses maupun jumlah tweet yang diberikan, ada baiknya untuk membaca dulu dokumentasi twitter API sebelum mengaksesnya baik melalui R, python atau bahasa lainnya. Sekian, semoga bermanfaat.

featured image

Jokowi's Cabinet Reshuffle Buzz

Background

President Joko Widodo announced cabinet reshuffle on 27th July, 2016. A move aimed at enhancing the effectiveness of his cabinet. This thing generated mixed responses from netizen. Some are pros and others are cons. Knowing about what people think about reshuffle looks interesting. So, I analyze what people talk on twitter regarding reshuffle topic by tracking keyword “#reshuffle” then extract information from there.

Data

I collected data from 27 July 2016 till 3 August 2016 and got total of 15,290 tweets contains hashtag #reshuffle (of course, actually more than that number of tweets about #reshuffle out there). I use twitteR package by Jeff Gentry to crawl the tweets.

Analysis

Type of Tweets

Let’s start the analysis by knowing the tweet behaviour over #reshuffle keyword on twitter.

Type of tweet

It seems netizens is more like to retweet people tweet (55.4%) instead of express their own thought (tweet, 42.5%). Few of them (2,07%) did further discussion by replying tweet each others. Tweet’s rush hour

This graph shows the distribution of time used by netizens to active on twitter. It looks netizens more like to spend their morning time to active on twitter instead of in the night. Peak time is at 8.00 am.

Influencer

Now, we will find out who’s the ‘buzzer’ on twitter that spread tweet about #reshuffle. Here you go.

Top 5 influencer of #reshuffle

There are total of 6081 unique users posted about #reshuffle on that period with impression 837,660,066. Graph above shows the top 10 twitter accounts who posted the most.

Who is the star?

Below is the popularity distribution of ministers that get involve in this cabinet reshuffle. Let’s see who is the most talked (popular) minister over reshuffle issue. Top mentioned ministers

Woa!, Anies baswedan is the most popular minister over #reshuffle topic. Followed by Wiranto, Sri Mulyani and Ignasius Jonan.

What’s netizens thought?

Ok, in above we have known ministers that are populer among netizens. So, what their thought about them? Did they say good sentimet or vise versa?

Let wordcloud answers your question. Wordcloud below is clustered wordcloud for top 4 popular ministers that mentioned the most by netizens. Clustered wordcloud over top 4 popular ministers.

Wiranto Wiranto is linked to law issue since terms most appear around him are ‘kejahatan’, ‘dakwaan’, and ‘ham’.

Anies Baswedan Anies Baswedan seems got positive impression by netizens. They thanks to Anies for his performance, netizens also dissappoint about the replacement of Anies Baswedan

Sri Mulyani People are welcoming back Sri Mulyani, they hope she can heal ou economy.

Ignatius Jonan Ignatius Jonan, got mixed sentimen from netizen. Some are agree with his replacement, others are disappoint regarding his replacement because they think Jonan is good enough.

Jadi... Apa Itu Big Data?

Istilah big data menjadi sangat popular akhir-akhir ini. Semua orang dari segala bidang membicarakannya. Bahkan ada yang menyebutnya dengan istilah ‘mendadak big data’ karena seakan-akan orang-orang latah dengan istilah itu. Lalu, apa sebenarnya big data itu?

Susah mendeteksi dari mana istilah big data itu muncul. Definisi yang disepakati secara resmi pun belum ada. Jadi, setiap orang bisa saja punya definisinya sendiri-sendiri. Namun, dari segi awal kemunculannya, pendapat terkuat mengatakan bahwa big data berasal dari industri retail.

Istilah yang umum dipakai untuk menggambarkan big data adalah *3V (ada yang bilang 5V). Volume, Velocity, dan Variety.

  • Volume

    Sebuah sistem yang bisa dikategorikan sebagai big data harus memilik Volume yang besar. Pertanyaan selanjutnya, seberapa besar ukuran “besar” itu? Terjadi perbedaan pendapat lagi. Ada yang bilang seukuran petabytes (1,024 terabytes) atau exabytes (1,024 petabytes). Semakin lama dengan makin banyaknya data yang terkumpul dan perkembangan teknologi kriteria “Big” untuk big data bisa jadi akan bertambah.

  • Velocity

    Big data tidak cukup didefinisikan dengan volume saja. Tetapi juga dengan kecepatan data itu diproses atau dikumpulkan. Semakin canggih dan tinggi kemampuan hardware untuk mampu mengumpulkan dan memroses data hingga latency milisecond membuat sebuah istilah big data muncul.

  • Variety

    Di era internet dan digital, membuat tipe data yang mampu disimpan semakin beragam. Jika dulu terbatas hanya pada angka yang terstruktur, kini tipe data yang bermacam-macam dan tidak terstruktur juga bisa di tracking. Misal web log, gambar, audio, text, video dan sebagainya.

Untuk memudahkan penjelasan bagaimana big data bisa terjadi, ada baiknya menggunakan contoh. Misalnya. Di suatu malam, Andi, pergi ke betamart untuk membeli mie instan sebagai bekal menghadapi akhir bulan. Ketika sampai di betamart, Andi langsung menuju lorong tempat mie instan dipasang. Seperti biasanya, Andi mengambil merk favoritnya, mie merk A rasa soto sebanyak 4 buah. Tetapi, tak jauh dari mie merk A, Andi melihat mie dengan merk yang sama tapi dengan varian rasa baru, mie instan A rasa gudeg. Karena tertarik, Andi memutuskan untuk mengganti mie merk A rasa soto dengan merk A rasa gudeg. Diujung lorong saat hendak menuju kasir, Andi melihat mie merk B sedang ada promo produk barunya, mie B jumbo rasa sambal balado. Tergiur dengan harga dan ukurannya, Andi pun segera menukar 4 mie merk A rasa gudeg dengan 2 buah mie B jumbo rasa balado.

Informasi apa yang didapat oleh toko? Hari ini jam sekian seseorang membeli mie jumbo merk B sebanyak 2 bungkus. Itu saja. Tapi jika perilaku galau seperti Andi terjadi di toko online, maka informasi yang didapat bisa lebih dari itu. Barang apa saja yang telah dia lihat, barang yang tidak jadi dia beli, barang yang akhirnya dia beli, waktunya, profile orangnya dan banyak lagi memungkinkan untuk direkam. Dan karena semua klik bisa direkam dan menjadi data, maka ukuran data yang dihasilkan menjadi sangat besar sehingga disebut sebagai Big Data.

Industri big data sendiri diprediksi akan naik menjadi $53.4 Milyar pada 2016 dari sebelumnya senilai $10.2 Milyar pada 2012. Di di Indonesia sendiri, industry big data juga akan terus mengalami kenaikan salah satunya dipicu oleh banyaknya e-commerse baru bermunculan dan menjadi trend menggeser industri retail offline. Selain itu, kesadaran pelaku bisnis -hampir di semua bidang- akan pentingnya data dalam mengambil keputusan juga semakin meningkat.

Hal tersebut tentunya menjadi peluang tersendiri bagi data geek di tanah air untuk meramaikan dan juga men-support era big data di tanah air.