Data Apa Saja yang Bisa Diambil dari Web?

Sebelum scraping, pahami dulu jenis datanya. Ini menentukan tools dan metode yang tepat — serta apakah data tersebut legal untuk diambil.

Tiga sumber utama data web

Jenis data penelitian yang bisa dikumpulkan

Format data yang dihasilkan

10+ API Publik Gratis untuk Penelitian

Berikut daftar API yang paling berguna untuk penelitian akademis di Indonesia dan internasional — lengkap dengan jenis data dan cara akses.

Data Indonesia & Nasional

Data Internasional & Ekonomi Global

Data Bibliografi & Akademik

Cara panggil API tanpa coding (cukup browser)

Banyak API bisa dipanggil langsung dari browser. Contoh untuk World Bank — data GDP Indonesia:

https://api.worldbank.org/v2/country/ID/indicator/NY.GDP.MKTP.CD?format=json

Buka URL tersebut di browser, hasil berupa JSON yang bisa langsung di-copy atau disimpan. Gunakan Postman untuk eksplorasi yang lebih nyaman.

Tools Scraping: Dari Tanpa Coding hingga Python

Pilih tools sesuai kemampuan dan kebutuhan. Tidak semua penelitian butuh coding — banyak tools GUI yang powerful untuk kebutuhan akademis dasar.

Tools tanpa coding (No-Code)

Tools berbasis spreadsheet / low-code

Ekosistem Python (direkomendasikan untuk tesis)

Kode Python Siap Pakai

Empat contoh lengkap — dari yang paling sederhana hingga yang menggunakan API. Semua bisa langsung dijalankan di Google Colab (gratis, tanpa instalasi).

Contoh 1 — Baca tabel HTML langsung ke DataFrame

Cara termudah mengambil tabel dari halaman web tanpa parsing manual.

import pandas as pd

# Ambil semua tabel dari halaman Wikipedia
url = "https://en.wikipedia.org/wiki/List_of_countries_by_GDP"
tables = pd.read_html(url)

# Tabel pertama (index 0)
df = tables[0]
df.to_csv("gdp_data.csv", index=False)
print(df.head())

Contoh 2 — Panggil API World Bank

Mengambil data indikator pembangunan Indonesia dari API World Bank yang gratis.

import requests
import pandas as pd

# GDP per kapita Indonesia 2000-2023
url = ("https://api.worldbank.org/v2/country/ID"
       "/indicator/NY.GDP.PCAP.CD"
       "?format=json&per_page=30&mrv=24")

resp = requests.get(url)
data = resp.json()[1]  # index 1 = data aktual

df = pd.DataFrame([{
    "tahun": d["date"],
    "gdp_per_kapita_usd": d["value"]
} for d in data if d["value"]])

df.to_csv("indonesia_gdp_perkapita.csv", index=False)
print(df)

Contoh 3 — Scraping HTML statis dengan BeautifulSoup

Mengambil judul dan ringkasan berita dari halaman berita sederhana.

import requests
from bs4 import BeautifulSoup
import pandas as pd

url = "https://example-news-site.com/ekonomi"
headers = {"User-Agent": "Mozilla/5.0"}
resp = requests.get(url, headers=headers)
soup = BeautifulSoup(resp.text, "html.parser")

hasil = []
for artikel in soup.find_all("article"):
    judul = artikel.find("h2")
    tanggal = artikel.find("time")
    if judul:
        hasil.append({
            "judul": judul.text.strip(),
            "tanggal": tanggal["datetime"] if tanggal else "N/A"
        })

pd.DataFrame(hasil).to_csv("berita.csv", index=False)

Contoh 4 — Ambil data bibliografi via OpenAlex API

Cari paper berdasarkan kata kunci — berguna untuk systematic review atau bibliometrics.

import requests
import pandas as pd

keyword = "structural equation modeling Indonesia"
url = f"https://api.openalex.org/works?search={keyword}&per-page=50"

resp = requests.get(url)
results = resp.json()["results"]

papers = [{
    "judul": r.get("title", ""),
    "tahun": r.get("publication_year"),
    "sitasi": r.get("cited_by_count"),
    "doi": r.get("doi", "")
} for r in results]

df = pd.DataFrame(papers)
df.to_csv("paper_sem_indonesia.csv", index=False)
print(f"Ditemukan {len(df)} paper")

Etika & Aspek Legal Web Scraping

Ini bagian yang paling sering diabaikan mahasiswa. Pembimbing dan reviewer jurnal semakin kritis terhadap sumber data web — pastikan kamu aman secara etis dan legal.

Apa yang boleh dan tidak boleh di-scrape?

Cek robots.txt sebelum scraping

File robots.txt adalah dokumen yang website gunakan untuk memberi tahu bot/scraper mana bagian yang boleh dan tidak boleh diakses. Selalu cek dulu sebelum mulai.

https://www.namadomain.com/robots.txt

# Contoh isi robots.txt:
User-agent: *
Disallow: /private/
Disallow: /user-data/
Allow: /public/

Checklist etika sebelum scraping

• 1
  Baca Terms of Service (ToS) website yang akan di-scrape. Banyak platform (Twitter/X, LinkedIn) melarang scraping selain lewat API resmi mereka.
• 2
  Cek robots.txt dan hormati instruksi Disallow.
• 3
  Gunakan delay antar request (minimal 1–2 detik) agar server tidak terbebani. Ini juga mencegah IP kamu diblokir.
• 4
  Jangan simpan atau publikasikan data pribadi yang mengidentifikasi individu, sesuai UU Perlindungan Data Pribadi Indonesia.
• 5
  Cantumkan sumber dengan jelas di metodologi penelitian — tanggal akses, URL, dan metode pengumpulan.
• 6
  Gunakan API resmi jika tersedia — lebih aman, stabil, dan sesuai ToS. API biasanya lebih cepat dari scraping.

Cara Melaporkan & Mensitasi Data Web (APA 7th)

Data dari web harus disitasi dan dilaporkan dengan benar di Bab 3 Metodologi dan Daftar Pustaka. Berikut format yang benar sesuai APA 7th edition.

Format sitasi untuk berbagai sumber web

Cara melaporkan metode scraping di Bab 3

Hal wajib disebutkan di metodologi

• Nama sumber data (URL lengkap)
• Tanggal atau rentang waktu pengambilan data
• Tools/bahasa pemrograman yang digunakan
• Jumlah observasi yang berhasil dikumpulkan
• Cara validasi/pembersihan data (cleaning)
• Pertimbangan etis dan kepatuhan ToS

Tentang Penulis

Yogo Aryo Jatmiko adalah Statistisi Ahli di BPS Indonesia dan Dosen Demografi di Politeknik Statistika STIS Jakarta. Dengan lebih dari 10 tahun pengalaman di bidang statistik dan data, ia aktif membantu mahasiswa S1–S3 dalam olah data, metodologi, dan pelaporan hasil penelitian.

Ruang Statistika lahir dari kepedulian bahwa banyak mahasiswa cerdas tersandung di statistik bukan karena tidak mampu, tapi karena kurang mendapat penjelasan yang tepat dan terjangkau.

Layanan Konsultasi

Kontak & Temukan Saya