Tag: python3

Web Scraping setelah Login

Posted on by Aan Subarkah

Setelah pengantar web scraping di tulisan pertama dan dilanjutkan dengan scraping banyak halaman penulis merasa minimal perlu satu tulisan lagi soal scrapy, bagaimana mengambil data yang hanya dapat diakses setelah melakukan login. Yang dimaksud login di sini adalah login sederhana, memasukkan username dan password. Jika terdapat captcha maka perlu pendekatan lain, misalnya menggunakan kecerdasan buatan (mudah-mudahan kita punya kesempatan untuk membahas ini di masa depan). Secara garis besar, setelah kita berhasil login maka server akan membuat sebuah sesi untuk kita, dalam sesi tersebut kita bisa mengakses layanan server tersebut. Agak teknis, sesi itu akan melibatkan session, cookie dan (kadang) token, namun dua yang pertamalah yang lebih banyak ditemui. Seringnya kita tidak perlu mengetahui secara akurat apa dan bagaimana terjadi, seperti[…]

Web Scraping Banyak Halaman

Posted on by Aan Subarkah

Melanjutkan tulisan sebelumnya kita akan meningkatkan tantangan, mengambil data dari banyak halaman to infinity and beyond. Karena basangdata minim konten dan baru ada dua halaman maka kita perlu mencari web lain dengan banyak konten berhalaman-halaman. Salah satu website yang menyediakan informasi yang menarik dan memiliki banyak halaman adalah inaproc.id yang adalah portal pengadaan (barang dan jasa) pemerintah, diampu oleh LKPP (Lembaga Kebijakan Pengadaan Barang Jasa Pemerintah). Kita akan mengambil data rencana umum pengadaan di sini. Bagi yang belum/tidak pernah bersinggungan dengan pengadaan barang jasa pemerintah, halaman rencana umum pengadaan (rup) menyediakan informasi rencana pengadaan (pembelian) barang yang akan dilakukan oleh institusi pemerintah. Berdasar informasi tersebut penyedia jasa akan mengajukan penawaran kepada institusi pemerintah itu. Jadi jika kita berhasil mengambil semua[…]

Python Baca File Txt

Posted on by Aan Subarkah

Sering kita perlu membaca file txt (teks) dari script Python, misalnya konfigurasi program disimpan dalam teks sederhana, untuk itu script python perlu membaca file teks tersebut. Untuk kebutuhan itu, python telah menyediakan fungsi bawaan (built in) bernama open, lebih lanjut mengenai fungsi ini silahkan merujuk ini. Misal kita memiliki file teks dengan data tahun seperti ini. 2017 2018 2019 File tersebut disimpan sebagai tahun.txt yang disimpan di /home/user/tahun.txt atau d:\tahun.txt. f = open(“/home/user/tahun.txt”, “r”) print(f.read()) f = open(“d:\\tahun.txt”, “r”) print(f.read()) Dua script tersebut akan menampilkan seperti ini. Dapat pula digunakan kode di bawah ini untuk mencapai hal yang sama. with open(“/home/user/tahun.txt”, “r”) as f: print(f.read()) Jika ingin hanya menampilkan 3 karakter pertama. with open(“/home/user/tahun.txt”, “r”) as f: print(f.read(3)) Jika tiap[…]

Python Memindahkan Data Excel

Posted on by Aan Subarkah

Salah satu keunggulan scripting language seperti Python adalah kemudahan eksekusi sehingga tepat digunakan untuk menyelesaikan masalah sehari-hari. Dengan scripting language (baca: Python) kode relatif lebih pendek dan tidak membutuhkan waktu untuk mengkompilasi. Tapi kita simpan pembahasan itu untuk entah kapan, sekarang saatnya menyelesaikan real world problem. Bagaimana memindahkan data dari kolom B ke kolom C pada baris 96 dan 108 dan entah baris berapa lagi, tanpa merubah data kolom C baris 100, 101 dan baris-baris lainnya. Dengan fungsi Excel tentu sulit karena kita tidak tahu akan muncul di baris ke berapa saja, tidak mungkin pula copy and paste formula pada kolom C yang ada isinya. Cut and Paste, sama saja bunuh diri. Jangan worry, Python to the rescue. Kita akan[…]

Python Mencari Kalimat Mirip dalam Data Excel

Posted on by Aan Subarkah

Setelah berhasil membuat dan mengubah file Excel menggunakan Python, mari mulai mencari studi kasus yang lebih mudah dikerjakan dengan bantuan Python alih-alih hanya Excel. Selalu menggunakan Python untuk semua kasus atau sebaliknya, menggunakan Excel saja untuk semua masalah yang dihadapi, adalah tidak efisien, gunakan alat yang tepat untuk masing-masing kondisi agar kita dapat segera meninggalkan layar komputer dan melanjutkan hidup. Hehehe. Di grup Excel diberikan soal seperti ini, jika ada nama pada kolom H yang mirip dengan nama pada kolom F, tampilkan nilai kolom I pada kolom G. Jika nama pada kolom H dan F sama maka kita dapat dengan mudah menggunakan fungsi vlookup. Namun vlookup sensitif sekali, beda satu spasi saja tidak akan menghasilkan keluaran yang kita harapkan apalagi[…]

Olah Data Excel dengan Python – Mengubah File

Posted on by Aan Subarkah

Pada tulisan sebelumnya kita telah mendiskusikan bagaimana membuat file Excel menggunakan Python, pada tulisan berikut kita akan mendiskusikan bagaimana mengubah dan mengolah data pada Excel. Kita akan menggunakan satu kasus yang pernah ditanyakan di Grup Excel Indonesia. Anda dapat mendownload file Excelnya di sini lalu simpan dengan nama contoh_if.xlsx di folder kita sebelumnya d:\latihan_excel_python\. File di atas berisi daftar nilai siswa, tujuan yang akan dicapai adalah menentukan kelulusan tiap siswa dengan syarat. Nilai minimal 4,25 untuk setiap mata pelajaran dengan nilai rata-rata minimal 5,25 atau (LULUS) Boleh nilai minimal 4,00 pada salah satu mata pelajaran dengan nilai mata pelajaran lainnya minimal 6,00 (LULUS) Jika tidak memenuhi syarat tersebut (GAGAL) Jika (if) disebut pula conditional statement, kita akan bertanya pada Google[…]

Olah Data Excel dengan Python – Membuat File

Posted on by Aan Subarkah

Setelah melakukan instalasi Python, saatnya menggunakannya untuk membantu mengolah data yang kita miliki di Excel. Kenapa perlu alat bantu lain, padahal sudah ada Formula, Pivot dan bahkan VBA? Benar, hanya gunakan Python atau tools lainnya jika menurut Anda fitur yang ada di Excel tidak memenuhi kebutuhan, menggunakan alat bantu lain memerlukan pengetahuan dan menambah kompleksitas. Umumnya python digunakan saat. Mengotomasi pekerjaan yang sama berulang, misal menyalin data yang sama ke banyak sheets. Data sudah teramat banyak, Excel mulai menghabiskan terlalu banyak waktu untuk melakukan kalkulasi. Anda ingin melakukan lebih dengan data yang dimiliki, misal menggunakan Kecerdasan Buatan untuk memprediksi jenis kelamin dari nama. Untuk dapat mengakses file Excel, Python memerlukan library tambahan, salah satunya adalah OpenPyXL. Sama seperti sebelumnya kita[…]

Instalasi Python 3 pada Windows

Posted on by Aan Subarkah

Python adalah Bahasa Pemrograman yang populer, menurut Tiobe di Oktober 2018 Python menduduki peringkat keempat setelah Java, C dan C++. Para Data Scientist juga menempatkan Python di urutan pertama bahasa yang mereka gunakan. Anda mungkin bukan data scientist, ai engineer atau pekerja dengan julukan aneh lainnya, Anda “hanya” seorang guru yang ingin mempermudah memutuskan siswa lulus atau tidak berdasarkan beberapa kriteria. Mungkin Anda “hanya” seorang pengusaha UKM yang perlu mengotomasi catatan penjualan harian, namun tak ada salahnya kita lihat apa alasan kenapa Data Scientist menyukai Python mana tahu Anda merasakan hal yang sama. #1. Penulisan yang lebih sederhana dan mudah dipahami. Dibandingkan dengan bahasa lain, Python relatif lebih mudah dipahami, bahkan oleh pemula sekalipun. Sebagai contoh, jika ingin menampilkan 3[…]