先聲明使用 mongodb 作為資料存放的方式, 只是筆者目前的階段性選擇, 在未來何時會因應需求而跳槽也未可知, 但這裡還是會說明選擇以此作為資料存放的理由。 在最初的想法是打算以 JSON 格式的文本直接存放資料, 但文件與資料庫還是有許多差異 database vs flat files, 為了讓蒐集下來的資料可以保有查詢的功能, 後續就採用 mongodb 來存放。 運行容易 Schema-free 的模型在資料建置上自由 資料容易與 JSON 或是 python 的 »
延續前一個主題針對 CachedPage 做 crawl, 我有了目標網站在 Cached Page Server 上還存留的清單, 接下來要進行較為複雜的爬蟲工作 (反覆的解析原始網頁內容、抓取圖片), 這時候之前學會的技巧就遇到了一些問題 之前的架構 是循序, 透過 Requests 抓取 html content 解析網址, 再使用 BeautifulSoup, bs4 去將 html »
筆者最近的功課之一是需要撈一個已經下線的網站內容, 所以首先要從網路上的頁面庫存下手 cachedpages; 順帶一提, 撰寫爬蟲撈取資料的人很多, 一種使用 cached page 的方式是因為目標網站會 ban 掉一些 (惡意?) 造成頻寬、系統負擔問題的連續需求發送端, 所以轉而向 cached page 著手。 Github Source 這裡因為 google 的頁面庫存保留時間過短, 所以實作上僅對 https://archive. »
講者 Philipz 鄭淳尹 ＠東吳大學 題外話, 講者在早期參加創業競賽, 當時認識了 VoiceTube 的創辦人詹益維。 Slide Link 目前專業仍是放在資訊背景中的系統架構為主, 提到關於未來技術的 keyword infrastructure as code 讓大家自己 survey。 前言 一些常見的交易員應有心態, 以及在程式交易這塊如同迷霧中解密, 很多人都會走火入魔, 而講者本身在 2013 已經放棄了這塊 »
本次為 Google 開發者社群推廣的一日活動, 完整議程參考 主辦單位提供。 議程筆記 Personal 會議整理 Material Design / 實感設計 @Takuo Suzuki / 鈴木拓生 傳統的應用程式在不同的 platform 通常都呈現了不同的 interface, 對一般的使用者在使用上的經驗無法連貫以及學習曲線上的困難, Google 於 2014 制定了 Material Design 規範了 »
Github Source Code 最近開始學習 JavaScript, 趁著 trace 別人寫的 code 來認識基本語法; 本篇就從為了要實做一些動畫效果, 一邊觀察 react-native-animatable 這個模組來一邊學習動畫的操作。 Animation Reference @browniefed 關於動畫功能介紹與舉例皆滿詳盡的一本 GitBook。 ReactJS Component 生命週期 在介紹模組內容之前, 要先補齊一些對元件的基礎觀念。( Reference I、 »
原名 Learning React Native. by Bonnie Eisenman 筆者最近花了差不多一個月的時間, 總算把 React Native 學習手冊 閱讀以及例子都練習完畢了 (...累), 過程中當然也一邊把重點都整理到 Gitbook 讓自己之後可以複習、消化, 回首來看, 這本也是筆者少數真的有完成的電子書了, 平時更新 Blog 就感到頗為費心, 但果然還是不能跟寫書相比 (不管是量 或是 »