Datu zinātnes veikšana mākonī ar ScraperWiki

Reklāma

Ja jums ir garīgas atziņas, nojausma programmēšanā un stāstīšanā, kā arī dizains, jūs varat darīt sliktāk, nekā iedziļināties datu zinātnē. Tā ir jauna, liela tehnoloģija; ļoti moderns un ļoti apmaksāts, un datu zinātniekus meklē daži no lielākajiem uzņēmumiem pasaulē.

ScraperWiki ir uzņēmums, kas jau sen ir saistīts ar datu zinātnes jomu. Dažus pēdējos gadus šī Liverpūles startēšanas programma ir piedāvājusi platformu kodētājiem, lai rakstītu rīkus, kas iegūst datus, iztīra tos un analizē tos mākonī.

Nesen atsvaidzinot informāciju un arvien pieaugot pieprasījumam pēc datu zinātniekiem uzņēmumā, ir vērts labi izpētīt ScraperWiki.

Pilnīga atklāšana: Es biju internāts ScraperWiki pagājušajā vasarā.

Ko dara ScraperWiki?

ScraperWiki sevi pārdod kā vietu, kur iegūt, tīrīt un analizēt datus, un tā nodrošina katru no šiem skaitļiem. Vienkāršākajā formā tas ļauj jums - lietotājam - vietu, kur varat rakstīt kodu, kas izgūst datus no avota, rīkus konvertēšanai to viegli analizējamā formātā un glabāšanai, lai saglabātu vēlākai vizualizācijai - ko jūs varat arī apstrādāt ar ScraperWiki.

Tas nāk arī ar vairākiem iepriekš izveidotiem rīkiem, kas automatizē atkārtotus uzdevumus, ieskaitot datu iegūšana no PDF failiem, kurus ir ļoti grūti atšifrēt. Tas ir papildus Twitter meklēšana 5 lieliski Twitter meklēšanas triki, lai uzraudzītu, ko cilvēki saka par jumsJa jums pieder vietne vai tikai kā brīvmākslinieks cenšaties nopelnīt naudu tiešsaistē, vienmēr ir labi zināt, ko cilvēki par jums saka internetā. Iespējams, cilvēki citē ... Lasīt vairāk un komunālo pakalpojumu kasīšana. Lai tos izmantotu, jums nav nepieciešama programmatūras izstrādes pieredze.

Izmaksas

Kā jau minēts iepriekš, ScraperWiki ietver freemium cenu veidošanas modeli un piedāvā pakalpojumu ar vairākiem līmeņiem. Tie, kas tikai sāk darbu ar datu zinātni vai kuriem ir ierobežotas vajadzības, var izmantot bezmaksas pakalpojumu. Tas dod jums trīs datu kopas - kur jūs glabājat savus datus un kodu.

Tie, kas plāno rakstīt vairākus skrāpjus vai vēlas veikt daudz datu analīzes, var izdomāt naudu prēmijas kontā. Tās sākas ar 9 USD mēnesī un piedāvā 10 datu kopas. Ja ar to joprojām nepietiek, jūs vienmēr varat jaunināt uz augstāko līmeni, kas nāk ar 100 datu kopām un maksā 29 USD mēnesī.

Kodēšana

Programmētāji bieži ir diezgan īpaši, kad runa ir par to, kā viņi kodē. Daži dod priekšroku skriptu valodām, nevis kompilētajām valodām. Daži dod priekšroku teksta redaktora nelielai pieredzei, nevis integrētai izstrādes videi (IDE). ScraperWiki to atzīst un dod lietotājam milzīgas izvēles iespējas attiecībā uz to, kā jūs rakstāt savu kodu.

Ja esat tik noskaņots, varat rakstīt savu kodu pārlūkprogrammā. Kā jūs gaidījāt no jebkuras profesionālās klases, tīmeklī Trīs populārākie IDE, kas balstīti uz pārlūkprogrammām, lai mākonī kodētu kodu Lasīt vairāk attīstības rīks, tas nāk ar funkcijām, kuras jebkurš programmētājs uzskatīs par būtiskām, piemēram, sintakse izceļot.

Piedāvājumā ir vairākas valodas. Tie ietver Python 5 labākās vietnes, lai uzzinātu Python programmēšanuVai vēlaties uzzināt Python programmēšanu? Šeit ir labākie veidi, kā mācīties Python tiešsaistē, no kuriem daudzi ir pilnīgi bez maksas. Lasīt vairāk , populāra skriptu valoda, ko izmanto patīk Google un NASA; Rubīns 3 interaktīvi, jautri, bezmaksas veidi, kā sākt mācīties Ruby programmēšanas valoduRubīns ir izteiksmīga, ļoti augsta līmeņa skriptu valoda. Tas tiek izmantots tīmeklī galvenokārt kā daļa no tīmekļa vietnes Ruby on Rails attīstības sistēmas, kā arī patstāvīgs. Ja jums ir interese par to, kas ir Rubīns (ne ... Lasīt vairāk , kas darbina vairākas populāras vietnes, piemēram, Living Social; un populārā statistiskās analīzes valoda R.

Turklāt jūs varat arī rakstīt kodu no komandrindas, izmantojot SSH, Git un jebkuru citu teksta redaktoru, kuru vēlaties izmantot. Jā, jūs lasījāt šīs tiesības. SSH Kas ir SSH un kā tas atšķiras no FTP [skaidrojums tehnoloģijai] Lasīt vairāk . Katrs izmantotais lodziņš ir savs Linux konts, un jūs ar to varat izveidot savienojumu tāpat kā ar VPS vai jebkuru citu apvalka kontu. Ir pieejami vairāki teksta redaktori, ieskaitot Vim Galvenie 7 iemesli, kāpēc Vim teksta redaktoram ir iespējaGadiem ilgi esmu izmēģinājis vienu teksta redaktoru pēc otra. Jūs to nosaucat, es to izmēģināju. Katru no šiem redaktoriem es izmantoju vairāk nekā divus mēnešus kā galveno ikdienas redaktoru. Kaut kā es ... Lasīt vairāk kuru var paplašināt ar spraudņiem un rediģējot konfigurāciju. Tie, kurus iebiedēja Vims, var izmantot Nano, kas ir viegls komandrindas teksta redaktors.

Instalētajām bibliotēkām vajadzētu būt pietiekamām, lai rakstīšanas rīki varētu iegūt datus un tos apstrādāt. Ja jums ir nepieciešams kaut kas nedaudz neskaidrs, no komandrindas vienmēr varat izveidot virtualenvu. Kā redzat, izstrādātājiem tiek piešķirta milzīga elastība.

Datu vizualizācija

Tātad, jūs esat ieguvis savus datus. Jūs to esat normalizējis. Jūs to esat notīrījis. Jūs to esat analizējis. Tagad ir laiks veikt kādu vizualizāciju un parādīt pasaulei to, ko esat iemācījušies.

ScraperWiki ļauj izstrādātājiem parādīt savus datus, izmantojot tīmekļa lapas, kas veidotas no visiem zināmajām HTML, CSS un JavaScript trīsdienēm. Turklāt Bootstrap komponenti tiek atbalstīti ārpus komplekta.

Ir pieejamas vairākas iepriekš sagatavotas vizualizācijas, ieskaitot tādas, kas attēlo jūsu datus kartē un atrod tendences jūsu atradumos. Lai tos lietotu, jums jāpārliecinās, ka dati tiek glabāti kā SQLite fails ar faila nosaukumu “scraperwiki.sqlite”. Tad jūs vienkārši pievienojat sev interesējošo vizualizāciju. Vienkārši, vai ne?

Secinājums

ScraperWiki piedāvā daudz izstrādātājiem, kuri vēlas veikt kādu datu analīzi, netraucējot viņu attīstības videi, vienlaikus ļaujot izpatikt pat visprasīgākajiem lietotājiem. Bet ko jūs domājat? Paziņojiet man par to komentāros zemāk.
Fotoattēlu kredīts: Raķešu zinātne (Dan Brown)