Veiciet tīkamus tīmekļa pētījumu pētījumus, izmantojot dziļo tīmekļa datu un Excel tīmekļa vaicājumus

Reklāma

Ko jūs teiktu, ja es jums teiktu, ka jūsu rīcībā ir instrumenti, lai veiktu novatoriskus, zemes graujošus pētījumus? Nu, jūs darāt, un es jums parādīšu, kā.

Valdības, akadēmiskās iestādes un bezpeļņas pētniecības organizācijas publiski publisko tabulas, kurās ir pilna informācija. Ja kāds neizmanto šo informāciju, tā patiesā vērtība nekad nebūs zināma. Diemžēl tikai dažiem cilvēkiem ir ieskats, prasmes vai rīki, lai ņemtu datus un izveidotu interesantas korelācijas starp šķietami nesaistītu informāciju.

Pamatinformācija

Liela daļa pētījumu, ko es veicu savam emuāram, ir saistīti ar tā dēvētā neredzams tīmeklis 12 labākās meklētājprogrammas neredzamā tīmekļa izpēteiGoogle vai Bing nevar meklēt visu. Lai izpētītu neredzamo tīmekli, jums jāizmanto šīs īpašās meklētājprogrammas. Lasīt vairāk , lai atklātu datus, kas ir publiskoti, bet ir paslēpti no meklētājprogrammas 5 vismodernākās meklētājprogrammas tīmeklī Lasīt vairāk tiešsaistes datu bāzē. Tas ir dziļais tīkls TorSearch mērķis ir būt Google dziļajam tīmeklim

Tor ir slēpts pakalpojums un Deep Web daļa. TorSearch ir jauna anonīma meklētājprogramma, kuru tās dibinātājs Kriss Maknaudons vēlas izveidot “Google of Tor”. Lasīt vairāk , un tas ir bagātīgs ar vērtīgiem datiem. Ļoti bieži es sastopos ar tīmekļa vietnēm, kas ir tikai aizpildītas ar dažiem visvērtīgākajiem datiem par tēmām, kas aptver diapazonu no skaitīšanas datiem līdz reto slimību epidemioloģiskiem pētījumiem. Man pastāvīgi rodas jaunas idejas, kā izmēģināt un savstarpēji saistīt šos atšķirīgos datu avotus, izmantojot dažādus rīki - un viens no vērtīgākajiem rīkiem, ko esmu atradis, ir Web vaicājums Microsoft iekšienē Excel.

Interesantu datu korelāciju atrašana

Tas, ko es šodien jums parādīšu, ir piemērs tam, kā varat izmantot Excel Web vaicājumus, lai savāktu datus no dažādas vietnes un salīdziniet tās, lai meklētu iespējamās korelācijas starp dati.

Veids, kā sākt šādu vingrinājumu, ir jānāk klajā ar interesantu hipotēzi. Piemēram, lai šeit būtu interesanti, es nejauši postulēšu, ka Amerikas Savienotajās Valstīs strauji pieaug autisma līmenis izraisa vai nu vakcīnas inokulācijas, vai arī pieaugošais elektromagnētisko lauku klātbūtne bērniem un ap tiem, piemēram, šūna tālruņi. Tā ir traka hipotēze, kuru jūs atradīsit lielākajā daļā sazvērestības teorijas vietņu, taču tieši tas padara to jautru. Tātad, sāksim, vai ne?

Vispirms atveriet Excel, dodieties uz datu izvēlnes vienumu un izvēlnes lentē atrodiet ikonu “No Web”.

Tas ir tas, ko jūs izmantojat, lai importētu dažādas datu tabulas no daudzajām vietnēm, kas tās ir publicējušas.

Tīmekļa datu importēšana programmā Excel

Tāpēc vecajos laikos jums bija jāmēģina nokopēt datus no šīs tabulas uz tīmekļa lapu, ielīmēt tos programmā Excel un pēc tam risināt visas trakās formatēšanas problēmas, kas saistītas ar to. Pilnīga apgrūtināšana, un daudzreiz tas vienkārši nav galvas sāpju vērts. Ar Excel Web vaicājumiem šīs dienas ir pazudušas. Protams, pirms datu importēšanas jums būs jāmeklē tīmeklī Google, lai tabulas formātā atrastu vajadzīgos datus. Manā gadījumā es atradu vietni, kurā bija publicēta Izglītības departamenta statistika par ASV valsts skolu audzēkņu skaitu, kuriem tika noteikts autisms. Jaukā tabulā bija skaitļi no 1994. gada līdz 2006. gadam.

Tātad jūs vienkārši noklikšķiniet uz “No Web”, ielīmējiet tīmekļa lapas URL vaicājuma adreses laukā un pēc tam ritiniet lapu uz leju, līdz blakus tabulai redzat dzelteno bultiņu ar datiem, kurus vēlaties importēt.

Noklikšķiniet uz bultiņas, lai tā kļūtu par zaļu atzīmi.

Visbeidzot, pastāstiet Excel, kurā laukā vēlaties ielīmēt tabulas datus jaunās izklājlapas iekšpusē.

Tad - Voila! Dati automātiski ieplūst tieši izklājlapā.

Tā kā pastāv valsts skolu autisma līmeņa tendence no 1996. līdz 2006. gadam, ir pienācis laiks doties meklēt arī vakcināciju un mobilo tālruņu lietošanas tendences.

Par laimi, es ātri atradu mobilo tālruņu abonentu tendences ASV no 1985. gada līdz 2012. gadam. Lieliski dati par šo konkrēto pētījumu. Atkal es izmantoju Excel Web Query rīku, lai importētu šo tabulu.

Es importēju šo tabulu tīrā, jaunā lapā. Pēc tam es atklāju vakcinācijas tendences procentos skolu bērnu, kas vakcinēti pret dažādām slimībām. Es importēju šo tabulu, izmantojot Web Query rīku, trešajā lapā. Tātad, visbeidzot, man bija trīs lapas ar trim tabulām, kas bija piepildītas ar šķietami nesaistītiem datiem, ko biju atklājis tīmeklī.

Nākamais solis ir Excel izmantošana, lai analizētu datus un mēģinātu noteikt jebkādas korelācijas. Tieši šeit tiek izmantots viens no maniem iecienītākajiem datu analīzes rīkiem - PivotTable.

Datu analīze programmā Excel, izmantojot PivotTable

Vislabāk ir izveidot savu PivotTable pavisam jaunā, tukšā lapā. Jūs vēlaties izmantot vedni tam, ko gatavojaties darīt. Lai programmā Excel iespējotu vedni PivotTable, vienlaicīgi jānospiež Alt-D, līdz tiek parādīts paziņojumu logs. Pēc tam atlaidiet šīs pogas un nospiediet taustiņu “P”. Pēc tam jūs redzēsit vedni.

Vedņa pirmajā logā vēlaties atlasīt “Vairāki konsolidācijas diapazoni”, kas ļauj atlasīt datus no visām importētajām lapām. To darot, jūs varat apvienot visus šos šķietami nesaistītos datus vienā, jaudīgā, pagriežamā formā. Dažos gadījumos jums, iespējams, būs jāmasē daži dati. Piemēram, man bija jālabo “gads” autisma tabulā, lai tā vietā parādītu “1994” “1994–1995” - padarot to labāku, salīdzinot ar citu lapu tabulām, kurām bija arī pirmais gads lauka.

Šis kopējais datu lauks ir nepieciešams, lai mēģinātu korelēt informāciju, tāpēc paturiet to prātā, meklējot datus tīmeklī.

Kad PivotTable ir paveikts un visas dažādās datu vērtības ir parādītas vienā tabulā, ir laiks veikt vizuālu analīzi, lai redzētu, vai ir kāds acīmredzams savienojums, kas pie jums sāk parādīties.

Datu vizualizēšana ir atslēga

Ja tabulā esat ekonomisks, ir lieliski turēt tabulā ciparus, taču tas ir ātrākais un vienkāršākais veids, kā ka “aha!” brīdis, kad jūs mēģināt atrast savienojumus, piemēram, adatu siena kaudzē, ir caur diagrammām un grafiki. Kad jūsu PivotChart ir vietā ar visām jūsu apkopotajām datu kopām, ir laiks izveidot grafiku. Parasti līnijas diagramma darbosies vislabāk, bet tas ir atkarīgs no datiem. Dažreiz joslu diagramma darbojas daudz labāk. Mēģiniet saprast, kādus datus skatāt un kādi salīdzinājumi darbojas vislabāk.

Šajā gadījumā es aplūkoju datus laika gaitā, tāpēc līniju diagramma patiešām ir labākais veids, kā redzēt tendences gadu gaitā. Diagrammē autisma rādītājus (zaļš) pret samazinātu vakcinācijas līmeni (tumši zils), vējbaku vakcīnām (gaiši zils) un mobilā tālruņa lietošana (purpursarkanā krāsā), šajā manis atskaņotajā datu kopā pēkšņi parādījās nepāra korelācija ar.

Savādi, ka mobilo tālruņu lietošanas tendence no 1994. līdz 2006. gadam gandrīz pilnībā atbilda autisma līmeņa pieaugumam tajā pašā laika posmā. Lai gan modelis bija pilnīgi negaidīts, tas ir lielisks piemērs tam, kā, sasaistot interesantus datus, var atklāt aizraujošus potenciālos klientus - nodrošinot lielāku ieskatu un motivāciju turpināt virzīties uz priekšu un meklēt vairāk datu, kas varētu vēl vairāk atbalstīt jūsu hipotēze.

Viena tāda korelācija kā iepriekš, neko nepierāda. Laika gaitā palielinās daudz tendenču - modelis varētu būt nejaušība, taču tas varētu būt arī nozīmīgs pavediens jūsu pastāvīgajā papildu datu meklējumos internetā. Par laimi, jums ir jaudīgs rīks ar nosaukumu Excel Web Queries, kas šo uzdevumu padarīs tikai nedaudz vieglāku.

Fotoattēlu kredīts: Kevins Doļijs caur fotopinskopija