Metodologia

Processo de Geração de Dados (PGD)

Processo de geração de dados

A seguir, vamos ver um exemplo. O exemplo veio de um estudo da ABJ, sobre a judicialização da saúde na Justiça Federal do Ceará.

Pergunta inicial

Eu posso afirmar com certeza que existem aproximadamente a mesma quantidade de processos com 1 e com 2 partes?

Como esse dado foi gerado?

  • Os dados foram coletados automaticamente do site da Justiça Federal do Ceará
  • Na Justiça Federal, os dados apareciam da seguinte maneira:
  • Então o scraper que criamos extraía o nome da parte e o seu tipo de participação
  • Consideramos como polo ativo apenas as partes classificadas como “Impetrante”, “Autor”, “Embargante”, “Parte Autora”, “Exequente” e “Requerente”.

Como vocês avaliaram o gráfico, então, sabendo disso?

Voltando à pergunta inicial

Eu posso afirmar com certeza que existem aproximadamente a mesma quantidade de processos com 1 e com 2 partes?

Processo de Geração de Dados (PGD)

  • Definição. O processo de geração de dados é a forma por meio da qual,determinada informação foi criada.
  • Importância. Ele é importante porque:

sem essa informação, nós não podemos determinar se utilizar processos padrões de análise de dados irá produzir inferências enviesadas. Somente ao saber do processo por meio do qual os dados foram gerados é que nós conseguiremos produzir uma inferência causal ou descritiva válida.

KING, G.; KEOHANE, R. O.; VERBA, S. Designing Social Inquiry: Scientific Inference in Qualitative Research. Princeton: Princeton University Press. 1994, p. 23.

Processo de Geração de Dados (PGD)

  • Incerteza. O desconhecimento do PGD gera incerteza subjetiva sobre os dados. Por isso o PGD é tão importante, porque se não o tivermos, os dados não serão úteis.
  • Realidade e Dados. O PGD é a conexão dos dados com o mundo.
  • Boas práticas. É extremamente importante documentar e reportar todos os processos não-probabilísticos de geração de dados, para que os pares acadêmicos possam validar a pesquisa e as escolhas metodológicas feitas nela. Então devemos explicar e documentar o PGD. A seguir, documentamos várias situações em que dados são gerados, explicando o que deve ser explicitado em cada caso.

Processo de Geração de Dados (PGD)

Boas práticas

Se a pesquisa envolver a classificação manual de dados, temos de explicar o processo de classificação.

Tabela 3.13: Motivo de não decretação da falência nos pedidos realizados pelo credor e autofalências.
Motivo Frequência %
Abandono/Desistência/Falta de interesse da requerente 1343 30,7%
Insuficiência material 1236 28,2%
Acordo extrajudicial 1233 28,2%
Pedido de recuperação judicial em curso 295 6,7%
Depósito elisivo 219 5,0%
Outros 50 1,1%
Total 4376 100,0%

Fonte: ABJ. Observatório da Insolvência Fase 3: Falências no Estado de São Paulo. 2022

Processo de Geração de Dados (PGD)

Boas práticas

Se a pesquisa envolver a classificação manual de dados, temos de explicar o processo de classificação.

Processo de Geração de Dados (PGD)

Boas práticas

Se a pesquisa envolver a classificação manual de dados, temos de explicar o processo de classificação.

Processo de Geração de Dados (PGD)

Boas práticas

Se a pesquisa envolver a classificação manual de dados, temos de explicar o processo de classificação.

  • Para documentar esse tipo de processo, você pode escrever na sessão de metodologia que os processos foram classificados manualmente, sendo, assim, transformados em dados;
  • Ao lado disso, você pode colocar em um Apêndice todo o formulário utilizado
  • Ou você pode, na apresentação dos resultados, reportar como que aqueles resultados foram gerados.
  • É importante saber equilibrar aqui a simplicidade com o detalhamento

Processo de Geração de Dados (PGD)

Boas práticas

Se a pesquisa envolver a extração automática de dados, então devemos explicar (1) como as informações que foram raspadas foram geradas e (2) como elas foram extraídas.

Processo de Geração de Dados (PGD)

Boas práticas

Se a pesquisa envolver a extração automática de dados, então devemos explicar (1) como as informações que foram raspadas foram geradas e (2) como elas foram extraídas.

  • Exemplo da informação Juiz
  • Exemplo da informação Assunto

Processo de Geração de Dados (PGD)

Boas práticas

Se a pesquisa envolver a extração automática de dados, então devemos explicar (1) como as informações que foram raspadas foram geradas e (2) como elas foram extraídas.

Processo de Geração de Dados (PGD)

Boas práticas

Se a pesquisa envolver a extração automática de dados, então devemos explicar (1) como as informações que foram raspadas foram geradas e (2) como elas foram extraídas.

  • Normalmente, extraímos os dados por meio de uma API, ou de algum scraper (raspador de dados).
  • APIs nunca vão alterar a estrutura dos dados originais; mas os scrapers podem.
  • A melhor forma de documentar como extraímos os dados é compartilhando o código-fonte.
  • Nem sempre é possível compartilhar o código-fonte, pois às vezes existem questões de privacidade e sigilo. Nestes casos, temos de dizer que criamos um scraper e explicar as questões que nos impediram de compartilhar o seu código-fonte.

Processo de Geração de Dados (PGD)

Boas práticas

Para cada transformação de dados também devemos dizer que mudanças nós fizemos nos dados.

Tabela 3.19. Valores dos leilões por tipo de bem.
Tipo de bem Quantidade Valor total % Quantidade % Valor
Imóvel 369 R$ 1.013.553.475 2,6% 58,8%
Crédito 36 R$ 343.731.073 0,3% 19,9%
Imaterial 545 R$ 162.855.831 3,9% 9,5%
Outros (Lote) 2497 R$ 69.423.460 17,9% 4,0%
Escritório 4051 R$ 60.277.118 29,0% 3,5%
Máquina 1870 R$ 43.372.379 13,4% 2,5%
Veículo 351 R$ 12.581.468 2,5% 0,7%
Construção 490 R$ 11.130.439 3,5% 0,6%
Outros 3245 R$ 5.475.020 23,2% 0,3%
Diversos 503 R$ 710.658 3,6% 0,0%
Total 13957 R$ 1.723.110.921 100,0% 100,0%

Fonte: ABJ. Observatório da Insolvência Fase 3: Falências no Estado de São Paulo. 2022

Processo de Geração de Dados (PGD)

Boas práticas

Para cada transformação de dados também devemos dizer que mudanças nós fizemos nos dados.

descricao valor_avaliacao_inicial
TermoreguladorSKMTSJ/8 1800.00
Estabilizador Progressive III, Nap20005, Série 162120000376 150.00
Veículo tipo SEMI-REBOQUE, marca/modeloREB/RODOVIARIA, ano fabr./mod. 1975, placa IMG0270 5000.00
Gaveteiro baixo em madeira 0.00
LOTE 1: Prensa excentrica marca testa nº 7 13000.00
Armário 2100.00
Bens de higiene e de limpeza - quantidade diversa 150.00
TV de tubo 50.00
LOTE 1: Furadeira de bancada marca newtos 300.00
Armário Prateleira em Alumínio 94.00
Veículo tipo SEMI-REBOQUE, marca/modelo SR/GUERRAAGSI,anofabr./mod.2007 40000.00
Itens farmacêuticos: LOTE 81 16120.58
Lote 58: Funil de alimentação em inox para máquinas extrusoras 13320.00
Fitas autocolantes (quantidade diversa) 50.00
poltrona Mini Zok Acab, especial tecido roxo Fahrer 0.00
BALANÇA ELETRONICA "FILIZOLA" MOD. IBS, PLAT. EMBUTIDA 1.500 x 2.000 MM CAP. 1.500 KG 2822.40
Bandeja de Saída 300.00
LOTE 37: Lote de produtos para elétrica (tomadas e espelhos 110/220) 3000.00
Mesa branca com peças de dobradeira, em regular estado de conservação 30.00
IMPRESSORA MULTIFUNCIONAL HP LASERJET PRO 400 700.00
Imóvel matricula nº 53.160 localizado na capela do pissarão 1092000.00
LOTE 1: Prensa marca mecanica nº 48 4000.00
Lote 7: Revisora de filme plástico 300 mm (Unipac 2002) 28000.00
Lote 14: Sanfonadeira de filme plástico (Kuko 1997) 75000.00
Lote 1.22: Sistema Comutador para Ligação em Rede, marca: BROCADE (Rio de Janeiro/São Paulo) 3000.00
Lote 21: Brincando com a arte de Djanira (Jefferson Galdino) 34.11
ESCADA DE ALUMINIO 3 DEGRAUS 31.50
Lote 66: Escadas de ferro uso diversos 250.00
filtro recuperador de tinta navetherm 1200.00
Batedores com motor 0.00
CAFETEIRAELÉTRICAFIRSTLINE 57.00
Lote 35: Dinamômetro universal 106200.00
Lote 22: Sacos de guardanapo 300.00
Barra de ferro com desenho em U, em regular estado de conservação 10.00
Lote 61: Extensor de rede sem fio 270.00
Aparelho de telefone s/ fio Motorola (Modelo DECT 6.0) 60.00
LOTE 1: Armarios tipo roupeiros com 8 portas 2000.00
Lote único: Bancada de aço e madeira peroba com morsa 200.00
LOTE 26: CPU, marca/modelo DELLOptPlex 759 100.00
sacos com borboletas criativas NA
Amário duas portas com fechadura cor cinza 132.00
Lote 48: Contando a arte de Peticov (Oscar D'Ambrosio) 124.70
Cadeira com rodizio estofada em tecido com espaldar alto e apoio para os braços cor vermelha 65.00
Compressor marca Atlas Copco 6900.00
TERMINAL TUBULAR PRE SOLDADO 2X1MM 86.37
Disjuntor 25 12.00
JATO DE AREIA TECJATO (FEBRATEC), MOD. GABINETE DE PRESSÃO GPF-141314-HB 12261.60
Mesas para impressora em fórmica 60.00
Carrinho de manutenção verde 208.00
Máquina de solda marca Miller modelo Dimension NT-450 3345.00
Sacola 30.00
Cadeira com rodizio estofada em courvin preto 30.00
ARMÁRIOPEQUENOCOM1PORTA 113.00
Mola de válvula 75.00
Gabinete 30.00
Estruturas fixas porta palets 10000.00
LOTE Nº 198 :2 Mesa retangular. 160.00
Itens farmacêuticos: LOTE 76 23471.01
Lote 5: Lavatório de peças em geral/Del Cross 800.00
Armário c/ 2 portas 0,80 x 0,50 x 1,47 m 200.00
Reservatório para fluido hidráulico (lote 6) 50.00
Lote 27: Bruxa Adolescente (Tatiana Belinky) 96.80
CARTUCHOS TOWER CHINAMATE- 278A - UNIVERSAL 36.83
Imóvel nº matricula 5.871 Balneario de gaivotas - nova torres SC 310000.00
SERRA CIRCULAR DE BANCADA 60.00
Lote 29: Talha elétrica 0.63T (Demag) 1290.00
Veículo tipoSEMI-REBOQUE, marca/modelo NI, ano fabr./mod. NI, placa IHO-8712 5000.00
Mesa para escritório com 5 gavetas 68.00
LOTE 254 - LOTE DE ÁGUAS MARINHAS -OVAL -DIM. 9,00 X 6,00 MM 141080.00
T soldaplast 148.00
Automóvel GM/Zafira, preta, GNV, 2003/2004 23088.00
Armários de escritório branco 400.00
DESEMPENADEIRAMOD.ER300MM 1215.00
Conexõeshidraulicaseanilhas diversas 1700.00
Armário pequeno maksiva 95.00
INC 4 - Lote 4: Leitor de mídia (CPU) 27.00
CÂMARA FRIGORIFICA PARA CONGELADOS 27240.00
Lote 81: Mesa de escritório cinza em L 150.00
Arquivo em aço com quatro gavetas 190.00
Paletadeira Manuel 5000.00
Máquina de solda marca Esab modelo ORIGO ARC 456 518.00
LOTE 1: Prensa excentrica marca testa nº 40 600.00
Arquivo em aço com 4 gavetas 77.00
Veículo VW modelo novo FoxTL MB 04 portas, Ano 2015/2015 26650.00
LOTE 100: DTX - 1800 - Cable Analyser Fluke - Networks 15000.00
LOTE 81 - HP STORAGE WORKS -BAY 14 1850.00
GRAMPEADOR 26.00
Bancada Lan House 4200.00
INC 1: Ipês terreno nº 90894 (6399,14 m)(L2) 921476.16
Aquecedo instantaneo de agua e gas 4560.00
GRAMPEADOR 52.00
Lote 60: Monitor LCD 14 poegadas cinza - Samsung 50.00
Scanner FI6140 3506.00
Armário c/ 4 portas 2 prateleiras 1,80 x 0,50 x 0,76 m 1000.00
LOTE 263-LOTE DE ESMERALDA NATURAL -GEMA SOLTA -GOTA -DIM. 10,70 X 8,50 X 4,79 MM 1480.00
LOTE 9: ARMÁRIO C/5 GAVETAS E 1 PRATELEIRA GRANDE 130.50
LOTE 1: Plaina marca aliança 1000.00
Lote 30: Vasos de vidro para a mesa 200.00
ESTABILIZADOR MARCA: SMS 15.00
Computador LG/ monitor Sansung 15” 500.00

Processo de Geração de Dados (PGD)

Boas práticas

Para cada transformação de dados também devemos dizer que mudanças nós fizemos nos dados.

descricao tipo_bem valor_avaliacao_inicial
TermoreguladorSKMTSJ/8 Outros 1800.00
Estabilizador Progressive III, Nap20005, Série 162120000376 Outros 150.00
Veículo tipo SEMI-REBOQUE, marca/modeloREB/RODOVIARIA, ano fabr./mod. 1975, placa IMG0270 Imaterial 5000.00
Gaveteiro baixo em madeira Outros 0.00
LOTE 1: Prensa excentrica marca testa nº 7 Imaterial 13000.00
Armário Outros 2100.00
Bens de higiene e de limpeza - quantidade diversa Outros 150.00
TV de tubo Outros 50.00
LOTE 1: Furadeira de bancada marca newtos Escritório 300.00
Armário Prateleira em Alumínio Outros 94.00
Veículo tipo SEMI-REBOQUE, marca/modelo SR/GUERRAAGSI,anofabr./mod.2007 Imaterial 40000.00
Itens farmacêuticos: LOTE 81 Outros 16120.58
Lote 58: Funil de alimentação em inox para máquinas extrusoras Outros 13320.00
Fitas autocolantes (quantidade diversa) Outros 50.00
poltrona Mini Zok Acab, especial tecido roxo Fahrer Outros 0.00
BALANÇA ELETRONICA "FILIZOLA" MOD. IBS, PLAT. EMBUTIDA 1.500 x 2.000 MM CAP. 1.500 KG Outros 2822.40
Bandeja de Saída Outros 300.00
LOTE 37: Lote de produtos para elétrica (tomadas e espelhos 110/220) Outros 3000.00
Mesa branca com peças de dobradeira, em regular estado de conservação Máquina 30.00
IMPRESSORA MULTIFUNCIONAL HP LASERJET PRO 400 Outros 700.00
Imóvel matricula nº 53.160 localizado na capela do pissarão Outros 1092000.00
LOTE 1: Prensa marca mecanica nº 48 Imaterial 4000.00
Lote 7: Revisora de filme plástico 300 mm (Unipac 2002) Outros 28000.00
Lote 14: Sanfonadeira de filme plástico (Kuko 1997) Outros 75000.00
Lote 1.22: Sistema Comutador para Ligação em Rede, marca: BROCADE (Rio de Janeiro/São Paulo) Imaterial 3000.00
Lote 21: Brincando com a arte de Djanira (Jefferson Galdino) Outros 34.11
ESCADA DE ALUMINIO 3 DEGRAUS Outros 31.50
Lote 66: Escadas de ferro uso diversos Outros 250.00
CAFETEIRAELÉTRICAFIRSTLINE Outros 57.00
Lote 35: Dinamômetro universal Outros 106200.00
Lote 22: Sacos de guardanapo Outros 300.00
Barra de ferro com desenho em U, em regular estado de conservação Outros 10.00
Lote 61: Extensor de rede sem fio Outros 270.00
Aparelho de telefone s/ fio Motorola (Modelo DECT 6.0) Escritório 60.00
LOTE 1: Armarios tipo roupeiros com 8 portas Diversos 2000.00
Lote único: Bancada de aço e madeira peroba com morsa Outros 200.00
LOTE 26: CPU, marca/modelo DELLOptPlex 759 Imaterial 100.00
sacos com borboletas criativas Outros NA
Amário duas portas com fechadura cor cinza Outros 132.00
Lote 48: Contando a arte de Peticov (Oscar D'Ambrosio) Outros 124.70
Cadeira com rodizio estofada em tecido com espaldar alto e apoio para os braços cor vermelha Outros 65.00
Compressor marca Atlas Copco Imaterial 6900.00
TERMINAL TUBULAR PRE SOLDADO 2X1MM Outros 86.37
Disjuntor 25 Outros 12.00
JATO DE AREIA TECJATO (FEBRATEC), MOD. GABINETE DE PRESSÃO GPF-141314-HB Outros 12261.60
Mesas para impressora em fórmica Escritório 60.00
Máquina de solda marca Miller modelo Dimension NT-450 Construção 3345.00
Sacola Outros 30.00
Cadeira com rodizio estofada em courvin preto Outros 30.00
ARMÁRIOPEQUENOCOM1PORTA Outros 113.00
Mola de válvula Outros 75.00
Gabinete Outros 30.00
Estruturas fixas porta palets Outros 10000.00
LOTE Nº 198 :2 Mesa retangular. Outros 160.00
Itens farmacêuticos: LOTE 76 Outros 23471.01
Lote 5: Lavatório de peças em geral/Del Cross Outros 800.00
Armário c/ 2 portas 0,80 x 0,50 x 1,47 m Outros 200.00
Reservatório para fluido hidráulico (lote 6) Outros (Lote) 50.00
Lote 27: Bruxa Adolescente (Tatiana Belinky) Outros 96.80
CARTUCHOS TOWER CHINAMATE- 278A - UNIVERSAL Outros 36.83
Imóvel nº matricula 5.871 Balneario de gaivotas - nova torres SC Máquina 310000.00
SERRA CIRCULAR DE BANCADA Outros 60.00
Lote 29: Talha elétrica 0.63T (Demag) Outros 1290.00
Veículo tipoSEMI-REBOQUE, marca/modelo NI, ano fabr./mod. NI, placa IHO-8712 Imaterial 5000.00
Mesa para escritório com 5 gavetas Outros 68.00
LOTE 254 - LOTE DE ÁGUAS MARINHAS -OVAL -DIM. 9,00 X 6,00 MM Outros 141080.00
T soldaplast Construção 148.00
Automóvel GM/Zafira, preta, GNV, 2003/2004 Outros 23088.00
Armários de escritório branco Outros 400.00
DESEMPENADEIRAMOD.ER300MM Outros 1215.00
Conexõeshidraulicaseanilhas diversas Outros 1700.00
Armário pequeno maksiva Outros 95.00
INC 4 - Lote 4: Leitor de mídia (CPU) Outros 27.00
CÂMARA FRIGORIFICA PARA CONGELADOS Outros 27240.00
Lote 81: Mesa de escritório cinza em L Outros 150.00
Arquivo em aço com quatro gavetas Outros 190.00
Paletadeira Manuel Outros 5000.00
Máquina de solda marca Esab modelo ORIGO ARC 456 Construção 518.00
LOTE 1: Prensa excentrica marca testa nº 40 Imaterial 600.00
Arquivo em aço com 4 gavetas Outros 77.00
Veículo VW modelo novo FoxTL MB 04 portas, Ano 2015/2015 Outros 26650.00
LOTE 100: DTX - 1800 - Cable Analyser Fluke - Networks Outros 15000.00
LOTE 81 - HP STORAGE WORKS -BAY 14 Outros 1850.00
GRAMPEADOR Outros 26.00
Bancada Lan House Outros 4200.00
INC 1: Ipês terreno nº 90894 (6399,14 m)(L2) Imóvel 921476.16
Aquecedo instantaneo de agua e gas Outros 4560.00
GRAMPEADOR Outros 52.00
Lote 60: Monitor LCD 14 poegadas cinza - Samsung Outros 50.00
Scanner FI6140 Outros 3506.00
Armário c/ 4 portas 2 prateleiras 1,80 x 0,50 x 0,76 m Outros 1000.00
LOTE 263-LOTE DE ESMERALDA NATURAL -GEMA SOLTA -GOTA -DIM. 10,70 X 8,50 X 4,79 MM Outros 1480.00
LOTE 9: ARMÁRIO C/5 GAVETAS E 1 PRATELEIRA GRANDE Outros 130.50
LOTE 1: Plaina marca aliança Imaterial 1000.00
Lote 30: Vasos de vidro para a mesa Escritório 200.00
ESTABILIZADOR MARCA: SMS Outros 15.00
Computador LG/ monitor Sansung 15” Escritório 500.00

Processo de Geração de Dados (PGD)

Boas práticas

Para cada transformação de dados também devemos dizer que mudanças nós fizemos nos dados.

rx_veic <- c(
  "veiculo|carro|motocicleta|caminh|helicoptero|bmw|automov|peugeot|montana",
  "civic|uno mille|fusca|vectra|carreta"
) |> stringr::str_c(collapse = "|")
rx_construcao <- c(
  "morcas|tanque|torno|parafuso|prego|instrumento|grua|pallet|ponte",
  "divisorias|moldes flor|silber cutter|acessorio|solda|vigi?a|carretel",
  "aco carb|an?tenas|cabine"
) |> stringr::str_c(collapse = "|")
rx_maquina <- c(
  "maquina|motor|trator|prensa|furadeira|balanca|catraca",
  "painel|tubo de aco|cilindro|secador|gerador|espirra|paleteira",
  "lixadeira|estufa|autoclave|fresadora|jateadora|coletores|lavador|robo",
  "injetora|dobradeira|empilhadeira|puch sup|rebobin|spectrom|fan-coil",
  "gravadora|processadora|determinadora|conica|brochad|medidor|limadora",
  "exaust|laminadora|determinad|analisador|ferdimat|torre|rompedor|transformad",
  "raio x|elevador|pantografo|frezad|evaporador|guilhotina|ensaio de tracao"
) |> stringr::str_c(collapse = "|")
rx_escritorio <- c(
  "gabinete|cal?deira|mesa|ar condicionado|arquivo|estabilizador",
  "telefon|armario|mouse|bebedour|computador|bancada|forno|microondas|grampea",
  "impressora|etiqueta|fax|papel|rack|switch|ventilador|monitor|estante|geladeira",
  "lacre|escritorio|papel|papeis"
) |> stringr::str_c(collapse = "|")
rx_imovel <- c(
  "casa|terreno|imovel|predio|imoveis|fazenda|conjunto|usina",
  "galpao|estacao|estufa|chacara|sitio|bloco|apartamento|hotel",
  "setor de producao|loja"
) |> stringr::str_c(collapse = "|")
rx_credito <- c(
  "credito|carteira|titulo|acoes"
) |> stringr::str_c(collapse = "|")
rx_imaterial <- c(
  "marca|musica|inpi"
) |> stringr::str_c(collapse = "|")
rx_diversos <- c(
  "sucata|caixa|bolsa|mala|colchao|carrinho|roupeiro",
  "mochila|esmeril"
) |> stringr::str_c(collapse = "|")
rx_lote <- "lote"

Processo de Geração de Dados (PGD)

Boas práticas

Para cada transformação de dados também devemos dizer que mudanças nós fizemos nos dados.

  • Existem transformações de dados que alteram o PGD e existem transformações que não o fazem. Temos de documentar apenas as alterações que mudam o PGD.

  • Há duas informações que precisamos compartilhar:

    • Decisões metodológicas que foram tomadas na hora de transformar os dados;
    • Código-fonte.

Processo de Geração de Dados (PGD)

Boas práticas

Quando utilizamos bases de dados prontas, precisamos tentar descobrir como os dados são gerados.

  • Podemos enviar email para a entidade/pessoa que criou a base
  • Podemos presumir algumas informações sobre os dados
  • Mas na impossibilidade de qualquer uma dessas estratégias, haverá grande incerteza subjetiva a respeito desses dados. Não será possível avaliar a confiabilidade deles.
  • Quando os dados são abertos, é muito mais fácil ententer o processo gerador de dados, já que um dos princípios de dados abertos é a documentação das informações. Para mais detalhes, ver este link sobre princípios de dados abertos.