Segue o link da base de dados do governo, são 4GB compactados e 80GB descompactado.
http://idg.receita.fazenda.gov.br/orien ... licos-cnpj
Manual do layout:
https://fazendagovbr.sharepoint.com/sit ... d89f8b68be
Base de dados do Governo
Moderador: Moderadores
-
JoséQuintas
- Administrador
- Mensagens: 20267
- Registrado em: 26 Fev 2007 11:59
- Localização: São Paulo-SP
Base de dados do Governo
Só pra lembrar:
- Máquina 64 bits, porque é acima de 4GB
- Harbour 64 bits, porque é acima de 4GB
- Webservice.. normalmente não tem capacidade pra isso
- Contém CNPJ, endereço, telefone, sócios, etc.
- Muita informação, muito tempo de processamento
- 4.8GB compactado, e 90GB descompactado.
Considerem isso antes de baixar o arquivo.
Máquina 32 bits, nem pra baixar o compactado.
É bom saber que dá pra baixar, porque nunca se sabe o que vamos precisar, cada vez tem mais tabelas....
- Máquina 64 bits, porque é acima de 4GB
- Harbour 64 bits, porque é acima de 4GB
- Webservice.. normalmente não tem capacidade pra isso
- Contém CNPJ, endereço, telefone, sócios, etc.
- Muita informação, muito tempo de processamento
- 4.8GB compactado, e 90GB descompactado.
Considerem isso antes de baixar o arquivo.
Máquina 32 bits, nem pra baixar o compactado.
É bom saber que dá pra baixar, porque nunca se sabe o que vamos precisar, cada vez tem mais tabelas....
José M. C. Quintas
Harbour 3.2, mingw, gtwvg mt, fivewin 25.04, multithread, dbfcdx, MySQL, ADOClass, PDFClass, SefazClass, (hwgui mt), (hmg3), (hmg extended), (oohg), PNotepad, ASP, stored procedure, stored function, Linux (Flagship/harbour 3.2)
"The world is full of kings and queens, who blind our eyes and steal our dreams Its Heaven and Hell"
https://github.com/JoseQuintas/
Harbour 3.2, mingw, gtwvg mt, fivewin 25.04, multithread, dbfcdx, MySQL, ADOClass, PDFClass, SefazClass, (hwgui mt), (hmg3), (hmg extended), (oohg), PNotepad, ASP, stored procedure, stored function, Linux (Flagship/harbour 3.2)
"The world is full of kings and queens, who blind our eyes and steal our dreams Its Heaven and Hell"
https://github.com/JoseQuintas/
-
JoséQuintas
- Administrador
- Mensagens: 20267
- Registrado em: 26 Fev 2007 11:59
- Localização: São Paulo-SP
Base de dados do Governo
É interessante saber disto também:
É normal, mas nem tinha pensado nisso.
Só pra olhar o conteúdo do ZIP, quase não deu.
A segunda imagem é depois de mover o ZIP para outra unidade, e não deixar aberto.
Demorou um pouco pro Windows liberar o ZIP, talvez o antivírus fazendo checagem.
Então... é bom ter 100GB livres no mínimo.
Pois é... além de muitas tabelas... agora muito espaço... rs
Agora imaginem as máquinas do governo...
Se os cadastros ocupam isso, a movimentação ocupa muito mais....
Deve ser quase impossível fazer a consolidação/checagem de tudo isso, porque antes de terminar uma, já vém outra.... rs
E nem tem pessoa física.... que seriam muito mais cadastros....
Só pra olhar o conteúdo do ZIP, quase não deu.
A segunda imagem é depois de mover o ZIP para outra unidade, e não deixar aberto.
Demorou um pouco pro Windows liberar o ZIP, talvez o antivírus fazendo checagem.
Então... é bom ter 100GB livres no mínimo.
Pois é... além de muitas tabelas... agora muito espaço... rs
Agora imaginem as máquinas do governo...
Se os cadastros ocupam isso, a movimentação ocupa muito mais....
Deve ser quase impossível fazer a consolidação/checagem de tudo isso, porque antes de terminar uma, já vém outra.... rs
E nem tem pessoa física.... que seriam muito mais cadastros....
José M. C. Quintas
Harbour 3.2, mingw, gtwvg mt, fivewin 25.04, multithread, dbfcdx, MySQL, ADOClass, PDFClass, SefazClass, (hwgui mt), (hmg3), (hmg extended), (oohg), PNotepad, ASP, stored procedure, stored function, Linux (Flagship/harbour 3.2)
"The world is full of kings and queens, who blind our eyes and steal our dreams Its Heaven and Hell"
https://github.com/JoseQuintas/
Harbour 3.2, mingw, gtwvg mt, fivewin 25.04, multithread, dbfcdx, MySQL, ADOClass, PDFClass, SefazClass, (hwgui mt), (hmg3), (hmg extended), (oohg), PNotepad, ASP, stored procedure, stored function, Linux (Flagship/harbour 3.2)
"The world is full of kings and queens, who blind our eyes and steal our dreams Its Heaven and Hell"
https://github.com/JoseQuintas/
-
JoséQuintas
- Administrador
- Mensagens: 20267
- Registrado em: 26 Fev 2007 11:59
- Localização: São Paulo-SP
Base de dados do Governo
Atualizando
http://receita.economia.gov.br/orientac ... licos-cnpj
São mais de 40 milhões de cadastros de empresas, incluindo todos os sócios.
20 arquivos zip, que representam 20 X 5GB = 100GB
Dependendo do horário, download bem mais lento.
Melhores resultados baixando antes das 7 da manhã.
Precisa máquina 64 bits e Harbour 64 bits, por causa do tamanho.
http://receita.economia.gov.br/orientac ... licos-cnpj
São mais de 40 milhões de cadastros de empresas, incluindo todos os sócios.
20 arquivos zip, que representam 20 X 5GB = 100GB
Dependendo do horário, download bem mais lento.
Melhores resultados baixando antes das 7 da manhã.
Precisa máquina 64 bits e Harbour 64 bits, por causa do tamanho.
José M. C. Quintas
Harbour 3.2, mingw, gtwvg mt, fivewin 25.04, multithread, dbfcdx, MySQL, ADOClass, PDFClass, SefazClass, (hwgui mt), (hmg3), (hmg extended), (oohg), PNotepad, ASP, stored procedure, stored function, Linux (Flagship/harbour 3.2)
"The world is full of kings and queens, who blind our eyes and steal our dreams Its Heaven and Hell"
https://github.com/JoseQuintas/
Harbour 3.2, mingw, gtwvg mt, fivewin 25.04, multithread, dbfcdx, MySQL, ADOClass, PDFClass, SefazClass, (hwgui mt), (hmg3), (hmg extended), (oohg), PNotepad, ASP, stored procedure, stored function, Linux (Flagship/harbour 3.2)
"The world is full of kings and queens, who blind our eyes and steal our dreams Its Heaven and Hell"
https://github.com/JoseQuintas/
-
JoséQuintas
- Administrador
- Mensagens: 20267
- Registrado em: 26 Fev 2007 11:59
- Localização: São Paulo-SP
Base de dados do Governo
Aqui é cortando informações.
Menos campos, e tamanhos menores.
Assim dá uma idéia pra quem se interessar.
Menos campos, e tamanhos menores.
Assim dá uma idéia pra quem se interessar.
José M. C. Quintas
Harbour 3.2, mingw, gtwvg mt, fivewin 25.04, multithread, dbfcdx, MySQL, ADOClass, PDFClass, SefazClass, (hwgui mt), (hmg3), (hmg extended), (oohg), PNotepad, ASP, stored procedure, stored function, Linux (Flagship/harbour 3.2)
"The world is full of kings and queens, who blind our eyes and steal our dreams Its Heaven and Hell"
https://github.com/JoseQuintas/
Harbour 3.2, mingw, gtwvg mt, fivewin 25.04, multithread, dbfcdx, MySQL, ADOClass, PDFClass, SefazClass, (hwgui mt), (hmg3), (hmg extended), (oohg), PNotepad, ASP, stored procedure, stored function, Linux (Flagship/harbour 3.2)
"The world is full of kings and queens, who blind our eyes and steal our dreams Its Heaven and Hell"
https://github.com/JoseQuintas/
-
JoséQuintas
- Administrador
- Mensagens: 20267
- Registrado em: 26 Fev 2007 11:59
- Localização: São Paulo-SP
Base de dados do Governo
Se alguém puder fazer um teste, com um dos arquivos:
A coisa ficou esquisita.
Tem mais empresas do que sócios.
E os CPFs dos sócios.... são parciais, mesmo com espaço pra completo.
A coisa ficou esquisita.
Tem mais empresas do que sócios.
E os CPFs dos sócios.... são parciais, mesmo com espaço pra completo.
José M. C. Quintas
Harbour 3.2, mingw, gtwvg mt, fivewin 25.04, multithread, dbfcdx, MySQL, ADOClass, PDFClass, SefazClass, (hwgui mt), (hmg3), (hmg extended), (oohg), PNotepad, ASP, stored procedure, stored function, Linux (Flagship/harbour 3.2)
"The world is full of kings and queens, who blind our eyes and steal our dreams Its Heaven and Hell"
https://github.com/JoseQuintas/
Harbour 3.2, mingw, gtwvg mt, fivewin 25.04, multithread, dbfcdx, MySQL, ADOClass, PDFClass, SefazClass, (hwgui mt), (hmg3), (hmg extended), (oohg), PNotepad, ASP, stored procedure, stored function, Linux (Flagship/harbour 3.2)
"The world is full of kings and queens, who blind our eyes and steal our dreams Its Heaven and Hell"
https://github.com/JoseQuintas/