FileVO - Histórico de revisão

Rodrigogml: /* Limpeza e Manutenção */

2021-09-30T21:22:47Z

Limpeza e Manutenção

← Edição anterior		Edição das 21h22min de 30 de setembro de 2021
Linha 89:		Linha 89:
	** Utilizar quando precisamos persistir arquivos que são temporários (como relatórios que demoram a ficar pronto e devem ficar disponíveis por um período) e não podemos perde-los em arquivos temporários do sistema. Quando puder, utilizar o sistema de arquivos temporários de qualquer forma.		** Utilizar quando precisamos persistir arquivos que são temporários (como relatórios que demoram a ficar pronto e devem ficar disponíveis por um período) e não podemos perde-los em arquivos temporários do sistema. Quando puder, utilizar o sistema de arquivos temporários de qualquer forma.

	= Limpeza e Manutenção =		= Limpeza e Manutenção - FileMaintenanceTask =

	O BIS tem uma rotina de manutenção que temporariamente tenta excluir os FileVOs que não estão em uso. A maneira de saber se o FileVO está em uso é tentando excluí-lo e descobrir se o banco impede por restrição de alguma FK com '''ON DELETE RESTRICT''', por isso torna-se obrigatório que qualquer objeto que utilize o FileVO coloque na sua ~~contraint~~ o '''ON DELETE RESTRICT'''.		O BIS tem uma rotina de manutenção que temporariamente tenta excluir os FileVOs que não estão em uso. A maneira de saber se o FileVO está em uso é tentando excluí-lo e descobrir se o banco impede por restrição de alguma FK com '''ON DELETE RESTRICT''', por isso torna-se obrigatório que qualquer objeto que utilize o FileVO coloque na sua constraint o '''ON DELETE RESTRICT'''. Essa manutenção é obrigatória porque, uma vez que o FileVO não é um objeto de composição de outros objetos, durante a alteração ou exclusão do FileVO dos outros objetos, o velho fica abandonado no banco de dados.

			== Limpeza e Manutenção do S3 ==

	~~== Limpeza~~ e ~~Manutenção~~ do S3 ==		Após a limpeza dos FileVOs da base de dados, o sistema deve recuperar uma lista de todos os arquivos, incluindo suas versões, no S3. Com base nessa lista conseguimos comprar com os FileVOs da base de dados e descobrir quais arquivos/versões estão órfãos no S3.


			Assim, temos as seguintes regras de exclusão de arquivos do S3:

			'''Regra 1:'''
			* Arquivos no S3 que não tenham correspondência com nenhum FileVO da base de dados, e;
			* Não forem a versão atual do arquivo, e;
			* O arquivo deixou de ser a versão atual à mais de X meses, onde X Meses é o mesmo tempo de retenção dos backups.

	~~Ainda~~ não ~~implementado~~. ~~Detalhes~~ da ~~ideia inicial descrita na sessão do S3~~.		'''Regra 2:'''
			É necessário um jeito de excluir os arquivos que são a versão atual de um objeto no S3. Porém não basta excluir o objeto que não tem correspondência no FileVO atualmente pois ele pode ter correspondência com um objeto do Backup. Se for possível realizar algum tipo de marca/tag/attributo no arquivo. A tarefa de manutenção pode marcar o arquivo com a data em que pela primeira vez percebeu que o arquivo estava órfão, e excluir em uma próxima execução da tarefa ao perceber que a data ficou velha em pelo menos X meses.

Rodrigogml: /* Lógica de Funcionamento */

2021-09-30T20:59:45Z

Lógica de Funcionamento

← Edição anterior		Edição das 20h59min de 30 de setembro de 2021
Linha 63:		Linha 63:


			{{nota\|Configuração do Bucket do S3\|O bucket do S3 deve ter as seguintes características definidas:
			* Ter a regra de versionamento ativa.
			}}

	Por não estar na transação do Container, o sistema de persistência do S3 nunca excluí de fato um arquivo. O Bucket utilizado deve ter o sistema de versionamento funcionando inclusive para arquivos excluídos.		Por não estar na transação do Container, o sistema de persistência do S3 nunca excluí de fato um arquivo. O Bucket utilizado deve ter o sistema de versionamento funcionando inclusive para arquivos excluídos.

	O BIS saberá qual é o arquivo correto de acordo com o '''VersionID''' fornecido pelo S3. Assim, mesmo que o Banco de dados sofra uma restauração anterior, o banco trará o versionID adequado à época do banco de dados que foi restaurado, permitindo que o S3 continue devolvendo o arquivo correto quando necessário.		O BIS saberá qual é o arquivo correto de acordo com o '''VersionID''' fornecido pelo S3. Assim, mesmo que o Banco de dados sofra uma restauração anterior, o banco trará o versionID adequado à época do banco de dados que foi restaurado, permitindo que o S3 continue devolvendo o arquivo correto quando necessário. Dito isso, '''o bucket não deve ter nenhuma regra de exclusão automática'''. Em um cenário em que um arquivo foi atualizado, no bucket teremos uma versão antiga e uma nova. Caso o banco de dados seja restaurado, fazendo com que a versão antiga volte a ser a vigente, o bucket não é notificado e uma regra de exclusão de versões antigas pode acabar excluindo o que é na verdade a versão vigente no banco de dados.

	~~Claro~~ que ~~essa operação deixará muitos arquivos "órfãos" dentro do~~ bucket. ~~Para realizar a limpeza~~ o ~~sistema tem tarefas~~ de ~~manutenção que excluem as versões dos arquivos~~ que ~~são mais antigas que o backup mais antigo e que não sejam~~ a versão ~~atual do arquivo. Por exemplo~~, ~~se realizamos~~ o ~~backup do banco~~ de ~~dados~~ de ~~no máximo 6 meses, podemos excluir tranquilamente as~~ versões ~~'''anteriores''' dos arquivos que são mais~~ antigas que ~~6 meses. Assim podemos~~ de ~~tempos em tempos eliminar o lixo do S3 sem prejuízo do backup.~~

	~~Aliado à essa limpeza, devemos trabalhar as regras de passar o conteúdo do bucket para o glacier. Garantindo assim um custo mais barato para armazenar esses arquivos~~.

	== Como escolher o método de persistência adequado? ==		== Como escolher o método de persistência adequado? ==

Rodrigogml: /* Lógica de Funcionamento */

2021-09-30T20:51:12Z

Lógica de Funcionamento

← Edição anterior		Edição das 20h51min de 30 de setembro de 2021
Linha 57:		Linha 57:


	{{stop\|Versionamento do Arquivo no S3\|Quando o método de persistência é DB o conteúdo será persistido no banco diretamente, uma vez que um conteúdo substituí o outro e "a vida segue". No entanto, não queremos que a cada atualização do objeto um novo arquivo seja postado. Tanto pelo overhead de conexão, quando pelo excesso de versões "lixo" sendo criado dentro do Bucket gerando orçamentos maiores. Assim, para saber que o arquivo precisa ser versionado o usuário deve excluir o valor do atributo '''~~VersionID~~'''. Somente quando o FileVO não apresenta um VersionID é que o Crud fará o post para obter um VersionID do S3.		{{stop\|Versionamento do Arquivo no S3\|Quando o método de persistência é DB o conteúdo será persistido no banco diretamente, uma vez que um conteúdo substituí o outro e "a vida segue". No entanto, não queremos que a cada atualização do objeto um novo arquivo seja postado. Tanto pelo overhead de conexão, quando pelo excesso de versões "lixo" sendo criado dentro do Bucket gerando orçamentos maiores. Assim, para saber que o arquivo precisa ser versionado o usuário deve '''excluir o valor do atributo ''VersionID'''''. Somente quando o FileVO não apresenta um VersionID é que o Crud fará o post para obter um VersionID do S3.

Rodrigogml: /* Como escolher o método de persistência adequado? */

2021-09-09T12:04:53Z

Como escolher o método de persistência adequado?

← Edição anterior		Edição das 12h04min de 9 de setembro de 2021
Linha 76:		Linha 76:
	Dada as vantagens e desvantagens de cada modelo de persistência, eles devem ser escolhidos conforme os seguintes critérios:		Dada as vantagens e desvantagens de cada modelo de persistência, eles devem ser escolhidos conforme os seguintes critérios:

	* Utilizar o S3 quando:		* '''Utilizar o S3 quando:'''
	** Sempre que tivermos um grande volume de arquivos para serem salvos		** Sempre que tivermos um grande volume de arquivos para serem salvos
	** Os arquivos tendem a ser mais "estocados" do que "utilizados"		** Os arquivos tendem a ser mais "estocados" do que "utilizados"
Linha 82:		Linha 82:
	*: Exemplos: Arquivos XML de Notas Fiscais, Arquivos do SAT, Digitalizações de comprovantes e outros documentos.		*: Exemplos: Arquivos XML de Notas Fiscais, Arquivos do SAT, Digitalizações de comprovantes e outros documentos.

	* Utilizar o DB quando:		* '''Utilizar o DB quando:'''
	** Há uma quantidade pequena de arquivos que serão utilizadas		** Há uma quantidade pequena de arquivos que serão utilizadas
	** Os arquivos são utilizados com frequência pelo tempo que existirem na base de dados.		** Os arquivos são utilizados com frequência pelo tempo que existirem na base de dados.

Rodrigogml: /* Lógica de Funcionamento */

2021-09-09T12:04:31Z

Lógica de Funcionamento

← Edição anterior		Edição das 12h04min de 9 de setembro de 2021
Linha 69:		Linha 69:

	Claro que essa operação deixará muitos arquivos "órfãos" dentro do bucket. Para realizar a limpeza o sistema tem tarefas de manutenção que excluem as versões dos arquivos que são mais antigas que o backup mais antigo e que não sejam a versão atual do arquivo. Por exemplo, se realizamos o backup do banco de dados de no máximo 6 meses, podemos excluir tranquilamente as versões '''anteriores''' dos arquivos que são mais antigas que 6 meses. Assim podemos de tempos em tempos eliminar o lixo do S3 sem prejuízo do backup.		Claro que essa operação deixará muitos arquivos "órfãos" dentro do bucket. Para realizar a limpeza o sistema tem tarefas de manutenção que excluem as versões dos arquivos que são mais antigas que o backup mais antigo e que não sejam a versão atual do arquivo. Por exemplo, se realizamos o backup do banco de dados de no máximo 6 meses, podemos excluir tranquilamente as versões '''anteriores''' dos arquivos que são mais antigas que 6 meses. Assim podemos de tempos em tempos eliminar o lixo do S3 sem prejuízo do backup.


	Aliado à essa limpeza, devemos trabalhar as regras de passar o conteúdo do bucket para o glacier. Garantindo assim um custo mais barato para armazenar esses arquivos.		Aliado à essa limpeza, devemos trabalhar as regras de passar o conteúdo do bucket para o glacier. Garantindo assim um custo mais barato para armazenar esses arquivos.

Rodrigogml: /* Lógica de Funcionamento */

2021-09-09T12:02:27Z

Lógica de Funcionamento

← Edição anterior		Edição das 12h02min de 9 de setembro de 2021
Linha 54:		Linha 54:

	=== Lógica de Funcionamento ===		=== Lógica de Funcionamento ===

Rodrigogml: /* Lógica de Funcionamento */

2021-09-09T12:02:19Z

Lógica de Funcionamento

← Edição anterior		Edição das 12h02min de 9 de setembro de 2021
Linha 57:		Linha 57:

	{{stop\|Versionamento do Arquivo no S3\|Quando o método de persistência é DB o conteúdo será persistido no banco diretamente, uma vez que um conteúdo substituí o outro e "a vida segue". No entanto, não queremos que a cada atualização do objeto um novo arquivo seja postado. Tanto pelo overhead de conexão, quando pelo excesso de versões "lixo" sendo criado dentro do Bucket gerando orçamentos maiores. Assim, para saber que o arquivo precisa ser versionado o usuário deve excluir o valor do atributo '''VersionID'''. Somente quando o FileVO não apresenta um VersionID é que o Crud fará o post para obter um VersionID do S3.		{{stop\|Versionamento do Arquivo no S3\|Quando o método de persistência é DB o conteúdo será persistido no banco diretamente, uma vez que um conteúdo substituí o outro e "a vida segue". No entanto, não queremos que a cada atualização do objeto um novo arquivo seja postado. Tanto pelo overhead de conexão, quando pelo excesso de versões "lixo" sendo criado dentro do Bucket gerando orçamentos maiores. Assim, para saber que o arquivo precisa ser versionado o usuário deve excluir o valor do atributo '''VersionID'''. Somente quando o FileVO não apresenta um VersionID é que o Crud fará o post para obter um VersionID do S3.


	Caso o arquivo já exista no S3 ele ganhará uma nova versão, do contrário será sua primeira versão.}}		Caso o arquivo já exista no S3 ele ganhará uma nova versão, do contrário será sua primeira versão.}}

Rodrigogml: /* Banco de Dados (DB) */

2021-09-09T12:01:52Z

Banco de Dados (DB)

← Edição anterior		Edição das 12h01min de 9 de setembro de 2021
Linha 33:		Linha 33:

	'''Vantagens deste Método'''		'''Vantagens deste Método'''
	* Não deixa arquivos "lixo" para trás em atualizações		* Não deixa arquivos "lixo" para trás durante as atualizações dos objetos.
	* Tem um acesso rápido sendo recuperado na mesma transação que o FileVO (se solicitado, uma vez que fica em um objeto composto FileContentVO).		* Tem um acesso rápido sendo recuperado na mesma transação que o FileVO (se solicitado, uma vez que fica em um objeto composto FileContentVO).

Linha 39:		Linha 39:
	* Sobrecarrega os arquivos da base de dados, podendo deixar o banco lento e atingindo a capacidade de tamanho da tabela cedo.		* Sobrecarrega os arquivos da base de dados, podendo deixar o banco lento e atingindo a capacidade de tamanho da tabela cedo.
	* Deixa os arquivos do banco maiores, e cada snapshot inclui o conteúdo completo do arquivo, mesmo que ele seja igual ao seu anterior.		* Deixa os arquivos do banco maiores, e cada snapshot inclui o conteúdo completo do arquivo, mesmo que ele seja igual ao seu anterior.


	== Amazon S3 (S3) ==		== Amazon S3 (S3) ==

Rodrigogml: /* Amazon S3 (S3) */

2021-05-24T21:28:58Z

Amazon S3 (S3)

← Edição anterior		Edição das 21h28min de 24 de maio de 2021
Linha 51:		Linha 51:

	'''Desvantagens deste método'''		'''Desvantagens deste método'''
	* O arquivo quando salvo/recuperado precisa abrir uma nova conexão HTTPS com o servidor da S3 para realizar a operação. ~~Gerando mais custo de velocidade~~.		* O arquivo quando salvo/recuperado precisa abrir uma nova conexão HTTPS com o servidor da S3 para realizar a operação. Tirando a performance da ação.
	* ~~Por~~ a operação não ~~estar~~ inclusa na transaction um rollback da operação não exclui o arquivo já postado ou marcado como excluído. Gerando ~~deixando~~ versões e ~~arquivos~~ lixo dentro do Bucket.		* Uma vez que a operação não está inclusa na transaction, um rollback da operação não exclui o arquivo já postado ou marcado como excluído. Gerando versões e deixando lixo dentro do Bucket.

	=== Lógica de Funcionamento ===		=== Lógica de Funcionamento ===

Rodrigogml: /* Limpeza e Manutenção do S3 */

2020-10-28T12:59:32Z

Limpeza e Manutenção do S3

← Edição anterior		Edição das 12h59min de 28 de outubro de 2020
Linha 97:		Linha 97:
	== Limpeza e Manutenção do S3 ==		== Limpeza e Manutenção do S3 ==

	Ainda não implementado.		Ainda não implementado. Detalhes da ideia inicial descrita na sessão do S3.