Fernando Guerra Rodrigues Machado

.env

@@ -0,0 +1,2 @@
+UID=1000
+GID=888

.gitignore

@@ -0,0 +1,3 @@
+
+*.csv
+*.gz

README.md

@@ -1,35 +1,45 @@
-![PicPay](https://user-images.githubusercontent.com/1765696/26998603-711fcf30-4d5c-11e7-9281-0d9eb20337ad.png)
+# Implantação e Execução
+- Rode o comando "sudo sysctl -w vm.max_map_count=262144" no host para liberar a memória requerida pelo ElasticSearch.
+- Rode o docker-compose up na pasta do projeto.
+- Abra http://(endereço do host)/ no navegador.
 
-# Teste Backend
+**OBS**: caso esteja usando **Windows**, verifique se o caractere de quebra de linha do arquivo **php/init.sh** é o **lf**, pois o GitHub para Windows troca o caractere para **crlf**.
 
-O desafio é criar uma API REST que busca usuarios pelo nome e username a partir de uma palavra chave. Faça o download do arquivo [users.csv.gz](https://s3.amazonaws.com/careers-picpay/users.csv.gz) que contém o banco de dados que deve ser usado na busca. Ele contém os IDs, nomes e usernames dos usuários.
+# Geral
+No Docker Toolbox (Windows 10 HOME) e no Ubuntu 18.04, precisei rodar esse comando na docker-machine, pois o ElasticSearch não conseguiu subir.
+sudo sysctl -w vm.max_map_count=262144
 
-###### Exemplo
-| ID                                   | Nome              | Username             |
-|--------------------------------------|-------------------|----------------------|
-| 065d8403-8a8f-484d-b602-9138ff7dedcf | Wadson marcia     | wadson.marcia        |
-| 5761be9e-3e27-4be8-87bc-5455db08408  | Kylton Saura      | kylton.saura         |
-| ef735189-105d-4784-8e2d-c8abb07e72d3 | Edmundo Cassemiro | edmundo.cassemiro    |
-| aaa40f4e-da26-42ee-b707-cb81e00610d5 | Raimundira M      | raimundiram          |
-| 51ba0961-8d5b-47be-bcb4-54633a567a99 | Pricila Kilder    | pricilakilderitaliani|
+A base de dados será baixada durante o build do Docker.
 
+O código fonte do FrontEnd está na pasta front e o do BackEnd está na pasta api.
 
+**ANTES DE INICIAR** verifica qual é o padrão de "final de linha" do arquivo php/init.sh, pois estava tendo problema com isso, porque meu git
+troca de lf para crlf quando eu clono o repositório, esse problema aconteceu somente no Windows 10.
 
-Também são fornecidas duas listas de usuários que devem ser utilizadas para priorizar os resultados da busca. A lista 1 tem mais prioridade que a lista 2. Ou seja, se dois usuarios casam com os criterios de busca, aquele que está na lista 1 deverá ser exibido primeiro em relação àquele que está na lista 2. Os que não estão em nenhuma das listas são exibidos em seguida.
+Testei a aplicação no Windows 10 Home (virtualbox), Windows 10 PRO (Hyper-V) e Ubuntu 18.04.
 
-As listas podem ser encontradas na raiz deste repositório ([lista_relevancia_1.txt](lista_relevancia_1.txt) e [lista_relevancia_2.txt](lista_relevancia_2.txt)).
-Os resultados devem ser retornados paginados de 15 em 15 registros.
+Usuário: [email protected]
+Senha: admin
 
-Escolha as tecnologias que você vai usar e tente montar uma solução completa para rodar a aplicação.
+# BackEnd
+O BackEnd (API) irá ficar tentado conectar ao ElasticSearch quando você subir o container,
+pois ele sobe muito mais rápido que o Elastic e enquanto ele fica tentado conectar,
+ele ficará imprimindo "Failed connect, try again". Isso você pode ignorar, pois 
+enquanto o Elastic não subir, ele ficará nesse loop.
 
-Faça um ***Fork*** deste repositório e abra um ***Pull Request***, **com seu nome na descrição**, para participar. Assim que terminar, envie um e-mail para ***[email protected]*** com o seu usuário do Github nos avisando.
+Quando ele imprimir lista1 ou lista2 significa que ele achou uma entrada que está
+na lista de relevância, logo ele atribuirá um peso para essas entradas.
 
------
+Coloquei 1GB de memória para o php durante a importação do csv, para diminuir o volume de request ao Elastic
+e tentar conseguir um desempenho melhor, logo ele importa em blocos de 100 mil registros. Com 1G ele conseguia
+subir até 700 mil registros para a memória antes de estoura-la, então considerei 100 mil como uma escolha segura. 
 
-### Diferenciais
+Você não precisa da keywork completa para fazer uma busca ex: se você quer buscar por "debora", digitando apenas
+"debo" já ira aparecer palavras que comecem com "debo"
 
-- Criar um frontend para realizar a busca com uma UX elaborada
-- Criar uma solução de autenticação entre o frontend e o backend
-- Ter um desempenho elevado num conjunto de dados muito grande
-- Utilizar o Docker
+# FrontEnd
+Estará disponível em http://localhost/ ou no endereço do docker-machine.
 
+O FrontEnd informa o estado do banco (not ready|importing(realizando importação do
+csv)|ready), você consegue fazer consultas durante a importação, porem pode acontecer
+bugs.

api/.env

@@ -0,0 +1,14 @@
+APP_NAME=Lumen
+APP_ENV=local
+APP_KEY=ye73hdywgetd8uejdhey37eydhsj3873
+APP_DEBUG=true
+APP_URL=http://localhost
+APP_TIMEZONE=UTC
+
+LOG_CHANNEL=stack
+LOG_SLACK_WEBHOOK_URL=
+
+DB_CONNECTION=sqlite
+
+CACHE_DRIVER=file
+QUEUE_CONNECTION=sync

api/.env.example

@@ -0,0 +1,19 @@
+APP_NAME=Lumen
+APP_ENV=local
+APP_KEY=
+APP_DEBUG=true
+APP_URL=http://localhost
+APP_TIMEZONE=UTC
+
+LOG_CHANNEL=stack
+LOG_SLACK_WEBHOOK_URL=
+
+DB_CONNECTION=mysql
+DB_HOST=127.0.0.1
+DB_PORT=3306
+DB_DATABASE=homestead
+DB_USERNAME=homestead
+DB_PASSWORD=secret
+
+CACHE_DRIVER=file
+QUEUE_CONNECTION=sync

api/.gitignore

@@ -0,0 +1,3 @@
+/.idea
+Homestead.json
+Homestead.yaml

api/app/Console/Commands/ImportCSVCommand.php

@@ -0,0 +1,169 @@
+<?php
+
+namespace App\Console\Commands;
+
+define("ES_NOT_READY", 0);
+define("ES_IMPORTING", 1);
+define("ES_READY", 2);
+
+use Exception;
+use Illuminate\Console\Command;
+use Elasticsearch\ClientBuilder;
+use App\Variables;
+
+class ImportCSVCommand extends Command
+{
+    protected $signature = "import:CSV";
+
+    protected $description = "";
+
+    private $host = [
+        'esServer'
+    ];
+
+    public function handle()
+    {
+        //Seta o status do Elastic Search para consultas do frontend
+        $this->setESStatus(ES_NOT_READY);
+
+        //Previne ultrapassar o tempo e o limite de memoria
+        set_time_limit(0);
+        ini_set('memory_limit', '1024M');
+
+        $client = $this->getESConnection();
+
+        //fica tentando conectar ao elasticsearch, pois o mesmo demora a subir
+        $this->waitES($client);
+
+        $numberRowsCsv = $this->getCsvNumRows("/var/www/users.csv");
+        $dbDocsNumber = $this->getIndexNumRows($client, 'pic');
+
+        echo "CSV: $numberRowsCsv\nDB: $dbDocsNumber\n";
+
+        //verifica se todos os registro do csv estâo no ES por uma checagem simples de numeros
+        //para tomar a decisao de importar ou não importar o CSV
+        if (($dbDocsNumber < $numberRowsCsv)) {
+            echo "exec import\n";
+
+            $this->setESStatus(ES_IMPORTING);
+
+            //carrega as lista de prioridade na memoria
+            $priorityList1 =  $this->getPriotityList("/var/www/lista_relevancia_1.txt");
+            $priorityList2 = $this->getPriotityList("/var/www/lista_relevancia_2.txt");
+
+            $this->doImport($client, $priorityList1, $priorityList2, "/var/www/users.csv");
+        } else {
+            echo "No import require\n";
+        }
+
+        $this->setESStatus(ES_READY);
+        echo "\n\n\n\nImport Finish\n\n\n\n";
+        return 0;
+    }
+
+    private function setESStatus($status)
+    {
+        $esstatus = Variables::where("name", 'esstatus')->first();
+        $esstatus->value = "$status";
+        $esstatus->save();
+        return;
+    }
+
+    private function waitES($client)
+    {
+        while (true) {
+            try {
+                $client->nodes()->stats();
+                break;
+            } catch (Exception $e) {
+                echo "\n\nFailed connect, I Will try again\n\n\n";
+                sleep(10);
+            }
+        }
+    }
+
+    private function getESConnection()
+    {
+
+        return ClientBuilder::create()->setHosts($this->host)->build();
+    }
+
+    private function getCsvNumRows($csvFilePath)
+    {
+        $numberRowsCsv = shell_exec("wc -l " . $csvFilePath);
+        $numberRowsCsv = explode(" ", $numberRowsCsv);
+        $numberRowsCsv = intval($numberRowsCsv[0]);
+        return $numberRowsCsv;
+    }
+
+    //recupera o numero atual de documentos no index
+    private function getIndexNumRows($client, $indice)
+    {
+        $params['index'] = $indice;
+        try {
+            $response = $client->indices()->stats($params);
+            return $response["indices"][$indice]["total"]["docs"]["count"];
+        } catch (Exception $ex) { }
+        return 0;
+    }
+
+    private function getPriotityList($path)
+    {
+        $list = [];
+        $fl = fopen($path, 'r');
+        while ($row = fgets($fl)) {
+            $list[trim($row)] = true;
+        }
+        fclose($fl);
+        return $list;
+    }
+
+    public function doImport($client, $priorityList1, $priorityList2, $filePath)
+    {
+        $f = fopen($filePath, 'r');
+        $nLastBloco = 0;
+        $Blocos = 0;
+        $importlimit = 100000;
+        while ($row = fgetcsv($f)) {
+            $nLastBloco++;
+            $params['body'][] = [
+                'index' => [
+                    '_index' => 'pic',
+                    '_type' => 'pay',
+                    '_id' => $row[0],
+                ]
+            ];
+
+            //define peso para fazer a busca ranqueada
+            $weight = 0;
+            if (array_key_exists(trim($row[0]), $priorityList1)) {
+                $weight = 2;
+                echo "lista1\n";
+            }
+            if (array_key_exists(trim($row[0]), $priorityList2)) {
+                $weight = 1;
+                echo "lista2\n";
+            }
+
+
+            $params['body'][] = [
+                'name' => $row[1],
+                'username' => $row[2],
+                'weight' => $weight
+            ];
+            if ($nLastBloco >= $importlimit) {
+                $client->bulk($params);
+                $n = ++$Blocos * $importlimit;
+                echo $n . "\n";
+                $nLastBloco = 0;
+                $params = ['body' => []];
+            }
+        }
+        if ($nLastBloco > 0) {
+            $client->bulk($params);
+            $n = ($Blocos * $importlimit) + $nLastBloco;
+            echo $n . " imports\n";
+        }
+        fclose($f);
+    }
+}

api/app/Console/Kernel.php

@@ -0,0 +1,29 @@
+<?php
+
+namespace App\Console;
+
+use Illuminate\Console\Scheduling\Schedule;
+use Laravel\Lumen\Console\Kernel as ConsoleKernel;
+
+class Kernel extends ConsoleKernel
+{
+    /**
+     * The Artisan commands provided by your application.
+     *
+     * @var array
+     */
+    protected $commands = [
+        Commands\ImportCSVCommand::class,
+    ];
+
+    /**
+     * Define the application's command schedule.
+     *
+     * @param  \Illuminate\Console\Scheduling\Schedule  $schedule
+     * @return void
+     */
+    protected function schedule(Schedule $schedule)
+    {
+        //
+    }
+}

api/app/Events/Event.php

@@ -0,0 +1,10 @@
+<?php
+
+namespace App\Events;
+
+use Illuminate\Queue\SerializesModels;
+
+abstract class Event
+{
+    use SerializesModels;
+}

api/app/Events/ExampleEvent.php

@@ -0,0 +1,16 @@
+<?php
+
+namespace App\Events;
+
+class ExampleEvent extends Event
+{
+    /**
+     * Create a new event instance.
+     *
+     * @return void
+     */
+    public function __construct()
+    {
+        //
+    }
+}

api/app/Exceptions/Handler.php

@@ -0,0 +1,50 @@
+<?php
+
+namespace App\Exceptions;
+
+use Exception;
+use Illuminate\Validation\ValidationException;
+use Illuminate\Auth\Access\AuthorizationException;
+use Illuminate\Database\Eloquent\ModelNotFoundException;
+use Laravel\Lumen\Exceptions\Handler as ExceptionHandler;
+use Symfony\Component\HttpKernel\Exception\HttpException;
+
+class Handler extends ExceptionHandler
+{
+    /**
+     * A list of the exception types that should not be reported.
+     *
+     * @var array
+     */
+    protected $dontReport = [
+        AuthorizationException::class,
+        HttpException::class,
+        ModelNotFoundException::class,
+        ValidationException::class,
+    ];
+
+    /**
+     * Report or log an exception.
+     *
+     * This is a great spot to send exceptions to Sentry, Bugsnag, etc.
+     *
+     * @param  \Exception  $exception
+     * @return void
+     */
+    public function report(Exception $exception)
+    {
+        parent::report($exception);
+    }
+
+    /**
+     * Render an exception into an HTTP response.
+     *
+     * @param  \Illuminate\Http\Request  $request
+     * @param  \Exception  $exception
+     * @return \Illuminate\Http\Response
+     */
+    public function render($request, Exception $exception)
+    {
+        return parent::render($request, $exception);
+    }
+}