CSI 2120原则原理

  1. Partie Concurrente (Go) 8 points
    In the Go version of your project, we ask you to concurrently run the DBSCAN algorithm on partitions
    of the Trip Record data. To create these partitions, you will divide the geographical area into a grid of
    NxN. The following figure illustrates the case of a partition made of 4x4 cells:
    Pour la version Go de votre projet, nous vous demandons d’exécuter, de façon concurrente, l’algorithme
    DBSCAN sur des partitions des données de courses de taxis. Afin de créer ces partitions, vous devez
    subdiviser le secteur géographique en une grille de NxN cellules. L’exemple ci-dessous montre une
    partition composée de 4x4 cellules :
    In this case you would then have to run 16 concurrent DBSCAN threads. The first step will therefore be
    to assign each GPS coordinate to its partition. This is the Map step. But since you will have to combine
    all your results, you need to slightly expand each of your cell by adding an eps value around it. This way
    the clusters of adjacent cells will eventually intersect.
    For example if you have a grid cell delimitated by the GPS points (xmin, ymin) and (xmax,ymax), you will
    accept all points located inside the expanded cell (xmin- ε, ymin- ε) and (xmax+ ε , ymax + ε). This means that
    some points will be assigned to more than one partition (refer to figure on the next page).
    Once the clusters identified in each partition using DBSCAN, the last step will be to combine the results
    to produce a global clustering. This is the Reduce step.
    CSI 2120 page 8
    _
    Avec une subdivision telle que montrée à la page précédente, vous auriez à lancer 16 fils concurrents
    DBSCAN. La première étape sera donc d’attribuer chaque coordonnée GPS à sa partition. Toutefois,
    puisque ces résultats seront éventuellement combinés, vous devrez élargir chacune des cellules en y
    ajoutant une valeur eps de tous les côtés. De cette façon, les groupes de cellules adjacentes pourront
    éventuellement s’intersecter.
    Par exemple, si vous considérez une cellule délimitée par les points GPS (xmin, ymin) et (xmax,ymax), vous
    accepterez tous les points à l’intérieur de la cellule élargie (xmin- ε, ymin- ε) et (xmax+ ε , ymax + ε).
    Conséquemment, certains points se retrouveront à l’intérieur de deux partitions.
    Une fois les groupements de points identifiés dans chacune des partitions, la dernière étape consistera à
    combiner les résultats afin de produire un groupement global.
    Algorithme général
    The parallel DBSCAN algorithm proceeds then as follows:
  2. Map the data into overlapping partitions (the overlap with other partitions must be at least
    equals to eps along its border)
  3. Apply the DBSCAN algorithm over each partition.
  4. Reduce the results by collecting the clusters from all partitions. Intersecting clusters must be
    merged.
    This algorithm is based on the MapReduce pattern, widely used in concurrent programming.
    We already explained Step 1. For Step 2, you simply use the regular DBSCAN algorithm but, very
    important: you must not use the same IDs in different partitions. In the regular algorithm, new clusters
    are assigned a label that corresponds to the current cluster count, here you have to add an offset that
    will make sure you will not have duplicate labels. For example, for a new cluster in partition (i,j), the
    offset could be (10 000 000 i + 1 000 000 j), assuming there are less than 1000000 clusters per
    partition.
    CSI 2120 page 9
    _
    What about Step 3? The principle is simple: we have clusters for each individual partition but since one
    cluster can cover more than one partition, the intersecting clusters have to be merged. To do so, we just
    have to consider the points that belong to two adjacent partitions (i.e. the ones located inside the added
    margin around the cell), if this point is associated with two clusters (one from each grid cell), then these
    two clusters must be merged. However, in this part of the comprehensive assignment, you do not have to
    program this step. We will leave to a later exercise…
    L’algorithme parallèle du DBSCAN procède comme suit :
  5. Distribuer les données à travers les partitions. Ces partitions doivent s’intersecter d’une valeur au
    moins égale à epsilon.
  6. Appliquer l’algorithme DBSCAN sur chaque partition.
  7. Réduire les résultats par la collecte de tous les groupements de toutes les partitions; les groupes
    en intersection doivent être fusionnés.
    Cette approche se base sur le modèle MapReduce largement utilisé en programmation concurrente.
    L’Étape 1 a déjà été expliqué dans la section précédente. Pour l’Étape 2, il s’agit de simplement utiliser
    l’algorithme DBSCAN sur chacune des partitions. Mais, il est important de ne jamais utiliser le même
    identificateur (ID) de groupes à travers les différentes partitions. Dans la version régulière de
    l’algorithme, chaque nouveau groupement se voit attribuer un ID égal au décompte courant du nombre
    de groupements. Ici, chaque partition ajoutera une constante à ce nombre afin de ne pas dupliquer les
    IDs. Par exemple, pour la partition (i,j), cette constante pourrait être (10 000 000 i + 1 000 000 j);
    cette formule sera valide si les partition contiennent moins de 1000000 de groupements.
    Qu’en est-il de l’Étape 3? Le principe est simple : nous avons obtenu les groupements pour chacune des
    partitions mais certains groupes s’étendent sur plus d’une partition. Pour ce faire, il suffit de considérer
    les points appartenant à plus d’une partition (c’est-à-dire ceux situés sur les régions d’intersection entre
    partitions). Si un de ces points est associé avec deux groupements différents (un dans chaque cellule)
    alors ces deux groupements doivent être fusionnés. Toutefois, dans cette partie du projet intégrateur,
    cette étape n’a pas à être programmée. Laissons cela à un exercice ultérieur…
    Le producteur et le consommateur
    We ask you to implement a concurrent version of the DBSCAN algorithm that will be based on the
    producer-consumer pattern.
    The producer will be in the main thread and will simply send jobs to a channel; each job being a
    clustering to be done on one partition of the data. The job instance will include a slice of GPS
    coordinates and the value of the parameters required to execute the DBSCAN algorithm on this set of
    points (minPts, eps, offset).
    All the jobs are processed by a certain number of consumers, each running in its own thread. When a
    consumer is done with one job, it then consumes the next job. When there is no more job to consume,
    then all consumer threads terminate.
    Remember that your implementation must include Step 1 and Step 2 but you do not implement Step 3.
    Nous vous demandons de réaliser la version concurrente de l’algorithme DBSCAN en vous basant sur le
    patron de design producteur/consommateur.
    Le producteur devra être dans le fil principal et sera simplement chargé d’envoyé les tâches à réaliser à
    un channel. Ici, une tâche (job) correspond à l’application du DBSCAN sur les données d’une partition.
    L’instance d’une tâche doit donc contenir un slice de coordonnées GPS et les valeur requise pour
    exécuter l’algorithme sur cet ensemble de points, soient minPts, eps, et la valeur constante pour les IDs.
    Toutes ces tâches sont traitées par un certain nombre de consommateurs, chacun s’exécutant dans son
    propre fil. Lorsqu’une tâche est terminée, la tâche suivante est consommée. Lorsqu’il n’y a plus de
    tâches à effectuer, alors tous les fils consommateurs se terminent.
    Rappelez-vous que seules les Étapes 1. et 2. sont à réaliser. L’étape 3. n’est pas à faire.
    Expérimentation
    In order to determine the optimal configuration for your concurrent algorithm, we ask you to perform
    the following experiments and report the execution time for each case:
     N=2 and 4 consumer threads
     N=4 and 4 consumer threads
     N=4 and 10 consumer threads
     N=10 and 4 consumer threads
     N=10 and 10 consumer threads
     N=10 and 50 consumer threads
     N=20 and 10 consumer threads
     N=20 and 50 consumer threads
     N=20 and 200 consumer threads
    Also specify the operating system and the specifications of your processor (including the number of
    cores). You can also add your own experiences with other configuration settings.
    For all your experiments, use eps=0.0003 and minpts=5
    Afin de déterminer la configuration optimale pour votre algorithme concurrent, nous vous demandons
    d’effectuer les expériences suivantes :
     N=2 et 4 fils consommateurs
     N=4 et 4 fils consommateurs
     N=4 et 10 fils consommateurs
    CSI 2120 page 11
    _
     N=10 et 4 fils consommateurs
     N=10 et 10 fils consommateurs
     N=10 et 50 fils consommateurs
     N=20 et 10 fils consommateurs
     N=20 et 50 fils consommateurs
     N=20 and 200 fils consommateurs
    Pour chacune de ces expériences vous devez spécifier le temps d’exécution ainsi que le système
    d’exploitation et les spécifications du processeur de la machine utilisée (incluant le nombre de cœurs
    présents dans ce processeur). Vous pouvez aussi expérimenter d’autres configurations.
    Pour toutes vos expériences, utiliser eps=0.0003 et minpts=5.
    En plus de votre code source bien commenté, vous devez aussi soumettre un document donnant les
    résultats des expériences que vous avez réalisées. Remettre aussi les fichiers montrant l’affichage à la
    console obtenu pour les différentes exécutions de votre programme.

你可能感兴趣的:(算法)