Flux RSS
Développement
1816 documents trouvés, affichage des résultats 101 à 110.
| < Les 10 documents précédents | Les 10 documents suivants > |
(01/09/2011 12:14:33)
La démarche agile influe sur l'organisation au-delà de la DSI
Dix ans après la publication du « Manifeste pour un développement agile des logiciels », à l'initiative d'un groupe de développeurs et de consultants, ces pratiques ont essaimé au-delà de la sphère des développeurs, ainsi que l'ont expliqué les co-auteurs du texte à la conférence Agile 2011, à Salt Lake City. Une évolution qui fait aussi son chemin de ce côté-ci de l'Atlantique. Mathieu Gandin, consultant coach agile chez Octo Technology, confirme que la démarche « agile » entraîne des répercussions au-delà de la DSI. Il rappelle que l'accélération autour des projets agiles s'est opérée vers 2005/2006, alors qu'il n'y en avait jusque-là qu'un nombre restreint. « Les premiers retours d'expérience montrent que la démarche génère des impacts sur toute l'organisation dans laquelle travaillent les personnes impliquées », confirme-t-il. « Les personnes qui travaillent en mode agile cherchent à former une équipe orientée produits alors que nous travaillons généralement dans des organisations découpées par silos : direction métier, DSI, marketing... Dans ce contexte, passer à un projet agile implique de former une équipe avec tous ces acteurs -c'est-à-dire, un représentant des utilisateurs, une maîtrise d'ouvrage, des développeurs, des managers, des architectes, des personnes de la production...-, et de permettre la collaboration entre ces personnes. » Cette réorganisation touche aussi potentiellement la Direction des ressources humaines, explique-t-il, puisque les objectifs de chacun peuvent en être modifiés.
Travailler sur l'organisation
« La dynamique d'équipe va être différente, plus large, décrit Mathieu Gandin. Dans ces grandes entreprises, l'enjeu va donc consister à organiser une équipe autour d'un produit plutôt que par pôle d'activité. La façon dont on manage ces équipes ne sera pas la même. On sort donc progressivement du manifeste agile pour arriver à un travail sur l'organisation. Ce sont des choses sur lesquelles il faut travailler en tant que coach agile. Et dans le cas de petits projets au sein d'une grande structure, le coach agile va davantage travailler avec l'équipe sur l'amélioration de ses pratiques. »
Depuis 2001, l'agile est généralement perçu comme un axe d'amélioration. Mais il y a effectivement des entreprises où, en termes d'efficacité, on peut être en dessous de ce qui se faisait avant. Une enquête déjà ancienne, réalisée en 2008 par Scott Ambler, responsable de la méthodologie pour Agile et Lean chez IBM Rational Canada, montrait qu'une forte majorité des répondants (plus de 80%) estimaient que l'approche agile avait amélioré la productivité des équipes de développement, par comparaison avec les approches traditionnelles (amélioré sensiblement selon 60% et un peu selon 22%). En revanche, 13% ne voyaient aucun changement et 5% une productivité moindre.
Les nouvelles approches pour livrer plus vite
« Dans les premiers temps, la démarche agile s'est surtout centrée autour de deux mouvements assez forts, Extreme programming et Scrum, dont les promoteurs ont d'ailleurs participé au Manifeste, rappelle Mathieu Gandin. Aujourd'hui se sont également développées trois autres approches : Software Craftmanship qui met l'accent sur l'amélioration des pratiques de développement, DevOps, qui vise à fluidifier le plus possible le travail entre les développeurs et les exploitants, ainsi que Lean Startup. On peut voir ces évolutions dans les dix ans du manifeste. On a appris à rapprocher toutes les personnes qui vont de la production au développement pour livrer en quelques mois. »
Illustration : Les bonnes pratiques de la modélisation agile, selon Scott W. Ambler (source : site www.agilemodeling.com)
[[page]]
Lean Startup, notamment, emprunte aux méthodes agiles et au lean management dans le cadre de la réalisation de nouveaux produits dans des conditions d'incertitude assez importantes, explique le consultant coach agile. « On va, par exemple, regarder régulièrement la manière dont les internautes utilisent le produit web pour vérifier si les hypothèses du début étaient bonnes ou pas et éventuellement les modifier. Ici, on va pouvoir s'aider des méthodes issues de l'Extreme Programming pour développer le produit logiciel plus efficacement et utiliser les principes de feedback pour savoir comment l'utilisateur se sert, ou pas, de l'application, afin d'adapter le produit logiciel en fonction de ces résultats. Ce sont des dimensions qui n'étaient pas autant explorées lors de l'écriture de Manifeste Agile. »
Des principes de base quelquefois malmenés
A la conférence Agile 2011, l'un des auteurs du manifeste publié en 2001, a par ailleurs regretté qu'il puisse y avoir quelquefois un manque de respect des principes de base associés au développement agile de logiciels. « Il y a eu un important nivellement par le bas du mode agile lorsqu'il a rattrapé la programmation 'waterfall' [en cascade]», a ainsi estimé Brian Marick. Pour d'autres co-auteurs, comme Ron Jeffries et Martin Fowler, tout le monde veut faire de l'agile et trop peu veulent le faire bien, le deuxième constatant que, parfois, certains se réclamant d'agile n'en font pas en réalité, ce qu'il estime être une conséquence du succès rencontré par ce mouvement.
Interrogé sur cet aspect des choses, le consultant coach agile chez Octo Technology pense que les problèmes liés au manque de respect des principes de base surviennent « lorsque les méthodes agiles sont imposées à une équipe de développement qui n'est pas motivée par ce type de pratiques ». Il juge important, pour l'éviter, que le coach agile puisse travailler suffisamment en amont avec l'équipe de développement, afin d'évaluer ses motivations avant de démarrer son accompagnement vers un changement de méthode.
Illustration : Les bonnes pratiques de la modélisation agile, selon Scott W. Ambler (source : site www.agilemodeling.com)
(...)(01/09/2011 09:40:09)
DreamForce 2011 : Cap sur l'entreprise collaborative
A l'occasion de la neuvième édition de DreamForce à San Francisco, événement également appelé Cloud 9, tout le quartier du Moscone Center est aux couleurs de Salesforce.com. Les organisateurs de la grande messe du cloud computing attendent pas moins de 42 000 visiteurs, selon les organisateurs, à la grande satisfaction de Marc Benioff, le très en verve CEO de Salesforce.com, qui poursuit toujours l'ambition d'éclipser Microsoft, mais surtout Oracle et son bouillonnant CEO, Larry Ellison. Oracle qu'il qualifie volontiers de faux fournisseur de cloud (voir illustration ci-dessous). Début octobre, à l'occasion d'Oracle OpenWorld et de JavaOne, toujours à SF, on verra bien si la compagnie de Redwood Shores restera sans répondre.
Véritable bête de scène, Marc Benioff a tenté de convaincre son auditoire de l'urgence de passer à l'heure du social networking dans les entreprises avec sa longue démonstration sur la « social revolution » et particulièrement de son application professionnelle la « social entreprise ». C'est le thème clef de cette manifestation.
Marc Benioff, CEO de SalesForce.com, durant son 1er keynote à San Francisco
Internet à l'heure de la révolution sociale
« Les cultures changent ; après les récentes révolutions, avez-vous entendu les manifestants crier ou écrire sur les murs merci Microsoft ou merci IBM. Non, c'était merci Facebook. Nous entrons dans une ère nouvelle. Nous voyons que c'est plus important que ce qu'il y avait avant. Nous sommes à l'ère de la social révolution. » Pour le dirigeant, la question posée aux utilisateurs est de savoir comment les entreprises vont franchir le fossé entre réseaux sociaux et monde du travail. « L'industrie change très vite et nous devons évoluer encore plus rapidement. » Voilà pourquoi Salesforce.com poursuit sa politique de mise à jour régulière et annonce l'arrivée de la release Winter 12 qui introduit de nombreux changements dans Chatter, l'outil collaboratif de l'éditeur californien. En plus des fonctionnalités classiques de réseau social comme les profils utilisateurs, la mise à jour du statut, l'information en temps réel et le partage de fichiers, Chatter proposera dès octobre 2011 une API de connexion pour ouvrir le système et s'intégrer par exemple à SharePoint. Les autres améliorations portent sur l'indication de présence des utilisateurs, le chat et le partage d'écran. La technologie utilisée est issue de l'acquisition par Salesforce.com du fournisseur de solution de collaboration DimDim.
Selon un responsable de Salesforce, 100 000 entreprises environ utilisent « activement » Chatter aujourd'hui. Impossible par contre de connaître le pourcentage réel d'employés au sein des entreprises utilisant régulièrement cet outil. Ce service est gratuit pour les clients de SalesForce.com qui peuvent également d'inviter à collaborer avec eux des personnes extérieures à leur entreprise en mettant en place des groupes privés. Les utilisateurs externes ne peuvent voir que les documents attachés à leur groupe et sont clairement étiquetés comme une personne extérieure.
[[page]]
L'autre révolution que prépare activement Marc Benioff est l'explosion du nombre de terminaux mobiles dans le monde. « Pas moins de 16 milliards de smartphones et de tablettes sont attendus en 2013 », souligne le dirigeant. Après la version mobile de Chatter pour mobiles et tablettes animés par iOS et Android, l'éditeur mise sur le HTML5 pour proposer une nouvelle génération de logiciels dans le cloud. Baptisée Touch.Salesforce.com, cette plateforme permettra par exemple de supporter toutes les fonctionnalités de mouvements par gestes d'un iPad dans une page HTML5. Les interactions entre toutes les applications de SalesForce.com (CRM, Chatter, base de données) seront bien sûr possibles. « Avec cette solution, il ne sera plus nécessaire de télécharger et de mettre à jour les applications pour bénéficier d'un environnement de travail parfaitement fonctionnel. Les utilisateurs peuvent accéder à toutes les données, et toutes les personnalisations qu'ils ont faites dans Salesforce.com », a indiqué Al Falcione, vice-président du marketing produit. « Les applications personnalisées construites sur la plateforme Force.com travailleront avec ce nouveau service.
Touch.Salesforce.com sera disponible au début de l'année prochaine. Le prix de ce service n'a pas été défini, mais comme tous les produits de la maison, il sera calculé sur le nombre d'utilisateurs.
L'entreprise doit devenir un hub social
Une bonne partie du keynote de Marc Benioff était également dédiée à l'entreprise collaborative. Il s'agit tout simplement pour les entreprises de créer un réseau social avec leurs partenaires et leurs clients. Cette composante se traduit par la création de profils de « social clients » qui rejoint le métier de base de l'éditeur, le CRM (c'est-à-dire la gestion de la relation client). Traditionnellement, les entreprises collectent de nombreuses données sur leurs clients : nom et adresse e-mail par exemple, mais les sites de réseaux sociaux comme Facebook et Twitter recèlent énormément d'informations sur ces clients et pas seulement du texte, l'analyse des photos est également très instructive. Des données qui permettent selon l'éditeur « d'engager et de maintenir une relation plus profonde ».
Salesforce.com travaille également avec de nombreuses entreprises sur le développement de réseaux sociaux internes très sophistiqués. Chez Toyota avec MyToyota par exemple qui fournit un tableau de bord personnalisé aux utilisateurs de Prius sur le niveau de charge de leur véhicule, les parcours effectués, le temps d'utilisation..
Dans le cadre de la promotion de cette entreprise collaborative, l'éditeur offre désormais un accord de licence globale qui inclut l'accès à Salesforce Sales Cloud, Salesforce Service Cloud, Salesforce Chatter, Salesforce Radian6, Force.com, et Heroku Database.com. La tarification dépendra de la taille de l'entreprise.
Manifeste Agile, dix ans après : au-delà du développement logiciel
Les co-auteurs du « Manifeste pour le développement agile de logiciels » se sont réunis début août aux Etats-Unis pour faire un point, dix ans après la publication de leur texte, sorte de traité sur les pratiques qu'ils prônaient. Avec l'objectif de réduire les délais de développement, celles-ci reposent sur un mode de programmation itératif qui permet aussi d'ajuster les exigences de départ, si nécessaire, et encourage les développeurs à travailler en équipes. La démarche agile s'est posée en alternative aux cycles de développement « en cascade » (waterfall) qui ont été utilisés pendant des années avant d'être jugés trop lourds par certains.
Quinze des dix-sept auteurs de l'« Agile Manifesto » se sont ainsi retrouvés le 8 août à Salt Lake City (Utah) pour la conférence Agile 2011. Ils ne s'étaient pas réunis aussi largement depuis que leur manifeste a été établi dans les montagnes Wasatch de l'Utah en février 2001. Premier constat, l'adoption de ce mode de programmation se fait maintenant au grand jour, les développeurs ne craignant plus d'en parler ouvertement, rapportent nos confrères d'Infoworld. Cela ne fut pas toujours le cas les premières années. « Nous n'avons plus à cacher le fait d'y recourir », a confirmé Martin Fowler, l'un des co-auteurs (*). C'est avec lui que Robert Martin avait à l'époque planifié, sous le nom de « Sommet du processus léger », la réunion qui a finalement conduit au Manifeste. Pour illustrer la propagation de ces pratiques, un autre signataire, Alistair Cockburn, a notamment évoqué leur utilisation dans le cadre d'un contrat impliquant 24 hôpitaux dans l'Etat d'Utah.
Interagir avec l'équipe de développement agile
Mais la programmation agile s'étend maintenant à d'autres domaines, au-delà du développement de logiciels, a de son côté rapporté le co-auteur Andy Hunt. « Nous avons monté une société d'édition sur la base des pratiques agiles », a-t-il cité en exemple. Pour Jim Highsmith, consultant du groupe de conseil ThoughtWorks, ces pratiques peuvent bénéficier à l'ensemble de l'entreprise en étant utilisées au-delà du domaine informatique. De la même façon, Mike Beedle s'attend à ce qu'un framework de type agile émerge du management intermédiaire. (.../...)
(*) Liste des co-auteurs du Manifeste Agile : Kent Beck, Mike Beedle, Arie van Bennekum, Alistair Cockburn, Ward Cunningham, Martin Fowler, James Grenning, Jim Highsmith, Andrew Hunt, Ron Jeffries, Jon Kern, Brian Marick, Steve Mellor, Ken Schwaber, Jeff Sutherland, Dave Thomas.
Illustration : le site Agilemanifesto.org
Sur le même sujet :
- Le 1er septembre 2011 : La démarche agile influe sur l'organisation au-delà de la DSI[[page]]
S'adapter à un environnement qui bouge
Autre illustration, l'éditeur Tasktop Technologies, qui utilise certains concepts agiles dans la conduite de sa société. « Honnêtement, je n'y croyais pas en rejoignant l'entreprise, relate son président Neelan Choksi. Un an plus tard, je dois reconnaître que ça fonctionne. » Tasktop réalise son marketing sous forme d'itérations, un concept typique du développement agile de logiciel. « Cela nous amène à nous concentrer sur certaines activités, pendant un certain laps de temps », explique Neelan Choksi.
Chez Land O'Frost, une société de restauration rapide, les pratiques agiles ont été adoptées pour anticiper et répondre à un environnement qui change rapidement. « Si vous ne réagissez pas, vous ne réussirez pas », constate Steve Sakats, vice président senior, responsable des ressources humaines. Ses indicateurs clés d'agilité se concentrent sur la rapidité et la flexibilité dans les domaines tels que les ventes, le développement de la clientèle, la finance, les ressources humaines et l'opérationnel -de façon similaire à l'accent mis par le Manifeste « Agile » sur la collaboration avec le client et la capacité à répondre au changement.
Illustration : le site Agilemanifesto.org
[[page]]
Agility Consulting and Training, la société de conseil à laquelle recourt Land O'Frost, a développé un modèle agile qui englobe l'anticipation des changements et l'évaluation des résultats, mais qui tend aussi à mettre en confiance et à encourager l'action et les propositions d'actions.
Ironiquement, dans le peu de développement logiciel qu'elle réalise, Land O'Frost utilise toujours les méthodes traditionnelles, reconnaît Steve Sakats son responsable des ressources humaines. Néanmoins, explique-t-il, c'est parce qu'elle achète la plupart des systèmes qu'elle utilise plutôt que de les développer elle-même.
Des principes déjà utilisés dans l'entreprise
Bien que la notion d'agilité se soit popularisée dans le monde du développement, Dave Sharrock, le vice-président d'Agile42, considère que les processus qui lui sont associés ont toujours été utilisés dans la gestion des entreprises, sans être clairement définis jusque-là. « Dès que vous disposez d'une organisation agile pour le développement de logiciel, vous mettez automatiquement la pression sur les autres parties de votre organisation pour qu'elles travaillent de façon similaire. »
Les démarches Lean (mode de gestion de production précurseur d'agile) et agile ont été promues dans les années 70 par W. Edwards Deming, rappelle de son côté Nathan Slippen, responsable technique de la société de conseil Valtech. « Ces principes peuvent s'appliquer à différents niveaux d'une entreprise », par exemple en rendant les processus plus transparents ou éliminant les gaspillages, deux notions fondamentales du Lean. Mis en oeuvre avec succès au-delà du développement de logiciel, les concepts de collaboration et de flexibilité apporteront les mêmes bénéfices. Mais cela requiert de penser les choses d'une nouvelle manière. Et les participants impliqués dans le processus à la façon dont les choses étaient faites jusqu'à présent. C'est une évolution qui concerne les individus, conclut Dave Sharrock, d'Agile42.
Illustration : le site Agilemanifesto.org
(...)(30/08/2011 16:34:29)
Un deuxième portage Android sur TouchPad se profile
Forte émulation autour de la TouchPad d'HP, le groupe de développeurs, Cyanogen, a présenté sur YouTube, un projet de portage d'Android sur la tablette. Sur la vidéo, le terminal démarre avec la version alpha de l'OS Android modifiée. Le portage en est à ces débuts et certaines fonctionnalités, notamment les capacités tactiles, ne sont pas implémentées.
Selon une note accompagnant la vidéo, le groupe indique que son objectif est de mettre au point une solution multiboot permettant de choisir son OS. Le groupe Cyanogen a déjà créé des versions modifiées d'Android pour faire tourner le système d'exploitation mobile de Google sur certains smartphones. Cette version CM7 a été peaufinée pour les tablettes, a précisé le groupe.
Une succession d'initiatives
L'information de la réussite du portage d'Andoid sur le Touchpad d'HP a d'abord été publiée sur le blog Rootzwiki à l'origine de l'initiative Touchdroid. Aux États-Unis, un concours a même été lancé, avec à la clef un prix de 2 300 dollars offert au développeur qui réussira à porter Android sur la tablette d'HP. Pour l'instant, le groupe a indiqué que la version « build » de son système Android modifié n'était pas encore disponible au téléchargement.
Par ailleurs devant le succès (escompté ?) de la vente de sa tablette, HP annoncé à nos confrères de Cnet qu'il allait proposer des mises à jour de WebOS pour améliorer certaines fonctionnalités. Le constructeur n'a cependant pas donné de date sur la disponibilité de ces évolutions.
Linux fête ses 20 ans d'existence (MAJ)
Le 25 aout 1991, Linus Torvalds annonçait au plus grand nombre la disponibilité de son noyau Linux dans un message posté sur Usenet. Depuis, Linux est devenu un élément essentiel du monde informatique où il a tranquillement conquis de nombreux domaines innovant dans lequel sa présence semble aller de soi. Depuis, Linus Torvalds est devenu chercheur pour la Fondation Linux, laquelle se consacre à promouvoir le développement de ce système d'exploitation gratuit et Open Source.
Petite histoire de Linux
Dans sa nouvelle vidéo de présentation, la Fondation Linux revient sur un certain nombre de moments importants de l'histoire de Linux. Elle invite également - à partir de maintenant et jusqu'au 2 juillet - les supporters de l'OS à réaliser et à présenter à son concours annuel leurs propres vidéos. Petite nouveauté de cette troisième édition : pour la première fois, c'est Linus Torvalds lui-même qui présidera le jury qui choisira parmi les vidéos proposées, celle qui montre le mieux l'impact du système d'exploitation sur l'informatique, le monde de l'entreprise, ou la culture au cours des 20 dernières années et jusqu'à aujourd'hui. Les frais d'inscription et d'hôtel, pour assister au LinuxCon en Amérique du Nord ou en Europe, au SXSW 2012, ou au Festival du Film de Los Angeles, seront offerts au vainqueur.
Jeu de disquettes avec une des premières versions de Linux, crédit photo : Shermozle
Un impact majeur sur l'informatique
«L'histoire de Linux comporte de nombreux chapitres et il n'y a littéralement aucune limite à l'innovation à laquelle le système d'exploitation peut contribuer dans le futur, » a déclaré Amanda McPherson, vice-présidente du marketing et des programmes de développement à la Fondation. « Nous sommes impatients de voir comment les utilisateurs vont illustrer l'impact qu'a eu Linux sur l'informatique et notre société. » En attendant, on peut voir ou revoir ce qu'avaient proposé les gagnants des éditions 2009 et 2010 sur le site Linux.com.
La distribution Red Hat 6.0 en 1999
Cette année, la Fondation organise également un concours de design de T-shirt et propose aux fans d'enregistrer des messages pour évoquer leurs meilleurs souvenirs sur Linux. Leurs témoignages seront diffusés toute l'année sur place dans un espace dédié à l'évènement. Linux.com proposera une sélection des meilleurs récits.
Un groupe de travail sur la haute disponibilité
On doit déjà au système d'exploitation de Linus Torvalds d'avoir procuré deux décennies de liberté. Il ne fait aucun doute que Linux en apportera encore bien d'autres.
Illustration principale : Linus Torvalds en 2002, crédit photo Linuxmag.com (...)(26/08/2011 16:34:05)Le PaaS d'Heroku s'ouvre aux applications Java
Rachetée l'an dernier par Salesforce.com, la plateforme « as a service » d'Heroku va commencer à supporter les applications écrites en Java. Après avoir commencé par accueillir des applications développées en Ruby, l'offre cloud en mode PaaS s'était ensuite ouverte à Node.js et Clojure.
Sur le blog d'Heroku, Adam Wiggins, l'un des fondateurs de la société, rappelle que Java figure parmi les langages de programmation les plus populaires. De nombreux fournisseurs de PaaS ont commencé de la même façon par supporter un seul langage avant d'en inclure d'autres.
Cette évolution est assez logique, dans la mesure où la plateforme Force.com de Salesforce.com s'appuie largement sur Java, rappelle Bill Lapcevic, vice président du développement de l'activité de New Relic, une société qui propose aux développeurs des outils de gestion de la performance, notamment pour les applications fonctionnant sur Heroku. Pour lui, le support de Java met la PaaS dans une meilleure position vis-à-vis des actuels clients de Salesforce.com.
Ce faisant Heroku entre davantage en concurrence avec Amazon Web Services, ce dernier qui, avec Elastic Beanstalk, a lui aussi commencé à proposer sa première offre PaaS pour Java. Pour le moment, Heroku devrait disposer d'un avantage, estime Bill Bapcevic. Selon lui, si Amazon est un expert dans la gestion d'infrastructure, il est moins engagé dans l'assistance au déploiement d'applications.
Le service Java d'Heroku sera d'abord proposé dans un mode bêta public.
Trois témoignages d'utilisateurs de bases de données NoSQL
Les utilisateurs de SGBD NoSQL et de systèmes de traitement des données de type CouchDB et Hadoop ont déployé ces nouvelles technologies pour leurs performances, leur évolutivité et leur flexibilité, si l'on revient sur les différents ateliers de la conférence NoSQL Now qui s'est déroulée cette semaine à San Jose, en Californie.
EMC, par exemple, utilise un mélange de bases de données traditionnelles et de SGBD NoSQL dernier cri pour analyser la perception de ses produits entreprise et grand public [Iomega notamment], a expliqué Subramanian Kartik, ingénieur chez EMC, durant une conversation avec notre confrère d'IDG News Service, Joab Jackson. Le procédé, appelé analyse des sentiments, implique la collecte d'informations sur une centaine de blogs consacré aux technologies IT, pour trouver des mentions sur EMC et ses produits, et évaluer si les références sont positives ou négatives, en analysant les mots utilisés dans le texte.
Hadoop pour éliminer les données inutiles
Pour exécuter l'analyse, EMC rassemble le texte intégral de tous les blogs et pages web mentionnant EMC, et les compile dans une version de MapReduce fonctionnant sur sa plate-forme d'analyse de données Greenplum. Il utilise ensuite un système Hadoop pour éliminer les balises HTML et les mots inutiles, ce qui réduit considérablement l'ensemble de données. Les listes de mots sont transférées dans des bases de données SQL, où une analyse quantitative plus approfondie est réalisée.
Les technologies NoSQL sont utiles pour résumer un ensemble énorme de données, tandis que les systèmes SQL peuvent être ensuite utilisés pour une analyse plus détaillée, a dit Subramanian Kartik, ajoutant encore que cette approche hybride peut être appliquée à d'autres domaines d'analyse. «Il y a toutes sortes d'informations à traiter, et à partir d'un certain point, vous devrez passer par la conversion de texte en tokens numérotés pour faciliter leur utilisation [commande /tokenize], l'analyse et le traitement du langage naturel. La meilleure façon d'arriver à des mesures quantitatives significatives de ces données est de les mettre dans l'environnement que vous connaissez bien pour les manipuler, un environnement SQL » poursuit l'ingénieur d'EMC.
[[page]]
Pour les compagnies Internet comme AOL, les produits NoSQL offrent une vitesse de traitement et la capacité de gérer ce grand volume de données, ce qui ne serait pas possible avec une base de données relationnelle traditionnelle. La société utilise Hadoop et la base de données NoSQL CouchDB pour réaliser le ciblage de ses opérations publicitaires, a déclaré Matt Ingenthron, directeur des relations communautaires pour Couchbase, lors d'une autre conversation.
La compagnie Internet a développé un système qui peut choisir d'afficher un ensemble d'annonces ciblées chaque fois qu'un utilisateur ouvre une page web d'AOL. Les annonces choisies reposent sur la base de données qu'AOL stocke sur les utilisateurs, avec un algorithme qui tente de prédire quelles pubs auront le plus de sens pour l'internaute. Et le processus doit être exécuté en moins de 40 millisecondes. La base de données est volumineuse, car les logs et les actions de tous les utilisateurs sont conservés sur les serveurs. Ils doivent être analysés et réassemblés pour construire un profil de chaque utilisateur. Les régies publicitaires web ont également mis en service un ensemble complexe de règles pour savoir combien payer une impression ou quels bandeaux publicitaires doivent être affichés sur le navigateur des internautes.
Cette activité génère de 4 à 5 téraoctets de données par jour, et AOL a amassé
plus de 600 pétaoctets de données opérationnelles. Le système conserve ainsi plus de 650 milliards d'entrées, avec notamment une pour chaque utilisateur, ainsi que des clés pour gérer d'autres aspects des données. Le système doit réagir à 600 000 événements de chaque seconde.
Un cluster Hadoop pour résumer les données brutes
Et les flux de données qui proviennent de logs de serveurs Web et de sources extérieures augmentent encore la quantité d'information conservée. La plate-forme Hadoop Flume est utilisée ici pour intégrer toutes ces données. Ce cluster Hadoop exécute également une série de routines MapReduce pour analyser et résumer les données brutes. AOL utilise également CouchDB de Couchbase pour récupérer toutes sortes de données en provenance des flux RSS. Parce que CouchDB peut travailler sans écrire sur le disque, il peut être utilisé pour analyser rapidement les données avant de l'envoyer vers une autre étape.
« Nous n'avions pas prévu de faire du ciblage publicitaire pour nos clients. Mais Couchbase a fini par combler ce besoin chez AOL et chez d'autres régies publicitaires » ajoute Matt Ingenthron. Le travail est «techniquement complexe et pose de nombreux défis pour traiter très rapidement les données ».
[[page]]
La maison d'édition scientifique et médicale Elsevier était à la recherche de plus souplesse quand elle a opté pour une solution XML, basée sur une base de données non relationnelle fournie pas Mark Logic, a déclaré le vice-président de la société Bradley Allen. Le monde de l'édition scientifique est de train de passer d'un modèle statique à un rythme plus dynamique, explique le dirigeant de l'éditeur. Au cours des siècles précédents, les ouvrages et les revues scientifiques ont servi de base à la connaissance universitaire. Et les bibliothèques conservaient une description des ouvrages, des auteurs et contributeurs et les références d'autres informations. Depuis que l'édition scientifique est passé au numérique, le papier reste encore le média dominant pour la transmission des données. « Nous sommes encore à l'époque du cheval et du carrosse », souligne en plaisantant Bradley Allen.
Au fil du temps, la communication scientifique s'est fragmentée en plusieurs éléments individuels, qui peuvent être ensuite réutilisés dans de multiples publications. Les paragraphes ou même les affirmations peuvent être annotés et indexés, explique l'éditeur. Ils peuvent ensuite être rassemblés dans des oeuvres nouvelles et intégrés dans des applications, que les médecins peuvent consulter. Ils peuvent également être exploités dans le cadre d'analyses décisionnelles.
XML comme langage naturelle pour intégrer les données
Dans cet esprit, Elsevier est en train d'annoter les documents de ses revues afin qu'elles puissent être réutilisées plus facilement dans d'autres applications et services. Le choix d'une base de données XML a semblé naturel pour ce travail, a expliqué Bradley Allen. De nouveaux types de contenus peuvent être facilement ajoutés dans la base de données et le format permet à chaque composant d'être facilement réutilisé dans de nouvelles applications et services.
Elsevier a lancé un certain nombre de nouveaux produits avec cette approche. L'un d'entre eux, baptisé SciVal et destiné aux universitaires qui résument l'activité du monde de l'édition au sein de leur institution, leur donne une estimation quantitative
des publications d'une université ou d'un centre de recherches. Un autre service est Direct Science, un moteur de recherche en texte intégral pour les revues d'Elsevier.
NewSQL pour combiner le meilleur de SQL et NoSQL
Les utilisateurs qui évitent les bases de données relationnelles traditionnelles en faveur de bases de données émergentes NoSQL pourraient être tentés de « jeter le bébé avec l'eau du bain », a averti un pionnier des SGBD devant une assemblée de défenseurs des solutions NoSQL.
Au lieu de cela, la plateforme SQL (Structured Query Language) peut être adoptée pour les nouveaux systèmes avec quelques ajustements techniques, qui lui donneraient toute la flexibilité des systèmes NoSQL, fait valoir Michael Stonebraker, directeur technique chez l'éditeur de la base de données distribuée VoltDB [comme NimbusDB, voir sujet sur Boston IT]. Michael Stonebraker a défendu sa solution, qu'il baptise NewSQL, à l'occasion de la conférence NoSQL Now qui se déroule cette semaine à San Jose, en Californie.
Sa société propose elle-même une base de données basée sur NewSQL, ce qui donne plus de poids à cette nouvelle architecture que le simple discours commercial d'un revendeur. Michael Stonebraker a été l'architecte en chef des bases de données Ingres et Postgres, et a contribué à de nombreux autres SGBD. Il a également cofondé Vertica, un éditeur de base de données en colonnes acheté par Hewlett-Packard en février dernier.
Les bases de données relationnelles SQL sont moribondes font valoir les défenseurs de NoSQL, avance le directeur technique de VoltDB. « Mais ce n'est pas la faute des revendeurs de SGBD non SQL. Traditionnellement appelés les éléphants, ces fournisseurs de bases ne sont pas devenus lents, car ils supportaient SQL », explique le responsable technique.
Des SGBD peu adaptés aux nouveaux usages
La plupart des logiciels commerciaux de type SGBD ont été mis sur le marché il y a une trentaine d'années, rapporte Michael Stonebraker. Ils n'ont pas été conçus pour les environnements automatisés et sont très gourmands en données utilisées aujourd'hui.
En évoluant pour offrir de nouvelles fonctionnalités, ils sont devenus ballonnés. « Oracle ne grandit pas », poursuit-il. « Si vous n'avez pas besoin de performances, ce n'est pas grave. Mais si vous n'avezpas besoin de performances [un système basé sur une base SQL traditionnelle] ne le permettra pas ».
L'atonie des systèmes SGBD est généralement attribuée à un certain nombre de facteurs, poursuit Michael Stonebraker. Ces systèmes maintiennent un espace réservé à la mémoire tampon, conservent les logs à fin de récupération, et gèrent le verrouillage et le déverrouillage des tables afin elles ne soient pas écrasées par une autre opération. Dans un essai réalisé par VoltDB, 96 % des ressources du système étaient consommées par ces opérations. Voici pourquoi beaucoup trouvent dans les SGBD NoSQL, comme MongoDB et Cassandra, une réponse aux limitations des bases de données traditionnelles.
Illustration principale : Michael Stonebraker, directeur technique chez VoltDB; crédit photo : D.R.
[[page]]
Dans une autre session qui s'est tenue lors de la conférence NoSQL Now, le consultant Dan McCreary a expliqué que les lacunes présentes dans les bases de données relationnelles ont stimulé le travail des développeurs afin de créer des systèmes NoSQL. Les bases traditionnelles ne sont pas très flexibles, a-t-il dit. Leur architecture de base a été conçue à l'époque des cartes perforées, et reflète une approche rigide dans la modélisation des données. Si un utilisateur a besoin d'ajouter une autre colonne de données, il doit modifier le schéma de base ce qui peut être très délicat à faire. Le processus de modélisation pour créer des tables relationnelles, appelées modélisation entité-relation, ne reflète pas toujours exactement la façon dont les données existent dans le monde réel. « Beaucoup de choses ne rentrent pas bien dans les tables », a-t-il dit. « C'est beaucoup trop restrictif. »
Un des autres problèmes avec les bases de données SQL, c'est qu'elles ne s'adaptent pas très bien à la répartition de la charge de travail sur plusieurs serveurs, souligne Dan McCreary. Si les données se développent au-delà des capacités de traitement d'un seul serveur, la base doit être fragmentée, ou dispersée, sur plusieurs serveurs, ce qui est également un processus compliqué. En outre, l'exécution de certaines opérations sur plusieurs serveurs, telles que les requêtes sur plusieurs tables, dans lesquelles les données ont été dispersées, peut devenir problématique.
Les limites du NoSQL
Alors que les bases de données NoSQL offrent plus d'évolutivité et plus de flexibilité, elles ont également leurs propres limites, souligne Michael Stonebraker. En n'utilisant pas SQL, les systèmes de base de données NoSQL perdent la capacité de faire des requêtes très structurées avec une certitude mathématique. Reposant sur l'algèbre et le calcul relationnel, SQL propose un modèle mathématique assurant que la requête est structurée de telle sorte qu'elle ramène toutes les données à capturer, même si la requête elle-même est très complexe.
Autres problèmes: NoSQL ne peut pas fournir d'opérations au niveau ACID (Atomicity, Consistency, Isolation and Durability) un ensemble de métriques largement utilisées pour assurer qu'une base de données réalisant des transactions en ligne restera toujours précise même si le système est interrompu. Assurer la conformité ACID peut être gravé dans les couches basses de l'application, même si l'écriture du code nécessaire à ces opérations « est un travail pire que la mort », a-t-il ajouté. Enfin, chaque base de données NoSQL vient avec son propre langage de requête, rendant difficile la standardisation des interfaces entre les applications.
En revanche, NewSQL peut fournir la qualité et l'assurance des systèmes SQL, tout en apportant l'évolutivité des systèmes NoSQL, fait valoir le directeur technique de VoltDB. L'approche NewSQL implique l'utilisation d'un certain nombre de nouveaux modèles d'architecture, a-t-il noté. Il élimine par exemple le pool de mémoire tampon qui monopolise excessivement les ressources en exécutant entièrement la base de données dans la mémoire principale. Il supprime la nécessité du verrouillage en exécutant qu'une seule thread sur le serveur (bien que certains processus puissent être exécutés pour d'autres opérations bloquées). Et les gourmandes opérations de récupération peuvent être éliminées grâce à l'utilisation de serveurs supplémentaires pour réaliser la réplication et la bascule.
[[page]]
Michael Stonebraker a avancé que son propre système VoltDB, qui utilise ces approches NewSQL, exécute des opérations 45 fois plus vite qu'une base de données relationnelle traditionnelle. VoltDB supporte jusqu'à 39 serveurs, et peut traiter jusqu'à 1,6 million de transactions par seconde sur 300 coeurs de processeurs, a-t-il dit. Elle exige également beaucoup moins de serveurs qu'une implémentation de type Hadoop, en réalisant avec 20 noeuds le même travail qui exigerait 1 000 noeuds avec Hadoop.
Alors que le public de la conférence NoSQL Now était composé d'utilisateurs et de développeurs NoSQL, beaucoup semblaient penser que l'analyse de Michael Stonebraker sur SQL avait quelques mérites, même s'ils étaient en désaccord sur des points particuliers. Dwight Merriman, un des fondateurs de la société de publicité en ligne DoubleClick et l'un des créateurs de MongoDB, partageait l'avis de Michael Stonebraker sur SQL au sujet de la faible évolutivité et des performances en retrait. Mais il a soutenu que SQL n'est pas la langue que tout le monde souhaite utiliser dans les années à venir pour analyser et interroger sa base de données.
D'autres langages plus naturelles pour les requêtes
«Je tiens à utiliser quelque chose d'un peu plus proche de la langue naturelle », c'est ainsi que ces applications ont été conçues, précise-t-il. Les procédures basées sur SQL rendent particulièrement difficile le travail avec plusieurs développeurs, a-t-il ajouté.
Michael Stonebraker est confronté à un problème concret, a déclaré le consultant Dan McCreary après la présentation. Les processeurs ne vont pas aller beaucoup plus vite, mais les coeurs vont continuer à se multiplier. Donc, la question de la montée en puissance sur plusieurs processeurs doit être prise en compte, dit-il.
Dan McCreary a également convenu avec Michael Stonebraker que les utilisateurs NoSQL ne partagent pas un langage de requête unifiée, ce qui va ralentir l'adoption de NoSQL. Mais le consultant a suggéré d'autres langages que le SQL comme outil de requêtes, tels que l'XQuery utilisé pour les documents XML.
| < Les 10 documents précédents | Les 10 documents suivants > |